- 博客(11)
- 收藏
- 关注
RSS订阅原创 关于Hadoop的一些使用心得
关于HDFS使用的一些心得写在前面: 在公司做大数据方面工作也有一段时间了，抽时间整理一下遇到的问题,和一些比较好的优化手段。1.HDFS存储多目录1.1生产服务器磁盘情况1.2在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘，必须对该参数进行修改。按照上图
2021-06-22 15:01:04
1202
原创 将text文件转换为字符串
在处理一段字符串的时候，发现字符串很长，不太好处理，所以找了一段处理文本文件转换为字符串的代码。 public static String readFileContent(String fileName) { File file = new File(fileName); BufferedReader reader = null; StringBuffer sbf = new StringBuffer(); try {
2021-06-15 17:13:43
2177
原创 Error:scalac: Error: scala.collection.immutable.$colon$colon.tl$1()Lscala/collection/immutable/List；
第一次使用flink，scala使用的是2.11.12版本，但是我本地的scala是2.11.8，就报了上述的错误，去网上看了很多帖子，说的都比较笼统。下面是我的一些方法。1.去官网下载一份2.11.12的压缩包网址如下https://www.scala-lang.org/download/2.11.12.html2.将其解压缩到一份无中文的文件夹内3.在idea中找到4.进去之后通过+号和减号进行增加和删除sdk文件5.点击+号6.点击browse之后选择之前解压缩的文件，然后
2020-09-09 15:25:57
2533
原创 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
hadoop在本地执行MapReduce出现了如下相关异常该如何做？1.Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.na...
2020-04-15 09:06:09
1698
4
原创 小白也会搭的hadoop集群
搭建hadoop集群(版本:3.13)前言：最近在学习大数据的知识，hadoop集群作为大数据入门知识，一定要非常熟系，现在我将我自己搭建hadoop集群的步骤以及遇到的问题进行一个汇总。做到一个温故知新的作用。文章目录搭建hadoop集群(版本:3.13)一、准备一台安装Linux系统的虚拟机1. 配置虚拟机环境1.1 配置yum源1.2 安装辅助工具1.3设置静态ip1.4 修改主机名1....
2020-04-12 13:16:57
144
原创 Collection和Map主要实现类
day23笔记一、作业练习1：• 键盘录入学生信息，保存到集合中。o 循环录入的方式，1：表示继续录入，0：表示结束录入。o 定义学生类，属性为姓名，年龄，使用学生对象保存录入数据。o 使用ArrayList集合，保存学生对象，录入结束后，用foreach遍历集合。• 代码实现，效果如图所示：public class StudentTest { public stat...
2020-03-16 19:47:32
316
原创 常用的时间类和实现Comparable接口
Day21笔记文章目录Day21笔记一，自然排序和定制排序的区别1.实现Comparable接口2.实现Comparator接口3.Comparable和Comparator的区别所在二，JDK8之前的日期时间的API1.System下的currentTimeMillies()2.两个Date()类3.SimpleDateFormat类4.Calendar类三，String，StringBuli...
2020-03-13 22:58:55
705
1
原创 开发人员调度小项目
day18授课笔记一、复习枚举类以后大家在项目中，需要定义一组常量时，建议使用枚举类！两种定义方式：① 自定义方式 ② 使用enum关键字定义（jdk5.0)使用enum关键字定义的枚举类默认继承于java.lang.Enum类常用方法：toString()、values()、valueOf(String name)枚举类各个对象实现接口中的方法注解(annot...
2020-03-13 09:59:30
494
4
原创 枚举类与注解
day17授课笔记一、作业代码阅读题：public class ReturnExceptionDemo { static void methodA() { try { System.out.println("进入方法A"); throw new RuntimeException("制造异常"); } finally { System.out.println("用...
2020-03-13 09:41:28
174
原创 多线程创建以及解决数据同步问题
Day19笔记今日重点：1.掌握线程的两种创建方式及其区别2.掌握解决线程安全的同步代码块及同步方法3.掌握线程的常用方法4.理解线程的生命周期5.理解线程安全问题的产生原因及其解决方法一，复习1.程序，进程与线程的区别程序：是为完成特定任务，用某种语言编写的一组指令的集合。即指一段静态的代码，静态对象进程:是程序的一次执行过程，或是正在运行的一个程序。是一个动态的过程：有...
2020-03-13 09:28:02
261
原创 多线程
Day20笔记学员：万玉坤今日重点：（1）掌握创建多线程的4种方式（2）掌握线程通信中的方法（3）完成生产者消费者的案例（4）掌握String的定义，特性和常用方法（5）理解String实例化时，内存结构的变化（6）知晓什么是死锁，死锁产生的原因和解决办法（7）知晓如何保证单例模式中的懒汉式的线程安全，要求掌握代码编写一，复习进程与线程的区别并发与并行传统创建线程的两...
2020-03-13 09:22:39
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人