- 博客(6)
- 收藏
- 关注
RSS订阅转载 解决Retrying connect to server
Hadoop 2.7.2在master上运行Mapreduce没有问题，但是在slave节点上运行会报如下错误[root@fk01 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount /input /ouput314/08/21 10:41:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
2020-06-29 17:02:32
7071
转载 DataNode无法启动
##关于hadoop集群中第二次启动时，DataNode没有启动的解决办法##第一次启动时没有问题第二次启动时会有文件残留产生一个新的namenode文件（id），就不认识以前的namenode了导致集群不能正常启动解决办法：在格式化之前，删除datanode里面的信息（默认在/tmp，如果配置该目录，就要去配置的目录下删除（hadoop-2.6.5/data/tmp/））##rm -rf /tmp (从节点都要执行)##hdfs namenode -format (主节点执行)##
2020-06-29 16:42:00
220
原创 beeline连接hive的hiveserver2报错
问题：Connecting to jdbc:hive2://hadoop102:1000020/06/27 14:17:38 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop102:10000Could not open connection to the HS2 server. Please check the server URI and if the URI is correct, then ask the admin
2020-06-27 14:41:54
3037
转载 如何为Spark集群配置–num-executors， – executor-memory和–execuor-cores
一些资源参数设置的基本知识 Hadoop / Yarn / OS Deamons 当我们使用像Yarn这样的集群管理器运行spark应用进程时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。因此，在指定num-executors时，我们需要确保为这些守护进程留下足够的核心（至少每个节点约1 CPU核）以便顺利运行。 Yarn ApplicationMaster（AM） Applicati
2020-06-10 08:47:30
991
原创 Hive-MapReduce输出小文件合并参数
SET hive.exec.compress.output=true;SET mapreduce.output.fileoutputformat.compress=true;SET hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;SET mapreduce.input.fileinputformat....
2020-05-07 16:14:54
743
原创 Apache Atlas的Hive Hook在CDH中的配置
配置Atlas的hivehook将192.168.10.205机器中的/opt/module/atlas/distro/target/apache-atlas-0.8.4-bin/apache-atlas-0.8.4/hook/hive的所有jar包拷贝到生产环境hive节点172.165.11.49中的/opt/cloudera/parcels/CDH/lib/hive/lib目录下 ...
2019-09-10 12:05:19
2932
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人