- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 TEZ 0.8.5与Hadoop2.7.3的guava兼容性问题
1. 背景描述为了提升Hive的处理能力,同时为Hive2.0的llap做技术准备,因此准备将集群Hive的引擎由mr更改为tez。2. 问题在将Hive的引擎由MR替换为tez后,在运行任务时,经常会出现如下的报错:java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwat
2017-10-15 16:33:30 1766
原创 NameNode升级源码小析
公司升级集群升级hadoop版本的时候,为了更好的为升级提供安全保障,简单了解了一下hadoop的namenode升级源码,在此记录
2017-09-23 15:23:19 431
原创 Hive on tez的insert union 子目录的问题
hive tez insert union all问题(1)问题描述在hive中使用tez模式时,发现tez的输出结果在对应表目录中,生成了子目录,造成未配置tez的hive客户端对该表进行读取时,无法获取到数据。检查表的输出目录,在分区目录下发现了两个子目录:1和2:/user/hive/test1/20170920000000/1/user/hive/test1/20170
2017-09-23 15:18:45 5095 1
原创 Hadoop二次排序的个人理解
看了多篇文档,现总结自己对二次排序的理解;1.流程 各个阶段;input ---> split ——> recordreader ——> 形成复合键值对textpair ——> 分区(setGroupingComparatorClass设置的分区方法)输出 ——> 对每个分区进行排序setSortComparatorClass(按照设定的排序方式对textpair进行排序,其实这已经进
2014-11-18 15:25:22 289
原创 hadoop2.2.0 nodemanager启动后失败分析!!!
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。检查日志信息发现,org.apache.hadoop.ipc.Client:一直试图与一个0.0.0.0:8031的服务器通信(一直不成功)过了一段时间后,nodemanager失败
2014-04-16 22:07:32 733 2
原创 Hadoop-2.2.0的编译!!!
先来无事想安装下hadoop-2.2.0,看看宣传中的许多新特性。再网上找教程的时候突然发现原来官方只有32位版本的。需要自己对源代码进行编译才能得到64位版本的。赶紧又去网上搜资料,忙活了一天终于编译成功了。 具体过程如下:下载Hadoop2.2.0源代码包hadoop-2.2.0-src.tar.gz 地址:http://hadoop.apache.org/re
2014-02-23 21:38:07 486
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人