- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pig-on-tez or hive-on-tez 报错
当pig-0.15或者hive-1.1-cdh5.4.0使用tez运行是 会报如下的错误，发现申请内存为-1，所以报错发现无论是pig还是hive的相关默认配置如下pig的mapreduce.map.memory.mb=-1mapreduce.reduce.memory.mb=-1hive的mapreduce.map.memory.mb=
2015-09-16 15:28:04
1170
原创 hive使用tez的时候tez的配置
tez没有编译好的tar包要自己编译，示例是编译0.7版本编译方法在 tez源码的根目录下（hadoop版本为 2.6）执行 mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true（hadoop版本为 2.5.0）mvn package -Dhadoop.version=2.5.0 -Phadoop
2015-09-16 15:24:32
5702
原创 Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
查看 nodemanager 日志发下 如下信息2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above thresho
2015-07-16 16:08:35
11209
8
原创 hadoop2 namonode为HA 得到hadoop的active namenode具体地址代码
因为某些原因需要从namenode HA中取到active namonode 的具体地址，写了以下的代码package com.zhang.test;import java.io.IOException;import java.net.InetAddress;import java.net.InetSocketAddress;import org.apache.
2015-07-07 17:36:11
2118
原创 pig的 Replicated Join 失败
在使用pig的特殊join是报了类似下边的错误‘发现这是pig的bug地址为 https://issues.apache.org/jira/browse/PIG-3725 错误信息 Join_6, MergeJoin_5, Join_8, Join_7, MergeJoin_2, MergeJoin_3, MergeJoin_8, MergeJoin_1, Mult
2015-07-07 17:11:23
709
原创 pig并发执行的错误
错误信息为：ERROR 2017: Internal error creating job configuration.org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobCreationException: ERROR 2017: Internal error creating job configu
2015-07-07 16:45:32
1886
1
手机飞信 java
2013-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人