- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 2021-11-16
**Kettle CDH6.3.1 链接hive 报错 org.apache.hive.service.cli.thrift.TCLIService$Iface**查阅了资料,Kettle是稍微需要和CDH版本进行匹配的。因为我们现有的集群是CDH 6.3.1的所以需要匹配 Kettle 8.X 的版本1.首先是我们的CDH版本。2.其次是Kettle版本我测试了下， 这俩个版本是比较匹配的。3.接下来解压完成Kettle之后需要修改一些Kettle配置先去修改 D:\kettle
2021-11-16 15:51:03
1274
原创 报错（已解决）：Offset commit failed on partition xxx at offset 296: The coordinator is not aware of this me
1.忘了截图了。也没有办法还原，反正最后成功了， （1：）换个 group id 就可以。 scala 代码开发方式 （2：）scala 解决办法 public static final String GROUP_ID_CONFIG = "group.id"; private static final String GROUP_ID_DOC = "A unique string that identifies the consumer group this consumer
2020-09-05 17:58:24
15009
1
原创 org.apache.hadoop.ipc.RpcException:RPC response exceeds maximum data length
记录一次粗心的，以前就碰到过。服务器是阿里云的。linux配置内网，本地外网。然后读取文件的时候用idea,读取时应该去掉端口号。希望对各位有用。
2020-05-18 15:34:16
5618
3
原创 Spark-shell 启动不了或者长时间加载
Spark-shell 启动不了或者长时间加载1.楼主安装的是CDH的版本。2.问题如下图3.解决问题的方法：在CDH界面中进入yarn里面。然后调节yarn.scheduler.minimum-allocation-mb 参数为1G即可进入4.成功解决！
2020-05-17 07:37:13
2204
5
原创 spark:dataframe前面进行join然后写入hdfs文件的坎坷历程
这个是代码的片段，然后在运行的时候这段代码的时候报错，刚开始是报文件找不到。例如下图然后开始一顿百度，其他的人都说什么清除hdfs的临时目录，再此我提醒大家如果你的代码在一开始执行前面的过程能够正常写入hdfs的时候！就不要相信那些所谓的清除hdfs的缓存目录。你可以放到本地测试一下，如果本地可以，虚拟机不行的话，那么就是你的虚拟机的问题。记得要养成看log的文件的习惯！例如下图这个是datanode的报错。然后确定是虚拟机问题以后在去百度。添加配置文件<property>.
2020-05-09 16:22:27
601
原创 Unrecognized Hadoop major version number:3.0.0报错解决办法
如文字标题，这个问题困扰了我三天，最终还是排查解决了。这个是运用spark.env.sh里面的hadoop_home_dir路径指向空然后就好了。原创不易，转发把我文贴上。...
2020-03-29 17:53:42
6393
5
原创 sqoop导入之从mysql导入到hive中之'get_table_req'无法获取
这里先去查看Hive Metastore Server看看报错日志，提示然后去看HiveServer2 看报错日志，提示出现这个之后禁用SSL 上面的也禁用SSL然后初始化Metastore Server 这个元数据库初始化命令我给忘了。在配置文件里面添加<property> <name>datanucleus.schema.autoCreateAl...
2020-03-23 15:43:57
558
原创 CDH6.2.1版本-sqoop导入表踩得坑
这里是缺少jar包。java-json.jar新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区...
2020-03-21 11:06:48
1004
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人