- 博客(13)
- 收藏
- 关注
RSS订阅原创 hive 动态分区insert move task失败（元数据与hdfs不一致导致）已解决
通过show partitions查看该表的分区与hdfs上的文件不一致，元数据这边有2020-09分区，但hdfs不存在，所以在插入的时候找不到这个目录导致的失败。1.手动删掉hdfs中不存在的分区，分区较多的情况下比较麻烦。动态分区插入表时在move task阶段报错。2.将数据插入一张临时表然后再更换表名。
2024-04-18 14:50:17
264
1
原创 Hive报错：Unable to move source hdfs:****** to destination hdfs:******（已解决）
所以根本原因就是：该分区表在 HIVE中的元数据与HDFS上实际的数据不一致，当执行 insert overwrite 操作时，hive 通过存储在 metastore 中的元数据信息发现目标分区并不存在，也就不会尝试去执行hdfs上该分区对应目录的删除操作了，而实际上hdfs上该分区对应的目录和文件都是存在的，所以作业底层的 rename 操作失败了。修复 hive 元数据跟hdfs实际的数据一致，使用命令 msck repair table xxx来修复hive表的元数据。
2024-04-02 13:52:18
223
3
原创 sqoop从mysql导入数据到hive时tinyint(1)字段自动变成Boolean（已解决）
Sqoop在抽取数据到Hive或者HDFS时，会自动将类型为tinyint(1)的列转为boolean类型，这就是导致抽取到Hive或HDFS中的数据中只有true和false的原因。最近使用sqoop从mysql导入数据的时候发现tinyint(1)的字段内容在hive中变成了true、false的布尔类型，但是tinyint(2)的却没有。官方文档里也给出了解决方法,有两个解决方法。
2024-03-25 17:25:00
424
1
原创 insert into select limit 插入失败（已解决）
看起来很正常的sql，但a1表的查询结果是0，数据没有成功insert进去，而且也不报错。不知道触碰了哪里的bug，后来加了order by排序后才成功写入。希望知道原因的大神不吝赐教。
2024-03-21 13:56:16
104
1
原创 hive join时报空指针错误NullPointerException（已解决）
hive join 操作时若发生NullPointerException，请执行 set hive.auto.convert.join=false;如设置hive.auto.convert.join的值为true，hive将在表的大小符合设置时自动使用MapJoin。
2024-03-06 13:16:41
408
原创 hive 动态分区insert overwrite报错
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask.
2023-04-07 09:47:10
626
原创 hive insert 时遇到锁表怎么解决
的锁释放，突然想起这个任务昨天是失败的，所以去昨天的任务日志里找到applicationID然后去yarn上查看果然昨天的任务还在running，手动kill掉，再执行今天的insert就可以了，又解决一个问题，✌。根据log得知，一直拿不到a表的锁，所以超时报错了。执行show locks；表状态的获取需要等待Lock ID=
2023-04-03 13:56:12
602
原创 非spring项目Druid配置keepAlive参数不生效（附解决方案）
背景：目前我司使用了阿里的druid来进行连接池管理连接，对接了n种数据库类型，因为创建连接很耗时，所以需要开启保活机制。通过查看druid的官方手册看到非spring项目配置keepAlive的方式是需要通过JVM启动参数配置的。项目类型：gradle项目（非spring项目）
2023-02-02 11:08:02
962
1
原创 sqoop导入导出失败，报错信息不明显如何定位具体原因
sqoop导入导出失败，报错信息不明显如何定位具体原因，还有sqoop如何批量导入mysql
2022-10-11 16:48:00
1297
原创 Clickhouse踩坑记录
背景：我司因presto在大数据量下查询较慢，后综合技术特点及我们的数据特点决定采用Clickhouse替代。实现方案：将Hive数据每天增量同步至Clickhouse。备注：以下将Clickhouse简称ck实现步骤：在ck中创建Hive引擎的表 在ck中创建MergeTree引擎的表 每天将Hive引擎的表增量同步至MergeTree引擎的表踩坑点 一开始在ck创建表后发现hive那边是存储的文本格式的，后来在hive修改为orc格式 ，ck这边没有重新建表，然后就报了上边的
2022-03-25 16:05:32
3240
原创 Hive常见错误总结
1.temp表中时间字段不为null，写入正式表后却出现了null值。原因如下： 因为同步的时候对time字段使用了to_date('2021-10')函数后导致的。2.hive sql中子查询需要定义别名，否则报错。3.hive执行报错Cannot allocate memory（集群有别人在跑大任务导致资源不够用，需要更换服务器执行）4. Cannot insert into target table because column number/types are different 'dt':
2021-10-31 18:01:55
5690
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人