- 博客(2)
- 收藏
- 关注
RSS订阅原创 mongoDB+hive/hbase数据导入，Datax配置及脚本
一、在对mongodb数据拉取过程中，发现md中存储的是一个个的集合，字段不固定，多的几十条，少的几条，这样再json配置时，会导致数据的匹配不对，有脏读，乱读等现象，下面把解决办法贴下，不到之处请谅解。 首先对于字段相对固定的，我采取的是mongodb->datax->hive的途径json配置：{ "job": { "setting": { "speed": { ...
2018-06-25 11:24:30
5140
3
原创 mysql+hive数据导入，Datax配置及脚本
1、在hive中建表create table test0604(CD_ID INT,COMMEN STRING,COLUMN_NAME string,TYPE_NAME string,INTEGER_IDX int)PARTITIONED BY(date string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORED AS ORC;...
2018-06-04 20:33:50
5192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人