- 博客(6)
- 收藏
- 关注
RSS订阅原创 TDH报错hive:exceed safety size
TDH报错hive:exceed safety sizeSET ngmr.safety.size.single.entry=-1;
2021-03-23 10:07:23
723
原创 如何卸载流氓软件—UniAccessAgent
下载一个git客户端，cdC:\Windows\LVUAAgentInstBaseRoot 到目录下，rm -f *.exe 重启完事儿
2021-03-09 16:47:36
2875
11
原创 Spark调优
Map端分区coalesce()方法的参数shuffle默认设置为false，repartition()方法就是coalesce()方法shuffle为true的情况。****假设RDD有N个分区，需要重新划分成M个分区：**1. N < M: 一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。因为重分区前后相当于宽依赖，会发生shuffle过程，此时可以使用coalesce(shuffle=tr...
2020-12-07 17:19:48
137
转载 spark的读取方法textFile和wholeTextFiles
sc.textFiles(path)能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式，文件的每一行 相当于 List中以 “,”号 隔开的一个元素，而使用 sc.wholeTextFiles()时:返回的是[(K1, V1), (K2, V2)...]的形式，其中K是文件路径，V是文件内容，这里我们要注意的重点是：官方一句话：''Each file is ...
2020-04-23 18:41:28
532
原创 HIVE Mapred tasks exceed 1000000000
Topo check failed. Mapred tasks exceed 1000000000Automerge可以直接在Inceptor命令行中开启：SET ngmr.partition.automerge = true;SET ngmr.partition.mergesize = n;SET ngmr.partition.mergesize.mb = m;"ngmr.part...
2020-04-01 16:12:44
4475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人