- 博客(2)
- 收藏
- 关注
RSS订阅原创 reduceByKey、groupByKey和combineByKey的详解
reduceByKey、groupByKey和combineByKey的详解多年以后你若嫁了 我若未娶 教你孩子放学路上小心点话不多说直接上代码combineByKey造测试数据，将该数组封装成RDD，基于该数据分析三个算子的用法Array((1, 1), (1, 2), (2, 2), (2, 3))package com.knowlegene.kw.testimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkC
2020-09-22 09:58:22
701
原创 Hive动态分区表的创建、及数据加载
Hive动态分区表的创建、及数据加载你吻我是因为你寂寞，我不反抗是因为我爱你往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中日期字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。在创建动态分区表时，首先要在当前会话窗口做如下设置 set hive.exec.dynamic.partition =true //（默认false）,表示开启动态分区功能
2020-09-18 14:57:49
2797
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人