- 博客(4)
- 收藏
- 关注
RSS订阅原创 hive 中的case when嵌套与if用法实战
1. 用法一览if（条件表达式，结果1，结果2）相当于三目运算符，当条件表达式的结果为true时返回结果1，false时返回结果2。注意： if后面的表达式类型可以不一样-- 此表达式结果返回： 'hello' 「string类型」select if(100 > 50 , 'hello',-100) as res from dual ;-- 此表达式结果返回： ...
2019-08-25 21:14:02
11035
原创 Hql 中join原理浅谈
join的原理hive 执行引擎会将Hql的代码翻译为一个一个的map-「shuffle」-reduce 操作，所以实际上join操作都是基于一个或者多个的mr操作。对于连续的多表join来说，如果多张表join时使用同一列「字段」作为关联了解，那么这些join则会被翻译成一个reduce任务，否则将会被翻译为多个redude任务。eg1「会被翻译成一个reduce」：-- 由于...
2019-08-11 15:02:38
858
原创 【Hive】中拉链表使用场景
拉链表的基本操作步骤： 1. 初始化一次全量数据到历史拉链表中【只做一次操作就好】2. 历史拉链表与每日的日增量数据做merge操作3.关闭拉链的时间窗口 拉链表的常用使用场景 缓慢变化维（Slowly Changing Dimensions） 业务场景： 公司内部，员工的职级会随着时间的变化发生缓慢的变化，例如： 升职...
2019-07-27 17:17:07
1966
2
原创 python 获取某一节点下的子孙节点「适用于父子层级组织架构」
读取hive数据处理父子层级架构准备原材料hive中表的数据如下：读取hive中的数据，转化为List主程序逻辑如下：要获取某一个节点的所有子孙节点，需要将读取到的节点数据构造为树状结构构造树状结构的步骤如下：1. 构造节点元素类由于树状结构的每一个节点都需要有当前节点、父节点、以及直接子节点这三个核心元素，因此节点元素类如下：class Org: """ ...
2019-07-14 16:39:51
4135
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人