- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 reduceByKey、groupByKey、aggregateByKey区别及用法
reduceByKey、groupByKey、aggregateByKey区别及用法参考官网介绍使用方法数据准备具体算子使用reduceByKey、groupByKey、aggregateByKey区别reduceByKeygroupByKeyaggregateByKey参考官网介绍reduceByKey(func, [numPartitions])当在 (K, V) 对的数据集上调用时，返回 (K, V) 对的数据集，其中每个键的值使用给定的 reduce 函数func聚合，该函数必须是 (V,
2021-11-29 12:18:23
1105
原创 针对类似IDEA，pycharm,Webstorm，等编译器破解
在码农的世界里用最新版本的编译器爽到爆，总会看到有人在用几年前的编译器：在网上百度搜索的一串网址什么的，有时会好使，但是有时前一秒可以用，后一起就过期了。什么改系统时间来破解我也不会。下面请注意。 先说webstorm激活方式：Webstorm激活方法百度IntelliJ IDEA 注册码点击进入破解补丁无需使用注册码，下载地址：http://idea.lanyus...
2018-12-21 18:23:42
580
原创 hive的优化
Hive的优化处理首先hive和mysql都是explain+代码查看执行计划，这样就可以查看执行顺序。一个hive任务会包含一个或者多个stage（阶段），不同的stage之间存在着依赖关系，越复杂的查询就会引入越多的stage，而通常stage就需要越多的时间完成任务。一个stage可以是一个mapreduce任务，也可以是一个抽样阶段，或者一个limit阶段，以及hive需要的其...
2018-08-02 22:12:22
319
原创 Mysql表的连接方式
Mysql表的连接方式1.交叉连接（笛卡尔积）交叉联接返回左表中的所有行，左表中的每一行与右表中的所有行组合。交叉联接也称作笛卡尔积。 sql语句:select * from 表1，表2; 隐士笛卡尔积 select * from 表1 crross join 表2; 显示笛卡尔积 不带条件的内连接...
2018-07-17 17:42:56
5267
2
原创 EMQ（emqttd）的介绍和安装
EMQ官方文档地址：http://emqtt.com/docs/v2/index.html（中文）一．EMQ（消息服务器）介绍1.EMQ(Erlang/Enterprise/Elastic MQTT Broker) 是基于 Erlang/OTP 平台开发的开源物联网 MQTT 消息服务器。Erlang/OTP 是出色的软实时(Soft-Realtime)、低延时(Low-Latency)、分布式...
2018-04-24 15:41:27
6068
1
原创 数据仓库的多维数据模型介绍
多维数据模型的定义和作用：为了满足用户从多角度多层次进行数据查询和分析的需要而建立起来的基于事实和维的数据库模型。其基本的应用是为了实现OLAP（Online Analytical Processing）。通过多维数据模型的数据展示、查询和获取就是其作用的展现，但其真的作用的实现在于，通过数据仓库可以根据不同的数据需求建立起各类多维模型，并组成数据集市开放给不同的用户群体使用，也就是根据需求定制的...
2018-04-04 12:02:17
990
spark-3.2.2-bin-3.0.0-cdh6.3.2
2022-10-20
有关java中循环的死循环问题
2017-07-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人