- 博客(308)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 对比Flink作业提交的几种方式
1. Session Mode1.1 流程（1）session mode会预分配资源，根据指定资源实现创建一个flink集群常驻与Yarn中，并启动一个JobManager和若干TaskManager。（2）这时可以直接提交作业，节省了申请和分配资源的开销1.2 优缺点总结（1）该模式下所有job共享这些固定的资源，而且作业之间不能隔离，会出现资源竞争的情况。（2）当一个TM发生故障，那么所有在这个节点上的job都会失败。（3）当提交的作业越来越多时，JM的负载会越来越高。1
2022-01-02 11:12:07
1329
原创 Flink on Yarn/K8s原理剖析及实践
1. Flink整体架构概览如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。JobGraph由source、map()、keyBy()/window()和slink等算子组成。当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等）2. Flink架构概览之--JobManagerJobManager的架构图如下所示，JobManager的主要功能有：
2020-11-19 18:59:07
754
2
原创 Flink checkpoint原理
1. checkpoint与state的关系state就是checkpoint所做的主要持久化备份的主要数据2. Flink中的statestate主要分为keyed state和operator state2.1 state分类2.1.1 keyed state2.1.2 operator state又称non-keyed state，与一个operator的实例绑定；常见的operator state是source state，例如记录当前source的offset。.
2020-11-06 21:40:07
1234
原创 hive -e 和 -f 通过beeline执行文件中的hive sql语句
1. 在服务器命令行中直接执行sql语句或者sql文件中的内容有时需要在命令行中直接执行hive sql语句，希望不进入hive模式执行，这时候就可以使用hive -e 或者 hive -f 来实现1. hive -e 和 hive -f2. beeline -f ，beeline使用beeline -u "jdbc:hive2://localhost:10000" -n yourname -p passwore -f hivescript.sqlbeeline使用方式请..
2020-11-03 18:25:32
10302
原创 Flink中的时间属性总结
1. 时间属性分类上图为2中时间属性的对比。Processing Time处理起来简单，而处理结果（或者说流处理应用的内部状态）是不确定的。而Event Time在Flink内部做了各种保障，无论重放数据多少次，都能得到一个相对确定的可重现的结果。2. 应用中如何选择时间属性遵循以下原则：当应用遇到某些问题时，要从上一个checkpoint或者savepoint进行重放时，是不是希望结果完全相同。（1）如果希望结果完全相同，则只能用Event Time。（2）如果可以接受不同，则
2020-11-01 18:41:29
759
原创 Kylin集群安装教程
目录1. 准备工作1.1 创建kylin用户1.2 创建kylin二级制文件存放目录1.3 上传kylin文件到服务器2. 开始安装kylin2.1为ukylin用户设置KYLIN_HOME的环境变量2.2 检查环境2.2.1 执行check-env.sh，检查结果如下：2.2.2 接下来我们设置一下这些可选的环境变量3. 启动kylin4. 创建Sample Cube5. 在kylin UI查看刚才创建的 learn_kylin project6..
2020-10-29 19:01:01
1018
原创 Flinkx运行流程图
1. FlinkX简介FlinkX 本质就是根据配置文件，创建一个Flink执行环境StreamExecutionEnvironment。添加source、sink，最后执行env.execute()创建Source:由Reader的readData方法创建InputFormat读取数据并转化为DataStream。创建Sink:由Writer的writeData方法创建的OutputFormat导出到Target 数据源。2. Flinkx Local Mode运行流程图下..
2020-10-17 17:30:39
952
原创 在Idea中搭建fabric-sdk-java的开发调试环境
目录# 1.环境准备# 2. 下载fabric-sdk-java源码# 3. 启动fabric测试网络# 4. 在idea中运行End2endIT测试类今天就先写一个标题啦，未完待续......
2020-04-28 21:52:57
1307
1
转载 Java SPI原理和应用案例
SPI在Java中的实现与应用 | 京东物流技术团队_服务_接口_定义Java SPI概念、实现原理、优缺点、应用场景、使用步骤、实战SPI案例-CSDN博客
2024-04-13 19:49:22
9
原创 红黑树-B B- B+树总结
红黑树，B- , B+树的理解红黑树，B-树，B+树比较_你觉得大规模数据索引b树快还是红黑树快-CSDN博客b树，b+树，b-树,红黑树详解一锅端
2024-04-05 19:48:15
510
原创 分布式锁的几种实现方式
详解 Redis 分布式锁的 5 种方案-腾讯云开发者社区-腾讯云面试官：了解分布式锁？说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客面试官：了解分布式锁？说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客
2024-04-02 21:56:05
361
2
原创 Flink参数设置和性能优化
4、分桶聚合-适用于去重聚合场景例如count(distinct userId)，将数据的key先打散到多个桶进行聚合，再对分桶中的数据最后聚合。去重计算的分桶聚合（例如groupby分钟去重，如果一个key数据500w，另一个key数据1w）导致数据倾斜，开启分桶聚合、分桶个数。0、状态访问性能差、大状态以及数据倾斜这3种场景提供的微批处理、去重场景BitMap复用、两阶段聚合以及去重计算的分桶聚合的优化原理。3、2阶段聚合（适合计数、累加的聚合场景）：热点数据倾斜，先聚合再传递给下游。
2024-04-02 08:37:57
438
原创 Flink中几个关键问题总结
硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）Flink可靠性的基石-checkpoint机制详细解析硬核！一文学完Flink流计算常用算子（Flink算子大全）
2024-04-01 19:49:55
399
原创 关于历史、生活的一点感悟
1、耳熟能详的人之初，性本善，性相近，习相远，给我们的启示是：每个人生下来的时候，本性都是一样，但如果从小不好好学习和受外界的不良影响，人的本性就会变坏。所以，人从小就要好好学习，学会区分善恶，保持善良的禀性。可见外界对人的影响是很大的。2、当我们翻阅一些历史资料时，不难发现从历代王朝的故事中我们可以经常看到一些斗争和制衡。例如东汉时期的十常侍乱政、唐代时期李林甫利用“信息不对称”制造的“愚君政策”、还有加速赵宋王朝衰落的朋党之争，再比如蒋家王朝的嫡系、非嫡系部队。3、我们不难发现任何时期，都存在这些为
2022-12-02 08:15:09
97
转载 docker部署mysql
使用docker-compose部署mysql，参考资料使用docker-compose的方式部署mysql - 知乎
2022-04-19 10:45:28
206
转载 hive 解析json字符串及json数组
解析json字符串、json数组请参考这里get_json_object、json_tuple一文学会Hive解析Json数组（好文收藏）
2022-03-20 17:40:58
1371
转载 Flink sql计算 PV和UV的几种实现方案对比
1. 基于cumulateFlink SQL知其所以然：大家都用 Cumulate Window 计算累计指标啦-51CTO.COM2. sink使用upsert方式flink sql实时计算当天pv写入mysql_大数据技术与应用实战的博客-CSDN博客_flink sql 实时统计flink写入 mysql_flink sql实时计算当天pv写入mysql_连役的博客-CSDN博客3. 提前输出或者二次聚合Flink实践：使用FlinkSQL定时输出计算结果 - 代码先锋网..
2022-03-19 21:05:33
1290
转载 Hbase中的过滤器
hbase中过滤器的介绍以及使用方法，参考资料HBase Filter 过滤器之 Comparator 原理及源码学习 - 周蓬勃 - 博客园前言： 上篇文章 "HBase Filter 过滤器概述" 对HBase过滤器的组成及其家谱进行简单介绍，本篇文章主要对HBase过滤器之比较器作一个补充介绍，也算是HBase Fhttps://www.cnblogs.com/zpb2016/p/12775374.html...
2022-03-09 22:05:40
272
转载 Hbase学习资料汇总
参考资料hbase预分区总结 - 程序员大本营https://www.pianshen.com/article/44171407568/
2022-03-09 21:34:50
113
转载 Hbase预分区
【大数据基础】hbase预分区的作用_Hadoop_收获啦HBase预分区方法 - 大墨垂杨 - 博客园hbase 预分区与自动分区 - 西瓜哥119 - 博客园hbase预分区总结 - 程序员大本营
2022-03-09 21:34:18
232
Hive中分组取topN_row_number-rank和dense_rank的使用.pdf
2021-04-07
如何通过对hive的操作，来删除elasticsearch中的文档数据
2017-02-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人