- 博客(2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Flink 检查点算法 流程
1、现在是一个有两个输入流的应用程序，用并行的两个Source任务读取2、JobManager会向每个Source任务发送一条带有新检查点ID的消息，用这样的方式启动检查点。3、数据源将它们的状态存入检查点，并发出一个检查点barrier。4、状态后端在状态存入检查点之后，会返回通知给Source任务，Source任务就会向JobManager确认检查点完成。5、分界线对齐：barrier 向下游传递，sum 任务会等待所有输入分区的 barrier 到达。 对于 barrier 已经到达的分区，
2023-11-23 18:03:38
403
原创 hadoop运行环境搭建
1.1模板虚拟机环境准备1）准备一台模板虚拟机bigdata（这是虚拟机名字，自己随便起），虚拟机配置要求如下：注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备 [root@bigdata~]# yum install -y epel-release [root@bigdata~]# yum install -y psmisc nc net-tools rsy...
2022-04-18 18:42:02
221
空空如也
yarn跑完任务后想要看history和job，但是点不进去
2022-04-19
nginx设置按照路径访问
2022-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人