- 博客(150)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Flink学习（六）-容错处理
快照– 是 Flink 作业状态全局一致镜像的通用术语。快照包括指向每个数据源的指针（例如，到文件或 Kafka 分区的偏移量）以及每个作业的有状态运算符的状态副本，该状态副本是处理了 sources 偏移位置之前所有的事件后而生成的状态。Checkpoint– 一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoints 可以是增量的，并为快速恢复进行了优化。外部化的 Checkpoint– 通常 checkpoints 不会被用户操纵。
2024-04-16 20:56:11
644
原创 Flink学习（五）-流式分析
事件时间(event time)：事件产生的时间，记录的是设备生产(或者存储)事件的时间摄取时间(ingestion time)：Flink 读取事件时记录的时间处理时间(processing time)：Flink pipeline 中具体算子处理事件的时间。
2024-04-11 12:03:19
338
原创 Flink学习（四）-数据管道 & ETL
只适用于一对一的转换，即对每个进入算子的流元素，map()将仅输出一个转换后的元素。flatmap()可以输出任意数量的元素，也可以一个都不发。
2024-04-07 14:35:34
554
原创 Flink学习（二）-基础概念
关注事件本身发生的顺序而不是事件被传输以及处理的顺序；记录在数据流中的事件时间的时间戳，而不是处理数据的机器时钟的时间戳。
2024-04-02 11:28:53
595
原创 ack使用containerd拉取自建docker仓库 x509: cannot validate certificate for because it doesn‘t contain 处理
主要是证书问题。
2024-02-02 20:52:57
466
原创 linux 上安装 minio
默认密码：minioadmin第六步，通过浏览器访问。进程将其输出打印到系统控制台，类似于以下内容。命令启动MinIO服务器. 这个路径参数。默认用户名：minioadmin。确定服务器操作的文件夹。
2023-12-21 17:15:30
990
原创 服务器往浏览器推消息（SSE）应用
SSE（服务器发送事件）SSE是一种基于HTTP的单向通信机制，用于服务器向客户端推送数据。它的工作原理如下：建立连接：客户端通过发送HTTP请求与服务器建立连接。在请求中，客户端指定了接收事件的终点（Endpoint）。保持连接：服务器接收到连接请求后，保持连接打开，并定期发送事件数据给客户端。事件流：服务器使用 “Content-Type: text/event-stream” 头部标识SSE连接，并使用特定格式的数据（事件流）发送给客户端。
2023-10-18 14:26:52
2391
原创 Doris(六)--通过 Canal 同步数据到 Doris 中
网上有众多方法，自行百度。查询是否成功，在 mysql 客户端输入出现如下提示，即表示 big log 正常开启。
2023-08-31 16:50:21
794
原创 Doris(四)-聚合模型的使用
这里使用聚合模型，可以在导入数据的时候，就将部分数据做预处理，提高查询效率。同样，因为是预处理，因此，数据细节会。
2023-08-07 15:45:13
203
原创 Datax 数据同步-使用总结（一）
datax 通常做离线数据同步使用。目前能想到的方案利用 linux 的定时任务+时间戳的方式做增量同步。
2023-08-04 16:24:11
2843
1
原创 Doris(三)-集群部署3个FE+3个BE
这里是因为已经启动过其他两个节点了。需要停掉所有FE之后，删除每个节点上doria-meta里面的内容之后。重新配置FE的关系。配置好主节点，并将相关FOLLOWER和OBSERVER信息都加入主节点的FE之后，再启动剩下两个节点的FE。看backends，显示alive，即为Backend搭建正常。输入如下sql，添加FOLLOWER和OBSERVER。此步也可以不配，不配，则默认在fe的安装目录下生成。a）在主节点上利用mysql客户端登录FE。第三节点（OBSERVER）第一个节点（主节点）
2023-08-03 23:52:10
5407
3
原创 3节点linux服务器集群搭建
由于当前集群部署已经成为主流，适当研究一些集群部署的基本操作，有助于后续像k8s集群、doris集群的部署。大部分集群都是一主两从这种三节点配置。故本文也是采用三节点完成相关学习和记录。
2023-08-01 23:05:07
385
原创 k8s+docker+spring boot搭建web服务
算是一次比较综合的检验了。基本上已经成功跑起来了，但是，存在问题：1，私有仓库的镜像不知道为啥不能拉取，但是到了节点上，又可以手动拉取。2，spring boot的application.yml文件，没有加载上。需要修改。
2022-10-17 00:29:44
846
原创 Linux常用命令操作
1，大文件日志关键字查询grep -A 行数 -B 行数 "关键字" 待查询的文件 > xx.log将待查询文件中，含有 关键字 的前后行数，输出到xx.log文件中。1、满足一个条件(包含 “TJ” )的语句：grep '1805' CloudPayment.log > out.logcat CloudPayment.log | grep '1805' > out.log2、满足两个条件中的一个条件（包含“1805” 或者 包含“1905”）的命令：...
2022-02-19 00:04:20
102
原创 RabbitMQ学习（七）-- TTL过期时间
目录一、添加队列10s过期二、某条消息5秒过期三、注意一、添加队列10s过期 @Bean("buildTtlQueue") public Queue buildTtlQueue(){ return QueueBuilder.durable(QUEUE_TTL_NAME).ttl(10000).build();//队列10s过期 }二、某条消息5秒过期核心就是那个MessagePostProcessor对象rabbitTemplate.convertAndSe
2020-12-20 21:36:58
218
原创 RabbitMQ学习（六）-- 限流器使用
目录一、添加配置二、添加代码三、测试结果一、添加配置spring: rabbitmq: listener: type: direct direct: acknowledge-mode: manual #手动模式 prefetch: 5 #每秒处理5条请求二、添加代码package com.wayne.listener;import com.rabbitmq.client.Channel;import lombok.exter
2020-12-20 17:06:43
223
原创 RabbitMQ学习（五）-- 消息Consumer ack
目录一、修改配置文件二、实现ChannelAwareMessageListener接口三、测试结果四、总结一、修改配置文件spring: rabbitmq: listener: type: direct direct: acknowledge-mode: manual #手动模式二、实现ChannelAwareMessageListener接口package com.wayne.listener;import com.rabbitmq.cli
2020-12-20 16:35:15
336
原创 RabbitMQ学习（四）-- 消息的可靠性投递
目录一、confirm模式1、配置2、添加callback回调方法3、测试结果二、return 模式1、配置2、添加returnCallBack代码3、测试结果一、confirm模式1、配置在新版rabbitMQ中，publish-confirms配置过时了，如果要使用confirm模式，则使用如下配置publisher-confirm-type: correlated即spring: redis: host: 10.211.55.
2020-12-15 23:31:39
171
原创 RabbitMQ学习（三）-- Spring boot 集成 RabbitTemplate
1，引包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> <version>2.4.0</version> </dependency>2，
2020-12-14 00:18:11
1078
1
原创 RabbitMQ学习（二）-- 工作模式
目录一、普通通道二、工作队列工作原理如图源码如下测试情况控制台打印二、发布/订阅模式工作原理图源码如下测试情况：三、routing模式工作原理源码测试情况四、topic模式工作原理源码测试情况一、普通通道代码已经在RabbitMQ学习（一）-- producer&&consumer写了，这里不在多言二、工作队列工作原理如图源码如下生产者package com.wayne;impo.
2020-12-11 00:34:07
132
原创 RabbitMQ学习（一）-- producer&&consumer
目录一、producer1，引入包2，创建main3，测试二、consumer1，代码2，测试一、producer1，引入包 <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> <version>5.
2020-12-09 01:23:43
234
利用二分法插入一个数据，数据总是无法达到有序的效果
2015-09-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人