- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 周记2021-01-29之细节是魔鬼
又过了非常平淡的一周，这周聊一聊技术细节的问题，俗话说的好，细节是魔鬼，作为一个程序员，不注重技术细节会让你经常掉到坑里还不知道怎么掉进去的，太注重技术细节又会让你陷入困境无法自拔，轻则浪费掉时间，重则影响身心健康、发量锐减。接下来让我们看看本人这周遇到的几个技术细节问题以及解决方案。对象序列化与反序列化用到的类版本有差异导致反序列化失败先介绍一下背景，有一个运行flink sql向HDFS写入orc文件的需求，于是通过flink sql client（或flink-sql-gateway服务）向fl
2021-01-29 17:35:41
370
1
原创 flink流式任务从savepoint恢复方案
flink流式任务从savepoint恢复方案背景方案一：任务取消时不删除Checkpoint功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入背景为了方便flink作业以sql形式开发、发布、运维，我们建立了flink任务管理平
2021-01-22 19:17:14
2430
4
原创 周记2020-11-27
Java获取所在主机空闲端口参考知乎欧阳羽轩学习了时间轮不得不说真是一个不错的设计，参考:时间轮在 Kafka 的应用和实战
2020-11-27 16:34:50
96
原创 技术总结2020-11-06
本周在技术上做了以下几件事情：学习java8后新的日期时间api参考：LocalDateTime用法（jdk1.8 ）写一下自己的理解，LocateDateTime是按本地时区生成的时间，Instant是标准时间（即格林尼治时间），它们之间相互转换需要提供时区信息（ZoneId或Clock）。同时要注意新api对象都是不可变对象。Flink Sql 向Mysql写入数据时发现莫名删除历史数据问题解决原因：如果某个key对应的数据在state中不存在了，会生成delete事件，从而触发mysql删
2020-11-06 16:23:24
107
原创 Spark Streaming对接Kafka异常kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
使用版本kafka:0.9.0.0 spark-streaming-kafka:spark-streaming-kafka-0-8_2.11 spark:2.3.0代码val kafkaStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, ...
2018-05-21 21:14:06
1386
空空如也
dom4j节点增加属性问题
2014-08-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人