- 博客(20)
- 收藏
- 关注
RSS订阅原创 用Flink实现的一个实时订单对账功能, Flink的双流实时对账
1.为什么业务订单数据不用Mysql之类的强事务性数据库监控反而用Flink的实时?一般这种涉及到订单的数据流都要用mysql监控实现,但是鉴于减少mysql的数据库压力和提高更实时性,可以考虑用Flink实时的数据流做实时的参考2.如何处理乱序数据?使用watermark水位保证第一层数据延迟.PS:这里的水位不能设置太长延迟使用processfuntion更加灵活的处理迟到...
2020-04-29 22:53:04
1371
原创 Flink中的布隆过滤器结合Redis的实现
场景: 同一时段大量用户涌入一个入口, 用常规的Set集合去重会造成OOM在Flink项目当中使用boolm过滤器进行UV的去重1. 算子进行计算 .process(new processFunWithBoolm())2.实现一个布隆过滤器class MyBloom(size: Long) extends Serializable { // 1<<27 ...
2020-04-27 20:25:42
900
原创 AggregateFuntion ,ProcessFuntion 使用
AggregateFuntion 是相当于累加器ProcessFuntion 是Flink的最底层API, 相对于DataStreamAPI 能访问更多的信息 如时间戳 ,wartermark等更多特定事件
2020-04-25 10:58:50
260
1
原创 Flink的运行架构理解
一 Flink运行时的组件Job ManagerResourceManagerTaskManagerDispatch先看一张简单的运行架构图, 没有基于Yarn :
2020-04-24 16:38:29
104
原创 Flink Procession API的使用
Flink 一共有三个层级APITABLE SQL APItransfrom APIProcession API这节主要讲 Procession
2020-04-24 09:30:38
93
原创 Spark编程的一些理解和Flink的区别
Spark和Flink都有用过现在总结一些他们各自的设计架构和设计理念Spark 不是真 - 实时 而是微批处理 3秒处理一个批次Flink是基于流时间Event Time 的真实时处理引擎, 来一条数据处理一条...
2020-04-24 09:30:32
156
原创 Flink的状态编程和容错机制
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>MY-dodos</title> <link rel="stylesheet" href="i
2020-04-24 09:07:55
393
原创 Flink-如何保证kafka的端到端exectyl-one
端到端的exactly-once对sink要求比较高，具体实现主要有幂等写入和事务性写入两种方式
2020-04-24 09:05:25
188
原创 Flink的 warterMark 理解
Watermark基本概念我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、分布式等原因，导致乱序的产生，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。 那么此...
2020-04-24 09:03:52
929
原创 VUE fastclick input 点击框输入失效， 需要点击两次
照搬github上面的东西了 can not bring up keyboard instantly in ios 11.3 FastClick.prototype.focus = function(targetElement) { var length;// Issue #160: on iOS 7, some input elements (e.g. date da...
2018-09-25 17:57:18
6911
2
原创 前端基础二
1、使用 typeof bar === "object" 判断 bar 是不是一个对象有神马潜在的弊端？如何避免这种弊端？使用 typeof 的弊端是显而易见的(这种弊端同使用 instanceof)：let obj = {};let arr = [];console.log(typeof obj === 'object'); //trueconsole.log(typeof arr =...
2018-07-17 11:25:10
207
原创 前端基础 一
js语言确实太灵活,出现的问题可能完全无法解释,弱类型语言也是另一种风骚.下面就整理一下一些记录原型链：在JavaScript中，原型也是一个对象，通过原型可以实现对象的属性继承，JavaScript的对象中都包含了一个”[[Prototype]]”内部属性，这个属性所对应的就是该对象的原型。slice ：中文意思 片， 一部分切割数组，返回一个子数组 spl...
2018-07-17 11:20:52
200
原创 大型数据仓库 整体架构的设计和理解
/* * Math.floor(x)//向下取整数* * * */ console.log('Math.floor(0.223333)=' + Math.floor(0.223333)) console.log('Math.floor(1.223333)=' + Math.floor(1.223333)) /* Math.max(X,Y,Z)...
2018-06-27 15:05:07
498
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人