- 博客(22)
- 收藏
- 关注
RSS订阅原创 我提交的第一个Flink commit - Flink 闭包检查
为什么闭包Flink中算子都是通过序列化分发到各节点上，所以要确保算子对象是可以被序列化的。算子的成员变量，代码中的匿名内部类都是检查的范围。闭包检查入库被调用的入口是 StreamExecutionEnvironment#clean()而真正执行闭包检查的是ClosureCleaner#clean()代码不复杂。我们之间看代码来分析private static void clean(Object func, ExecutionConfig.ClosureCleanerLevel level, b
2020-10-23 09:16:16
475
5
原创 Flink 源码阅读之Async IO该如何使用
先看例怎么实现一个异步IO的例子public class AsyncFunctionExample extends RichAsyncFunction<String, String> { private transient DataSource dataSource = null; @Override public void open(Configurati...
2020-03-21 18:14:40
408
原创 一个由于JAR冲突导致的Flink checkpoint失败的问题
开门见山上报错2020-03-05 16:30:08,219 WARN org.apache.hadoop.hdfs.DFSClient - DataStreamer Exceptionjavax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml....
2020-03-05 17:18:50
490
原创 一个由FAIL_ON_SYMBOL_HASH_OVERFLOW引出的Flink类加载问题
Hadoop classpath下的Jackson 和User jar内的Jackson冲突此文章排查问题不单单指Flink，各种on YARN 集群环境都，本文都可以提供排查思路。直接亮出报错java.lang.NoSuchFieldError: FAIL_ON_SYMBOL_HASH_OVERFLO at org.elasticsearch.common.xcontent....
2020-03-03 22:38:15
268
原创 使用kibana界面导出数据
基于kibana 6+1 Management -> create index patterns选择你需要的索，并创建 之后一路确定就可以。2 Discover -> query -> save根据你的实际情况和查询条件查询你想要的数据保存你的查询结果。3 share and report设置...
2019-12-23 14:41:57
22366
原创 Table 和 tableSink schema不匹配问题
使用SQL 查询获取一个table结果，但通过JsonRowSerializationSchem.Builder(string schema).build()构造出来的table schema 无法与之相匹配背景 做一个统计，随将Datastream 注册成了Table，并使用SQL获取一个简单的查询结果。最后将数据写入Es。上代码：public class AggregationFunct...
2019-12-20 18:21:40
3579
原创 Flink简单教学6-operator
OperatorsDataStream Transformationstransformation 译为算子Transformation描述MapDataStream → DataStream传入一个元素，返回一个元素元素之间类型可以不一样FlatMapDataStream → DataStream传入一个元素，返回0个或多个元素，类型可以不同Filter...
2019-11-26 21:15:34
234
原创 Flink简单教学5-时间
时间（Time）Flink支持三种不同的时间：处理时间（processing time）：指当前操作的时间（如：map()）。当程序以处理时间运行，所有基于时间的操作（窗口），都依赖各个operator的机器时间。事件时间（event time）：事件时间可以理解称为数据产生的时间，是和数据绑定的。使用事件时间时必须设置其水印，在一定范围内可以处理乱序数据。接收时间（ingestion ...
2019-11-18 18:55:19
166
原创 Flink简单教学4-编程模型
编程模型此章编程模型是重点，理解Flink是如何工作的。虽然不涉及代码但非常有必要花时间阅读(2-4)节为重点1 层次抽象(Levels of Abstraction)从底向上，抽象程都由低到高，以下说明了解以下即可。最低层次的抽象仅仅提供了有状态的流。它通过流程函数嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注...
2019-11-13 22:41:59
137
原创 Flink简单教学3-编写你的第一个flink程序
编写你的第一个flink程序被公认为大数据的hello world程序world count。我们将用flink Stream 编写一个通socket中读取字符并统计出结果。 创建maven工程，指定JAVA编译版本1.8<build> <plugins> <plugin> <groupId...
2019-11-12 10:58:27
768
原创 Flink简单教学2-本地安装和运行
下载安装包访问官网,下载最新版本。本教程使用Flink1.9版本。目录说明bin flink 启动的脚本文件lib flink 运行时jar包依赖conf flink 启动的配置，如web端口，日志配置等example flink 提供了很多例子，不但有流和批的还有python接口的执行例子启动cluster单机版 进入bin执行命令 wind...
2019-11-12 10:57:56
288
原创 Flink简单教学1-什么是Flink
什么是Flink官方翻译Apache Flink是一个分布式处理引擎，用于无界和有界数据流上的有状态计算。Flink可以在大部分常见的集群和任何内存规模中运行。处理无界数据（Unbounded and Bounded Data）任何类型的数据都是作为一个事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互，所有这些数据都以流的形式生成。数据可以作为无界或有界流处理。...
2019-11-12 10:57:37
251
原创 FLINK源码阅读-FLINK LOCAL 模式启动过程
从StreamExecutionEnvironment跟进去可以看到，实现类里面有个LocalStreamEnvironment,这个就是local模式启动的入口从 StreamExecutionEnvironment.execute() 进去public JobExecutionResult execute() throws Exception { return execute(DEFAU...
2019-10-10 15:28:26
446
原创 Spring boot + redis 消息队列 + websocket
前言我已经转方向到大数据了，所以spring 那套以及web那套不是我主要研究的对象。但是我写之前一篇redis 消息队列发布订阅模式spring boot实现立了一个flag 要把websocke 加进来。拖了一年多终于准备把这篇写博客写出来，可能是我最后一篇和spring相关了（还是小心的好不要随便里flag）。目的完成三个组件的整合，达到redis 的消息队列中推送消息，浏览器页面能收...
2019-08-31 10:03:18
1345
1
原创 LRU算法介绍及简单实现
LRU算法(Least Recently Used)最少最少使用是一种常见的页面置换算法。LRU原理用一个教材案例来演示LRU原理，假设内存只能容纳3个页大小，按照7 、0、1、 2、 0、 3、 0、 4 的次序访问页。假设内存按照栈的方式来 描述访问时间（即在上面的是最近访问的，在下面的是最远时间访问的），LRU工作如下：[外链图片转存失败(img-73Q9TS4b-156518046...
2019-08-07 20:22:17
385
原创 flink写入kafka默认只写到一个partition
如题使用flink FlinkKafkaProducer0* 时，有一个最常用，也是官方例子的构造方法 有三个参数如下/*** @param topicId* ID of the Kafka topic.* @param serializationSchema* User defined key-less serialization schema.* ...
2019-04-12 14:04:21
3173
原创 filebeat + redis +ELK 日志集成笔记
filebeat + redis +ELK好久没有写博客了，看了以下上一篇的博客还是2017年的，写的东西都是基础的教学，感觉网上一搜一大把，而且写的比我好的千千万。所以打算以后写不写教学类的东西（写一篇好的教学类的博客真的很难）最近稍微的了空，而且项目上有程序对日志查询这块有需求，就搭建了一套ELK日志系统。选型，介绍什么的就不说了。这篇文章是我自己的笔记，主要是记录一些命令和一些问题的解...
2018-11-21 22:03:19
628
原创 redis 消息队列发布订阅模式spring boot实现
最近做项目的时候写到一个事件推送的场景。之前的实现方式是起job一直查询数据库，看看有没有最新的消息。这种方式非常的不优雅，反正我是不能忍，由于羡慕本身就依赖redis，刚好redis 也有消息队列的功能，就简单的使用redis 来实现这个消息推送。之前参考网上的例子，发现全部来自一个地方，spring 官方的一个例子，某些打着“非官方例子”的头号，还是一样就复制了一下官方的例子，怕是自己都没
2017-09-16 17:08:07
14432
7
原创 spring boot整合shiro引用配置文件配置是出现的问题
Spring boot 整合shiro 使用yml配置文件 最近自己玩一下springBoot配置 然后整合一下常用的框架，遇到一个问题。配置LifecycleBeanPostProcessorBean 的时候总是先于spring 读取yml文件。导致配置失败 @Bean(name = "shiroEhcacheManager") public EhCacheMan
2017-04-12 13:27:15
38875
6
原创 swagger与springmvc整合一点tips
就在上周公司开发一个新的模块，前后端分离的，所有的前端页面都用异步，就试用swagger 来生成接口文档。不多说，我直接上代码。至于maven的引用包什么的我就不多提了，很多大神都有写过，网上一搜一大把我就说说具体的配置@Configuration@EnableSwaggerpublic class MySwaggerConfig { private SpringSwag
2016-10-29 23:02:37
301
原创 Ajax 请求同步与异步
可能有新朋友看到这个标题！同步？？ajax 不就是发送异步请求的么？ 其实在JQuery的$.ajax()方法中 有一个参数 async (在这里，async默认的设置值为true，这种情况为异步方式，就是说当ajax发送请求后，在等待server端返回的这个过程中，前台会继续 执行ajax块后面的脚本，直到server端返回正确的结果才会去执行success，也就是说这时候执行
2016-09-03 21:40:46
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人