- 博客(61)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Flink 1.14 源码阅读
目录env.execute("test Flink")getStreamGraph()StreamGraphGenerator.generate()transformationsexecute(StreamGraph streamGraph)executeAsync(jobGraph)getExecutor()execute(streamGraph, configuration, userClassloader)deployJobCluster()return deployInternal(deployIn
2022-04-28 15:49:23
2187
2
原创 Flink State
目录State类型Keyed StateValueStateListStateReducingStateAggregatingStateState类型Keyed State字面意思，这是一个作用在keyedStream上的state。所以，首先要对Stream进行 keyBy()通过下图， 我们可以知道，keydState 包含以下五种。1. ValueState<T>2. ListState<T>3. ReducingState<T>4. Aggrega
2022-01-13 16:40:58
704
原创 Flink 1.13 内存模型及配置方法
目录概览Total process MemoryDetail & Config概览Since 1.10 TM 做了重大更新。Since 1.11 JM 内存模型做了重大更新。本文主要讲解 TM 内存模型。官网链接 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/memory/mem_setup_tm/Total process Memory先理解一下官网的这张图total proce
2021-12-30 14:45:37
1433
原创 Flink on yarn Container released on a *lost* node
目录背景Yarn 上面查看日志背景FLink on yarn Cluster 模式运行一段时间后，程序突然报错，查找Exceotion 发现 ”Container released on a *lost* node”具体报错如下。2021-12-24 09:43:43,931 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Filter -> Process -> (Sink: status,
2021-12-24 09:58:47
1915
原创 java.lang.RuntimeException: Buffer pool is destroyed.
对于这个异常，要具体问题具体分析，我这个异常是因为在使用侧输出流的时候， outputTag<String>, 向kafka发送数据的时候序列化用的是JSONOBJECT， String cant be cast ....jsonobject 导致的。18:37:53,728 WARN org.apache.flink.streaming.api.operators.AbstractStreamOperator - Error while emitting latency marker.
2021-12-17 16:28:31
2982
原创 Flink sql 1.14 并行度设置
文章目录codetablestream 模式下分区提交方式code tEnv.getConfig.setSqlDialect(SqlDialect.HIVE) tEnv.getConfig.getConfiguration.set[java.lang.Boolean](HiveOptions.TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM, false) tEnv.getConfig.getConfiguration.set[Integer](Hi
2021-12-15 14:47:55
4097
原创 flink sql 1.14纯净版
文章目录pomcodepom <artifactId>flink-sql_1.14</artifactId> <version>1.0</version> <name>flink-sql_1.14</name> <!-- FIXME change it to the project's website --> <url>http://www.example.com</url>
2021-12-15 09:47:46
1393
原创 Caused by: java.lang.NoSuchMethodError: org.apache.commons.math3.stat.descriptive.rank.Percentile.wi
怀疑是版本冲突， 在pom里面查找math3, 把hadoop-common里面的 exclude了 再测试Caused by: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. ... 13 moreCaused by: org.apache.flink.client.program.ProgramInvocationExcepti
2021-12-15 09:40:46
2207
原创 Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'hive' that implements 'org.apache.flink.table.planner.delegation.ParserFactory' in the classpath.// 添加依赖 <!-- Hive Dependency --> <dep
2021-12-14 17:53:39
4346
5
原创 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
Log Type: jobmanager.outLog Upload Time: Tue Dec 14 17:49:13 +0800 2021Log Length: 760617:49:11.784 [flink-akka.actor.default-dispatcher-17] ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in the cluster entrypoint.
2021-12-14 17:51:45
2999
3
原创 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.metastore.api.NoSuchObjectExcept
hive-exec 的 scope 去掉 Log Type: jobmanager.outLog Upload Time: Tue Dec 14 17:18:31 +0800 2021Log Length: 613817:18:30.403 [flink-akka.actor.default-dispatcher-16] ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in
2021-12-14 17:50:45
2032
原创 Flink sql CDC 2.x 应用code
参考链接flink DS 模式官方文档pom文件参考 flink cdc2.x mysql ds 模式codeimport com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.ververica.cdc.connectors.mysql.source.MySqlSource;import com.ververica.cdc.debezium.StringDebeziumDeserializ.
2021-12-08 09:03:58
272
原创 Flink CEP 及 代码演示 -- Flink的复杂事件处理
Flink CEP参考地址基本概念pom 依赖code数据源LoginEvent 实体类业务逻辑代码运行效果图参考地址flink cep 官网链接基本概念FlinkCEP是在Flink上层实现的复杂事件处理库。 它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。本页讲述了Flink CEP中可用的API，我们首先讲述模式API，它可以让你指定想在数据流中检测的模式，然后讲述如何检测匹配的事件序列并进行处理。 再然后我们讲述Flink在按照事件时间处理迟到事件时的假设，
2021-12-07 13:37:10
1663
原创 Flink cdc2.x mysql维表关联 (Flink 1.13 DataStream)
Flink cdc mysql维表关联需求背景模拟场景需求背景无论是实时还是离线场景，都离不开维表的关联。痛点： 维表更新 ·离线处理还好，更新之后重新处理一下我们的业务逻辑即可。 ·但是流式/实时场景中，码表的更新，意味着有关联不上的数据，cdc诞生之前，我们可能会将未匹配到的数据写到‘未识别’的分区中，再跑一次离线任务关联未匹配到的数据，但是这种处理对于实时是很不友好的。模拟场景现有流式数据 student(id, name, age, clazz_id, clazz_name(需要
2021-12-06 16:53:04
4742
5
原创 The application contains no execute() calls.
The application contains no execute() calls.没有调用 execute() 方法。2021-12-03 09:20:31 [flink-akka.actor.default-dispatcher-4] WARN ApplicationDispatcherBootstrap:169 - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.fl
2021-12-03 14:07:15
1949
原创 Flink sql 1.13 读kafka 实时写Hbase
参考文章Flink-sql kafka 实时写入Hive版本Hbase 2.1.0-cdh6.1.1pom文件文件中有一些没有用的依赖，可以自己剔除。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source>
2021-12-03 10:57:49
1070
原创 Cannot discover a connector using option: ‘connector‘=‘hbase-2.2‘
Cannot discover a connector using option: 'connector'='hbase-2.2'Could not find any factory for identifier 'hbase-2.2' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.将 flink-connector-hbase-2.2_2.11-${flink.versio
2021-12-03 10:41:56
3122
1
原创 Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered “table“ at line 1, column 18
Flink sql hive 问题11Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered "table" at line 1, column 18.table 为flink 关键字，在建表的时候 `table`
2021-11-29 13:40:56
3538
原创 Flink-sql kafka 实时写入Hive
Flink-sql kafka 实时写入Hive 环境pomflink lib 文件Demo环境flink 1.13.1java 1.8scala 2.11hive 2.1.1-cdh6.1.1hadoop 3.0.0-cdh6.1.1pom <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compile
2021-11-29 13:26:33
917
原创 Flink 写入 OSS问题记录
目录问题描述 Caused by: java.io.IOException: No space left on deviceFlink读写流程解决办法问题描述 Caused by: java.io.IOException: No space left on deviceCaused by: java.io.IOException: No space left on device at java.io.FileOutputStream.writeBytes(Native Method)
2021-09-09 13:51:43
1207
1
原创 Flink 1.13.0 集成hive 问题整理
文章目录Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConfCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConfFlink 1.13.0 集成 Hive 的时候，执行报错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.map
2021-07-24 17:07:39
1569
原创 Flink on yarn 问题梳理
文章目录1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.解决办法： 在 flink 配置文件里 flink-co
2021-06-30 11:07:45
2604
5
原创 flink 问题记录
文章目录1. Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因1. Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.Nat
2021-06-09 13:41:55
1706
原创 Flink Hive 探索
Flink Hive参考文档描述过程总结话不多说，干货`pom文件，不一定是最准确的，但是是能用的。欢迎各位大佬指正。``scala code``Scala stream code`参考文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/hive/overview/#dependencies描述过程总结整个探索的过程，可以总结为‘痛并快乐着’。痛1. 官方文档中，直接给了几
2021-06-09 13:36:53
353
原创 Spark-Sql 问题梳理
Spark-Sql 问题梳理Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: test; line 1 pos 14Exception in thread “main” org.apache.spark.sql.AnalysisException: Table or view not found: test; line 1 pos 14Exception in threa
2021-05-29 13:44:30
372
原创 Structured Streaming 问题梳理
Structured Streaming 问题梳理10:01:36,603 ERROR org.apache.spark.sql.execution.streaming.StreamMetadata - Error writing stream metadata StreamMetadata(f092ec75-4780-41f2-a21c-1b325d8d8b89) to file:/C:/Users/****/AppData/Local/Temp/temporary-81055e7a-cf1c
2021-05-29 10:33:00
341
原创 Spark-Streaming程序问题记录
Spark-Streaming程序问题记录Spark-Streaming程序启动之后没有Spark-SqlSpark-Streaming程序启动之后没有Spark-Sql 1.程序可以正常消费kafka消息，但是spark-sql里面的逻辑没有跑。 2.kill程序之后查看日志，没有异常。 3.只有一条认证的问题，待验证。先记录下来。...
2020-11-19 11:22:02
59
原创 初识Hadoop 之 HDFS 及安装【持续更新中......】
目录HDFS概念HDFS的概念存儲模型：字节架构模型常用命令：HDFS概念当数据集的大小超过一台独立的计算机的存储能力的时候，这个时候就有必要对文件进行分区(partiiton)存储在若干台计算集上。管理网络中跨多台计算机存储的文件系统，叫做分布式文件系统（Distribute FileSystem ）。该系统架构于网络之上，势必会引入网络编程...
2019-11-28 11:48:26
419
原创 Hadoop 之 HDFS 基本概念 | 伪分布式安装/完全分布式安装
初识Hadoop 之 HDFS 及安装【持续更新中......】HDFS概念HDFS的概念存儲模型：字节架构模型NameNode(NN)DataNode（DN）SecondaryNameNode（SNN）（1.x）Block的副本放置策略HDFS读流程HDFS安装HDFS概念当数据集的大小超过一台独立的计算机的存储能力的时候，这个时候就有必要对文件进行分区(partiiton)存储在若干...
2019-11-28 11:47:55
281
原创 Flink 添加自定义数据源实操
文章目录依赖代码部分初学者可能会遇见的问题依赖不再赘述代码部分//样例类//用户行为case class MarketingUserBehavior(userId: String, channel: String, behavior: String, timeStamp: Long)//object MarketAnalysis { def main(args: Array...
2019-11-28 11:41:30
1404
原创 Apache Flink 入门
文章目录官网链接下载安装部署单机版DEMO常见问题汇总1. 分配资源不够2.官网链接https://flink.apache.org/下载安装部署单机版进入主页点击downloads,选择你想要的版本2.选择整合或者不整合hadoop的版本3. 下载上传下载的压缩包到虚拟机，并解压在解压目录下面bin/ 执行命令 ./start-cluster.sh 即可， ...
2019-11-13 15:17:40
490
原创 centos6.x 更改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0IPADDR=192.168.171....#保存退出:wq#重启服务service network restart
2019-10-24 15:38:47
192
原创 SpringBoot (非Web项目) 整合Kafka
文章目录概述催生背景业务流程：环境翠花！上代码pom文件入口last概述催生背景简单的介绍一下产生背景。目前我司主要消息队列采用的就是Kafka。JQ采用内外双网卡。DD对内，SFZQJQ外网网卡，DD消费不到，同时DD要消费的消息需要特定的格式，在此背景下催生了此需求。业务流程：消费Kafka -> 处理消息成特定的格式 -> 发送到DDKafka环境IDE: In...
2019-09-23 18:05:32
294
原创 Linux获取主机ip
ifconfig | grep 'inet addr' |awk 'NR==1 {print $2}'| awk -F: '{print $2}'
2019-09-17 11:47:34
1115
原创 SpringBoot 2.x整合kafka的问题汇总
文章目录依赖本地测试kafka序列化问题版本问题其他问题依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.1.0.RELEASE<...
2019-09-12 14:11:05
624
1
原创 HBASE 启动报错 Can't get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase
查看防火墙状态$ service iptables status关闭防火墙$ service iptables stop查看防火墙状态$ service iptables status停止hbase$ stop-hbase.sh启动hbase$ start-hbase.sh
2019-08-21 12:48:21
9179
1
原创 踩坑之 --JDK版本不一致》
文章目录背景问题分析及解决过程背景最近一直在做数据同步，整体是基于DATAX，进行二次开发。将由集团同步到各个省份。由于前期所挖的坑过深(部门之间模型不统一/程序开发过程中也没有考虑周全)，导致后期有很多数据同步需求不能满足，需要进行大量的手工同步任务，《预处理程序》也就这样应运而生。现在主要采用前后台分离-- 应用程序单独开发，所以在联调的时候问题就暴露出来了。问题Excepti...
2019-08-21 11:02:49
432
原创 Scala 运行linux命令之Base64加密
需求1：当前有需求在代码中执行lunux 命令，但是命令种包含了敏感字符’’/ | / / 等，scala对于这种有很好的解决办法1. 将执行的命令放在""" """中即可val cmd = """java -Djava.security.auth.login.config=/home/asiainfo/datax.properties/conf/kafka_consumer_jaas.co...
2019-07-22 12:56:59
877
2
转载 Elasticsearch 权威指南（中文版）
阅读地址：https://es.xiaoleilu.com/阅读地址2：https://elasticsearch.cn/book/elasticsearch_definitive_guide_2.x/
2019-07-22 12:49:12
1939
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人