- 博客(56)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 java使用递归合并map,多层级
java的map有putAll来合并两个map,但是只能做到第一层的合并,如果多层级就不行,使用递归做一个合并map简单方法to_map{ "a":"aaa", "b":"bbb", "c":{ "c1":"ccc1", "c2":{ "c11":"c1c1c1" }, "c3":"ccc3" }}from_map{ "b":"bbb_new", "c":{ "c1":"ccc1_new", "c3":{ "c11":"c1c1c1"
2021-09-13 11:48:39
1645
原创 flink集群各种部署方式
flink部署方式无资源管理standalone原生无平台Session Mode# (1) Start Cluster$ ./bin/start-cluster.sh# (2) You can now access the Flink Web Interface on http://localhost:8081# (3) Submit example job$ ./bin/flink run ./examples/streaming/TopSpeedWindowing.jar# (4)
2021-04-28 18:10:04
726
原创 kafka集群的搭建以及测试高可用(3节点)
kafka集群的搭建以及测试高可用(3节点)单节点kafka测试下载解压kafka包[root@node1 kafka1]# pwd/usr/local/soft/kafka1[root@node1 kafka1]# lltotal 44drwxr-xr-x 3 root root 4096 Apr 22 08:08 bindrwxr-xr-x 3 root root 4096 Apr 25 13:22 configdrwxr-xr-x 2 root root 4096 Apr
2021-04-28 11:30:13
989
原创 在一台机上搭建zookeeper集群(3节点)
在一台机上搭建zookeeper集群(3节点)主要步骤复制出三份zookeepercp zoo_sample.cfg zoo.cfg修改zoo.cfgzookeeper1/conf/zoo.cfgdataDir=/usr/local/soft/zookeeper1/zkdatadataLogDir=/usr/local/soft/zookeeper1/zklogclientPort=2181server.1=node1:2777:3777server.2=node1:2888:388
2021-04-22 21:11:17
356
原创 springboot使用Jedis
springboot使用Jedis在springboot2.X版本后,默认使用的的redis客户端是Lettuce,如果项目中想要使用jedis,需要先把Lettuce依赖去掉,一般如下步骤1.pom引入依赖引入spring-boot-starter-data-redis排除lettuce-core引入jedis2.编写RedisConfig注入Jedis相关类,如JedisPoolConfig,RedisStandaloneConfiguration,JedisConnection
2021-04-10 20:55:57
2792
原创 java调用js脚本
项目中需要用到前端提交js代码, 后端执行, 这里记录一下简单使用使用的java8的Nashorn JavaScript引擎java代码@Test public void javaExecScript() throws Exception { /** * 1 java往js中注入数据,js使用注入的数据 */ String code = new String(Files.readAllBytes(Path.of(new
2021-03-31 15:36:00
482
原创 使用docker-compose启动创建和启动容器
以trino的镜像为例1 创建yml文件version: "2.2"services: trino: image: trinodb/trino container_name: trino ports: - "8080:8080" volumes: - C:/Users/xuyin/Desktop/trino/catalog:/etc/trino/catalog:ro - C:/Users/xuyin/Desktop/trin...
2021-03-19 19:31:08
1930
原创 Apache Calcite自定义csv adapter之FilterableTable
上篇文章是实现了csv ScannableTable, 现在在那基础上增加使用FilterableTable实现先说一下流程创建MyFilterableTable, 实现FilterableTable 修改CsvSchema, 增加判断创建FilterableTable类型的表 修改my_csv_model.json的配置1 MyFilterableTable与Scannable代码基本一致, 不过实现的是FilterableTable, 重写的scan方法多了一个参数(这个参数暂时不用管
2021-02-23 14:16:16
678
1
原创 Apache Calcite自定义csv adapter之ScannableTable
上篇文件写的calcite的简单使用, 现在简单实现一个自定义的csv adapter例子, 这里写的肯定是没有自带的csv例子完美, 只是简单的模仿, 学习开发adapter的基本流程首先可以先说一下流程创建SchemaFactory 创建Schema 创建ScannableTable 创建Enumerator1 calcite model文件my_csv_model.json{ "version": "1.0", "defaultSchema": "csv", "s
2021-02-02 20:25:27
751
1
原创 javacc的安装和使用
在学习使用calcite的时候, 了解了calcite的sql语法解析, 夸张自定义的sql语法了解到calcite用到了freemarker和javacc技术, 这里简单介绍一下javacc的安装首先官网下载https://javacc.github.io/javacc/解压配置环境变量把javacc-javacc-7.0.9/scripts路径加入环境变量在javacc-javacc-7.0.9创建target把javacc-javacc-7.0.9/boot
2021-02-01 20:18:24
1517
1
原创 Feign的理解和使用
1简单说明简单的说, Feign是一个用于请求http接口的框架, 再java中可以用少量代码, 简单整洁的调用http.2使用例子maven依赖<!-- feign-core --><dependency> <groupId>io.github.openfeign</groupId> <artifactId>feign-core</artifactId> <version>11
2021-01-30 17:11:55
918
1
原创 Apache Calcite初探和csv简单例子
ApacheCalcite官网介绍Apache Calcite is a dynamic data management framework. It contains many of the pieces that comprise a typical database management system, but omits some key functions: storage of data, algorithms to process data, and a repository for st
2021-01-21 13:17:22
1958
2
原创 基于centos创建一个简单docker镜像,包含javaweb应用
基于上一篇文章使用dockerfile构建自己的镜像现在尝试创建一个包含javaweb应用的docker镜像
2020-12-30 17:12:14
243
原创 使用dockerfile构建自己的镜像
查看镜像,以centos为基础C:\Users\xuyin\Desktop\Dockerfile>docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEcentos latest 300e315adb
2020-12-29 14:21:13
223
原创 docker启动mysql记录
docker pull mysql docker images docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql --name：指定容器名--p：映射宿主主机端口-v：挂载宿主目录到容器目录-e：设置环境变量，此处指定root密码-d：后台运行容器--privileged=true 防止挂载数据卷出现权限问题 然后工具连不上 报错:Public Key Retrieval is not allowed 进入容器执行.
2020-12-28 19:45:39
230
原创 vue elementui前端异步方法转同步记录
父组件调用子组件的表单验证方法是异步的// 子组件的方法validateForm(){ this.$refs.jsonEditor.getRef("form").validate((valid, hints) => { return {valid: valid, hints: hints} })}// 父组件调用,会发现校验结果,hints为undefinesubmitAll(){ this.$refs.resourceEditorR
2020-12-23 10:33:56
2968
1
原创 flink1.12 kafka升级记录
在1.12之前的做法在1.12之前 flinksql是不支持kafka 多个topic的设置, 所以之前使用的时候简单对官方kafka连接器中kafkaDynamicSource进行封装,让其支持多个topic的设置对应文章是1.11.0 flinksql自定义kafka源(支持多个topic)现在1.12版本中, kafka做了一些改动,如下1.12多topic的支持(源码调试查看)比如KafkaOptions中TOPIC的类型是List<String>分隔符是
2020-12-19 15:34:46
1021
1
原创 springboot项目启动失败Could not initialize class com.fasterxml.jackson.databind.ObjectMapper
项目启动报错org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedded Tomcat at org.springframework.boot.web.servlet.context.Servl
2020-12-11 20:03:54
10204
原创 python实现两个excel数据匹配，最终写入新的excel文件
需求背景表1有两列表2包含表1不过缺少坐标字段需要根据HID匹配两个表，把表1的坐标内容补充到表2代码import shutilimport sysimport xlwtimport xlrdfile1 = "C:\\Users\\xuyin\\Desktop\\新建文件夹\\match-excel\\表1.xls"#打开表1wb1 = xlrd.open_workbook(filename=file1)# 表1要匹配的列索引hid_index1 = 0#
2020-12-09 14:13:01
16122
30
原创 1.11 flink读取本地文件例子以及细节
两个细节可以指定文件或目录 可以指定读取模式一次性或持续性检测代码例子PROCESS_ONCE模式public class FileToPrint { public static void main(final String[] args) throws Exception { StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
2020-11-21 13:44:19
3005
5
原创 1.11 flinksql自定义redis connector 连接器
Flink Stream ApiApache Bahir已经实现了redis对应的连接器Flink streaming connector for Redismaven仓库如下<dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version&g.
2020-10-20 23:33:23
3279
34
原创 1.11 flink中的动态加载udf jar包
背景项目中想要把flink做到平台化,只需要编辑sql便能把任务跑起来,开发过程中遇到一个问题,就是如何能够自动的加载自定义的函数包,因为项目中已经把main打包成一个通用的jar, 使用时只需要把sql信息用参数形式传入就可以. 但是如果sql中需要使用到udf,那么就需要实现flink的动态加载jar先说结论在通用的jar main中通过反射使用类加载器,加载对应的jar包 通过反射设置StreamExecutionEnvironment中的configuration的confData中的
2020-10-16 18:13:33
3543
1
原创 1.11.2 flinksql自定义sls connector 连接器
背景需要连接阿里日志服务sls,获取日志阿里提供了对应的flink-log-connector阿里云文档不过他提供的是flink stream api, 我们需要使用flinksql, 所以需要自定义编写对应的table soruce注意flink-log-connector一次获取的是多条日志格式RawLogGroupList, 想要更好的结合flinksql还可能需要去修改对应的源码编码format编写一个处理格式处理器SlsFormatFactory...
2020-09-29 11:52:20
1595
10
原创 孙金城视频总结(5)_flink流计算语义
flink流计算语义at-most-once至多一次 at-least-once至少一次 exactly-once精准一次语义基于快照,快照基于状态state,状态基于状态后端statebackendstate分为两种public interface ManagedInitializationContext { boolean isRestored(); OperatorStateStore getOperatorStateStore(); KeyedStateStore
2020-09-11 20:51:49
203
原创 孙金城视频总结(4)_flink流计算容错重启Source与Checkpoint
之前例子中存在的问题在之前的例子中,使用了checkpoint,虽然异常重启后可以继续失败前sum值继续运算,但是数据源的消费位置是从头开始,这不是我们想要的,要实现重启后消费位置offset是继重启前的offset,那么需要source端有支持MySourcepublic class MySource implements SourceFunction<Tuple3<String, Long, Long>> , CheckpointedFunction { .
2020-09-10 11:44:24
348
原创 孙金城视频总结(3)_flink流计算容错重启策略与Checkpoint,Savepoint结合
1 启用Checkpointing实现job异常重启后继续上次状态public class EnableCheckpointForFailover { public static void main(String[] args) throws Exception { StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment(); // 1
2020-09-09 19:20:15
208
原创 孙金城视频总结(2)_flink流计算容错重启策略
noRestartflink默认,不会重启public static void main(String[] args) throws Exception { StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment(); streamEnv.setRestartStrategy(RestartStrategies.noRestart());//默
2020-09-09 16:30:02
111
原创 孙金城视频总结(1)_flink状态后端statebackend管理,容错以及升级程序注意事项
Flink-StateBackend视频地址MemoryStateBackend特点 基于JVM堆内存,会有oom风险(TM,JM) 持久化时,State网络传输到JM机器,同样存在JM的内存中 适用 开发测试 状态小的流计算场景,比如比如只包含数据过滤和转换以及数据源的消费位置 FsStateBackend特点 基于JVM堆内存,会有oom风险(TM) 持久化时,State存在TM的文件系统,只传输文件名和文件目录传输到JM 适用 大状态(前提是TM分摊
2020-09-08 21:29:45
197
1
原创 springboot数据库连接-datasource
自动配置默认使用Hikari连接池pom.xml<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId> <version>${springframework.version}</version></dependency&g
2020-08-31 14:19:01
1309
原创 javaweb项目中自定义通用的service层和mapper层
创建BaseMapper我这里是基于TKmybatis的框架,也可以不用,自己写通用的方法public interface BaseMapper<T> extends tk.mybatis.mapper.common.BaseMapper<T>, BaseSelectMapper<T>, ExampleMapper<T>{}创建BaseServicepublic interface BaseService<T> { L
2020-08-31 13:54:19
985
原创 linux常用命令
linux(centos7)查看版本 uname -a cat /proc/version cat /etc/redhat-release cat /etc/issue (yum install redhat-lsb -y)lsb_release -a cat /etc/redhat-release getconf LONG_BIT 用户 useradd test passwd test 开启ssh 是否安装ssh yum list installed
2020-08-27 19:29:53
79
原创 window系统端口映射
背景window本地安装了docker,自己window虽然能够接通docker容器的端口,但是其他内网机器下无法连我docker容器 , 所以可以把docker容器的端口映射到window的端口端口映射 查看已配置的“端口映射”清单 netsh interface portproxy show v4tov4 添加“端口映射” netsh interface portproxy add v4tov4 listenaddress=192.168.5.38 listenport=18
2020-08-27 19:27:11
298
原创 linux编译安装python
下载https://www.python.org/选择版本进去再根据环境选择下载,我这里选择的是源码,后面在服务器上编译和安装 . 如果是win系统之类的,可以直接下载installer的文件直接安装 , 一步到位, 不是这里要要说安装tar -zxvf Python-3.7.1.tgz 解压源码 mkdir /usr/local/soft/python3 等下的安装地址 yum install gcc 编译安装。（编译安装前需要安装编译器yum install..
2020-08-27 19:19:38
1943
原创 1.11.0 flinksql自定义oss connector 连接器
在tablesql中连接oss,暂时没找到线程的连接器,所以自己实现一个,根据阿里云oss的sdk进行读取数据和写数据到oss代码结构OssDynamicTableFactoryimport org.apache.flink.api.common.serialization.DeserializationSchema;import org.apache.flink.api.common.serialization.SerializationSchema;import org.apac.
2020-08-06 13:47:04
1816
9
原创 1.11.0 pyflink Vectorized udf自定义向量函数
特点Vectorized Python scalar functions takepandas.Seriesas the inputs and return apandas.Seriesof the same length as the output.参数是df.series类型 , 输出也是 , 输入行数和输出行数相同from pyflink.datastream import StreamExecutionEnvironmentfrom pyflink.table import ...
2020-07-30 10:19:05
806
原创 1.11.0 pyflink udtf自定义函数
官网地址https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/python/python_udfs.htmlfrom pyflink.datastream import StreamExecutionEnvironmentfrom pyflink.table import StreamTableEnvironment, DataTypesfrom pyflink.table.descriptors impor.
2020-07-29 19:43:17
1110
原创 1.11.0 pyflink中使用udf例子,多种方式实现
官网对应地址:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/python/python_udfs.htmlfrom pyflink.datastream import StreamExecutionEnvironmentfrom pyflink.table import StreamTableEnvironment, DataTypes, ScalarFunctionfrom pyflink.tabl.
2020-07-29 16:02:32
1418
原创 1.11.0 flinksql自定义kafka源(支持多个topic)
目前flink 1.11.0还不支持多个topic的kafka连接器 , 要实现这个功能需要自定义源,这里是基于已有的kafka connector<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.11.0</version&g
2020-07-27 20:23:40
2785
4
空空如也
正则表达是如何提取字串
2021-12-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人