- 博客(14)
- 收藏
- 关注
RSS订阅
原创 Flink 实现电子围栏进出区域监控
目录需求技术点实现checkpointState BackendsWatermarkBroadcast State 模式Keyed State需求用户自定义电子围栏，记录车辆进出电子围栏的时间。技术点checkpoint stateBackend watermark Broadcast State 模式 数据流连接广播流 state实现checkpointFlink中的每个方法或算子都能够是有状态的。状态化的方法在处理单个元素/事...
2021-03-03 13:33:11
956
3
原创 Spark 读取 Clickhouse
预过滤加载 val tableName = s"(SELECT CAST(longitude AS DOUBLE) longitude , CAST(latitude AS DOUBLE) latitude FROM location_log WHERE acquisition_time BETWEEN '$beginTime' and '$endTime') tempTable" val location: DataFrame = spark.read .format.
2021-11-30 10:54:13
3011
原创 MongoDB 分片迁移
目前集群架构mongos + config server * 3 + shard * 2 ( replication * 3)首先使用mongo终端连接到mongos.检查 balancer 是否开启 （必须为开启）mongos> sh.getBalancerState()true确定要删除的分片的名字，查看分片状态mongos> db.printShardingStatus()--- Sharding Status --- sharding version
2021-11-25 14:29:59
2450
原创 clickhouse + prometheus + grafana 监控
prometheus + grafana 是已经存在的监控平台，此处不在赘述。只是介绍如何将 clickhouse 的监控数据接入 prometheus。export 使用的是 clickhouse_exporter。具体步骤如下：git clone https://github.com/ClickHouse/clickhouse_exporter # go build 需要添加下go的代理，此处采用阿里的 export GOPROXY=https://mirrors.aliyun..
2021-11-22 17:18:50
903
翻译 Clickhouse 持久化 Kafka 数据
将Kafka中数据导入ClickHouse的标准流程是：在ClickHouse中建立Kafka Engine 外表，作为Kafka数据源的一个接口 在ClickHouse中创建普通表(通常是MergeTree系列）存储Kafka中的数据 在ClickHouse中创建Materialized View, 监听Kafka中的数据，并将数据写入ClickHouse存储表中ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口。CREATE TABLE kafka.
2021-11-12 17:48:28
543
原创 Flink窗口+触发器 ，实现定时、定量批量写入Hbase不同的表
需求案例消费kafka中的数据，根据业务类型不同批量写入不同的Hbase表。按照数据量和数据延迟要求，写入时候分两种模式：定量：满足指定数据量 定时：满足指定数据延迟技术点解析定时使用窗口实现；定量使用触发器实现；写入Hbase不同的表使用自定义 RichSinkFunction 实现。【未完待续...】...
2021-09-16 18:00:30
1262
原创 Flink CEP 之 车辆无效定位区间检测
Flink CEP 的概念这里不赘诉，直接上案例。案例背景：检测车辆无效定位，记录无效数据连续时间段。car_state 为车辆定位是否有效字段，有1，2，3以及其他情况等等（car_state & 2）== 0 无效定位（car_state & 2）!= 0 有效有效Talk is cheap. Show you my code .依赖：// CEP 依赖shadow 'org.apache.flink:flink-cep-scala_2.12:1.
2021-09-08 16:35:43
309
原创 Flink 使用JDBC connector 写入 Clickhouse
写在前面Flink 1.11.0 对JDBC connector 进行了一次较大的重构重构之前（1.10.3 以及之前版本）， 包名为 flink-jdbc. 重构之后（1.11.0 以及之后版本）， 包名为 flink-connector-jdbc.Flink 1.11.0 以及之后版本需要采用flink-connector-jdbc + DataStream的方式写入数据到ClickHouse。Flink 1.13.2+ flink-connector-jdbc依赖：....
2021-09-07 10:43:10
1577
原创 图片处理 BufferedImage 和 byte[] 相互转换
为什么要将bufferedImage 转为 byte[]在网络传输中，图片是无法直接传输的，因此需要将其转为字节数组。BufferedImage -> byte[]// 读取图片BufferedImage image = ImageIO.read(new File("C:\\xx\\xx\\.jpg"));// 创建输出流ByteArrayOutputStream byte...
2019-04-01 11:38:21
4580
原创 java调用keras离线训练的图片识别模型进行在线预测
目前深度学习主要使用Python训练自己的模型，其中Keras提供了heigh-level语法，后端可采用Tensorflow或者Theano。但是在实际应用时，大多数公司仍是使用java作为应用系统后台。于是便有了Python离线训练模型，Java调用模型实现在线预测。Java调用Keras模型有两种方案，一种是基于Java的深度学习库DL4J导入Keras模型，另外一种是利...
2019-03-26 17:24:46
2864
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人