大数据开发工程师-宋权-CSDN博客

原创 postgre语法

1.holo中判断字符串中是否包含。

2023-01-29 16:54:56 281 1

FineBI 和 FineReport 是帆软软件旗下的两款数据分析工具。两款产品各有区别及各自的优势所在。本文介绍两款产品的异同点及兼容性。FineReportFineBI工具类型报表工具：报表是企业信息化必不可少统计分析工具，主要实现一些企业固定的月报、季报、关键数据的统计分析商业智能工具：侧重于数据分析，改变之前传统做表的方式，交互性更好，性能更加强大目的旨在统计或者告诉决策者：过去发生了什么，什么正在发生旨在将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策。

2022-10-19 09:21:54 6200

原创 FineBI产品简介

FineBI 是帆软软件有限公司推出的一款商业智能（Business Intelligence）产品。FineBI 是新一代大数据分析的 BI 工具，旨在帮助企业的业务人员充分了解和利用他们的数据。FineBI 凭借强劲的大数据引擎，用户只需简单拖拽便能制作出丰富多样的数据可视化信息，自由地对数据进行分析和探索，让数据释放出更多未知潜能。

2022-10-19 09:14:52 5314 1

原创如何写好一个技术方案

要求：实现一个飞机运力合同查询接口，入参为运力大区入参：{"area": "南美"}出参:{"date": "***"}方法名：CapacityService.queryPlan入参：{"cnArea": "南美"}出参:{"date": "***"}技术方案 2 是更好的，为什么？测试、前端、后续要接手该接口的人都能够一下子找到你的接口并清楚知道输入输出是什么。另外，1 和 2 的入参一个 area 一个 cnArea，那么到底哪个更对呢？

2022-10-11 10:49:28 532

原创开源Flink迁移至实时计算Flink

Flink各类任务迁移。数据准确性校验。业务稳定性验证。Flink集群容量评估。

2022-10-11 10:42:13 1406

原创实时计算Flink+Hologres

对于主键关联的场景（即 Join 条件分别是两条流的主键），我们可以将 Join 的工作下沉到 Hologres 去做，通过 Hologres 的局部更新功能来实现宽表 Merge，从而省去了 Flink Join 的状态维护成本。数据实时入仓形成了 ODS 层的数据后，通常需要将事实数据与维度数据利用 Flink 多流 Join 的能力实时地打平成宽表，结合 Hologres 宽表极佳的多维分析性能，助力上层业务查询提速。目前该方案已在阿里巴巴内部、众多云上企业生产落地，成为实时数仓的最佳解决方案之一。

2022-10-11 10:40:04 2611

原创 Flink CDC数据同步

一、什么是FLinkApache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。接下来，我们来介绍一下 Flink 架构中的重要方面。

2022-10-11 09:51:24 3087 1

原创 Flink SQL CDC实践以及一致性分析

在Flink 1.11引入了CDC机制，CDC的全称是Change Data Capture，用于捕捉数据库表的增删改查操作，是目前非常成熟的同步数据库变更方案。Flink CDC Connectors是Apache Flink的一组源连接器，是可以从MySQL、PostgreSQL数据直接读取全量数据和增量数据的Source Connectors，开源地址：https://github.com/ververica/flink-cdc-connectors。

2022-10-11 09:49:17 696

原创 Sql Server CDC配置

CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。在“数据库角色成员身份”中选择“db_datareader”、“db_owner”和“public”。单击“新建查询”，选择你需要开启CDC的数据库。在“映射到此登录名的用户”中选择配置CDC的数据库，例如：fdiromatest。其中，baris替换为实际需要开启CDC配置的表名。其中，baris替换为实际需要开启CDC配置的表名。

2022-10-11 09:30:18 2936 1

原创 Flink cdc技术实践

CDC 的实现方式主要有两种，分别是基于查询和基于日志：基于查询：查询后插入、更新到数据库即可，无须数据库的特殊配置以及账号权限。它的实时性基于查询频率决定，只能通过提高查询频率来保证实时性，而这必然会对 DB 造成巨大压力。此外，因为是基于查询，所以它无法捕获两次查询之间数据的变更记录，也就无法保证数据的一致性。基于日志：通过实时消费数据的变更日志实现，因此实时性很高。而且不会对 DB 造成很大的影响，也能够保证数据的一致性，因为数据库会将所有数据的变动记录在变更日志中。

2022-10-10 15:48:21 2144

原创 idea控制台打印乱码

在idea安装路径下找到.vmoptions结尾文件，然后打开文件添加一行即可。

2022-09-13 09:11:29 262

原创遍历json

遍历json

2022-06-30 09:30:52 490 1

原创 kafka清除topic内容命令（好用）

./kafka-configs.sh --zookeeper 10.106.176.71:2181 --entity-type topics --entity-name rs_ods_my_sp_gradeandweight_si --alter --add-config retention.ms=10000

2022-06-25 10:57:16 936

原创写入读取文件工具列（好用）

java

2022-06-18 09:33:58 101

转载 kafkas删除topic数据

生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量详情，请参考链接：Kafka日志清理之Log Deletion_朱小厮的博客-CSDN博客_log.cleanup.policy接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13# 启用删除主题delete.topic.enable=true

2022-06-13 10:42:08 6979 1

原创 Maven打包，缺少依赖问题解决（实测）

<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>2.6</version> <executions> <execution> <phase>packa

2022-06-09 18:16:27 1520

原创 git获取commit id

1.查看提交记录git log2.获取完整commit id git rev-parse HEAD3.获取short commit id git rev-parse --short HEAD

2022-05-26 15:57:43 4352

原创 rabbitmq系列问题解决：406, “PRECONDITION_FAILED - inequivalent arg ‘durable‘

　　1. 安装rabbitmq，查看官网文档： https://www.rabbitmq.com/#getstarted　　由于我是先安装了rabbitmq后自己随手创建了queue,后面又按照官方给的"hello world"例子去测试，结果发生了“406, "PRECONDITION_FAILED - inequivalent arg 'durable'” 这个错误信息。　　1. 先在管理页面创建的queue　　2. 创建的exchanges　　..

2022-05-26 15:56:07 4810

原创 Mysql连接问题

连接MySQL长时间不连接后报错`com.mysql.cj.core.exceptions.ConnectionIsClosedException: No operations allowed after connection closed.`的解决办法报错：com.mysql.cj.core.exceptions.ConnectionIsClosedException: No operations allowed after connection closed.添加&autoRe.

2022-05-17 10:32:21 713

原创 FlinkCDC入门

一.背景数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。我们评估了几种开源产品，canal,debezium,flinkCDC等产品。作了如下的对比：组件 Canal Debezium Flink 开源方阿里 redhat ..

2022-05-09 18:24:58 2380 1

原创 flink高可用

Exactly-Once Exactly-Once*：即一条输入数据只会影响一次输出结果，以统计事件个数的count()的任务为例，输入是10条，那么输出应该是 count=10*。对应两种传输语义的底层机制是： BeginTransaction：开启一个新事务，每次checkpoint可以看做是一次事务的提交，所以两次cp之间是一个完整的事务 Precommit：Source/Sink进行snapshot时，进行事务的pre-commit操作 ...

2022-05-09 18:22:26 811

原创大数据平台升级

背景：平台性能瓶颈，内存32G做通做对-做大做深-做精做好阶段一：做通做对阶段意义：对方案的有效性与合理性进行验证探索。一般资源很少，如果顺利解决了核心问题，那系统将初具业务价值阶段二：做大做深阶段意义：开始在初版的基础上，去做边界的探索。通过接入更多的场景，更大范围的解决业务问题，来打磨方案，拓宽能力边界并摸索沉淀下最优实践。阶段三：做精做好阶段意义：这是做减法和重构的过程，通过前面的探索，清晰的定义下系统的边界，并对交互和性能等方面做更深的耕耘。...

2022-05-09 18:20:30 537

原创 java时间日期转换，json转map

public static String getNowDate(Date d) { SimpleDateFormat sbf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); String format = sbf.format(d); return format;}public static Map<String,String> transJsonToMap(JSONObject source) { Map&l.

2022-05-09 17:54:00 453

原创 string转json代码

public class test { public static void main(String[] args) { // String value="{'colname':'id,fcty_code,bill_id,pd_lbl_code,pd_code,expiry_date,pun_time,batch_no,qty,weight,create_time,elig_the_time,slgtr_time,firm_type,sync_status,material_sta.

2022-04-26 10:55:23 203

转载 java插入postgresql问题（时间格式问题）

java插入postgresql问题：ERROR: column is of type timestamp without time zone but expression is of type character varying建议：You will need to rewrite or cast the expression.解决：jdbc:postgresql://127.0.0.1:5432/testdb?stringtype=unspecified后面添加stringtype=unsp

2022-04-19 18:35:16 1190

转载 json处理

首先引入依赖包，这里使用的是alibaba的fastjson；  <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.76</version> </dependency...

2022-04-14 08:55:21 143

原创 flink数据源不稳定导致宕机问题

flink应用数据源不稳定导致程序宕机_zhou_zhao_xu的博客-CSDN博客_flink不稳定错误异常日志org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategyat org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionF

2022-04-11 11:52:33 1586

Docker学习地址.txt

空空如也