- 博客(1934)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 深入浅出理解kafka原理相关技术博客汇总
深入浅出理解kafka原理相关技术博客汇总文章内容链接CentOS7搭建Kafka2.7分布式集群CentOS7搭建Kafka2.7分布式集群Kafka操作命令Kafka操作命令分布式消息队列Kafka原理分布式消息队列Kafka原理新版Kafka Manager CMAK安装的详细文档新版Kafka Manager CMAK安装的详细文档CentOS7安装kafka-managerCentOS7安装kafka-manager通信原理和认识kaf
2021-12-17 18:51:34
1117
原创 Pandas和Spark知识汇总
Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读
2021-01-03 23:16:00
867
1
原创 Linux常用命令详解和服务器知识汇总
Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...
2021-01-01 21:08:38
512
原创 Docker容器原理详解和实战应用
Docker容器原理详解和实战应用文章内容链接Docker核心原理，Docker在线安装和离线安装Docker核心原理，Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源，同时搭建本地私有镜像仓库，配置其他docker服务器从私有镜像仓库拉取镜
2021-01-01 20:54:29
429
原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解
Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原
2021-01-01 20:10:10
1112
原创 Python基础知识汇总和应用示例
Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python
2021-01-01 14:12:51
2400
1
原创 Kettle详细使用教程
Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值
2021-01-01 13:19:24
954
原创 Scala基础知识汇总和应用示例
Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca
2021-01-01 13:10:51
247
原创 Java基础知识汇总
Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串
2021-01-01 12:47:58
268
原创 SQL Server语法大全和函数使用方法汇总
SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT
2021-01-01 12:13:22
636
原创 ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch
ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs
2020-12-18 11:32:52
315
原创 大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19
2020-12-18 11:08:38
1277
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1255
1
原创 Debezium系列之：Debezium2.6以上稳定版本需要注意的重要变动
snapshot.mode的值从schema_only变为no_data。
2024-04-25 17:57:54
10
原创 Oracle数据库从入门到精通系列之二十五：ORA-01261: Parameter db_recovery_file_dest destination string cannot be transl
- ORA-01261: Parameter db_recovery_file_dest destination string cannot be translated - ORA-01262: Stat failed on a file destination directory - Linux-x86_64 Error: 2: No such file or directory
2024-04-25 17:39:36
1
原创 TiDB系列之：TiCDC使用Changefeed完成数据同步任务
changefeed_id、start_ts、target_ts、sink_uri 的含义和格式与使用 cli 创建同步任务中所作的解释相同，具体解释请参见该文档。使用 changefeed query 命令可以查询特定同步任务（对应某个同步任务的信息和状态），指定 --simple 或 -s 参数会简化输出，提供最基本的同步状态和 checkpoint 信息。在 TiCDC 运行过程中，同步任务可能会运行出错、手动暂停、恢复，或达到指定的 TargetTs，这些行为都可以导致同步任务状态发生变化。
2024-04-25 17:27:57
7
原创 TiDB系列之：认识TiDB数据库，使用TiUP部署TiDB集群，同时部署TiCDC的详细步骤
TiUP 的直接功能是作为 TiDB 生态中的包管理器，但这并不是它的最终使命。TiUP 的愿景是将 TiDB 生态中所有工具的使用门槛降到极致，这个仅仅靠包管理功能是做不到的，还需要引入一些额外的包来丰富这个系统，它们一起加入到 TiUP 生态中，让 TiDB 的世界变得更简单。TiUP 系列文档的主要内容就是介绍 TiUP 及这些包的功能和使用方式。Usage:Examples:Flags:可用的命令install：用于安装特定版本的组件list：查看可用组件列表或组件可用版本列表。
2024-04-25 08:50:06
17
原创 Debezium报错处理系列之第101篇：DebeziumException: Unable to find schema_only_recovery snapshotter
Debezium报错处理系列之第101篇：DebeziumException: Unable to find schema_only_recovery snapshotter
2024-04-24 18:01:21
11
原创 Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术
Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术
2024-04-24 16:19:45
40
原创 Debezium分享系列之：Debezium2.6稳定版本设置SQL Server数据库
为了让 Debezium 从 SQL Server 表捕获更改事件，具有必要权限的 SQL Server 管理员必须首先运行查询以在数据库上启用 CDC。然后，管理员必须为希望 Debezium 捕获的每个表启用 CDC。应用 CDC 后，它会捕获提交给启用了 CDD 的表的所有 INSERT、UPDATE 和 DELETE 操作。然后 Debezium 连接器可以捕获这些事件并将它们发送到 Kafka 主题。
2024-04-24 08:39:18
46
原创 Debezium分享系列之：Debezium2.6稳定版本SQLSerer数据库Debezium connector核心知识点
Debezium分享系列之：Debezium2.6稳定版本SQLSerer数据库Debezium connector核心知识点
2024-04-22 17:55:00
39
原创 SQLServer数据库从入门到精通系列之四：开启SQLServer数据库ddl审计
SQLServer数据库从入门到精通系列之四：开启SQLServer数据库ddl审计
2024-04-22 10:28:52
32
原创 Oracle数据库从入门到精通系列之二十四：重做日志、归档日志、补充日志，深入理解重做日志、补充日志、归档日志之间的关系
Oracle数据库从入门到精通系列之二十四：重做日志、归档日志、补充日志，深入理解重做日志、补充日志、归档日志之间的关系
2024-04-22 09:15:43
36
原创 Debezium报错处理系列之第100篇：Redo logs may be sized too small using the default mining strategy, consider in
Debezium报错处理系列之第100篇：Redo logs may be sized too small using the default mining strategy, consider increasing redo log sizes to a minimum of 500MB.
2024-04-22 08:08:26
23
原创 Debezium报错处理系列之九十九：Database table ‘ORCLPDB1.C##DBZUSER.TEST_TABLE‘ not configured with supplemental
Debezium报错处理系列之九十九：Database table 'ORCLPDB1.C##DBZUSER.TEST_TABLE' not configured with supplemental logging
2024-04-22 07:53:35
14
原创 Debezium报错处理系列之九十八：io.debezium.DebeziumException: Supplemental logging not properly configured
Debezium报错处理系列之九十八：io.debezium.DebeziumException: Supplemental logging not properly configured。
2024-04-22 07:43:29
27
原创 Oracle数据库从入门到精通系列之二十二：在线增大Oracle 19c 数据库重做日志redo log文件大小
可以通过以上的步骤再将group 4,5,6 切换成 group 1,2,3。，直至要删除的重做日志组状态变为inactive后执行删除。手动切换日志组，重复执行。
2024-04-21 22:56:03
108
原创 Oracle数据库从入门到精通系列之二十一：Oracle 19c数据库增加重做日志大小
数据库重做日志至少包含两个文件，负责存储对数据库所做的任何更新。重做日志对于数据库至关重要，因为它们可以保护数据和数据库免受故障影响。日志文件同步事件是日志写入器 (LGWR) 写入重做日志文件所需的时间。在用于验证最佳实践的 Oracle 数据库中，日志文件同步等待事件的频率和等待时间持续时间高于平均水平。为了提高性能，我们将日志文件大小从 200 MB 更改为 8 GB。
2024-04-21 18:27:40
111
原创 Oracle数据库从入门到精通系列之二十三：卸载Oracle数据库19c详细步骤
etc/oratab是一个文件，它是Oracle软件的一个配置文件，通常位于Linux或UNIX操作系统中。它用于在系统启动时自动启动Oracle实例，并在备份和恢复Oracle数据库时提供有用的信息。总之，shutdown immediate是一种快速关闭Oracle数据库实例的方式，它比shutdown normal和shutdown immediate with nowait更安全，因为它确保所有正在运行的事务都完成后再关闭数据库实例。所有已经打开的数据库文件将被关闭，并释放所有已分配的系统资源。
2024-04-21 07:45:56
27
原创 Oracle数据库从入门到精通系列之二十：Linux上使用容器数据库(CDB)方式部署Oracle数据库19c详细步骤
这个命令授予名为debezium的用户在所有容器中创建会话的权限。这个命令授予名为debezium的用户在所有容器中设置当前容器的权限这个命令授予名为debezium的用户在所有容器中查询V_KaTeX parse error: Expected group after ‘_’ at position 22: …SE视图的SELECT权限。V_̲DATABASE视图提供了与数据库实例相关的信息，如数据库名称、版本、状态、控制文件、日志文件等等。
2024-04-19 19:31:10
80
原创 Oracle数据库从入门到精通系列之十九：CDB、PDB、非CDB、SGA、PGA、重做日志、数据文件、临时文件、控制文件、闪回日志、表空间、连接Oracle数据库
重做日志是由一组物理文件组成的，这些文件被称为重做日志文件组。这样，在数据库发生故障时，可以使用重做日志文件来恢复数据库到故障发生前的状态。重做日志的作用在于保证数据库的一致性和持久性，以及在数据库发生故障时，可以使用重做日志来恢复数据库到故障发生前的状态。总之，非CDB环境下的数据库实例是一种传统的单租户数据库实例，虽然不能实现多租户功能，但在一些特定的场景下，仍然具有一定的应用价值。Oracle数据库的重做日志（Redo Log）是一种记录数据库所有修改操作的机制，它可以保证数据库的持久性和一致性。
2024-04-18 17:08:55
41
原创 Debezium分享系列之：Debezium2.6稳定版本Oracle数据库Debezium Connector的属性参数详解
可以通过将值分配给一组以 schema.history.internal. Producer.* 和 schema.history.internal.consumer.* 前缀开头的传递配置属性来定义 Kafka 生产者和消费者客户端的配置。Debezium 提供了一组 schema.history.internal.* 属性，用于控制连接器如何与架构历史主题交互。与数据库模式历史客户端的传递属性的情况一样，Debezium 在将属性传递到数据库驱动程序之前会从属性中去除前缀。下表描述了通知属性。
2024-04-18 15:11:36
151
原创 Debezium分享系列之：部署Debezium采集Oracle数据库的详细步骤
通常，可以通过提交指定连接器配置属性的 JSON 请求来注册 Debezium Oracle 连接器。但是，在更复杂的 Oracle 部署中或在使用透明网络底层 (TNS) 名称的部署中，可以使用指定 JDBC URL 的替代方法。要部署 Debezium Oracle 连接器，需要安装 Debezium Oracle 连接器、配置连接器，然后通过将其配置添加到 Kafka Connect 来启动连接器。示例：使用 JDBC URL 连接到数据库的 Debezium Oracle 连接器配置。
2024-04-17 11:09:09
148
原创 Debezium分享系列之：设置 Oracle数据库支持Debezium采集数据的详细步骤
要设置 Oracle 以与 Debezium Oracle 连接器一起使用，需要执行以下步骤。这些步骤假设使用具有容器数据库和至少一个可插入数据库的多租户配置。如果您不打算使用多租户配置，则可能需要调整以下步骤。
2024-04-16 20:06:37
75
原创 Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段
Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段
2024-04-03 19:56:21
351
2
原创 Flink SQL系列之：解析Debezium数据格式时间字段常用的函数
例如，DATE_FORMAT(TO_TIMESTAMP(‘2022-01-01 00:00:00’, ‘yyyy-MM-dd HH:mm:ss’), ‘yyyy/MM/dd HH:mm:ss’)将生成一个格式为’2022/01/01 00:00:00’的日期时间字符串。假设plan_date为1640966400，即2022-01-01 00:00:00的Unix时间戳，经过FROM_UNIXTIME、DATE_FORMAT和TO_DATE函数的转换，输出结果为：‘2022-01-01’（日期类型）。
2024-04-03 19:26:43
417
原创 Debezium日常分享系列之：Debezium 2.6.0.Final发布
使用模式注册表时，需要使用名称注册事件模式，以便可以在以后通过管道查询时查找它们。因此，当将 CloudEvents 格式的消息与架构注册表配对时，同样适用，并且在 Debezium 2.6 中，您可以显式控制名称的注册方式。默认情况下，CloudEvent 消息的架构将由转换器自动生成。但是，如果自动生成的架构名称不够，您可以通过指定 dataSchemaName 来调整配置，可以将其设置为生成（默认行为）或标头，以直接从指定的事件标头字段中提取架构名称。Debezium技术专栏。
2024-04-03 15:07:03
1030
原创 Debezium日常分享系列之：Debezium 2.6.0.CR1发布
Debezium 2.6.0.CR1版本包含许多改进，包括对 Oracle OpenLogReplicator 适配器的 XML 支持、对 Debezium Server 的 TRACE 级别日志记录支持、对 Cassandra 的可配置分区模式、对 MongoDB 和 Db2 的新快照 API 等等。
2024-03-28 17:06:50
964
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人