- 博客(42)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 KADB锁冲突查看及解决
可以看到pid为3059的进程处于锁等待状态，此时还不能确定是哪个进程，执行的什么SQL导致进程3059的锁等待。方法二、通过gp_toolkit.gp_locks_on_relations视图。最后通过执行下面的语句，将造成锁等待的进程终止执行来解决锁等待问题（查询这些进程执行的SQL，从而定位导致3059进程锁等待的SQL。方法一、通过查询pg_locks表确定锁冲突关系。可以知道被加锁的对象的oid为18334。再次查询对象18334上加锁的进程。查询进程3059加锁的表。不要随便终止进程，需谨慎。
2024-04-07 18:05:09
545
原创 使用ora2pg迁移mysql到KADB
ora2pg依赖项检测是检测安装操作系统(linux，暂不支持windows操作系统搭建，但可使用windows命令行连接搭建好的迁移工具集群)的环境是否满足迁移工具运行。PG_VERSION 12 //pg10以下不支持分区，设置了也没有导出分区信息。备份ora2pg安装目录下的ora2pg.conf.dist文件或者，直接使用下面的文件。修改配置文件，将TYPE类型值从“TABLE”修改为“COPY”进行数据抽取和导入。解压：tar -xvf DBD-mysql-4.039.tar.gz。
2024-03-18 13:55:53
707
原创 Postgresql自定义函数—表名作为函数参数
-这里只传递了2个参数。使用using子句给format函数传递参数($1)，这里是数字‘壹’。%s的含义，见第四部分说明。这种调用方式，返回表的数据同正常查询结果的返回。这种调用方式，返回表的数据，作为元组形式。
2024-02-06 18:22:23
663
3
原创 【无标题】KADB使用DBLINK连接KES验证
KADB版本：Greenplum Database 6.0.0 build dev.V003R002C001B0181.d354cc9215。KES版本：KingbaseES V008R006C007B0012。登录配置文件sys_hba.conf修改登录验证方式为md5。KES修改参数，在kingbase.conf文件中，设置。
2024-01-24 22:12:42
704
原创 KADB使用PXF连接KES验证
在KADB所有segment节点创建下面的文件（jdbc-site.xml文件模板在目录：/home/mppadmin/kadb/pxf/templates。KADB版本：Greenplum Database 6.0.0 build dev.V003R002C001B0181.d354cc9215。以下操作假设KADB和KES已经部署完成并且启动正常，环境变量设置完成。KES版本：KingbaseES V008R006C007B0012。Java版本：openjdk version "1.8.0_262"
2024-01-24 21:49:48
1100
原创 金仓数据同步工具KFS安装之源端注意事项及操作
参与数据同步的两端所在物理机器的当前系统时间，需要保证时间彼此一致，否则可能会造成同步程序工作异常。• KUFL 文件的磁盘空间要求：实际和具体的运行压力有关，建议：> 20GB。在源端创建数据同步账号：flysync，并且允许该账号登录源端操作系统。Kingbase FlySync 中间文件交换默认监听端口。Kingbsae FlySync 服务中心默认监听端口。Kingbsae FlySync 比对服务默认监听端口。• 安装路径中的磁盘空间要求：2GB。ORACLE 例程已经关闭。
2023-12-12 13:53:26
409
原创 Teradata & KADB数据库对象兼容说明(二）
当表共享一个共同的分布键时，在它们共享的分布键列上的连接或者排序工作会在本地完成。选择的数据类型应使用最少的空间，但仍能容纳用户的数据并且能最好地约束数据。如果用户预期用户的数据值将会随着时间扩张，应该考虑到在装载大量数据后从较小的数据类型更改成较大的数据类型需要很大的代价。外键约束指定一列或者一组列中的值必须匹配出现在另一个表的某行中的值，以此来维护两个相关表之间的参照完整性。数据库的表与任何一种关系型数据库中的表类似，不过其表中的行被分布在系统中的不同Segment上。它们的定义不存储在数据字典中。
2023-11-25 17:40:35
920
原创 Teradata & KADB数据库对象兼容说明(一）
本文从Teradata和KADB的数据类型、函数、DDL语句三个方面说明列举两个产品的兼容情况，以此分析从Teradata迁移至KADB的可行性。注：不兼容的数据类型标注为：X。注：不兼容的数据类型标注为：X。
2023-11-25 17:39:47
851
原创 Flink CDC介绍及KADB支持
对于订单表，为了方便进行分析，我们希望让它关联上其对应的商品和物流信息，构成一张宽表，并且实时把它写到 ElasticSearch 中。如果在DDL上定义了主键，JDBC接收器将以upstart模式操作，以便与外部系统交换UPDATE/DELETE消息，否则，它将以追加模式操作，并且不支持使用UPDATE/DELETE消息。然后, 对于数据库中的表 products, orders, shipments， 使用 Flink SQL CLI 创建对应的表，用于同步这些底层数据库表的数据。
2023-11-11 16:04:16
138
原创 Ksharding测试
JDBC使用PostgreSQL的驱动后，程序执行成功，但数据没有按照分片规则进行分片存储.原因是数据分片列order_id的值为0，根据分片规则（order_id % 2），数据都存在了t_order_item_0。程序执行成功，数据分片正常。根据yaml定义的数据分片规则，数据根据order_id % 2的计算结果，分别存储在t_order_item_0、t_order_item_1两张表中。库内已有的数据不受影响。原因为t_order_o的order_id字段数据类型为int，导致数据插入失败。
2023-11-07 15:49:00
31
原创 Ksharding测试
运行时可能会报错，因为mysql的master-slave的配置就还没有做好。这个配置在如下图中蓝色条的文件master-slave.yaml。在build期间，在整个窗口的右下角有进度显示，也可以选择Window -> Show view -> Progress调出这个进展窗口。假设解压之后的目录为：D:\projects\shardingsphere-example-master。然后选中这个文件，按右键，在弹出菜单中选择 run as -> java applicaton。选择数据库驱动jar文件。
2023-11-07 15:41:35
26
原创 Ksharding部署（四）
spring.datasource.username=postgres //用户在server.yaml中配置。打开，否则执行select * from t_order;
2023-09-30 17:00:06
30
原创 Ksharding部署（三）
user: # 用于登录计算节点的用户名和授权主机的组合，格式：<username>@<hostname>，hostname 为 % 或空字符串表示不限制授权主机。通过配置，应用开发者可以灵活的使用数据分片、读写分离、数据加密、影子库等功能，并且能够叠加使用。配置是 ShardingSphere-Proxy 中唯一与应用开发者交互的模块，通过它可以快速清晰的理解 ShardingSphere-Proxy 所提供的功能。): # 分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一。
2023-09-30 16:59:36
107
原创 Ksharding部署（二）
将上述自定义算法实现类的 Java 文件引用配置在 YAML 文件中，具体可参考[配置规则](/cn/user-manual/shardingsphere-proxy/yaml-config/)。在 `META-INF/services` 目录下新建文件 `org.apache.shardingsphere.sharding.spi.ShardingAlgorithm`-- 使用 XA 的 Narayana模式时，需要引入此模块 -->-- 使用 XA 事务时，需要引入此模块 -->
2023-09-30 16:58:26
32
原创 KSharding部署(一）
Apache ShardingSphere是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。用于对接和融入现有数据库生态，包括数据库协议、SQL 解析器和存储适配器，分别对应于 Apache ShardingSphere 以数据库协议提供服务的方式、SQL 方言操作数据的方式以及对接存储节点的数据库类型。前者可突破底层数据库在计算与存储上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。
2023-09-30 16:57:32
32
原创 金仓分析型数据库KADB使用建议
例如：在分析场景下，事实表一般记录对象的基本信息，有几十个属性，是个宽表（车牌号码、车型、发动机号码、底盘号码、使用单位、责任人、加油卡号、保险公司、路桥费缴纳日期、二保时间、车类型、上传照片），我们每次对车辆信息进行分析时，会考虑车辆信息事实表和省份这个维度进行关联分析，查询在某一省份中的车牌号码情况。因为相同数据类型的数据，其在数据格式，数据存储方式等方面的特性是一致的，那么就可以对应选择相应的压缩算法，对表的每一列可以选择不同的压缩算法达到最优的压缩比。索引选择度是一列中的唯一值数量除以表中的行数。
2023-09-18 13:36:55
247
原创 KADB事务号问题分析及解决
全库做vaccum操作虽然对空间的回收和事务号的回收效果最好，但对资源的使用及表的加锁会影响到同时的其他用户操作和作业调度执行，所以也可以考虑只对insert操作频繁的表做vaccum，虽然效果不如全库做vacuum好，但是可以缩短对数据库的影响，通过对数据库日志和应用的分析两个方面，可以得到对数据库事务号影响最大的若干表的名称，为了提高数据库事务号回收的效率，可以在业务低峰期定期对这些表做回收事务号的操作，例如：在每周6的下午2点做表的vacuum。至少每20亿个事务清空一次数据库可以防止XID的重写。
2023-09-18 13:34:27
53
原创 KADB修改用户在schema中的权限
3. 先后授予用户test对schema lzcache的usage权限和对schema中所有表的select权限。2. 以用户对lzcache的权限为例。先收回用户test对lzcache的权限和对表的select权限。检查用户的权限，已经没有了对lzcache的权限。此时没有除select以外的其他权限。1. 查询用户对schema的权限。
2023-09-14 10:37:04
34
原创 KADB与Greenplum功能差异
支持sum、count、avg、lag、rank、lead、percent_rank、row_number。支持基于列的攻击信息、索引无需人工干涉、表达式索引、btree、hash、bitmap、gin、gins。支持结构化、半结构化联合查询，提供内嵌并行计算能力，包括：SQL、排序、分组、聚集。支持JDBC、ODBC、C/C++、ADO.net、Go、Python、Perl。Centos、redhat、中标麒麟、银行麒麟、方德、普华、统信。支持基于列的数据编码及压缩技术、支持实例级、表级、列级三级压缩。
2023-09-09 10:26:08
53
原创 Teradata数据库调研及迁移KADB建议（12）
如果通过直接连接的方式，则语法不同，需要进行相应的转换。但是如果批量数据或者数据量较大时，推荐使用外部表的模式，因为外部表的模式为通过节点并行加载，而COPY则是通过Master主机非并行加载，外部表的加载速度比COPY快N倍。对于部分Teradata特有的函数，Greenplum虽然没有相同的函数名，但是有相应的函数或者解决方式，请参考后面04 函数转换的内容进行相应转换。转换规则为：子查询的关联方式无须转换，通过表连接的方式，Greenplum需要通过USING关键字来申明连接表表名。
2023-09-09 10:25:22
79
原创 Teradata数据库调研及迁移KADB建议（11）
但是，Greenplum不支持在定义字段别名后，直接通过别名对字段进行其他操作。而在Greenplum中，不支持NAMED子句，因此，需要进行转换。在Teradata中，SELECT关键字可以简写为SEL，而在Greenplum中不支持这种简写。在Teradata中子查询不需要指定别名，在Greenplum中子查询需要给予别名。注意：该转换不建议全局替换，因为有可能字段名为NAMED，因此需要手动搜索脚本进行转换。注意：该转换不建议全局替换，因为有可能字段名为SEL，因此需要手动搜索脚本进行转换。
2023-09-09 10:24:42
62
原创 Teradata数据库调研及迁移KADB建议(十）
在数据卸载前，需要按迁移前协商好的分隔符从Teradata中卸出数据，推荐使用单分隔符（如“|”等），如果有特殊规定需要双分隔符（如“|@|”），Greenplum也允许使用。因此，在各类数据库中，都支持创建临时表功能，Teradata支持全局临时表(Global Temporay Table)、可变临时表(Volatile Temporay Table)两种类型，而Greenplum只支持可变临时表(temp/TEMPORARY)。如果只创建表定义，不复制数据，则使用WITH NO DATA选项。
2023-09-09 10:23:57
94
原创 Teradata数据库调研及迁移KADB建议（九）
可见，Teradata在架构上和Greenplum基本一致，主要区别是在其对应的硬件部分，如Bynet是专门的硬件网络设备，VDisk部分对应的底层存储一般是通过共享存储划分逻辑单元号（LUN）的方式实现。因为Greenplum和Teradata在架构上相似，且都支持ANSI SQL标准，因此两个产品中大量语句的语法都一致或者高度相似，即使有不一样的语法或者概念，也能在另一个产品中找到对应的语法或者概念。如下表所示，Teradata中常用的库和工具在Greenplum都有对应的使用方式和工具。
2023-09-06 09:22:22
218
1
原创 Teradata数据库调研及迁移KADB建议（八）
的定义存储在数据字典中，并且它们可以被许多用户/会话使用。但是加载到Global Temporary Table中的数据仅在会话期间保留。易失性表 - 插入到易失性表中的数据仅在用户会话期间保留。它们的定义不存储在数据字典中。派生表 - 派生表保存查询中的中间结果。它们的生命周期在创建，使用和丢弃它们的查询中。：Derived Table在查询中创建，使用和删除。全局临时表 - 全局临时表的定义是持久的，但是在用户会话结束时删除表中的数据。永久表 - 这是默认表，它包含用户插入的数据并永久存储数据。
2023-09-06 09:21:27
60
1
原创 Teradata数据库调研及迁移KADB建议（七）
函数是否ANSI扩展VAR_SAMPVAR_POPUNPIVOTSUMSTDDEV_POPSKEWREGR_SYYREGR_SXYREGR_SXXREGR_SLOPEREGR_R2REGR_COUNTREGR_AVGYREGR_AVGXPIVOTMINMAXKURTOSISGROUPINGCOVAR_SAMPCOVAR_POPCOUNTBYTESDEFAULTFORMATTITLESMALLINTINTEGERBIGINTBITAND。
2023-09-06 09:20:52
57
1
原创 Teradata数据库调研及迁移KADB建议（六）
数据类型是否ANSI扩展是BLOB[(n)]是textBYTE[(n)]textVARBYTE[(n)]BIGINT是bigintBYTEINTDATE aDECIMAL [(n[,m])]是是FLOAT是INTEGER是integerNUMBER(n[,m])NUMBER[([,m])]NUMERIC [(n[,m])]是REAL是realSMALLINT是是dateTIME [(n)]是n。
2023-09-06 09:19:34
81
1
原创 Teradata数据库调研及迁移KADB建议（五）
Teradata Analyst Pack通过自动化分析和优化Teradata数据库所需的步骤，简化了DBA和查询规划人员的工作。Teradata加载和卸载实用程序是完全并行的，可为Teradata数据库中的数据提供最佳和可扩展的性能。客户端实用程序和访问模块之间的软件层。用于Teradata数据库、Teradata Aster数据库和Hadoop系统上的管理、查询开发和管理任务的GUI。将数据加载到Teradata数据库中的任何可访问表中或从存在访问操作员或访问模块的任何其他数据存储中卸载数据的方法。
2023-09-03 09:42:19
112
原创 Teradata数据库调研及迁移KADB建议（四）
两阶段提交（2PC）是一种用于确保分布式数据库之间更新一致性的协议，在该协议中，事务提交操作中的每个参与者都投票决定提交或中止更改。所有其他请求都是隐式事务。事务在这个过程中扮演着关键的角色，因为它们被用来“回放”（使用最一般意义上的术语）数据库的一系列更新，要么将其恢复到某个早期状态，要么将它恢复到当前状态。对另一个用户锁定的资源的请求被排队（在锁定级别冲突的情况下），直到使用该资源的进程释放其对该资源的锁定。如果一组事务产生与任意输入的相同事务的任意串行执行相同的结果，则该组事务是可串行化的。
2023-09-03 09:41:28
87
原创 Teradata数据库调研及迁移KADB建议（三）
如果经常对同一列执行相同的聚合操作，聚合JI可以提供更好的查询性能，因为Teradata数据库可以使用聚合索引来满足查询，而不是为每个查询重复聚合计算。虽然唯一性不能保证数据行的统一分布，但索引的唯一性程度将决定行的分配，因为具有相同PI值的所有行都分布到相同的AMP，频繁重复的不同值的数量不能成为良好的PI候选。为了满足查询，Teradata数据库可以使用一种称为“分区消除”的优化，将数据搜索限制为仅包含与查询相关的数据的分区。通过使用多级分区，表或联接索引可以是列分区的、行分区的或两者兼有。
2023-09-03 09:40:54
107
原创 Teradata数据库调研（二）
在最基本的层面上，可以将BYNET视为一种松散耦合所有多节点系统中的SMP节点。如果访问是通过主索引进行的，并且请求是针对单个行的，则PE向单个AMP发送步骤，如PE1所示。如果Cliques中的某个节点发生故障，则vproc将迁移到Cliques中的其他节点，并在其主节点上进行恢复时继续运行。Vproc是在操作系统的多任务环境中运行在Teradata并行数据库扩展（PDE）下的节点上的一组软件进程。每个vproc都是处理器软件的独立副本，与其他vproc隔离，但共享节点的一些物理资源，如内存和CPU。
2023-09-03 09:39:14
316
原创 KADB集群问题调查分析
从每天的日志文件大小看，集群的一个segment实例一天产生的日志文件大小约为800GB，是导致集群数据目录空间使用过快的原因。上述命令打印126节点的/data目录下，master实例（对应数据目录：master），segment实例（对应数据目录：primary），master实例备份目录（master_backup）分别占用的空间大小。集群数据空间和日志空间共用一个数据目录、master实例和segment实例在节点上混合部署，导致日志占用数据的空间，master节点的备份信息占用数据的空间。
2023-08-25 13:58:41
50
1
原创 Zabbix监控KADB
添加 UserParameter文件到 Agent的zabbix_agentd.d 目录（根据实际情况修改）添加主机之后，关联系统自带的 Template DB PostgreSQL 模版。将脚本上传到agent所在机器。Zabbix监控KADB。Zabbix版本：5.0。Checkpoint阈值。自动发现shu据库过滤。
2023-08-25 13:57:15
28
1
原创 Prometheus监控KADB
postgres://[数据库连接账号，必须为gpadmin]:[账号密码，即gpadmin的密码]@[数据库的IP地址]:[数据库端口号]/[数据库名称，必须为postgres]?[参数名]=[参数值]&[参数名]=[参数值]docker环境编译。
2023-08-25 13:55:13
25
1
原创 Teradata数据库调研（一）
BYNET是一组硬件和运行在这组硬件上的一些处理通讯任务的软件进程的组合体，用于节点之间的双向广播（bidirectional broadcast）、多路传递（multicast）和点对点通信（point-to-point communication），同时，BYNET还实现SQL查询过程中的合并功能（每个节点或AMP,均匀分布表中一部分数据，当查询的时候每个节点并行查询，结果汇总到某个节点反馈给查询者，提高查询速度。系统中的每个节点在物理上都是一个SMP处理单元，事实上就是一台多CPU或多核的计算机。
2023-08-25 13:52:38
334
1
原创 KADB集群问题调查分析
显示具有潜在问题的主要/镜像Master对的详细信息，例如1）活动Segment正在Change Tracking模式下运行，表示Segment处于关闭状态；3）一个Segment不是它的首选角色，例如在系统初始化时作为一个主Segment的现在作为一个镜像Segment，这意味着用户可能有一台或多台Segment主机的处理负载不平衡。Kadb集群的管理命令需使用sshless登录到每一个segment节点下发执行，操作系统mppadmin密码过期导致sshless登录失败，进而导致集群管理命令报错。
2023-08-21 10:08:44
48
1
原创 使用金仓kfs同步oracle数据到kadb
查看最后一条的seqno范围是否已经是小于找到的seqno，如果没有，上面的purge再执行一次，直到index出来的最后一条的seqno小于找到的seqno。当svc-remote-filters 中加入rename 关键字，表明开启了名称映射，需要修改对应的映射。S1,T1,*,S2,T2,- 将S1 模式下的T1 表映射到S2 模式下的T2 表。4、kufl -service 服务名 purge -low 找到的seqno。S1,*,*,S2,-,- 将S1 模式下的所有表映射到S2 模式下。
2023-08-08 13:09:20
114
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人