m0_46473154的博客

原创 【HotDB 技术干货】MySQL Client访问MySQL Server的过程剖析

前言好奇心绝对是技术咖们最显著的标签，但好奇只是开始，满足好奇才是他们的个性~ ~，下面小编就邀请大家一起跟着HotDB高级研发工程师霍伟元感受只属于MySQL世界的神秘“景象”。开源数据库MySQL是世界上最流行、使用最广泛的数据库软件产品。个人也是随着使用MySQL数据库的时间越长，就不由自主地思考：它到底是怎么运行的，开始时总是觉得好神奇而又不踏实，翻遍了MySQL数据库的原理书籍后总算踏实了，但觉得隔靴搔痒，犹如清晨的深山美景被晨雾遮挡了一般。因此想着自己一探究竟、眼见为实，也满足自己的好奇心

原创 Hotdb全透明体现

HotDB看图说话

原创 分布式数据库HotDB读写分离高可用图文介绍

从读者信息表中读取上海地区的客户信息对客户信息进行查询、更新等操作主从一致延迟超过1秒钟读从节点主从数据追平，恢复正常HotDB读写分离的基础功能摘要信息：主从数据的同步延迟判断，对延迟从库摘除和自动恢复主从数据的数据一致性算法核对的定期执行事务内的读操作、写操作都由主库承担非事务内的读操作负载均衡地发到从库上执行强制某一类读操作SQL语句发送到从库上执...

原创 分布式数据库HotDB管理平台的智能拓扑

分布式事务数据库HotDB产品图应用服务层业务系统水平部署的应用程序服务逻辑数据库层让应用程序只需面对一个数据库进行操作分布式数据服务层(HotDB)为业务系统提供数据操作服务及管理数据库逻辑数据节点将数据内容相同的多个数据库归类到同一个节点下物理数据存储层存储业务系统的数据，运行mysqld服务**说明：**HOTDB服务依据自带的应用连接池，自动绘制出应用服务客户端节点拓扑，及监控应用服务的连接数和QPS。HOTDB服务依据配置信息，自动生成逻辑数据库（简称：逻辑库）节点

原创 分布式数据库 HotDB 特性

数据一致性HotDB拥有内置的强一致算法，同时提供可视化界面的多种检测方案保证数据的强一致性，主要有主备数据的一致性检测，表结构与表索引检测，全局表数据校验与修复和数据分片正确性检测全局一致性备份、还原HotDB支持管理平台设置备份计划，能做到全局的数据状态一致、时间点一致，增量备份自动跟随完整备份实现库级别、表级别和行级别的三重并行，对业务服务无阻塞。并且可以通过管理平台一键还原，做到数据库还原强一致环境标准化通过自动化安装部署设置服务器系统参数以及数据库服务参数，提高团队的工作效率、减少人为

原创 2021-09-01

HotDB主备容灾方案和备份容灾方案管理平台设置定时备份及自动还原主备容灾方案本地数据中心灾备提供数据库中间件的高可用、MySQL数据库的高可用跨数据中心灾备提供跨数据中心数据同步跨数据中心的数据同步时延控制在1-3秒，本地机房数据同步时延控制在1秒以内故障恢复指标RPO可达到1秒， RTO为10秒备份容灾方案备份计划包括定时备份、手动备份、完整备份、增量备份，支持逻辑备份远程备份实现本地保留一天数据，其余备份自动同步远程机房，保证备份文件的安全性还原计划支持备份数据还原以及

原创 分布式事务数据库HotDB 备份还原工具

HotDB 备份还原工具自研软件备份工具：hotdb_backup，还原工具：hotdb_restore备份文件管理不依赖第三方工具，由数据库私有云平台的功能实现支持压缩、加密、备份binlog文件以及计算MD5值等技术强一致备份能做到全局的数据状态一致、时间点一致，增量备份自动跟随完整备份实现库级别、表级别和行级别的三重并行，对业务服务无阻塞还原演练可以校验备份数据的正确性，完善对数据安全管理的制度最大程度保证在数据灾难发生时，能顺畅的进行应对最大化减少企业的损失，同时提升管理人

原创 秀肌肉——热璞HotDB Cloud 产品特征

应用透明应用无改造代价，以服务方式使用数据库资源，让业务研发部门专注于业 务逻辑的开发和设计• 支持 MySQL 标准通信协议，兼容通过连接库（JDBC，ODBC, API 等)、客 户端、图形化管理工具等连接和访问数据库资源• 可配置的负载均衡策略，自动完成路由的分配和转发• 统一的访问入口，数据库集群的结构变化对应用程序透明安全提供白名单访问策略，可自行设置允许访问的 IP 及 IP 段，有效防止黑客 扫描端口进行服务器攻击提供阈值报警的功能，支持实例锁定报警、连接数报警、IOPS 报警、

原创 2021-08-31

**HotDB Cloud Server计算节点服务器: **内存：硬盘：RAID卡网卡机型服务器数量image.png交换机:要求交换机包转发速率超过10Mbps或支持线速转发。建议所有服务器部署在同一交换机（或堆叠）下，若无法做到，应采取网络跳数尽可能少的部署方式。若部署高可用网络，建议优先使用Bond0模式。特别说明磁盘需要挂载在/data目录下，软件环境需要安装perl5 ,net-tools , unzip，libaio，或者有yum源。以上配置以DELL服务器

原创 关系型云数据库HotDB Cloud硬件配置推荐---生产环境---虚拟机

关系型云数据库HotDB Cloud,是一种具有即申即用、稳定可靠、弹性伸缩、数据安全、多租户、资源池化、监控备份等能力的关系型数据库服务。面向企业应用，提供资源池化、数据库服务自治、高度透明、可动态扩展、自动化智能运维管理的数据库管理平台产品。生产环境，硬件配置推荐如下：...

原创 共推国产生态建设———热璞数据库HotDB与数腾软件完成兼容性互认

近日，上海热璞网络科技有限公司（以下简称”热璞数据库”）自主研发的分布式事务数据库产品HotDB Server与上海数腾软件科技股份有限公司（以下简称“数腾软件”）自主研发的数腾迁移及容灾备份产品完成兼容性互认证。双方多次严格测试结果显示：热璞数据库HotDB Server与数腾软件迁移及容灾备份产品安装顺利、相互兼容良好、运行稳定，在产品功能、性能、安全及高可用等方面均表现出色。基于此次互认成功，双方将深度携手加强相互间合作，为企业用户提供更高质量的服务，共助企业数字化转型。为进一步推进国产化生态建设贡

原创 分布式事务数据库HotDB的计算节点磁盘空间使用限

因磁盘空间不足会导致计算节点无法正常运行等诸多问题，计算节点在自动部署时会检测HotDB Server安装目录所在磁盘的剩余空间是否大于10G，同时，在写临时文件时也会检测磁盘的剩余空间，具体如下：用户创建会话后执行例如复杂跨库JOIN等操作时，必要时会在HotDB Server安装目录下写入临时文件。写入临时文件的同时，计算节点若检测发现安装目录所在磁盘的剩余空间不足，则终止当前会话并报错与记录日志。计算节点日志记录error级别日志如下，终止会话时提示信息与之相同：2019-06-10 18:03

原创 HotDB 分享——分布式事务数据库安全技术干货

热璞数据库Hotdb 给大家带来了一份分布式事务数据库安全技术干货一：用户管理库应支持用户身份认证，并确保用户标识具有唯一性，且用户的身份认证信息应进行加密存储，宜采用不可逆加密算法；用户的口令应具有复杂度要求，长度应少于8位，并包含英文字母大小写、特殊字符及阿拉伯数字等组合，且系统运维管理用户应定期修改登陆口令；宜设置超时时间，登录用户在超时时间内无操作则自动结束会话；宜及时删除多余、过期用户二：访问控制基于角色的权限控制1） 数据库应具备基于角色的权限控制，数据库角色应分离管理用户以及普

原创 HotDB Management 如何发起批量修改

勾选需要修改的巡检类目，点击“【批量操作】->【批量修改】”（二）批量填写并保存批量修改，巡检类目对应的巡检结果匹配规则、巡检结果匹配标准按系统默 认值显示，可进行调整

原创 2021-08-11

备份还原备份还原功能能够对逻辑库的数据进行备份与还原操作。安装 hotdb-backup备份还原功能需要安装 hotdb-backup。 1. 解压 hotdb-backup 的安装包到/usr/local/hotdb 安装目录cd /usr/local/hotdbtar -zxvf hotdb-backup-*.启动备份程序（指定管理平台的 ip 和端口，端口一般是 3322）cd /usr/local/hotdb/hotdb-backupsh bin/hotdb_backup star

原创 MySQL数据库的服务器处理能力和测试验 证方法

MySQL数据库的单机单实例的处理能力及测试验证方法数据库单机单实例测试方案使用2~4台虚拟机做压力测试机 代理程序使用VIP搭建高可用，使用2台虚拟机 业务系统后台程序采用分布式部署，使用14~16台虚拟机数据库采用配置最高的物理服务器，使用1台物理 服务器，部署1个mysqld实例和1个业务库进行压测收集不同业务并发数下的吞吐量、成功率和响应时延的数据 注意压力测试机和业务程序的服务器数量MySQL数据库复制架构的处理能力及测试验证方法数据库双机复制单实例测试方案：使用2~4台虚拟机

原创 2021-08-05

HotDB Server 可视化管理平台为分布式事务数据库产品HotDB Server 的运维人员提供了全套可视化、智能化的运维管控操作平台，实现了产品的用户信息、节点信息、数据分片等元数据的配置管理，及集群数据大屏、集群逻辑智能拓扑、集群物理智能拓扑、网络环境监测、服务器环境监测、运行状态监测、数据备份、数据恢复、性能调优、参数调优、智能巡检、数据报表、告警事件等一键可视化运维服务功能。!加粗样式在这里插入图片描述...

原创 多线程备份介绍——HotDB Backup

HotDB Server提供类似Mydumper的多线程备份工具HotDB Backup特性：保证分布式事务数据库全局的时间点和数据状态一致。备份期间对线上业务无阻塞。增量备份自动跟随完整备份。库级别和表级别的双并行备份。备份过程可手动取消正在执行的备份任务。支持添加备份计划定时备份业务数据，也可以手动延迟下一次备份任务时间或设置定时计划内某个时间点不进行备份。支持XA（强一致）模式下数据备份恢复到指定时间点。除此之外，HotDB Backup也支持加密备份文件、计算文件MD5值、备份至远

原创 分布式事务数据库 分片合理性评分 介绍 热璞HotDB

管理平台提供对已创建的水平分片表的分片方案进行合理性评分，展示业务表在当前分片方案中各个维度的得分表现，帮助用户及时发现拆分不合理的业务表。HotDB从五个方面介绍评分维度：五个评判维度：数据量分布均匀得分：根据各节点数据量分布是否均匀、增长量是否均匀计算得分。跨库事务占比得分：根据跨节点事务查询次数占比计算得分。SELECT操作均匀得分：根据各个节点查询总量是否均匀、跨库join查询比例、单库查询比例、无法路由导致查询所有节点的查询比例计算得分。IUD（Insert/Update/Delete

原创 HotDB——布式事务数据库中不同数据库表对象的类型设计准测

原创 关系型云数据库HotDB Cloud 简述

HotDB Cloud是一款实现数据库资源池化、资源分配智能化 、资源弹性伸缩、资源隔离、安装部署自动智能、数据高可用、服务高可用、读写分离、SQL审计、危险SQL拦截、智能大屏、智能监控、智能备份还原等功能，以服务方式向企业内部输出。做到资源申请、交付到管理的生命周期智能自动、数据库服务智能自治，及实现企业数据库服务器资源池化和智能调度分配。...

原创 分布式事务数据库HotDB的聚合结果集合并

MERGE_RESULT控制计算节点对聚合函数的结果是否进行合并。当该值设置为1时，计算节点将合并聚合函数的结果；当该值设置为0值，计算节点将不合并聚合函数的结果。默认情况下，MERGE_RESULT值为1。MERGE_RESULT=0时，含有聚合函数的SQL语句，计算节点将不合并结果集，每个数据节点的查询结果单独返回：mysql> selectcount() from customer;±-----------+| COUNT() |±-----------+|

原创 分布式事务数据库HotDB的计算节点负载均衡

计算节点负载均衡HotDB Server支持多计算节点集群的节点自治。以下简称计算节点集群中Primary状态的计算节点为Primary计算节点；计算节点集群中Secondary状态的计算节点为Secondary计算节点。Primary和Secondary计算节点的数据服务完全对等，均支持所有类型的数据操作且保证数据的一致性。集群中一个或多个（不支持多数计算节点同一时间故障）节点发生故障后，只要还有一个或更多节点可用，则整体数据服务依旧可用。HotDB Server支持负载均衡：可选择使用LVS等方式

原创 HotDB的HINT特色语法

在计算节点使用HINT语法，可绕过HotDB Server解析器，直接在指定数据节点上执行MySQL的任意SQL语句。计算节点支持两种方式的HINT语法：在HINT中使用DNID(数据节点ID)：语法：/!hotdb:dnid= dnid_value/ 要执行的SQL注：dnid_value的值为某个数据节点的ID号。用户可以替换dnid_value的值来指定具体的分片节点。例如：/!hotdb:dnid= 1/select * from customer where age > 20

原创 分布式事务数据库HotDB的计算节点启动时对逻辑库可用的判断

为保证垂直拆分场景下，出现数据节点不可用状态时，与之不相关的不同逻辑库之间的业务场景不受影响，计算节点在启动时，对所有逻辑库的可用状态做了特殊判断处理，说明如下：一、 若配置的主存储节点为可用状态，实际该存储节点无法连接，则计算节点启动时，会等待masterSourceInitWaitTimeout配置的时间（默认：300s）,判断该存储节点是否真实不可连接，若在此期间，该存储节点重连无异常，则该节点初始化成功；二、 如果数据节点初始化失败且无可用逻辑库，或数据节点下无存储节点，则计算节点无法启动，

原创 2021-07-09

1、服务器要求2、软件要求下载auto_hotdbinstall_HotDB2.5.*.tar.gz的HotDB Server安装包，如auto_hotdbinstall_HotDB2.5.3_v1.0_20191231.tar.gz。部署步骤本章命令，复制每个框的命令到shell执行即可环境检查：所有服务器执行- 关闭selinux、firewalld等安全服务#关闭selinuxsetenforce 0;sed -i’s/SELINUX=enforcing/SELINUX=disab

原创 如同使用mysql一般 使用VIP连接到HotDB数据库

常规SQL语句#此处演示使用的命令。-h192.168.0.250是部署集群是配置的VIP。mysql -h192.168.0.250 -P3323 -uroot -proot #提示mysql命令不存在时，请先执行source /etc/profile.d/mysql.shuse hotdbdrop table if exists tb1;create table tb1(id int auto_increment,name varchar(24),country int,primary k

原创 HotDB表信息入门指引

基本了解分布式数据库要能正常存储数据，就要知道表如何存储，HotDB当前采用的设计策略是人为指定哪张表以怎么样的规则存储在哪些数据节点中。这里说的人为指定存储方式，指的就是配置表信息，即告诉HotDB该如何存储接下来要创建的对应表。当前，决定表如何存储的方式，有三种：不在管理平台配置表信息，直接在3323端口执行常规create table 语句，那么表按照autocrc32分片规则分布到表所在逻辑库的默认数据节点；不在管理平台配置表信息，直接在3323端口执行带有HotDB分片语法的create

原创 分布式事务数据库HotDB的存储节点故障切换后数据正确性保障

无论是异步复制还是半同步复制，都可能会存在这样一种情况：**在故障切换全部完成后，**原主库恢复，新主库（原从库）复制IO线程可能自动重连并获取到切换前没有获取到的事务，而这样的事务在切换的处理过程中，已经是被认定没有提交成功的事务，不能再继续复制，否则会有数据混乱的风险。因此增加计算节点参数failoverAutoresetslave，默认关闭。<propertyname=“failoverAutoresetslave”>false**故障切换后，**会暂停原主从之间IO线程，并对原主

原创 HotDB 分布式事务数据库中不同数据库表对象的类型设计准测

**引言：## HotDB Server 数据分片利用逻辑库方式分库，隔离不同业务属性的数据可垂直或水平拆分大表，让操作集中于少量数据内置满足不同业务场景的拆分算法和丰富的表类型

原创 收自HotDB之MySQL问答——用Percona XtraBackup,备份mysql5.6的数据库能否直接在mysql8下用 XtraBackup恢复

引言：HotDB Server 是热璞数据库基于MySQL自研的一款分布式事务数据库产品，可实现业务系统的数据容量和处理性能横向扩展，解决实时交易业务系统的“两大三高” （全称为大规模用户、大规模数据、高可靠、高并发、高吞吐）的问题。因此关于MySQL的相关问答，可做些许分享用Percona XtraBackup,备份mysql5.6的数据库能否直接在mysql8下用 XtraBackup恢复?MySQL开源数据库的软件版本说明：（1）以版本号MySQL5.6.45 为例， 5 代表第一大版本号

原创 2021-07-05

支持 SQL 92/99标准，覆盖99.9%以上应用开发常用SQLHot DB Server 支持 SQL 92/99标准，覆盖99.9%以上应用开发常用SQL ，包括D ML 语句（D ELETE 、 INSERT 、L OAD DATA 、R EPLACE 、S ELECT 、U PDATE 、跨库J OIN） ，D DL 语句( ALTER 、C REATE 、D ROP 、T RUNCA 与R ENAME )，事务管理与锁语句，其他MySQL。IUD(INSERT 、U PDATE 、D EL

原创 HotDB一张图带你了解不同的产品类型

HotDB 干货分享热璞数据库——分布式——应用于OLTP 业务场景

原创 干货参考：不同业务场景该如何选择数据库类型

业务场景 数据库类型 代表型产品物联网： 时序数据库 InfluxDB、OpenTSDB、Prometheus、RRDTool、 TimescaleDB分布式事务数据库 Oceanbase、HotDB、GoldenDB、TDSQL、DDM交易关系： 传统数据库 Oracle、DB2、Sysbase、DM、Kingbase、Gbase关系分析 分布式分析数据库 Greenplum、Vertical、Gbase、GaussDBKV分析 分布式分析数据库 Hadoo

原创 热璞数据库HotDB跨JOIN功能介绍

热璞分布式事务数据库HotDB Server支持跨存储节点的3张表以上的切分字段和非切分字段的多表关联查询，实现效果与单库一致，对应用程序透明。同时支持可视化功能，整理所有表对象间的JOIN关系并进行展示分析，提供优化建议。根据操作日志智能分析记录业务数据库内所有的SQL请求，并将其绘制为数据库的ER关系模型，从而让用户对当前业务连表查询的JOIN情况有一个全局的监控。同时提供跨库有交叉ER模型关系图，用户可监控当前跨库有交叉JOIN情况从而对表结构或SQL查询语句进行优化。用户可在计算节点参数页

原创 运维人员的得力助手——HotDB 智能巡检

为方便运维人员及时知晓数据库集群内部是否存在隐患或异常，在管理平台版本高于（包含）2.5.6时新增了智能巡检功能，通过该功能可以对计算节点集群进行日常数据库巡检工作，及时规避当前数据库服务在运行过程中存在的隐患问题。功能入口：管理平台普通角色登录，点击"工具"->“智能巡检”，进入智能巡检页面。使用前提发起智能巡检，需要满足如下前提：当前用户拥有"智能巡检"菜单权限需要配置服务器SSH信息功能介绍智能巡检主要包括：巡检结果报告、巡检指标设置、历史巡检记录三个TAB，默认展示巡检结果报

原创 HotDB 备份恢复—— 使用二进制日志（增量）恢复

关于备份恢复，上一篇介绍了HotDB 的第一种数备份恢复——使用 mysqldump 备份大家可以翻阅上一篇分享，接下来，我们介绍使用二进制日志（增量）恢复使用二进制日志（增量）恢复mysqlbinlog - 处理二进制日志文件的实用程序计算节点支持 mysqlbinlog 命令，mysqlbinlog 命令能够解析 binlog 文件用于同步增量数据，从而减少了将单机 MySQL 数据迁移至计算节点时的停机时间。使用 mysqlbinlog 连接远程 mysql 实例获取 binlog 文件并

原创 HotDB备份恢复

计算机迅速发展的时代，时刻进行着数据联系，数据传输、数据存储、数据交换等， 这些数据作为企业的重要生产资料，万一丢失其损失可想而知。但工作中，造成数据丢失的原因很多，内在的系统故障、 外在的不稳定环境因素、介质影响， 人为的事故，误操作、黑客入等， 因此数据备份是企业保护数据的重要手段也是企业竖起的最后一道安全墙，而备份恢复是数据不丢失的很双重保障。HotDB备份恢复：使用 mysqldump 备份mysqldump - 数据库备份程序HotDB Server 支持 mysqldump 功能，用法

原创 热璞数据库hotdb计算节点手动升级

算节点版本升级支持手动和自动两种方式，自动升级请参考管理平台文档的升级中心菜单说明。以下将通过手动的方式对单节点、主备节点、多节点模式的集群进行计算节点版本升级说明。注意事项升级JDK版本若计算节点版本由低版本升级到V2.5.5（包含）以下版本时，可跳过这一步，默认JDK版本均为1.7；若计算节点版本由低版本升级到V2.5.6（包含）以上版本时，需要对JDK版本进行升级至1.8，具体操作步骤请参考管理平台升级JDK版本，同时也需要对启动脚本bin/hotdb_server文件中JAVA_BIN、JA

原创 HotDB 程序包替换

备份管理平台目录cd /usr/local/hotdb/mv hotdb-management hotdb_management_249上传并解新版本包上传新版本包可使用rz命令或ftp文件传输工具上传新版本包解压新版本包tar -xvf hotdb-management-2.4.9-ga-20190417.tar.gz -C /usr/local/hotdb为hotdb用户赋予文件夹权限chown -R hotdb:hotdb /usr/local/hotdb/hotdb-managem