老叶茶馆

转载 MySQL复制从库延迟优化思路

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。1、什么是MySQL复制延迟？本质是MySQL从库的relay log回放跟不上主库生成速度，产生延迟2、主从延迟常见的原因有哪些？1、大事务，从库回放时间较长，导致主从延迟2、主库写入过于频繁，从库回放跟不上3、参数配置不合理4、主从硬件差异5、网络延迟6、表没有主键或者索引大量频繁的更新7、一些读写分离的架构，从库...

转载 MySQL复制从库延迟原因深入分析

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。背景介绍近来一套业务系统，从库一直处于延迟状态，无法追上主库，导致业务风险较大。从资源上看，从库的CPU、IO、网络使用率较低，不存在服务器压力过高导致回放慢的情况；从库开启了并行回放；在从库上执行SHOW PROCESSLIST看到没有回放线程阻塞，回放一直在持续；解析relay log日志文件，发现其中并没大事...

转载 给MySQL 5.7打补丁，并且编译出和官方一致的Linux Generic包

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。需求来源某客户现场业务系统出现了查询丢失数据问题（数据库为MySQL 5.7.21，使用Linux Generic包部署)。已查明：丢数据问题是触发了MySQL 5.7的一个bug，该bug在5.7的后继版本已修复。客户不想升级数据库版本，希望将fix的代码打到5.7.21重新编译后替换二进制。编译步骤准备包、源码和编...

转载 探究网络延迟对事务的影响

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。1.背景概述最近在做数据同步测试，需要通过DTS将kafka中的数据同步到数据库中，4G的数据量同步到数据库用了大约4个多小时，这看起来很不合理。查看数据库所在主机的CPU，IO的使用率都不高，没有瓶颈。最后通过排查发现由于kafka 和DTS 以及数据库实例不再同一个机房，网络延迟较大，导致同步速率缓慢。将kafka...

转载 SEQUENCE在GreatSQL与Oracle中的区别

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。前言在使用Oracle数据库SEQUENCE功能时，发现Oracle对边界处理比较奇怪。刚好GreatSQL也支持SEQUENCE，就拿来一起比较一下。先说结论：GreatSQL 的使用基本和Oracle基本一致，但是对 START WITH 的边界限制有所不同。本次测试使用数据库的版本号#Oracle版本BANN...

转载 GreatSQL的多层SP中Cursor的m_max_cursor_index相关BUG分析

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、问题发现在一次开发中在sp中使用多层cursor的时候想知道每层的m_max_cursor_index值分别是多少，以用来做后续开发。于是做了以下的试验，但是发现第一个level=2那层的m_max_cursor_index的值有点问题。注：本次使用的GreatSQL 8.0.32-25。SQL语句示例：great...

转载 源码解析丨一次慢SQL排查之旅

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。当long_query_time=1时（表info的id为主键），出现下面的慢日志，可能会让你吃惊#Time:2024-01-28T22:52:24.500491+08:00#User@Host:root[root]@[127.0.0.1]Id:8#Query_time:7.7607...

转载 面试题：INSERT...t...SELECT s会对s表加锁吗

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。前言：insert into t2 select * from t1;这条语句会对查询表 t1 加锁吗？不要轻易下结论。对GreatSQL的锁进行研究之前，首先要确认一下事务的隔离级别，不同的事务隔离级别，锁的表现是不一样的。实验：创建测试表t1，t2greatsql>createtablet1(idi...

转载 工具分享丨分析GreatSQL Binglog神器

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。在GreatSQL中，Binlog可以说是 GreatSQL 中比较重要的日志了，在日常开发及运维过程中经常会遇到。Binlog即Binary Log，二进制日志文件，也叫作变更日志（Update Log）。详细Binglog日志介绍：https://greatsql.cn/docs/8032-25/user-manu...

转载 被很多人忽视的NULL值对NOT IN子查询结果的影响问题

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。前言开发人员写的 SQL 语句中经常会用到 in，exists，not in，not exists 这类子查询，通常，含 in、exists 的子查询称为半连接（semijoin），含 not in、 not exists 的子查询被称之为反连接。经常会有技术人员来评论 in 与 exists 效率孰高孰低的问题。我在...

转载 MySQL 8.0.26版本升级32版本查询数据为空的跟踪

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。某业务系统将MySQL 8.0.26升级为 GreatSQL 8.0.32-24 后，某些特定的SQL语句不能查询到数据。经测试 MySQL 8.0.32也存在相同的问题此BUG已在 GreatSQL 8.0.32-25 版本中解决接到客户反馈的问题后，对问题进行了复现和分析。版本信息greatsql>sele...

转载 被误写入Slave的数据如何恢复到主库

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。背景在GreatSQL主从复制环境中，有时候可能会出现一些误操作，将本应该写入到主库的数据写入到了从库，导致主从数据不一致，影响数据同步。是否可以将写入从库的数据同步写入主库呢？测试环境角色IP地址数据库开放端口版本主库192.168.137.1793308GreatSQL 8.0.32从库192.168.137.18...

转载 MyCat分库分表实时同步到GreatSQL

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。这个事情怎么产生的MyCat作为经典的分库分表中间件，在长时间内被广泛认为是管理超大MySQL数据库集合的有效解决方案。近来接到客户需求，需要将MyCat集群迁移到GreatSQL中，并且在一段时间内需要实时从MyCat中同步数据到GreatSQL中，全量同步数据比较容易操作，增量同步有如下两个棘手的问题：多个serv...

转载 SQL优化案例解析：MINUS改写为标量子查询后提升5倍，但还可以再快近百倍

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。写在前面(By老叶)从GreatSQL 8.0.32-25版本开始支持Rapid引擎，该引擎使得GreatSQL能满足联机分析（OLAP）查询请求。老叶尝试利用Rapid引擎优化本案例，结果是相当可喜的，对比如下：-SQL执行耗时(秒)Rows_examinedRead_keyRead_nextRead_rnd_nex...

转载 关于GreatSQL字符集的总结

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。前言最近的SQL优化工作中经常遇到因字符集或校验规则不一致导致索引使用不了的问题，修改表的字符集或校验规则相当于把表重构，表中数据量大时，处理起来费时费力，希望应用开发者在设计之初时注意到此问题，让后期接手运维的小伙伴少一些负担。GreatSQL的字符集和校验规则种类繁多，提供灵活性的同时，也带来使用混乱的烦恼。本文对...

转载 LOAD DATA中包含NULL导致主从报错结局

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。1.背景概述目前需要搭建一个从库，由于单表数据量较大，时间比较有限，考虑到导入导出的时间，并且GreatSQL支持并行load data的功能，能够加速数据的导入，因此决定使用 select into outfile 和 load data 的方式进行数据的迁移；在数据导入完成后进行数据同步，从库发生报错 1032 找...

转载 GreatSQL登陆Arch Linux之旅

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。了解Arch LinuxArch Linux是一个轻量、灵活、基于x86-64架构的Linux发行版，遵循K.I.S.S.原则。注重代码正确、优雅和极简主义，期待用户能够愿意去理解系统的操作。1.简洁Arch Linux将简洁定义为：避免任何不必要的添加、修改和复杂增加。简单来说，archlinux 是一个可以让用户自...

转载 GreatSQL Shell如何接管手动搭建（含仲裁节点）MGR集群

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文源自GreatSQL社区用户的一次提问：Q：一个包含仲裁节点（ARBITRATOR）的GreatSQL MGR集群，一开始是用手动方式构建，后来想用GreatSQL Shell接管，可以吗？A：是可以的，不过也有一定局限性具体的操作如下检查当前MGR集群情况greatsql>select*frompe...

转载 荐书，爱可生开源社区《大智小技》

原创 为什么SHOW TABLE STATUS显示Rows少了40%

1. 背景介绍测试环境中，有一个表执行 SHOW TABLE STATUS 时看到的 rows 结果总是和真实数量相差了将近40%：--执行SHOWTABLESTATUS，看到Rows只有约655万行数据greatsql>SHOWTABLESTATUSLIKE't1'\G***************************1.row****************...

转载 GreatSQL TPC-H 性能测试报告正式发布！

* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。TPC-H 性能测试报告 - （2024 年 2 月28日）完整性能测试报告：https://greatsql.cn/docs/8032-25/user-manual/10-optimze/3-3-benchmark-greatsql-tpch-report.html1、概述本次测试针对GreatSQL数据库基于标准 ...

转载 故障解析丨Clone节点导致主从故障

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。故障解析丨Clone节点导致主从故障1.背景概述在一次主从复制架构中，由于主节点binlog损坏，导致从节点无法正常同步数据，只能重做从节点；因此使用MySQL 8.0.17开始提供的clone技术进行恢复，恢复后的2天都发生了主从报错数据冲突。通过解析binlog发现，同一时刻主从节点都在执行同一条语句，因此询问业务...

原创 编译GreatSQL with RocksDB引擎

GreatSQL里也能用上RocksDB引擎1. 前言RocksDB 是基于Facebook 开源的一种支持事务的、高度可压缩、高性能的MyRocks存储引擎，特别适用于高度压缩和大容量的数据。以下是一些关键特点：高性能： LSM 树结构使得RocksDB在写入密集型负载下表现卓越。它能够处理大量的写入操作，并且在写入操作上有较低的延迟。可压缩存储： 具有高度可压缩的特性，可以有效减小数据在磁盘上...

转载 赞，GreatSQL AP引擎上线了，TPC-H 100G耗时不到80秒

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。Rapid引擎简述从GreatSQL 8.0.32-25版本开始，新增Rapid存储引擎，该引擎使得GreatSQL能满足联机分析（OLAP）查询请求。Rapid引擎采用插件（Plugin）方式嵌入GreatSQL中，可以在线动态安装或卸载。Rapid引擎不会直接面对客户端和应用程序，用户无需修改原有的数据访问方式。它...

转载 图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(下)

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、环境介绍往期回顾：图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)本文环境，以及本文所采用数据库为GreatSQL 8.0.32-24$cat/etc/system-releaseRedHatEnterpriseLinuxServerrelease7.9...

转载 图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、环境介绍本文环境，以及本文所采用数据库为GreatSQL 8.0.32-24$cat/etc/system-releaseRedHatEnterpriseLinuxServerrelease7.9(Maipo)$uname-aLinuxgip3.10.0-1160.el7.x86_6...

原创 12000 份发财红包封面免费送

发财红包封面又来啦寓意新年加薪发财两个红包封面，各6000份，共12000份剩余额度全打光，够诚意吧附送原图（阿里通义万相生成）祝大家春节快乐，新年涨薪发财龙年行大运，万事皆如愿使用说明每个用户ID限领1个红包封面，数量有限，先到先得；若用户已经领取过红包封面，会看到页面显示“已领取红包封面”；用户尚未领取时，若红包封面已被全部领取完，会看到页面显示“红包封面已领完”；红包封面使用有效期为领取后一...

原创 6000 份发财红包封面免费送

免费发财红包封面来啦寓意新年加薪发财共6000份附送原图（阿里通义万相生成）祝大家春节快乐新年涨薪发财使用说明每个用户ID限领1个红包封面，数量有限，先到先得；若用户已经领取过红包封面，会看到页面显示“已领取红包封面”；用户尚未领取时，若红包封面已被全部领取完，会看到页面显示“红包封面已领完”；红包封面使用有效期为领取后一个月，有效期内可以无限次使用该封面，超过有效期后封面将自动失效，之前已发送的...

原创 2000 份金币红包封面免费送

利用阿里通义万相生成金币红包封面免费送给大家共2000份附送原图祝大家春节快乐新年涨薪发财使用说明每个用户ID限领1个红包封面，数量有限，先到先得；若用户已经领取过红包封面，会看到页面显示“已领取红包封面”；用户尚未领取时，若红包封面已被全部领取完，会看到页面显示“红包封面已领完”；红包封面使用有效期为领取后一个月，有效期内可以无限次使用该封面，超过有效期后封面将自动失效，之前已发送的红包不受影响...

原创 MySQL Shell 8.0.32 for GreatSQL编译二进制包

构建MySQL Shell 8.0.32 for GreatSQL0. 写在前面之前已经写过一篇前传 MySQL Shell 8.0.32 for GreatSQL编译安装，最近再次编译MySQL Shell二进制包时，发现了一些新问题，因此重新整理更新本文档。1. 几处新问题这次编译MySQL Shell发现几个新问题，下面一一列举。MySQL Shell要求配套的antlr4版本必须是4.10...

原创 在CentOS环境下编译GreatSQL src.rpm包，并再编译RPM包

本文介绍如何在CentOS环境下编译GreatSQL src.rpm源码包，以及如何用src.rpm源码包编译生成可安装的RPM包。运行环境是docker中的CentOS 8 x86_64：$docker-vDockerversion20.10.10,buildb485636$dockerrun-itd--hostnamec8--namec8centosbash...

原创 在openEuler环境下快速编译GreatSQL RPM包

在上一篇中，已经介绍了在CentOS环境下编译GreatSQL RPM包的过程，本文再介绍如何在openEuler环境下编译GreatSQL RPM包。运行环境是docker中的openEuler 22.03 x86_64：$docker-vDockerversion20.10.10,buildb485636$dockerrun-itd--hostnameoe--na...

原创 在CentOS环境下编译GreatSQL RPM包

本文介绍如何在CentOS环境下编译GreatSQL RPM包。运行环境是docker中的CentOS 8 x86_64：$docker-vDockerversion20.10.10,buildb485636$dockerrun-itd--hostnamec8--namec8centosbasha0a2128591335ef41e6faf46b7e79953c...

转载 GreatSQL 8.0.32-25新版本有奖体验！

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。（1）活动简介2023.12.28——2024.1.15 期间，参与 GreatSQL 8.0.32-25 新版本体验测试活动，只要发现并提交有效错误或 bug、或文档手册问题，即可获得社区周边、社区金币奖励！GreatSQL 期待您的参与~（2）参与方式新版体验：下载并测试、使用 GreatSQL 8.0.32-25...

转载 GreatSQL 8.0.32-25来了

新版本发布会视频回顾版本信息发布时间：2023年12月28日版本号：8.0.32-25, Revision db07cc5cb73下载链接：https://gitee.com/GreatSQL/GreatSQL/releases/tag/GreatSQL-8.0.32-25用户手册：GreatSQL 8.0.32-25 User Manual https://greatsql.cn/docs/80...

转载 GreatSQL一个关于主从复制的限制描述与规避

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、背景分享一个在项目运维中遇到的一个主从复制限制的一个坑，项目的架构为主集群+灾备集群，每个集群为一主两从模式。主集群到灾备集群的同步为主从复制的方式，根据业务需求灾备集群需要忽略系统库跟某些配置表，所以才会触发此限制，而这个限制如果我们之前没有遇到过，那么排查起来也是相对不易的。二、限制描述1、主从同步出现报错gr...

转载 GreatSQL MGR + ProxySQL集群搭建方案

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。前言ProxySQLProxySQL 是基于 MySQL 的一款开源的中间件的产品，是一个灵活的 MySQL 代理层，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行缓存，支持动态加载（无需重启 ProxySQL 服务），故障切换和一些 SQL 的过滤功能。GreatSQL MGRGreat...

转载 MGR新节点RECOVERING状态的分析与解决：caching_sha2_password验证插件的影响

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。起因在GreatSQL社区上有一位用户提出了“手工构建MGR碰到的次节点一直处于recovering状态”，经过排查后，发现了是因为新密码验证插件caching_sha2_password导致的从节点一直无法连接主节点，帖子地址：➥https://greatsql.cn/thread-420-2-1.html复现环境介...

转载 探索GreatADM：如何快速定义监控

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。引文在数据库运维过程中，所使用的运维管理平台是否存在这样的问题：1、默认监控粒度不够,业务需要更细颗粒度的监控数据。2、平台默认的监控命令不适合,需要调整阈值量身定制监控策略。3、 不同类型的实例或组件需要有不同的监控重点,但管理平台监控固化，难以应对多样化的监控需求。4、 只监控系统关键指标,屏蔽不必要的指标,优化C...

转载 图文结合丨玩转MySQL Shell for GreatSQL

*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、引言1.1 什么是MySQL Shell ?MySQL Shell 是 MySQL 的一个高级客户端和代码编辑器，是第二代 MySQL 客户端。第一代 MySQL 客户端即我们常用的 MySQL 。除了提供类似于 MySQL 的 SQL 功能外，MySQL Shell 还提供 JavaScript 和 Python...