- 博客(60)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 05：持久化
05：持久化[TOC]1、本章知识1.1 本章内容介绍RDB、 AOF的配置和运行流程， 以及控制持久化的相关命令， 如bgsave和bgrewriteaof。其次对常见持久化问题进行分析定位和优化。最后结合Redis常见的单机多实例部署场景进行优化RDB和AOF 混合模式1.2 重点1） Redis提供了两种持久化方式： RDB和AOF。2） RDB使用一次性生成内存快...
2019-11-25 16:31:08
311
原创 04：redis客户端
04：redis客户端[TOC]1、本章知识1.1 本章内容客户端通信协议Java客户端JedisPython客户端redis-py客户端管理客户端常见异常客户端案例分析1.2 重点1） RESP（Redis Serialization Protocol Redis）保证客户端与服务端的正常通信，是各种编程语言开发客户端的基础。2） 要选择社区活跃客户端，在实际项目中...
2019-11-21 14:20:43
170
原创 03：小功能大用处
03：小功能大用处[TOC]1、本章知识1.1 本章内容慢查询分析：通过慢查询分析，找到有问题的命令进行优化。Redis Shell：功能强大的Redis Shell会有意想不到的实用功能。Pipeline：通过Pipeline（管道或者流水线）机制有效提高客户端性能。事务与Lua：制作自己的专属原子命令。Bitmaps：通过在字符串数据结构上使用位操作，有效节省内存，为开 发提...
2019-11-20 12:07:58
182
原创 02：API的理解和使用
02：API的理解和使用[TOC]1、预备内容：1.1 预备知识几个简单全局命令、数据结构、内部编码、单线程命令处理机制分析。五种数据结构的特点、命令使用、应用场景。键管理、遍历键、数据库管理。redis_version:3.2.81.2 了解学习redis主要体现在两个方面：第一、Redis的命令有上百个，如果纯靠死记硬背比较困难，但是如果理解Redis的一些机制，会发现...
2019-11-20 11:21:29
169
原创 01：初识Redis
01：初识Redis[TOC]付磊和张益军两位大咖写的葵花宝典（Redis开发和运维）学习笔记。1、本章知识1.1 本章内容盛赞RedisRedis特性Redis使用场景用好Redis的建议正确安装启动RedisRedis重大版本1.2 重点1） Redis的8个特性： 速度快、 基于键值对的数据结构服务器、 功能丰富、 简单稳定、 客户端语言多、 持久化、 主从...
2019-11-20 10:58:24
192
原创 如何干净的清除Slave同步信息
MySQL> show master status;+------------------+-----------+--------------+------------------+-------------------+| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_S...
2018-12-18 21:22:00
20
原创 不重启修改'log_slave_updates'变量
Variable 'log_slave_updates' is a read only variable 不重启修改mysql变量执行复制的时候遇到的问题mysql> show variables like 'log_slave_updates'; +-------------------+-------+ | Variable_name | Value | +...
2018-12-18 21:21:00
33
原创 mysql 字符集排查
mysql 字符集排查库级别SELECT * FROM information_schema.schemata WHERE schema_name NOT IN ( 'information_schema', 'performance_schema', 'mysql', 'sys' ) AND ( default_character_set_name <> 'utf...
2018-11-13 18:10:00
19
原创 mysql响应时间超时排查
背景：数据库运营环境，zabbix mysql响应时间告警，响应时间超时zabbix监控tcprstart 直接抓包响应时间看到每5秒钟就一次，与zabbix监控一致[root@slave1(35.101) /r2/monitor]# tcprstat -l 192.168.3.101 -p 3306 -t 1 -n 0 timestamp count max min ...
2018-11-05 16:23:00
18
原创 mysql常规巡检
MySQL常规巡检目录一、巡检脚本二、下载巡检脚本三、脚本执行说明1、inspection.conf 使用说明2、inspection_mysql.sh 使用说明3、mysqltuner.pl 使用说明四、执行结果一、巡检脚本巡检脚本包括三个文件inspection.conf、inspection_mysql.sh、mysqltuner.plbash>ll-rw-r--r-- 1...
2018-11-05 15:48:00
30
原创 开发需求：每个表dump出部分数据
mysqldump 每张数据表统一导出的N个记录数需求：在开发过程中，需要将生产的数据导出到本地开发环境，希望可以每个表都导出部分数据.由于生产数据表都是上千万或亿级别，直接从服务器导出数据会影响业务， 希望可以导出部分数据用于测试环境使用。实现:利用mysqldump参数来实现--where='where_condition', -w 'where_condition'Dum...
2018-10-22 10:19:00
29
原创 MySQL单机单实例安装脚本
说明：使用mysql generic tar.gz包快速安装mysql三个文件installation_of_single_mysql.sh、template_install-my.cnf、mysql-5.7.18-linux-glibc2.5-x86_64.tar.gz修改脚本的配置信息指定template_install-my.cnf和mysql-5.7.18-linux-glibc2....
2018-09-19 14:21:00
20
原创 远离故障的十大原则-好文
远离故障的十大原则转帖来自沃趣科技故障是运维人员永远的痛。相信每一个运维人员的KPI中都有一项：可用性。可用性高就是不出故障，各个公司对可用性和故障评级的标准都不相同，但是避免故障的方法却是殊途同归。我们怎么避免故障，沃趣科技简单列举了以下几条，与大家共勉！1、变更要有回滚，在同样的环境测试过2、对破坏性的操作谨慎小心3、设置好命令提示4、备份并验证备份有效性5、对生产环境...
2018-09-11 16:36:00
17
原创 InnoDB引擎，从大表中删除多行
官方建议:InnoDB TablesIf you are deleting many rows from a large table, you may exceed the lock table size for an InnoDB table. To avoid this problem, or simply to minimize the time that the table ...
2018-07-18 11:55:00
18
原创 MySQL慢查询配置
一、查看文件安装路径由于软件安装的地方不止一个地方，所有先说查看文件安装的所有路径(地址)。以mysql为例。比如说我安装了mysql,但是不知道文件都安装在哪些地方、放在哪些文件夹里，可以用下面的命令查看所有的文件路径在终端输入：whereis mysql回车，如果你安装好了mysql，就会显示文件安装的地址，例如我的显示(安装地址可能会不同)[root@dbprox...
2018-07-17 15:12:00
17
原创 设置MySQL重做日志大小
什么是InnoDB事务日志你有没有在文本编辑器中使用过撤消或重做的功能，想像一下编辑器在那种场景下的操作？我确信你应该使用过。你相信吗？事务型数据库有同样的功能。可能不完全一样，但原理是相同的。就像当你编辑文字时始终有能力撤消数步的重要性一样，重做和撤消功能也对事务型数据一样重要。为什么呢？主要有两个原因：1.回滚事务(那是撤消)2.在数据库崩溃的情况下回放已提交的事务(那是重做)...
2018-07-17 15:12:00
22
原创 MySQL 慢查询日志切换
low_query_log_file日志变得很大，对它进项分析变得很不方便，我们就想按天每天产生一个slow_query_log_file文件，每天分析这个日志文件。如何按天切割呢？我们想到了这么一个办法，把日志格式切换成这种形式的hostname-slow_日期.log 这种形式，默认格式为hostname-slow.log。那么如何实现呢？利用mysql默认命令mysql>...
2018-07-17 15:11:00
16
原创 mysql server id一样导致报错
(root@localhost) 16:03:38 [(none)]> show slave status \G; Last_IO_Errno: 1593 Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have e...
2018-07-17 15:08:00
22
原创 MySQL 加快导入数据
1.临时关闭binlog,避免写入日志set sql_log_bin = off；mysql> show VARIABLES like '%log_bin%';+---------------------------------+------------------------------------------+| Variable_name ...
2018-07-17 15:06:00
12
原创 MySQL 5.7 坑爹参数 – log_timestamps
官网原话：This variable was added in MySQL 5.7.2. Before 5.7.2, timestamps in log messages were written using the local system time zone by default, not UTC. If you want the previous log message time zo...
2018-07-17 15:02:00
19
原创 业务SQL优化
1，个人开户报表统计优化前语句,执行时间80多秒SELECT a.DA AS f_da, a.account_name AS f_account_name, a.sex AS f_sex, a.nick_name AS f_nickname, a.create_time AS f_open_account_time, DATE_FORMAT(a.create_time, '%Y%...
2018-07-17 14:59:00
12
原创 GTID 跳过脚本
跳过单个errorSTOP SLAVE;SET gtid_next = '3b977b7e-ed28-11e7-a8ff-b4969113b678:138609841';BEGIN;COMMIT;SET gtid_next = 'AUTOMATIC';START SLAVE;show slave status \G;select * from performance_schema....
2018-07-17 14:56:00
20
原创 mydumper 找不到libmysqlclient.so.20
报错信息:mydumper: error while loading shared libraries: libmysqlclient.so.20: cannot open shared object file: No such file or directory处理:# locate libmysqlclient.so.20# ll /usr/local/mysql/lib/# c...
2018-07-17 14:49:00
25
原创 根据字符串与所有库相匹配输出包含该字符串的库，表，字段
背景：要求在所有库下面查找出包含有域名(www.xxxx.com)字符串的库，表，字段#!/bin/bash# line: V1.3# mail: [email protected]# data: 2018-07-06# script_name: #==================================...
2018-07-13 16:13:00
12
原创 缺乏libaio包导致报The server quit without updating PID file
背景：直接解压安装mysql5.7.18，解压mysql-5.7.18-linux-glibc2.5-x86_64.tar.gz，直接拷贝另外一台数据库的数据目录，启动mysql过程无日志输出，报ERROR! The server quit without updating PID file (/r2/mysqldata/ai244.pid).排查过程：重新初始化中......报bin/...
2018-07-09 09:33:00
18
原创 MySQL重启端口被占用处理
1,查看日志的ERROR2018-05-23T01:26:59.230382Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.2018-05-23T01:26:59.230409Z 0 [Note] --secure-file-priv is set to NULL. Operations related to importin...
2018-05-23 11:38:00
12
原创 05：Sysbench压测-innodb_deadlock_detect参数对性能的影响
sysbench压测-innodb_deadlock_detect参数对性能的影响目录sysbench压测-innodb_deadlock_detect参数对性能的影响一、OLTP测试前准备二、进行OLTP测试三、测试结果解读：四、关于测试后的结论：五、关于测试后的性能优化：1、善后清理工作：2、运行优化建议工具3、修改mysql参数4、再次启动测试流程一、OLTP测试前准备基本信息：...
2018-05-17 16:51:00
15
原创 MySQL-5.5.32 配置文件优化详解
MySQL-5.5.32 配置文件优化详解目录MySQL-5.5.32 配置文件优化详解一、配置文件说明1.my-small.cnf2.my-medium.cnf3.my-large.cnf4.my-huge.cnf5.my-innodb-heavy-4G.cnf6.总结二、详解 my-innodb-heavy-4G.cnf1.详细说明三、配置文件优化(根据实际情况优化)1.服务器的运行环境2...
2018-05-17 14:23:00
20
原创 导出帐号和权限脚本
exp_user_grants.sh#!/bin/bash# line: V1.0# mail: [email protected]# data: 2018-04-25# script_name: exp_grants.sh# Function export user privilegesMY_USER="gcdb"...
2018-05-07 15:09:00
13
原创 orzdba_monitor.sh脚本使用
1.orzdba_monitor.sh脚本使用./orzdba_monitor.sh 主要是用nohup同时在后台调用orzdba，启动下面三个命令[root@node02 scripts]# ps -ef |grep orzdbaroot 19887 1 0 17:40 ? 00:00:00 /usr/bin/perl -w /scripts/orzd...
2018-05-07 14:42:00
25
原创 第27章：MySQL之基于Consul和MGR的MySQL高可用架构
第27章：MySQL之基于Consul和MGR的MySQL高可用架构目录第27章：MySQL之基于Consul和MGR的MySQL高可用架构一、Consul1、Consul简介2、准备环境3、Consul 安装4、Consul配置文件5、Consul 服务检查脚本6、Consul启动二、MGR搭建1、MGR配置2、MGR查看三 、Consul测试1、MGR(多主模式)+ Consul模式1.1...
2018-02-27 17:56:00
24
原创 第26章：MySQL之Cetus sharding
第26章：MySQL之Cetus sharding目录第26章：MySQL之Cetus sharding一、主机环境二、搭建环境1、准备环境三、Cetus安装1、下载包和安装依赖包2、Cetus安装1.安装说明2.安装实施四、Cetus配置1、创建和修改配置文件2、启动cetus3、导入数据4、验证cetus分库功能五、Cetus测试各种限制1、JOIN的使用限制2、DISTINCT的限制3、...
2018-02-26 10:17:00
12
原创 第25章：MySQL之Cetus中间件和MHA读写分离
第25章：MySQL之Cetus中间件和MHA读写分离目录第25章：MySQL之Cetus中间件和MHA读写分离一、主机环境二、搭建主从1、配置主从2、配置 hosts3、配置免秘钥1、手工配置2、脚本配置三、安装MHA和Cetus1、下载包和安装依赖包2、安装MHA Node3、安装MHA manager4、安装Cetus1.安装说明2.安装实施5、cetus替换mha部分文件四、MHA和c...
2018-02-07 16:35:00
23
原创 04：Sysbench压测-innodb_flush_log_at_trx_commit,sync_binlog参数对性能的影响
sysbench压测-innodb_flush_log_at_trx_commit,sync_binlog参数对性能的影响目录sysbench压测-innodb_flush_log_at_trx_commit,sync_binlog参数对性能的影响一、OLTP测试前准备二、MySQL 数据落盘的过程三、参数说明四、Test性能五、总结一、OLTP测试前准备基本信息：主机信息CP...
2018-02-02 14:50:00
19
原创 第24章：MySQL之高可用之MHA
第24章：MySQL之高可用之MHA目录第24章：MySQL之高可用之MHA高可用之MHA一、MHA 简介1、提供的功能2、MHA的优点3、MHA的缺点:二、MHA 原理1、架构图2、MHA 恢复原理三、环境四、搭建主从1、配置主从2、 配置 lossless semi-sync replication (无损复制)五、 安装MHA1、下载包和安装依赖包2、安装MHA manager3、安装M...
2018-02-02 14:36:00
17
原创 第23章：MySQL之基于mysqldump全量和增量备份
第23章：MySQL之基于mysqldump全量和增量备份目录第23章：MySQL之基于mysqldump全量和增量备份一 mysql_backup1.功能2.使用方法2.1 全备2.2 增量3.执行备份3.1 全备执行过程3.2 全备执行结果3.3 增备执行结果3.4 增备执行结果3.5 public_position文件是空时，执行增备修订日期：2021-01-08一 mysql_b...
2018-01-22 11:35:00
17
原创 第22章：MySQL之复制模式
第22章：MySQL之复制模式目录第22章：MySQL之复制模式一. 复制1. 基于binlog刷新和恢复1.1 binlog格式1.2 binlog恢复2. MySQL主从复制架构二. 可传输表空间1. innodb 独立表空间导入和导出2. 演示三 复制环境搭建1. 创建一个复制用户2. 备份数据2.1. 准备测试数据2.2. 导出数据3. 还原数据4. CHANGE MASTER4.1....
2018-01-11 15:56:00
59
原创 第21章：MySQL之备份和恢复
第21章：MySQL之备份和恢复目录第21章：MySQL之备份和恢复修订日期：2021-01-08一. 备份的类型二. 备份工具三. 备份方式四. 备份工具4.1 mysqldump4.1.1 mysqldump 简介4.1.2 mysqldump演示4.1.2.1 准备数据4.1.2.2 要对单一整数据库进行备份4.1.2.3 对数据库进行恢复4.1.2.4 要对单表进行备份4.1.2....
2018-01-09 11:45:00
18
原创 第20章：MySQL之事务和事务相关的功能
第20章：MySQL之事务和事务相关的功能===================目录一. 事务1.1. 事务相关的功能1.2 开启/结束一个事务1.3. 事务的ACID1.4. 事务的类型1.5. 事务演示1.5.1 扁平事务(Flat Transactions)1.5.2 带有保存点的扁平事务(Flat Transactions with Savepoints)二. REDO2.1. RE...
2018-01-05 18:04:00
14
原创 第19章：MySQL之锁
第19章：MySQL之锁目录第19章：MySQL之锁一. 锁1.1. 锁的介绍1.2. latch锁的查看1.3. 锁的类型1.4. 意向锁介绍1.5. 意向锁的作用1.6. 加锁以及查看1.6.1 加锁测试1.6.2 INNODB_TRX1.6.3 INNODB_LOCKS和INNODB_LOCK_WAITS二. 锁与并发2.1. 事物隔离级别2.1.1 隔离性2.1.2 脏读2.1.3...
2018-01-04 16:48:00
13
Percona XtraBackup 8.0.13 文档
2020-07-19
PerconaToolkit 3.2.pdf
2020-07-19
MySQL管理之道，性能调优，高可用与监控（第2版）书签版
2017-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人