wangxin3618的博客

转载 MySQL OCP例题与解析

1. A simple master-to-slave replication is currently being used. The following information is extracted from the SHOW SLAVE STATUS output:Last_SQL_Error: Error 'Duplicate entry '8' for key 'PRIMARY''...

原创 日志表设计优化与实现

摘要这篇文章从日志表问题引入、日志表的共有特性、日志表的设计需求、设计思路以及设计详细实现的角度，阐述了在SQL Server数据库中如何最优化设计日志表来降低系统资源的占用和提高系统吞吐量。问题引入在平时与客户服务与交流过程中，我们不止一次的被客人问及这样的场景：我们现在面临如何设计SQL Server日志表方案，如何最优化设计数据库日志记录表。因为，日志表设计会面对如下问题：表记录数大：日志表由于记录了应用程序的很多操作日志，有的业务有很多步骤，甚至每个步骤操作都会被记录到日志表中，所

原创 MySQL · 源码分析 ·Innodb 引擎Redo日志存储格式简介

MySQL有多种日志。不同种类、不同目的的日志会记录在不同的日志文件中，它们可以帮助你找出mysqld内部发生的事情。比如错误日志：用来记录启动、运行或停止mysqld进程时出现的问题；查询日志：记录建立的客户端连接和执行的语句；二进制日志：记录所有更改数据的语句，主要用于逻辑复制；慢日志：记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询。而对MySQL中最常用的事务引擎innodb，redo日志是保证事务一致性非常重要的。本文结合MySQL版本5.6为分析源码介绍MySQL

原创 利用gdb跟踪MDL加锁过程

MDL(Meta Data LocK)的作用在MySQL5.1及之前的版本中，如果有未提交的事务trx，当执行DROP/RENAME/ALTER TABLE RENAME操作时，不会被其他事务阻塞住。这会导致如下问题(MySQL bug#989)master： 未提交的事务，但SQL已经完成(binlog也准备好了)，表schema发生更改，在commit的时候不会被察觉到.slave： 在binlog里是以事务提交顺序记录的，DDL隐式提交，因此在备库先执行DDL，后执行事务trx，由于trx

原创 MySQL 5.7 XA 改进

关于MySQL XA 事务MySQL XA 事务通常用于分布式事务处理当中。比如在分库分表的场景下，当遇到一个用户事务跨了多个分区，需要使用XA事务 来完成整个事务的正确的提交和回滚，即保证全局事务的一致性。XA 事务在分库分表场景的使用下图是个典型的分库分表场景，前端是一个Proxy后面带若干个MySQL实例，每个实例是一个分区。假设一个表test定义如下，Proxy根据主键”a”算Hash决定一条记录应该分布在哪个节点上：create table test(a int prim

原创 show binary logs 灵异事件

问题背景最近在运维 MySQL 中遇到一个神奇的问题，分享给大家。现象是这样的，show binary logs没有返回结果，flush binary logs后也不行， 但是 binlog 是正常工作的，show master staus是有输出的。mysql> show binary logs;Empty set (0.00 sec)mysql> show master status\G*************************** 1. row ******...

原创 ssh 遇到的问题

问题描述： 当在while循环中，使用ssh执行命令时，之后获取第一行，例如第一行当IP。解决方法： 1. 使用for 循环 2. 在ssh命令行中加入 -n 参数以下是测试举例：#!/bin/bashcat /tmp/.test.txt | while read idossh -n mysql@$i -o st...

原创 orchestrator 安装？参数？VIP脚本？

orchestrator 安装？参数？VIP脚本？

原创 LINUX 运维管理问题

1.ssh 报错reverse mapping checking getaddrinfo for bogon [IP地址] failed - POSSIBLE BREAK-IN ATTEMPT!解决方法：解决方法一：在/etc/hosts 文件加上远程主机名和 ip地址解决方法二：/etc/ssh/ssh_config 修改这个配置文件GSSAPIAuthenticati...

原创 netstat详解

简介Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。输出信息含义执行netstat后，其输出结果为Active Internet connections (w/o servers)Proto Recv-Q Send...

原创 redis数据迁移的方法

方法一：离线迁移通过RDB或者aof文件RDB:快目的库必须开启才能用步骤：1.源库 执行 BGSAVE2.copy 源库的.rdb文件至目标库3.重启目标库AOF:慢源库和目的库必须都开启才能用步骤：1.将源库的aof文件拷贝到目标库的数据目录中（两种方法）1.redis-cli -p 6380 --pipe < ./appendonly.aof2.重...

转载 死锁日志解析

原创 供自己阅览和学习的精品文章链接

一以MySQL为例，详解数据库索引原理以及深度优化https://mp.weixin.qq.com/s/29cvchKqQc7Ng4T_gT2J3A一tomcat系统架构https://mp.weixin.qq.com/s/GfmabCRV086OqIVNwj_-RA一菜虚坤在我的代码里打篮球https://mp.weixin.qq.com/s/yY99Q0Gw1t17IVcE...

原创 mysql入门帮助

开发，运维，想要了解mysql，看看这篇文章还是不错的

原创 datax(oraclereader-mysqlwriter)测试用例

做了两个测试：第一个测试没有报错，但是没有取到数据；第二次测试成功。测试一的json文件如下：{ "job": { "content": [ { "reader": { "name": "oraclereader", "p...

原创 oracle 11g 静默安装

一、背景最近公司有个项目需要一个oracle测试实例来测试一下数据异构迁移到mysql，然后我就用静默安装试了一下。花了两个小时终于搞完了，感觉还是用图形化安装更好一点。下面列的是我的步骤，但是并没有详细的说明每一步的原理（以后有时间再补充吧）。安装前：说明：内存需大于1G，swap适当调整（和内存差不多也行），硬盘空间要满足所需软件的大小，要求/tmp 分区不少于 40...

原创 binlog2sql与Myflash

一、场景       一般情况下，数据表被误操作，通常都会使用 备份+binlog 进行恢复。那如果误操作为dml而不是ddl，并且操作的语句不多，这样的话使用该方式会极大的影响业务，这就造成一个痛点：少量数据不恢复不行，恢复又极大的影响线上业务。这时binlog2sql应运而生，但是使用binlog2sql恢复会比较慢，这时Myflash 也就随之出现。具体应该使用哪一个下文会进行优缺点分析...

原创 ES扩容、容灾理解

扩容副本分片可以动态的增加副本分片的数目，但是主分片不可以。扩容本质上就是迁移分片至新的节点以达到扩容的目的。如果有6个分片（3主3从），那么就可以扩容至6个节点。每个节点存放一个分片，并且每个分片拥有该节点的全部资源。如果想要扩容超过6个节点怎么办？主分片的数目在创建索引的时候就已经确定。这个数目定义了这个索引能够存储的最大数据量。但是读操作可以被主分片和副本分片同时处...

原创 ES简单学习

概念集群在同一个子网内，多个ES节点（master、data、client）组成的一个P2P系统。节点间的通讯和数据分配由ES自动管理。节点每一个运行的实例叫做节点。索引该索引是名词而不是动词，相当于MySQL里的database。如下图所示分片与副本ES自动将数据存储到多个主分片中，也就是说每个主分片保存着某索引的一部分数据。副本分片是主分片的备份，拥有主...

原创 采用logstach-input-jdbc使 ES 与 MySQL 进行同步

常见的ES 与 MySQL同步的工具介绍1:elasticsearch-jdbc：更新也频繁，但是此插件不支持es5及以上2:elasticsearch-river：好久不更新了3:Go-mysql-elastic：中国大哥写的，还行，略有bug4:logstash-input-jdbc：官方推荐插件，Ruby写的本文讲述logstash-input-jdbc的使用：安装l...

原创 ES5 单机和集群安装+head+cerebo

安装Elasticsearch在es 5.0以后的版本需要java版本为1.8以上。否则启动时就会报错。学习ES第一步就是安装运行它！JAVA安装地址：www.java.comES下载地址：https://www.elastic.co/downloads/elasticsearchtar xf elasticsearch-*.zip ;cd elasticsearch-*...

原创 keepalived+双主mysql 搭建过程

一：环境介绍master1：10.124.151.20   安装mysql和keepalivedmaster2：10.124.151.22   安装mysql和keepalivedVIP：10.124.151.23mysql版本：5.7.9OS版本：CentOS 6.5keepalived版本：1.2.20二：安装过程1.安装mysql配置文件：（两台服务器的s...

原创 MySQL管理中遇到的问题总结

目录1.表中有主外键导致不能truncate的问题2.DRDS中不能进行全表扫描3.主从复制导入数据时4.安装gcc时出现glibc版本冲突的问题5.应用侧做压测，发现会有段时间发生卡顿6.GTID复制7.主从复制8.auto_increment9.DRDS and MYSQL10.too many open files 问题11.timestamp 和...

原创 GTID 工作原理介绍

一、 GTID基本概念 （ Global transaction identifiers ）       1.MySQL-5.6.2开始支持，MySQL-5.6.10后完善，GTID 分成两部分（uuid:trans_id），一部分是服务的UUid,UUID保存在mysql数据目录的auto.cnf文件中,这是一个非常重要的文件，不能删除，这一部分是不会变的。另外一部分就是事务ID了，随着事务...

原创 SVN 安装与使用详解

目录一、单库SVN安装1.准备2.安装3.启动与配置二、多库svnserve与单库SVNserve 不同1.单库SVNserve：-r直接指定到版本库2.多库SVNserve：指定到版本库的上级目录3.当然要想使用多库SVN，在创建版本库的时候要创建的艺术一点4.多库可以使用同一个 passwd 和 auth三、配置文件解析1.svnserve.conf...

原创 MongoDB身份验证

MongoDB身份验证对MongoDB部署启用访问控制会强制执行用户身份验证，要求在登录MongoDB系统用户识别自己。 当访问启用了访问控制的MongoDB部署时，用户只能执行由其角色确定的操作。对于认证，MongoDB支持各种认证机制。以下为启用独立 mongod 实例的访问控制讲解，并使用默认身份验证机制。用户管理员启用访问控制后，请确保在 admin 数据库中拥有 userAd...

原创 MongoDB（warning）解决方法

目录1、多核系统资源分配问题2、大内存页问题3、bonus4、WARNING: Access control is not enabled for the database.1、多核系统资源分配问题2017-10-13T17:57:02.650+0800 I CONTROL [initandlisten] ** WARNING: You are running on a ...

原创 mysqldump 参数解析（详细）

目录DDL OptionsReplication OptionsFormat OptionsFiltering OptionsTransactional Options总结DDL Options--add-drop-databasedefault： false在创建每个数据库语句之前编写一个DROP（if exists）数据库语句. 这个选项通常和“--a...

原创 TokuDB 安装

一、背景二、准备三、安装步骤     1. 关闭透明大页面               2.  安装jemalloc     3.安装 Percona Server MySQL                (1)下载 percona server MySQL rpm 安装包                (2) 编辑启动my.cnf 文件（最简）         ...

原创 TokuDB 与 InnoDB 基准测试

一、背景介绍TokuDB架构的核心是基于一种新的叫做分形树（Fractal Trees）的索引数据结构，故而有非常快的写入性能。TokuDB还拥有很高的压缩比（官方称最大可达25倍），可以在很大的数据上创建大量的索引，并保持性能不下降。同时，TokuDB支持ACID和MVCC等特性，使其在某些特定的应用领域（如日志存储与分析）有着独特的优势。在TokuDB的应用场景中，通常是数据库插入...

原创 centos 7 完全离线场景下 搭建jumpserver

一.环境描述操作系统版本：CentOS Linux release 7.2.1511python版本 ：Python 3.6.1pip版本 ：pip 18.0 from /usr/local/lib/python3.6/site-packages/pip (python 3.6)redis和MySQL版本随机，尽量为最新HA版本。redis版本：3.2.9MySQL版本：...

原创 MySQL 8.0 新特性一观

新特性有很多，在此只列举了一下我比较感兴趣的一些内容。如果想要多了解一些，请参照官方文档。

原创 unison 安装使用

目录##编译安装ocaml，unison依赖于ocaml         ##编译安装unison,安装依赖性包##其他一台主机和上面的配置相同，步骤省略##配置免密登陆##测试：##配置文件启动运行：####配置文件：####配置文件解析：##实时同步：安装：https://caml.inria.fr/pub/distrib/ocaml-4.02/...

原创 zabbix安装（LAMP）

目录一、zabbix简介1、关于智能运维2、zabbix进程组成结构   ·zabbix_agentd   ·zabbix_get   ·zabbix_sender   ·zabbix_server   ·zabbix_proxy二、项目简介及环境说明1、实验的目的2、环境准备三、zabbix的搭建及配置1、LAMP的安装(1)、安装apac...