wluckdog-CSDN博客

原创 tidb tikv节点删除后，再加点，状态有tombstone

tidb

2023-02-20 11:09:11 326

原创存储过程自动创建oracle 序列

create or replace procedure p_seq ( tab_name varchar2,col_name varchar2,seq_name varchar2)as v_sql varchar2(2000);v_sql1 varchar2(2000);seq_value number;t_name varchar2(200):=tab_name;c_name varchar2(200):=col_name;s_name varchar2(200):=seq...

2021-01-11 15:44:02 741

原创 fio 对硬盘的测试

1、测试变量测试条件：rw=randwread 测试随机读的I/Orw=randwrite 测试随机写的I/Orw=randrw 测试随机混合写和读的I/Orw=read 测试顺序读的I/Orw=write 测试顺序写的I/Orw=rw ...

2020-03-25 14:46:15 1884 1

原创 tidb 安装过程遇到的问题

今天在做tidb 集群搭建的时候，因为有些机器是从其他测试环境拼凑过来的，ansible 安装的时候出现了一下问题[tidb@pg01 tidb-ansible]$ ansible-playbook bootstrap.yml查了资料说是有机器的内核版本过低，去查了一下，果然 centos 7.2版本内核是3.10[root@pg01 ~]# uname -raLinux pg01 ...

2020-03-11 10:31:13 579

原创 pg 参数生效顺序

有如下配置场景:postgresql.conf 中 work_mem = 4MB用户 a 执行如下语句:"alter system set work_mem = '5MB';"，"select pg_reload_conf();" 用户 b 执行如下语句:"alter role all set work_mem = '6MB'"，"set work_mem = '7MB';" 则在用户 a、用...

2020-03-09 09:22:49 367

原创 pg timestamp 时间查询问题

建表CREATE TABLE "test"."timestamp_demo" ("ts" timestamp(6),"tstz" timestamptz(6))select * From timestamp_demo--------------------------- ---------------------------2016-06-22 19:10:2...

2020-03-05 13:00:10 2472

原创 mysql update 更新列使用and 导致更新逻辑错误

今天在群里看到一个比较有意思的问题，我也在测试库测试了一下，发现SQL 语法错误导致，下面我们来看看问题：mysql> create table t2(id varchar(10),name varchar(10));Query OK, 0 rows affected (0.08 sec)mysql> insert into t2 values('1','test1');Q...

2019-12-06 11:45:09 436

转载 mysql 应该知道的知识

1、什么是锁锁是数据库系统区别于文件系统的一个关键特性。数据库系统使用锁是为了支持对共享资源进行并发访问，提供数据的完整性和一致性。例如：操作缓冲池中的 LRU 列表，删除、添加、移动 LUR 列表中的元素。对于任何一种数据库来说都需要有相应的锁定机制，所以 MySQL 自然也不能例外。MySQL 数据库由于其自身架构的特点，存在多种数据存储引擎，每种存储引擎所针对的应用场景特...

2019-07-08 10:41:07 305

转载 MYSQL 循环提交的优化测试

今天看了别人的一篇文件，说的是循环提交，性能提高很多，我就用文章的存储过程测试了一下，果然用时很少create table t1 (a int ,b char(100));创建load1delimiter //create procedure load1 (count INT UNSIGNED)begindeclare s int unsigned default 1;decla...

2019-07-08 10:18:13 199

转载 EPEL 源

EPEL(Extra Packages for Enterprise Linux)是基于Fedora的一个项目，为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux.使用很简单：1. 首先我们需要安装一个叫”epel-release”的软件包，这个软件包会自动配置yum的软件仓库。当然你也可以不安装这个包，自己配置软件仓库也是一样的。...

2019-06-13 07:40:03 220

转载 citus - DDL 操作规范 (新增DB，TABLE，SCHEMA，UDF，OP，用户等)

背景citus是PG的一个插件，插件主要针对普通SQL（非UTILITY）加HOOK进行了一些ROUTE处理，同时使用UDF对表进行新建分区的操作。如果用户如果要执行DDL，那么CITUS无法接管，应该如何操作呢？分两种情况，一种需要在所有节点（CN以及WORKER）执行，还有一些只需要在CN节点执行。需要在所有节点（CN以及WORKER）执行的DDL由于这些DDL在CN节点执...

2019-06-04 16:29:44 682

转载 MySQL 8.0窗口函数

MySQL 8.0窗口函数一、窗口函数的使用场景作为IT人士，日常工作中经常会遇到类似这样的需求：医院看病，怎样知道上次就医距现在的时间？环比如何计算？怎么样得到各部门工资排名前N名员工列表?查找各部门每人工资占部门总工资的百分比？对于这样的需求，使用传统的SQL实现起来比较困难。这类需求都有一个共同的特点，需要在单表中满足某些条件的记录集内部做一些函数操作...

2019-05-23 16:00:15 964 1

转载十问 TiDB ：关于架构设计的一些思考

作者：黄东旭“我希望能够把 TiDB 的设计的一些理念能够更好的传达给大家，相信大家理解了背后原因后，就能够把 TiDB 用的更好。”做 TiDB 的缘起是从思考一个问题开始的：为什么在数据库领域有这么多永远也躲不开的坑？从 2015 年我们写下第一行代码，3 年以来我们迎面遇到无数个问题，一边思考一边做，尽量用最小的代价来快速奔跑。作为一个开源项目，TiDB 是我们基础架构工程师...

2019-05-18 11:04:21 189

原创 mysql 8.0 设置持久的全局变量

mysql> show variables like '%max_connections%';+------------------------+-------+| Variable_name | Value |+------------------------+-------+| max_connections | 8000 || mysqlx_...

2019-05-17 13:36:08 2943

转载 jq json格式化工具

今天在看mysql 8.0特性的 set persist时候，看到一个博客对mysqld-auto.cnf 的json格式化，用的工具是jq，当时以为是自己写的小工具，就去网上查了一下，还真发现有人写了这么一个小工具，还是挺好用的，就把文章转载过来，以后还能用。[root@anedbtest01 ~]# cat /u01/data/ane20000/mysqld-auto.cnf|/tm...

2019-05-17 10:19:33 1436

转载 MySQL主从复制模型

MySQL 8.0可以说是MySQL发展历史上里程碑式的一个版本，包括了多个重大更新，目前Generally Available版本已经已经发布，在此将介绍8.0版本中引入的一个重要的新特性——基于WriteSet的并行复制方案，此方案号称是彻底解决困扰MySQL运维人员多年的复制延迟问题。说到并行复制，这里简单的回顾一下各个版本的MySQL复制的演进，以帮助理解8.0版本中对并行复制MTS的...

2019-05-10 09:34:22 490

转载 PostgreSQL基础：配置日志策略

概述PostgreSQL在安装完成之后，默认数据库出现的一些报错或者提示信息是会直接打到屏幕上的，也就是说，这些信息是并不会记录到日志中。那这对于我们日常运维来说是不太方便的。所以一般的，数据库装好之后，我们都会将数据库的日志打开，并配置好日志收集策略。将日志收集打开logging_collector = onlog_directory = 'pg_log'这两个参数要设置好，这个参数...

2019-04-22 10:18:10 396

转载 PostgreSQL 大内存主机使用 Huge Page

当内存很大时，除了刷脏页的调度可能需要优化，还有一方面是虚拟内存与物理内存映射表相关的部分需要优化。1 脏页调度优化1、主要包括，调整后台进程刷脏页的阈值、唤醒间隔、以及老化阈值。（脏页大于多少时开始刷、多久探测一次有多少脏页、刷时多老的脏页刷出。）。vm.dirty_background_bytes = 4096000000 vm.dirty_background_rati...

2019-04-19 16:07:23 1316

原创 mysql 导出权限

今天同事问我，mysql用户加什么权限，可以导出数据，我说我也不知道，然后去查了资料后，应该加file权限查看了权限mysql> show grants for zabbix@'72.7.99.133';| GRANT ALL PRIVILEGES ON `zabbix`.* TO 'zabbix'@'72.7.99.133' |那为什么还导出不来呢，去测试了一把...

2019-04-19 12:31:14 4877

原创 DNS主从配置

软件安装yum install bind主节点配置：[root@ named]# cat /etc/named.confoptions { listen-on port 53 { 127.0.0.1;72.7.99.50;72.7.99.117; };// listen-on-v6 port 53 { ::1; }; directory ...

2019-04-19 09:21:37 511

原创 nginx 端口代理

1、软件下载http://nginx.org/en/download.html yum -y install pcre-devel./configure --prefix=/data/nginx --with-stream --with-stream_ssl_module make & make install[root@ conf]# cat nginx.co...

2019-04-18 17:41:10 711

转载 postgres 统计信息相关的表

1.数据库统计信息概览2.pg_stat_database关键指标postgres=# select * from pg_stat_database where datname='postgres';-[ RECORD 1 ]-----+------------------------------datid | 13510 ...

2019-04-13 10:57:04 743

转载 mongo 建索引需要关注的点

业务描述需要在mongodb的集合timeline创建一个TTL索引[31.5天后过期] ttl索引shard1:PRIMARY> db.timeline.count()482594935 业务定于的时间 (1)每天上午没有业务，能进行创建和删除 (2)DBA建议在晚上12点后操作(业务没有采纳) (3)最终定于2018/5/19上午10点开始创...

2019-04-09 16:06:58 430

转载 postgres 数据库只读设置

锁定的实现方法有若干种。1、硬锁定，直接将数据库切换到恢复模式，绝对不会有写操作出现。2、软锁定，设置default_transaction_read_only为on，默认开启的事务为只读事务。用户如果使用begion transaction read write可破解。1 锁定实例硬锁定1、配置 recovery.confrecovery_target_timel...

2019-03-30 14:51:17 7858

原创 postgres 内置函数generate_series

postgres=# \df generate_series List of functions Schema | Name | Result data type | ...

2019-03-30 11:36:24 1237

转载 PostgreSQL 参数优先级讲解

PostgreSQL 参数优先级讲解作者digoal日期2019-01-30标签PostgreSQL , 参数 , 优先级 , 配置文件 , alter system , 命令行 , 用户 , 数据库 , 所有用户 , 会话 , 事务 , 函数 , 表背景PostgreSQL 参数配置包罗万象，可以在配置文件 , alter system , 命令行 , 用户 , ...

2019-03-29 16:36:42 1183

转载 PostgreSQL11 posgres.conf 参数模板

#------------------------------------------------------------------------------ # FILE LOCATIONS #------------------------------------------------------------------------------ # The...

2019-03-29 16:07:30 891

转载 postgres linux 安装

1、常用安装包的安装# yum -y install coreutils glib2 lrzsz mpstat dstat sysstat e4fsprogs xfsprogs ntp readline-devel zlib-devel openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc m...

2019-03-29 15:31:18 278

转载 Postgresql 配置文件详解

Postgresql 配置文件详解如果要查看配置文件中的一些选项，则可以登录psql后使用命令来查看；show 选项名;show all； #查看所有数据库参数的值主要选项：选项默认值说明是否优化原因 max_connections 100 允许客户端的最大并发连接数目否因为在测试的过程中...

2019-02-25 17:59:38 1258

原创 mysql 表级锁

（1）表锁表锁的语法是 lock tables … read/write 可以用 unlock tables 主动释放锁，可以是客户端断开时候自动释放。需要注意的是，lock tables 语法除了会限制别的线程读写外，也下定了本线程接下来的操作lock tables t1 read, t2 write 这个语句则其他线程写t1表，读t2表都会被阻塞。同时A在执行unlock tab...

2019-01-08 10:17:58 492

原创验证分区表对于NULL值的存放位置

1、Handling of NULL with RANGE partitioning CREATE TABLE t1 ( c1 INT, c2 VARCHAR(20) ) PARTITION BY RANGE(c1) ( PARTITION p0 VALUES LESS THAN (0), ...

2019-01-02 18:06:52 645

原创 mysql NULL的影响

空值” 和 “NULL” 的概念1、空值''是不占用空间的,mysql中的NULL其实是占用空间的2、NULL 其实并不是空值，而是要占用空间，所以mysql在进行比较的时候，，所以对效率有一部分影响，而且B树索引时不会存储NULL值的，所以如果索引的字段可以为NULL，索引的效率会下降很多。3、空值（null）是不能参与任何计算，因为空值参与任何计算都为空4、在统计过程中，这个...

2018-12-18 11:26:41 4324 1

转载 MYSQL索引最佳实践

你做了一个明智的选择理解索引对开发和dba来说都是极其重要差劲的索引对产品问题负相当大的一部分责任索引不是多么高深的问题 MySQL 索引一览表理解索引为你的应用创建最佳索引拥抱MySQL的限制简述索引索引有什么用为从数据库读取数据加速强制约束 (唯一索引 UNIQUE, 外键 FOREIGN KEY...

2018-12-11 19:14:57 209

转载 key_len 计算

key_len表示索引使用的字节数，根据这个值可以判断索引的使用情况,特别是在组合索引的时候,判断该索引有多少部分被使用到非常重要。在计算key_len时，下面是一些需要考虑的点: 索引字段的附加信息:可以分为变长和定长数据类型讨论，当索引字段为定长数据类型时,如char，int，datetime,需要有是否为空的标记,这个标记占用1个字节(对于not null的字段来说,则不需要这1字节...

2018-12-11 17:59:29 679

转载 MySQL InnoDB配置统计信息

MySQL InnoDB配置统计信息 1. 配置持久化（Persistent）统计信息参数 1.1 配置自动触发更新统计信息参数 1.2 配置每张表的统计参数 1.3 配置InnoDB优化器统计信息的采样页数参数 1.4 包含Delete-marked的记录参数 1.5 InnoDB持久化统计表 1.6 InnoDB持久化统计表示例 1.7 使用innodb_in...

2018-12-08 14:53:45 1117

转载 MySQL 加锁处理分析

背景 MySQL/InnoDB的加锁分析，一直是一个比较困难的话题。我在工作过程中，经常会有同事咨询这方面的问题。同时，微博上也经常会收到MySQL锁相关的私信，让我帮助解决一些死锁的问题。本文，准备就MySQL/InnoDB的加锁问题，展开较为深入的分析与讨论，主要是介绍一种思路，运用此思路，拿到任何一条SQL语句，都能完整的分析出这条语句会加什么锁？会有什么样的使用风险？甚至是分析线上的...

2018-11-30 15:58:01 562 2

原创 keepalive+haproxy +mysql 实现读负载均衡

Keepalive 安装[root@plvskygis01 tmp]# tar zxf keepalived-2.0.6.tar.gz[root@plvskygis01 tmp]# cd keepalived-2.0.6[root@plvskygis01 keepalived-2.0.8]# pwd/tmp/keepalived-2.0.6[root@plvskygis01 k...

2018-11-21 15:26:20 1904

转载 explain执行计划详解

使用explain关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的，分析你的查询语句或是表结构的性能瓶颈。explain执行计划包含的信息其中最重要的字段为：id、type、key、rows、Extra各字段详解idselect查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序三种情况： 1、id相同：执行...

2018-11-21 14:42:24 749

原创 Mycat 读写分离测试

1、mycat 软件安装[root@phapxykdgis03 tmp]#groupadd mycat[root@phapxykdgis03 tmp]#useradd mycat -g mycat[root@phapxykdgis03 tmp]# tar -zxf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz[root@p...

2018-11-21 14:32:14 504

转载 FLASHBACK

一、FLASHBACK QUERY 介绍创建表并插入数据 CREATE TABLE flashback_test (a VARCHAR2(255),b VARCHAR2(255),c VARCHAR2(255));INSERT INTO flashback_test VALUES('d1','s','s');INSERT INTO flashback_test VALUES('d...

2018-11-14 15:45:33 293