- 博客(206)
- 收藏
- 关注
RSS订阅原创 SSH远程Ulimit不生效
SSH远程Ulimit不生效问题描述操作系统/etc/security/limits.conf文件内容如下：* soft memlock unlimited* hard memlock unlimited使用远程连接工具moba连接到服务器，使用 ulimit -a 查看ulimit值，与 /etc/security/limits.conf 文件配置是一致的。当使用ssh命令行远程连接时，使用 ulimit -a 查看ulimit值，为默认值，与 /etc/security/limits.
2021-06-28 20:14:35
2053
2
原创 MySQL8.0自定义表空间
文章目录MySQL8.0自定义表空间语法创建表空间语法修改表空间语法示例参考文档MySQL8.0自定义表空间从MySQL 8.0开始允许用户自定义表空间，不同表的表空间可以设置使用不同磁盘，可以做到冷热数据的分离。语法创建表空间语法CREATE [UNDO] TABLESPACE tablespace_name InnoDB and NDB: [ADD DATAFILE 'file_name'] -- 定义表空间数据文件的名称。创建NDB表空间时始终需要此选项。
2021-02-22 20:57:27
1461
原创 prometheus基于文件的服务发现
prometheus基于文件的服务发现prometheus配置文件如下：global:alerting: alertmanagers: - static_configs: - targets:rule_files:scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['192.168.240.88:9100','192.168.240.88:9090']#以下是关键，然后再ta
2021-01-16 19:01:06
476
原创 HBase集群配置
HBase集群配置简介HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理BigTable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google B
2020-12-20 12:06:38
783
1
原创 slave_net_timeout配置引起的报错
最近线上MySQL经常有Note信息如下：[Note] While initializing dump thread for slave with UUID <>, found a zombie dump thread with the same UUID. Master is killing the zombie dump thread(49).[Note] Start binlog_dump to master_thread_id(50) slave_server(530094), po
2020-12-20 10:54:29
686
1
原创 Network Teaming
文章目录Network Teaming`Team`与`bonding`的对比Team模式配置Team参考文档Network Teaming对网络物理链路进行组合或聚合，以提供具有更高吞吐量的逻辑链路或冗余能力,这个最初在Linux内核中实现的概念被广泛地称为bonding，Network Teaming被选择来指代这个概念的新实现,现有的bonding驱动程序不受影响.Team提供一个小型内核驱动程序来实现包的快速处理，并提供各种用户空间应用程序来完成用户空间中的其他所有工作。Team与bonding
2020-11-03 13:44:53
341
原创 Percona-MyRocks安装
Percona-MyRocks简介MyRocks是与Facebook开源项目RocksDB集成的MySQL存储引擎。通过提高读取，写入和存储数据的效率，它提供了改进的闪存存储性能。针对快速，低延迟的存储进行了优化，非常适合当今的大容量，写密集型应用，例如数据聚合，IoT，交易记录，系统监控，支付处理和计费系统。MyRocks需要更少的SSD存储空间，提供更多的存储耐用性，并确保更好的IO容量。MyRocks引擎没有单独的二进制发行版，Percona将MyRocks集成到了Percona发行版的MySQ
2020-10-29 11:03:58
945
原创 内存性能排查总结
文章目录内存性能排查总结Linux内存管理内存映射虚拟内存空间分布内存分配与回收重要指标/概念buff/cacheSWAPNUMAswappiness缺页异常常用工具freetopvmstat/proc/\内存性能排查总结Linux内存管理内存映射Linux内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的，这样，进程就可以很方便的访问虚拟内存，虚拟地址空间的内部又分为内核空间和用户空间，不同的处理器内核空间范围不同，常见的32位与64位系统，虚拟地址空间如下：从上图可知，32
2020-08-20 16:29:09
659
原创 CPU性能排查总结
文章目录CPU性能排查总结重要指标说明平均负载CPU使用率CPU上下文切换进程上下文切换线程上下文切换中断上下文切换cswch与nvcswch软中断CPU性能分析常用工具mpstatpidstatvmstatperfpstreetoppsdstatsarCPU排查套路参考文档第一列：表示报告的时间。第二列：IFACE 表示网卡。第三、四列：rxpck/s 和 txpck/s 分别表示每秒接收、发送的网络帧数，也就是 PPS。第五、六列：rxkB/s 和 txkB/s 分别表示每秒接收、发送的千字节数，也就
2020-08-09 14:34:30
1678
1
原创 MySQL Shell实用导入程序
简介MySQL Shell的导入程序util.loadDump(url[, options])，在MySQL Shell 8.0.21中引入，支持导入MySQL并行导入数据、进度状态跟踪、恢复和重置功能。备注：导入工具使用的是LOAD DATA LOCAL INFILE语法，所以需要设置local_infile参数为ON，设置方式：set global local_infile=ON;sql_require_primary_key系统变量如果ON，且导入的表中存在没有主键的表，则导入会报错，默认
2020-08-06 20:52:07
1024
原创 MySQL Shell实用备份程序
文章目录简介语法格式示例util.dumpInstance()备份整个实例util.dumpInstance()备份整个实例参考文档简介MySQL Shell提供了util.dumpInstance() 和util.dumpSchemas()用于导出数据，支持导出所有的schema或者选择部分schame到本地文件中，后续可以通过util.loadDump()进行恢复。支持多线程并行转储和文件压缩，这些都是mysqldump备份不提供的。可以指定schema进行备份，默认不备份information_
2020-08-06 17:48:01
913
原创 InnoDB ReplicaSet
文章目录简介部署InnoDB ReplicaSet要求环境规划前期准备安装MySQL安装MySQL Shell配置InnoDB ReplicaSet配置MySQL RouterInnoDB ReplicaSet日常管理参考文档参考文档简介MySQL Shell的AdminAPI新增了 对InnoDB ReplicaSet的支持，可以用与InnoDB Cluster类似的方式管理一组运行基于GTID的异步复制的MySQL实例。InnoDB ReplicaSet由一个主和多个从组成。您可以使用Replica
2020-08-06 12:17:56
587
原创 mysql8.0使用ps_trace_statement_digest()追踪语句执行流程
mysql8.0使用ps_trace_statement_digest()追踪语句执行流程简介根据指定的digest监控events_statements_history_long和events_stages_ history_long表，以获取指定digest相关的事件,分析的结果包括摘要数据以及详细信息。参数Digest: 语句的标识， 可以查看events_statements_summary_by_digest获取追踪语句对应得digest值Runtime: 监控时长Poll Inte
2020-07-26 15:47:36
612
原创 MySQL8.0使用sys.statement_performance_analyzer排查性能问题
MySQL8.0使用sys.statement_performance_analyzer()排查性能问题简介在MySQL8.0中提供了提供了许多性能排查的表，视图，工具等。其中statement_performance_analyzer()则是sys库下的一个存储过程，用于生成events_statements_summary_by_digest表的两个快照，并对比两个快照，生成增量报告，这对于查看高峰时系统在执行哪些查询非常有用。参数参数如下表参数有效值描述actionS
2020-07-26 15:12:43
934
原创 个人vim配置
安装git clone https://github.com/gmarik/vundle.git ~/.vim/bundle/vundlevim配置"=============================================================================="" vim 内置配置"=============================...
2020-04-25 11:44:09
399
原创 MySQL恢复ibd数据文件
文章目录MySQL恢复ibd数据文件模拟数据复制表参考文档MySQL恢复ibd数据文件MySQL中基表在磁盘的存储方式为一个idb文件(MySQL8.0开始只有一个文件，MySQL5.7一个表会对应2个文件，一个frm文件表结构文件，一个ibd文件，存放表数据)，当innodb存储引擎的表发生损坏，可以从最近的一个物理备份中拷贝ibd文件，恢复。非常好用的一个小技巧，具体操作如下：模拟数据...
2020-04-18 20:48:53
917
翻译 MySQL8.0Clone插件
文章目录简介安装插件配置文件运行时安装插件远程克隆监控`performance.clone_progress``performance.clone_status`Performance Schema Stage EventsPerformance Schema Clone InstrumentationWait InstrumentsStage InstrumentsStatement Instr...
2020-04-06 16:40:40
445
原创 MySQL5.7默认自带的存储过程
文章目录简介`create_synonym_db``execute_prepared_stmt``diagnostics``ps_statement_avg_latency_histogram``ps_trace_thread``ps_setup_disable_background_threads``ps_setup_enable_background_threads``ps_setup_dis...
2020-04-04 12:47:24
1846
原创 python对接ansible api简单程序
下面是从官网的示例程序中拿过来的简单对接程序，官网连接为：https://docs.ansible.com/ansible/latest/dev_guide/developing_api.html#!/usr/bin/python#encoding:utf-8import jsonimport shutilfrom ansible.module_utils.common.collec...
2020-02-24 16:28:02
595
原创 mongotop
mongotopmongotop提供了一种方法来跟踪mongod读写数据的时间。mongotop提供每个集合级别的统计信息。默认情况下，mongotop每秒返回一个值。常用选项常用选项描述–uri=“mongodb://[username:password@]host1[:port1][,host2[:port2],…[,hostN[:portN]]][/[databas...
2020-02-21 13:52:08
383
原创 mongostat
文章目录mongostat常用选项字段说明mongostatmongostat工具提供了当前运行的mongod实例与mongs实例状态概况，功能根Unix/Linux的vmstat工具类似，提供关于mongod和mongos实例的数据。常用选项常用选项描述–uri=“mongodb://[username:password@]host1[:port1][,host2[:...
2020-02-21 13:49:00
418
原创 MongoDB索引
文章目录MongoDB索引创建索引语法索引类型单值索引组合索引(Compound Index)多键索引(Multikey Index)地理位置索引(Geospatial Index)全文索引(Text Indexes)通配符索引哈希索引(Hashed Indexes)索引的特性索引管理查看执行计划参考文档MongoDB索引索引支持在MongoDB中高效执行查询。如果没有索引，MongoDB通过...
2020-02-20 19:08:52
674
原创 Ansible 常用模块
文章目录Ansible 常用模块简介yum模块copy模块selinux模块systemd模块sysctl模块blockinfile 模块shell/command模块unarchive模块archive模块template模块stat模块debug 模块wait_for模块fail模块get_url模块script模块user模块synchronize模块cron模块file模块authoriz...
2019-12-03 17:18:17
1486
原创 Ansible常用Filter
文章目录Ansible 常用Filter示例json文件`from_json``json query filter``list filters```random number filter```IP address filter``Hashing filters``URL Split Filter``path Filter``Debug Filters``Debug Filters`参考文档An...
2019-12-02 19:05:01
3518
原创 nmcli
文章目录简介使用语法格式`nmcli general``nmcli general status``nmcli general hostname [hostname]``nmcli general permissions ``nmcli general logging [level level] [domains domains...] ``nmcli networking``nmcli netw...
2019-10-01 15:29:15
1804
原创 CentOS8的web终端-cockpit
文章目录概述环境安装登录总结概述CentOS使用的web console是一个名为Cockpit的开源项目，它提供了对用户有好的web接口，允许用户远程管理服务，在CentOS8中对应的包已经在base库里面了。可以直接安装到操作系统，在非最小化安装的时候，会自动安装web控制台，并且自动打开控制台的防火墙端口环境操作系统内核IPCentOS8192.168.24...
2019-10-01 12:33:48
5701
原创 CentOS8安装
文章目录下载镜像安装CentOS8参考文档下载镜像国内有很多镜像站都可以下载到阿里镜像站或者网易镜像站等这里使用的是网易镜像站链接： http://mirrors.163.com/centos/安装CentOS8注意： 安装CentOS8参考文档https://wiki.centos.org/zh/Manuals/ReleaseNotes/CentOS8.1905...
2019-10-01 11:19:34
12268
5
原创 Ansible常用模块
文章目录sysctl模块systemd模块selinux模块blockinfile 模块参考文档sysctl模块管理sysctl.conf文件，可用来管理内核参数常用参数默认值注释name指定sysctl支持的变量，内核参数可以在这里管理statepresent定义该值是否应该在sysctl文件中存在，present存在，absent不存在sysct...
2019-09-04 22:11:46
572
原创 sysbench 自带的Lua脚本
文章目录sysbench 自带的Lua脚本Lua脚本读写性能测试语句oltp_common.luabulk_insert.luaoltp_delete.luaoltp_insert.luaoltp_point_select.luaoltp_read_only.luaoltp_read_write.luaoltp_update_index.luaoltp_update_non_index.luaol...
2019-08-06 15:02:05
7560
翻译 InnoDB Cluster
文章目录简介部署InnoDB Cluster要求与限制沙箱部署(单机多实例部署)规划安装MySQL安装MySQL Shell创建mysql实例创建沙箱InnoDB Cluster集群持久化配置查看集群状态部署MySQL Router生产环境部署(多机部署)规划配置主机名安装MySQL安装MySQL Shell部署InnoDB Cluster 集群配置MySQL Router组复制切InnoDB C...
2019-07-28 11:47:43
2127
1
原创 MongoDB分片集群
文章目录简介Shard KeysChunkBalancer分片集群的优势分片策略部署规划安装MongoDB前期准备安装MongoDB创建用户关闭hugepage大页内存安装MongoDB3.6配置Shard1启动多实例配置Shard1复制集配置Shard2启动多实例配置Shard1复制集配置Config Servers启动多实例配置Config Servers复制集构建mongos启动多实例添加s...
2019-07-12 16:17:21
931
原创 mysqlpump
文章目录简介特性常用选项实例实例1：多线程备份实例2：多线程备份实例3：多线程备份实例4：备份用户参考文档简介mysqlpump是逻辑备份的工具，生成一组SQL语句，可以执行这些SQL语句来还原数据库和表。它dump一个或多个MySQL数据库，以便备份或传输到另一个服务器。mysqlpump的并行导出功能的架构为：队列+线程，允许有多个队列，每个队列下有多个线程，而一个队列可以绑定1个或者多...
2019-07-09 16:25:34
1196
原创 MongoDB复制集
文章目录复制集简介特殊从节点优先级为0的节点hidden节点delay节点arbiter节点常用的架构一主两从一主一从一投票节点规划前期准备安装MongoDB创建用户关闭hugepage大页内存安装MongoDB3.6启动多实例配置复制集复制集常用管理操作参考文档复制集简介MongoDB中的副本集是一组提供冗余和高可用性的mongod进程。复制集的成员有Primary：主节点是副本集中唯...
2019-07-06 01:25:08
459
原创 MongoDB用户管理
文章目录用户管理认证数据库用户管理常用的内置角色数据库用户角色数据库管理角色创建用户示例删除用户查看用户信息验证方式参考文档用户管理MongoDB使用基于角色的访问控制（RBAC）来确定用户的访问权限。用户被赋予一个或多个角色决定了用户的访问或特权MongoDB的资源和操作 用户可以执行。用户应该只拥有确保系统具有最小权限所需的最小权限集。MongoDB系统的每个应用程序和用户都应映射到不同...
2019-07-04 17:14:47
1052
原创 mydumper基本使用
文章目录简介安装选项mydumper选项myloader选项示例输出文件参考文档简介Mydumper是一个用于备份MySQL数据库服务器的工具，开发人员主要来自MySQL，Facebook，SkySQL公司。比MySQL随附的mysqldump工具要快得多。它还具有在备份同时从远程服务器获取二进制日志的功能。优点：并行性更容易管理输出(会输出表结构对应的sql，以及表数据，易于查看和解...
2019-06-26 19:32:09
3371
原创 主从复制报错非常规解决方法
文章目录介绍基于日志位点的同步方式环境手动跳过错误跳过错误码基于GTID的主从复制环境注入空事务总结介绍主从复制搭建过程中报错一般有2种：认证阶段错误(用户名，密码，ip等这些认证相关的报错)主从数据冲突引起的报错(主要原因都是从库被写入过)第一种报错对应的是IO线程不yes，第二种报错对应的是SQL线程不yes，这里主要介绍从库被写入报错冲突的时候怎么跳过冲突 。这种情况 属于特殊...
2019-06-25 11:53:17
797
原创 ProxySQL+MGR单主
文章目录ProxySQL+MGR单主MGR单主模式搭建前期规划前期准备安装MySQL启动组复制ProxySQL简介多级配置系统常用的表mysql_serversmysql_replication_hostgroupsmysql_group_replication_hostgroupsmysql_usersmysql_query_rulesProxySQL节点规划前期准备安装ProxySQL启动Pr...
2019-06-07 11:00:02
3339
3
原创 MySQL5.7安装半同步插件报错，错误码1126
MySQL5.7安装半同步插件报错，错误码1126mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';ERROR 1126 (HY000):环境：CentOS7，MySQL5.7，安装方式二进制包解压安装，解决方式：查看官方文档：如果尝试安装插件导致Linux上出现类似于此处所示的错误，则...
2019-05-21 09:13:00
3032
6
原创 MySQL基本使用
第一章：MySQL基础架构1.1 Server层包括连接器，查询缓存，分析器，优化器，执行器等，涵盖了MySQL大多数核心服务功能，以及所有内置函数，所有跨存储引擎功能都在这一层实现，比如存储过程，视图，触发器等1.1.1连接器管理连接，权限验证在用户连接成功后，连接器会到权限表查出拥有的权限，之后在这个连接中的权限判断，都依赖于此时读到的权限。如果连接太长时间没动静会自动断开，由...
2019-05-19 17:42:43
1000
原创 MHA基本使用
第一章：简介1.1简介MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）...
2019-04-30 17:46:30
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人