- 博客(55)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 tendis环境部署
1、主机信息hostnameipportnode01192.168.56.10151001、51002、51003node02192.168.56.10251001、51002、51003node03192.168.56.10351001、51002、51003注意：tendis和redis-cluster 一样，在服务启动之后会默认使用一个port + 10000 。例如 51001 端口的服务还有默认使用一个61001的端口。所以在port规划避免使
2021-10-22 19:04:19
1479
1
原创 cassandra的GC非常频繁，造成业务大量的写入失败
问题：因业务增长，近期出现代码报错如下：{"level":"ERROR","ts":"2021-06-12 10:16:20","file":"controller/network.go:30","msg":"UploadNetworkDetails error","error":"gocql: no response received from cassandra within timeout period","uuid":"89b6c07d-62de-447d-85e5-dfb9dbaa59e1"}
2021-06-22 18:57:22
891
原创 cassandra读路径工作流程图
重要概念理解：1、分区器分区器是一个哈希函数，用来计算一个分区的令牌，每个数据行通过分区键令牌值分布在集群中。因此，分区器确定如何在集群中的各个节点(包括副本)之间分配数据。。2、snitch通过snitch可以获取到集群的拓扑结构，snitch的作用是帮助识别能快速返回的副本(性能最好的副本)，从而向该副本查询完整的数据。动态snitch实现使用Gossip所用的Phi故障检测机制的一个修改版本，可以把请求路由到性能最好的副本上。3、协调器协调器使用分区器来确定副本并检查是否有足够的副本能.
2021-01-18 10:32:02
361
原创 mysql-mmm注意事项
mysql-mmm 注意事项：主从同步必须先建立好，再启动monitor，否则不能启动。mysql-mmm已经不更新了，长时间没有建立连接，可能会出现僵尸进程，通常需要杀掉僵尸进程或者重启系统。在mysql-mmm环境中如果使用延迟复制，当主从切换时主从状态会挂掉或者丢数据。mysql-mmm的配置文件要保持在640权限,权限不正常也会报错。其它搞不定的问题，打开Debug模式，再继续...
2019-12-20 15:56:48
214
原创 MGR必需了解的知识及mysql8新的特性
MGR知识点：0、MySQL的并行复制多线程复制MTS(Multi-Threaded Slaves)1、mysql组复制提供了一种server间协调机制的分布式state machine复制，组中的server成员自动地进行协调。2、SMRstate machine replication(状态机复制)是一种容错服务的一种常规方法，主要通过复制服务器，并协调客户端和服务器镜像间的交互达到...
2019-12-20 12:02:00
1052
原创 elasticsearch集群各个节点
文章目录相关参数配置介绍：不同节点1、master节点(Master-eligible node)：2、data节点(Data node)：3、proxy节点：4、预处理节点(Ingest Node)5、tribe节点(Tribe node)：相关参数配置介绍：单播：discovery.zen.ping.unicast.hosts设置：discovery.zen.ping.unicast.h...
2019-05-24 14:08:51
5783
原创 mysql生态圈
1、HAorchestratorhttps://github.com/github/orchestratoratlashttps://github.com/Qihoo360/Atlas/wiki/Atlas的架构MHAhttps://github.com/yoshinorim/mha4mysql-managermmm2、percona-toolkitht...
2019-05-22 19:32:10
498
原创 cassandra从原理到实践
1、CREATE KEYSPACECREATE KEYSPACE eo_cs WITH replication = {'class': 'NetworkTopologyStrategy', 'datacenter1': '3'} AND durable_writes = true;2、CREATE ROLE语法：CREATE ROLE [IF NOT EXISTS] role_nam...
2019-04-10 18:30:12
2210
转载 mongodb之优化
1、慢查询开启：use ntrailcenterdb.setProfilingLevel(1,1000)关闭：db.setProfilingLevel(0)operationProfiling： mode: slowOp slowOpThresholdMs： 100基于上述配置，MongoDB 会将超过 100ms 的请求记录到对应DB 的 system.profile ...
2019-03-13 16:24:25
324
原创 WiredTiger 原理知识
一、、mongodb写入操作流程：1、wiredTiger写操作先到cache，并持久化WAL2、每60s或log文件达到2G，则执行一次Checkpoint持久化，产生一个新快照。3、wiredTiger连接初始化时，先将数据恢复到最新的快照，再根据WAL恢复数据。二、CacheCache采用Btree方式组织，每个Btree节点为一个page，数据以page为单位按需从磁盘加载或写...
2019-03-13 16:06:18
6069
原创 mysql的事务知识点总结
<!DOCTYPE html>&
2019-03-13 15:54:32
243
原创 mysql优化思路
mysql性能低解决思路：一、mysql层面1、查看慢查询日志(slow log)。mysql性能低，大多是sql引起的，需要对慢sql进行优化可以使用 pt-query-digest分析慢查询sql。分析sql主要从：利用explain 查看索引及扫描情况利用set profiling=1,执行时间和等待时间两方面分析的sql的问题[BEGIN] mysql> show ...
2019-01-14 17:26:48
824
原创 shared-disk与shared-nothing区别
shared-nothing:数据以某种方式分区并分布在一组机器上，这意味着每台机器对其拥有的数据具有唯一的访问权限，也是有唯一的责任。因此数据时完全隔离的，每个节点对其特定子集具有完全权限。shared-disk：与shared-nothing相比，shared-disk的所有数据都可以冲所有集群节点访问。任何机器都可以读取或写入希望的任何数据部分。如图：理解writing的权衡在...
2019-01-13 11:48:44
3766
原创 greenplum常见问题及解决方法
文章目录1、错误：数据库初始化：gpinitsystem -c gpconfigs/gpinitsystem_config -h list2、错误 ：执行检查：gpcheck -f list3、错误：gpadmin-[CRITICAL]:-gpstate failed. (Reason='Environment Variable MASTER_DATA_DIRECTORY not set!') e...
2019-01-02 13:45:49
45249
1
原创 greenplum集群的rpm（生产环境）部署及参数优化
文章目录一、服务器相关配置参数更改二、rpm安装：三、登录测试：四、授权五、添加mirror六、添加standby文档为markdown格式关于greenplum的组件介绍、工作原理网上很多，下面是我感觉部署比较方便的方法环境：iphostname角色192.168.0.44k8s-mastermaster、segment192.168.0.43k8s-n...
2019-01-02 11:22:12
2634
2
原创 cassandra集群一致性 Gossip协议
文章目录一、copy迁移数据：二、错误排查一、copy迁移数据：copy导出数据#!/bin/bashfor kspname in {xn_dolphin_1,xn_im,xn_imstatus,magpie_persistent,eagle_persistent,callserver}do createKeyspacePath="/root/cassandra/create/$ks...
2018-11-15 11:49:32
880
原创 mysql5.7官方文档之innodb架构
出自：https://dev.mysql.com/doc/refman/5.7/en/innodb-architecture.html
2018-11-09 15:59:49
314
原创 cassandra os::commit_memory(0x00000000cc800000, 864026624, 0) failed; error='Cannot allocate memory'
1、错误：日志：[root@cassandra01 conf]# tail -f /var/log/cassandra/cassandra.logOpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000cc800000, 864026624, 0) failed; error='Cannot allocate m...
2018-11-03 20:01:34
6034
1
原创 cassandra 之 快照(snapshots)与sstableloader 备份、恢复、脚本
cassandra的备份和恢复一、快照cassandra的备份恢复主要是通过snapshots 来实现。步骤：备份阶段：1. 生成快照；恢复阶段：1. 清空表的数据（truncate table tablename）或者创建表结构；2. 把各个表复制到对应标的数据目录下，覆盖原来的数据；3. refresh 加载恢复数据；1、生成快照(snapshots)语法：nod...
2018-10-10 17:26:36
5865
原创 elasticsearch snapshot备份、恢复
Elasticsearch配置文件elasticsearch.yml设置仓库路径： path.repo: "/data/elasticsearch/backup1、创建仓库curl -XPUT http://127.0.0.1:9200/_snapshot/my_backup -H 'Content-Type: application/json' -d '{"ty...
2018-08-22 21:06:11
938
原创 pycharm ModuleNotFoundError: No module named ‘distutils.core‘
在ubuntu18.04 环境 安装pycharm，当创建项目的时候报错如下：pycharm ModuleNotFoundError: No module named 'distutils.core'安装 python-pip解决sudo apt-get install python-pip
2018-06-23 14:34:56
39745
15
原创 mongodb备份之导出和导入某个表
1、导出--host ：要导出数据库 ip--port ：要导出的实例节点端口号--username ：数据库用户名--password ：数据库用户密码--collection ：要导出的表名--db ：要导出的表所在数据库名--out ：要导出的文件路径(默认为当前文件夹)mongoexport --collection ai_session_conversa --db ...
2018-06-19 14:22:07
8702
2
原创 python 安装readline 报错：gcc: error: readline/libreadline.a: No such file or directory
[root@localhost Python-3.6.4]# pip3.6 install readline creating build/lib.linux-x86_64-3.6 gcc -pthread -shared build/temp.linux-x86_64-3.6/Modules/3.x/readline.o readline/libreadline.a re...
2018-06-09 12:06:29
3038
原创 redis请求慢的排查思路
提升从库的执行效率：1、增大从库参数innodb_buffer_pool_size的值，可以缓存更多数据，减少由于转换导致的IO压力。2、增大参数innodb_log_file_size、innodb_log_files_in_group的值，减少buffer pool的刷盘IO,提升写入性能。3、修改参数innodb_flush_method为O_DIRECT,提升写入性能。4、关掉从库...
2018-06-07 21:08:48
2454
原创 python模块之 DBUtils连接池实现的2种模式
DBUtils 的两种连接模式： 1、DBUtils.PersistentDBGenerator for persistent DB-API 2 connections.After you have created the connection pool, you can use connection() to get thread-affine, steady DB-API 2 co...
2018-06-07 10:43:40
2124
原创 Error 'This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and bin
mysql 创建函数是报错！ Last_IO_Error: Last_SQL_Errno: 1418 Last_SQL_Error: Error 'This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and b...
2018-05-31 21:32:41
559
原创 python3 之 socket介绍
Python接口是套接字的Unix系统调用和库接口直接转换为Python的面向对象风格的socket()函数：该 函数返回一个套接字对象，其方法实现各种套接字系统调用一、套接字 特定套接字对象所需的地址格式将根据套接字对象创建时指定的地址族自动选择。 1.AF_INET，一对用于地址族，其中host是表示Internet域表示法中的主机名的字符串，例如像IPv4地址，而port是整...
2018-05-12 12:41:50
637
转载 mysql表结构对比工具--mysql-schema-sync
mysql-schema-syncmysql表结构自动同步工具 用于将 线上 数据库结构变化同步到 本地环境! 支持功能： 1. 同步新表 2. 同步字段 变动：新增、修改 3. 同步索引 变动：新增、修改 4. 支持预览（只对比不同步变动） 5. 邮件通知变动结果 6. 支持屏蔽更新表、字段、索引、外键 7. 支持本地比线上额外多一些表、字段、索引、外键...
2018-05-10 09:22:06
5517
原创 mysql 优化之计数参数分析
参数： 1、thread相关计数mysql> show global status like 'thread%';+-------------------------+-------+| Variable_name | Value |+-------------------------+-------+| Threadpool_idle_threads ...
2018-05-04 22:58:40
703
原创 binlog_format参数
binlog_format参数 属性 值 命令行格式 –binlog-format=format 系统变量 binlog_format 范围 全局，会话 动态 是 类型 列举 默认值 （> = 5.7.7）ROW 默认值 （<= 5.7.6） STATEMENT 有效值 R...
2018-05-04 11:49:54
1860
原创 MHA之错误总结
MHA 搭建网上的教程比较多,不做赘述。参考：http://www.cnblogs.com/gomysql/p/3675429.html环境安装：centos7 搭建 MHA 安装manger节点是需要安装依赖包，如果根据报错提示缺少的包名单独下载，安装失败的可能性比较大（教训总结） 错误1：[root@localhost ~]# yum -y install mha4mysql...
2018-04-25 11:59:08
6300
2
原创 mysql常用查看系统buffer的select语句
The Buffer pool size 393215 这是页面而不是字节。要查看GB中的缓冲池大小，请运行以下命令：SELECT FORMAT(BufferPoolPages*PageSize/POWER(1024,3),2) BufferPoolDataGB FROM(SELECT variable_value BufferPoolPages FROM information...
2018-04-23 12:51:18
1773
转载 Python回收机制
Python的GC模块主要运用了“引用计数”（reference counting）来跟踪和回收垃圾。在引用计数的基础上，还可以通过“标记-清除”（mark and sweep）解决容器对象可能产生的循环引用的问题。通过“分代回收”（generation collection）以空间换取时间来进一步提高垃圾回收的效率。一、引用计数在Python中，大多数对象的生命周期都是通过对象的引用...
2018-04-15 11:40:33
182
原创 解决类似 /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found 的问题
解决类似 /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21’ not found 的问题问题处理 执行以下命令，查找编译gcc时生成的最新动态库： find / -name "libstdc++.so*" 输出如下：/home/gcc-5.2.0/gcc-temp/stage1-x86_64-unknown-linux-gnu/...
2018-04-15 11:33:34
10737
原创 pt-online-schema-change原理及常见问题
pt-online-schema-change工作原理： 通过创建表的空副本来进行更改，根据需要对其进行修改，然后将原始表中的行复制到新表中。复制完成后，它将移开原来的表格并用新的表格替换它。默认情况下，它也会删除原始表。数据复制过程是以小块数据执行的，这些数据块有所不同，试图使它们在特定的时间内执行（请参阅参考资料 --chunk-time）。该过程与其他工具（如pt-table-c...
2018-04-10 00:00:16
2083
原创 Mysql 参数sync_binlog
MySQL提供一个sync_binlog参数来控制数据库的binlog刷到磁盘上去。 属性 值 命令行格式 –sync-binlog=# 系统变量 sync_binlog 范围 全球 动态 是 类型 整数 默认值 （> = 5.7.7） 1 默认值 （<= 5.7.6） 0 最...
2018-04-09 10:22:50
2731
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人