- 博客(89)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mongo 对删除节点remove OTHER
在复制集之中，我们通常会有删除复制集节点的操作其中一个很典型的场景就是，海量数据的跨机房无缝迁移。例如，A机房 有一主一从两节点复制集，现在要把数据迁移到 B机房，并做到过程耗时很短，同时迁移失败及时回滚还原直接的连接配置。一般会将B机房一个节点作为A机房复制集的从节点，直到同步趋于一致之后，再将连接改成B机房的，但是此过程会有如下问题：stage001:PRIMARY> r...
2019-04-13 12:14:35
2330
原创 解决ops manager在网络下载的问题
ops manager 默认会在网络上下载并安装mongodb数据库，在生产环境我们需要把它放在本地进入ops manager 版本控制页面，找到如下默认此配置不是local的，若此时选择了local未选择对应安装rpm文件会报如下错报错如下local mode is not possible as some groups have versions selected whic...
2019-04-13 11:20:39
363
原创 mongodb 后台大量删除归档数据
需求如下我们有些生产mongo数据库的大表需要做归档，数据库为matrix_db，只保留最近三个月的数据，将三个月之前的数据删除，注意要先备份，过几天验证期以后再删备用表（我会通知），注意删除的时候不能影响线上流程，需要后台执行，具体的执行语句如下所示：db.getCollection('neo.riskengine.PolicyExecutionTracking').deleteM...
2019-04-13 10:56:22
2258
原创 mongodb 3.6 aggregate 报错 The 'cursor' option is required
高版本3.6导致聚合操作失败报错如下The 'cursor' option is required, except for aggregate with the explain argument解决办法：1，升级spring 版本upgrade your Spring Data MongoDB dependency to 1.10.10.RELEASEupgrade you...
2019-04-12 16:52:20
2081
原创 mongodb导出大量json数据脚本
脚本如下（红色部分为查询语句）：$ cat dump.jsvar c = db.neo.moxie.MoxieTaskStatus.find({'createTime':{ "$gte" : ISODate("2018-11-22T00:00:00Z"), "$lt" : ISODate("2018-11-26T10:00:00Z")}}).sort({_id:1} )while(c....
2019-04-12 16:48:05
788
原创 mongodb aggregate 聚合操作 exceeded memory limit
db.neo.riskengine.PolicyExecutionTracking.aggregate([{$match: {_id:{$gt : ObjectId("5c643f000000000000000000"),$lt : ObjectId("5c6590800000000000000000")}}},{ $sort: { _id: -1} },{$grou...
2019-04-12 16:45:14
464
原创 mongodb 慢查询 紧急诊断
rep01:PRIMARY> db.currentOp()查看操作 "insert","update","remove","query" 时间大于1S的rep01:PRIMARY> db.currentOp({"op":{"$in":["insert","update","remove","query"]},"secs_running" : { "$gt" : 1 },"...
2019-04-12 16:41:58
328
原创 lua连接redis集群
连接redis集群需要用到llua-resty-redis-cluster模块github地址：https://github.com/cuiweixie/lua-resty-redis-cluster下载完成后，只需要用到包中2个文件rediscluster.lua和redis_slot.c.c文件无法在nginx配置文件中引入，需要编译成.so文件，编译命令： gc...
2019-04-12 16:35:39
2460
2
原创 redis 单实例迁移到cluster实战
大部分应用在使用Redis的时候可能前期只使用一个实例，随着数据量和访问量增大，单实例逐渐捉襟见肘，就需要考虑上Cluster方案了，本文提供了一个方案，就是把单实例的数据完整的迁移到Cluster上。方案步骤1）获取原单实例节点D的持久化AOF文件2）新准备三个节点A，B，C，建立集群，目前集群为空3）把节点B，C上的slots，全部分配给A4）...
2019-04-12 16:25:20
675
原创 redis 连接报错 could not get resource
1、产生原因：客户端去redis服务器拿连接（代码描述的是租用对象borrowObject）的时候，池中无可用连接，即池中所有连接被占用，且在等待时候设定的超时时间后还没拿到时，报出此异常。2、解决办法：调整JedisPoolConfig中maxActive为适合自己系统的阀值。<bean id="dataJedisPoolConfig" class="redis.c...
2019-04-12 16:13:24
883
原创 redis bigkey 解决 删除大key
大Key会带来的问题如果是集群模式下，无法做到负载均衡，导致请求倾斜到某个实例上，而这个实例的QPS会比较大，内存占用也较多；对于Redis单线程模型又容易出现CPU瓶颈，当内存出现瓶颈时，只能进行纵向库容，使用更牛逼的服务器。 涉及到大key的操作，尤其是使用hgetall、lrange 0 -1、get、hmget 等操作时，网卡可能会成为瓶颈，也会到导致堵塞其它操作，qps 就有可能出...
2019-04-12 15:55:23
5884
1
原创 redis-migrate-tool 支持 3.0以上 （5.0）
已大规模用于生产环境，亲测有效！下载redis-migrate-tool软件包（注意是tanruixing88的）git clone https://github.com/tanruixing88/redis-migrate-tool.git准备安装# mv redis-migrate-tool-master redis-migrate-tool# cd redis-migra...
2019-04-12 15:25:31
1189
1
原创 redis-faina 热 key 快速诊断
该工具是用python写的，不需要安装什么依赖包，只需要将redis-faina.py下载使用方法redis-cli -p 6380 monitor | head -n 100000 | ./redis-faina.pyOverall Stats========================================Lines Processed 11777...
2019-04-12 14:59:19
640
1
原创 MYSQL和ORACLE自增列的区别
1． 自动增长的数据类型处理 MYSQL有自动增长的数据类型，插入记录时不用操作此字段，会自动获得数据值。ORACLE没有自动增长的数据类型，需要建立一个自动增长的序列号，插入记录时要把序列号的下一个值赋于此字段。oracle自增方式：--第一步：创建SEQUENCE create sequence cmdb.M_MODULE_seq increment by
2016-08-14 11:25:57
2258
原创 oracle adg突然报密码文件错误
Error 1017 received logging on to the standby------------------------------------------------------------Check that the primary and standby are using a password fileand remote_login_passwordfile
2016-08-05 16:03:03
1815
原创 oracle ogg同步到kafka不抓数据，重启ogg报错
ERROR OGG-02077 Extract encountered a read error in the asynchronous reader thread and is abending: Error code 4031, error message: ORA-04031: unable to allocate bytes of shared memory ("","","","")
2016-08-05 16:01:10
2496
原创 telnet安装拒绝连接
[root@dba01 ~]# yum install telnet*[root@dba05 ~]# service xinetd statusxinetd 已停[root@dba05 ~]# service xinetd start正在启动 xinetd： [确定]验证[root@dba05 ~]# service xinetd statusxinetd (pid 1
2016-08-04 18:32:25
814
原创 vertica-->kafka-->mongodb数据流
此连接件为confluent修改过的jar包，这里不提供下载（涉及公司机密！！）Kafka Connnect有两个核心概念：Source和Sink。 Source负责导入数据到Kafka，Sink负责从Kafka导出数据，它们都被称为Connector。由于这里是kafka到mongo，所以这里使用Sink Connector首先安装kafka1，Kafka
2016-08-04 18:29:19
3229
原创 oracle expdp impdp总结
经常使用数据泵导数据，一直以来都是零零散散的问题，今天趁周末来个详细的总结使用EXPDP和IMPDP时应该注意的事项：EXP和IMP是客户端工具程序，它们既可以在客户端使用，也可以在服务端使用。EXPDP和IMPDP是服务端的工具程序，他们只能在ORACLE服务端使用，不能在客户端使用。IMP只适用于EXP导出的文件，不适用于EXPDP导出文件；IMPDP只适用于EXPDP导出
2016-07-23 18:20:14
1170
原创 SGA_MAX_SIZE超过MEMORY_TARGET 导致无法启动
SQL> startup mount\ORA-00844: Parameter not taking MEMORY_TARGET into accountORA-00851: SGA_MAX_SIZE 3154116608 cannot be set to more than MEMORY_TARGET 1526726656.DB再启动数据库的时候报SGA_MAX_SIZE超过MEMO
2016-07-19 13:43:45
4663
原创 oracle adg 启动报ORA-03113错误
今天，DB同事问我自己怎么配的adg启动不了啊SQL> startupORACLE instance started.Total System Global Area 993775616 bytesFixed Size 2259360 bytesVariable Size 318768736 bytesDatabase Buffers 666894336
2016-07-19 13:37:25
1050
转载 Linux目录介绍
根文件系统通常情况下，根文件系统所占空间一般应该比较小，因为其中的绝大部分文件都不需要经常改动，而且包括严格的文件和一个小的不经常改变的文件系统不容易损坏。除了可能的一个叫/vmlinuz标准的系统引导映像之外，根目录一般不含任何文件。所有其他文件在根文件系统的子目录中。1./bin目录/bin目录包含了引导启动所需的命令或普通用户可能用的命令(可能在引导启动后)。这些
2016-07-16 09:58:26
490
原创 oracle到kafka的同步
GoldenGate 12.2 新版支持同步如下图ogg--------------hdfs ogg--------------kafkaogg--------------flumn安装kafka安装zookeeper配置环境变量，/etc/profile添加以下内容：[root@T2 kafkaogg]# exp
2016-07-15 19:45:39
21658
8
原创 LogMiner用于日志的分析
LogMiner可以用于日志的分析，跟踪数据库变化，回退数据库变化，对部分误操作数据进行恢复，误操作人员账号定位查看，结合工具完成基于日志事物级别增量数据传输。1、LogMiner的安装；首先确认一下咱们数据库上是否有LogMiner安装包，使用DBA用户登录数据库查看是否有dbms_logmnr、dbms_logmnr_d包，如果没有就需要咱们执行下面的脚本安装（必须以DBA用户执行安装
2016-07-12 17:41:54
1132
原创 vertica-三节点集群，一台机器故障，所有文件丢失。的恢复
数据文件夹全部丢失，此时在节点上重装软件，数据库识别该失败节点，但是无法启动或者删除该节点，因为缺少核心的媒介spread.conf 文件重启这个节点报错 "{0}. Error was: {1}.".format(repr(msg), e))ATReceiveFailure_Init: Problem json decoding message '{"status": null,
2016-07-12 12:40:25
1727
原创 mysql-mmm实战安装
一．mysql-mmm实现mysql 高可用架构 MMM 即Master-Master Replication Manager for MySQL（mysql 主主复制管理器）关于 mysql 主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入），这个套件也能对居于标准的主从配置的任意数量的从服务器进行读负载均衡，所以你可以用
2016-07-09 18:02:06
1684
原创 mysql主从同步延迟优化大全
mysql> create database fafa;Query OK, 1 row affected (0.01 sec)mysql> use fafaDatabase changedmysql> create table test(jj int,kk varchar(10));Query OK, 0 rows affected (0.02 sec)
2016-07-09 11:35:28
7478
原创 快速熟悉oracle新坏境
在接触到一个新的数据库环境的时候，可以通过以下的来快速的了解概况 1、先要了解当前的Oracle 数据库的版本和平台和相关信息SQL> set linesize 300 pagesize 300SQL> SELECT * FROM v$version;BANNER--------------------------------------------
2016-07-09 10:08:59
661
原创 kafka单节点安装和测试
1. 简介i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。iii. producer产生和推送(push)数据到broker，consumer从broker
2016-07-07 21:19:40
3114
原创 ndb cluster集群备份恢复报错NDBT_ProgramExit
[root@T2 BACKUP]# ndb_restore -n2 -b1 -r -m --backup_path=/var/mysql/data/BACKUP/BACKUP-1Nodeid = 2Backup Id = 1backup path = /var/mysql/data/BACKUP/BACKUP-1Opening file '/var/mysql/data/BACKU
2016-07-06 19:04:01
1422
原创 mysql-oracle无pump进程的ogg
GoldenGate for Mysql to Oracle 一、基础准备1、安装OGG软件用户组必须与mysql的用户组相同Oracle GoldenGate 11g for MySQL installed in the source . Note: Make sure you install Oracle GoldenGate for MySQL
2016-07-06 18:58:13
2614
原创 快速熟悉mysql新环境
1.初识单个mysql服务器 1.1 一个全新的Mysql环境，要基本了解mysql版本、os平台、字符集等信息mysql> status--------------mysql Ver 14.14 Distrib 5.6.29-ndb-7.4.11, for Linux (x86_64) using EditLine wrapperConnection id
2016-07-06 18:57:03
532
原创 MySQL ndb Cluster备份与恢复
采用ndb_mgm管理客户端来备份，在管理节点执行ndb_mgm即可进入管理命令行，输入startbackup开始备份所有节点，如果后面还跟着对应数据节点的id就只备份对应的数据节点恢复ndb_mgm> start backupConnected to Management Server at: localhost:1186Waiting for completed, this may
2016-07-06 18:54:32
3140
原创 mysql ndb cluster 安装
1、准备服务器计划建立有5个节点的MySQL CLuster体系，需要用到5台服务器，但是我们做实验时没有这么多机器，可以只用3台，我就是一台57，一台55，一台56搭建了有5个节点的MySQL CLuster体系，将一个SQL节点一个数据节点一个SQL节点放在了,两台服务器上(172.16.57.55，172.16.57.56),将另一个SQL节点和一个数据节点放在了另外一台服务器上
2016-07-06 18:52:52
859
原创 mysql gtid rpm安装
注意:负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，这个日志记载着需要传输给从服务器的各种修改动作。因此，主服务器必须激活二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限。1,确认是否存在mysql用户yum安装fingerroot@n3:~# yum install finger查看是否存在mys
2016-07-06 18:49:10
865
转载 MHA特性
1.主服务器的自动监控和故障转移MHA监控复制架构的主服务器，一旦检测到主服务器故障，就会自动进行故障转移。即使有些从服务器没有收到最新的relay log，MHA自动从最新的从服务器上识别差异的relay log并把这些日志应用到其他从服务器上，因此所有的从服务器保持一致性了。MHA通常在几秒内完成故障转移，9-12秒可以检测出主服务器故障，7-10秒内关闭故障的主服务器以避免脑裂，
2016-07-06 18:46:39
893
原创 mysql源码安装
检查是否安装了MySQLroot@bd-qa-mongodb-85:~#rpm -qa | grep -i mysqlmysql-libs-5.1.73-5.el6_6.x86_64使用yum来删除MySQLroot@bd-qa-mongodb-85:~#yum -y remove mysql-libs安装依赖包root@bd-qa-mongodb-85:~#y
2016-07-06 18:45:17
506
原创 mysql高可用 主从MHA
MHA里有两个角色一个是node节点 一个是manager节点，要实现这个MHA，必须最少要三台数据库服务器，一主多备，即一台充当master，一台充当master的备份机，另外一台是从属机（淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从），这里实验为了实现更好的效果使用四台机器，需要说明的是一旦主服务器宕机，备份机即开始充当master提供服务，如果主服务器上线也不会再成为mast
2016-07-06 18:43:01
1110
原创 ogg同步表结构不一致
事情是因为一次同步的时候，需求需要目标端表需要增加插入更新时间字段源表mysql> create table test_all(name varchar(20),age int);Query OK, 0 rows affected (0.03 sec)mysql> desc test_all;+-------+-------------+------+-----+-
2016-07-06 18:31:14
6209
原创 oracle配置hugepages_settings.sh
hugepage特点linux系统启动，hugepage就被分配并保留，不会pagein/pageout，除非人为干预，如改变hugepage的配置等；根据linux内核的版本和HW的架构，hugepage的大小从2M到256M不等。因为采用大page，所以也减少TLB和page table的管理压力为什么使用hugepage对于大内存(>8G),hugepage对于提高在li
2016-07-06 18:25:58
2405
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人