- 博客(175)
- 收藏
- 关注
RSS订阅原创 修改GP系统表修复standby master
事件缘由：客户要求开发greenplum master高可用脚本，要实现master宕机的情况下，standby master被激活，接管业务。但是在测试的过程中master切来切去，切乱了。两个节点都是master，都能读写数据库。。。即便杀掉第一个节点的master的进程，然后在第二个节点使用gpinitstandby -n 以启动的standby master的方式启动第一个...
2018-09-07 21:47:58
1258
转载 HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能
1. HDFS的文件append功能早期版本的HDFS不支持任何的文件更新操作，一旦一个文件创建、写完数据、并关闭之后，这个文件就再也不能被改变了。为什么这么设计？是为了与MapReduce完美配合，MapReduce的工作模式是接受一系列输入文件，经过map和reduce处理，直接产生一系列输出文件，而不是在原来的输入文件上做原位更新。为什么这么做？因为直接输出新文件比原位更新一个旧文件高效...
2018-07-10 16:10:46
400
1
原创 Hadoop hdfs 参数设置
dfs.replication指定hdfs上传文件时的副本数，默认是3。 分布式系统上的文件副本数，由上传时的系统副本数决定，不会受后面replication的更改而变化，除非用命令来更改文件的副本数。 因为dfs.replication实质上是client参数，所以可以在上传文件时指定具体replication数量，属性dfs.replication是不指定具体replication时的...
2018-07-06 15:36:40
1978
原创 zookeeper启动后查看状态报Error contacting service. It is probably not running.错误
在集群上安装并启动zookeeper后，查看zookeeper状态，出现以下情况：[hadoop@oceanbase06 zookeeper-3.4.12]$ zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /opt/modules/zookeeper-3.4.12/bin/../conf/zoo.cfg...
2018-07-04 13:48:54
2402
原创 用户home目录权限问题导致的ssh互信登录失败问题
现象用户配置完ssh互信之后，使用该用户远程/本地登录主机，仍然要输入密码。原因当主机互信时所配置的用户名所在主目录的属性为 777时，系统出于安全会强制使已经配置的主机互信失效，强制要求输入密码。 具体可能和LINUX系统的安全配置有关，总之现象就是主机互信访问的用户主目录必须有足够的权限，否则系统通过SSH连接目标主机时依然会要求数据密码确认。解决方案查看用户home...
2018-07-03 16:38:36
3345
转载 5行代码搞定floyd算法
简介floyd是图搜算法中很经典的一个算法，用于求一副图中任意两点之间的最短路径（时间，花费等）。其算法思想感觉比Dijkstra简单，而且代码也很容易实现。不过就是效率比较低，三个for循环导致复杂度为O（n3)。实例假如有如下的地图，图中四个点代表不同的城市，带箭头的边表示各城市间的航线（城市1可以飞到城市2，但城市2不可直接飞到城市1，只能通过其他城市周转），航线附近的数字为...
2018-07-03 10:18:50
372
原创 Raft基本理论
本文以问答的方式，总结Raft相关知识。 所有信息来源于Raft论文第一章1.为什么要寻找一个新的一致性算法？ Unfortunately, Paxos has two significant drawbacks. The first drawback is that Paxos is exceptionally difficult to understand. The se...
2018-06-27 13:43:58
2985
1
原创 python知识杂记
1.字符集问题 windows下面尽量用#coding:gbk Linux下面尽量用#coding:utf-82.序列是指有序和无序的数据结构 包括：字符串，列表，元组，字典，集合3.编程规范： 命名规范： 类定义用驼峰式 TestCase 其他用小写字符加下划线 test_case 常量全部用大写注释的两种方式： 单行注释用# 类和对象的docstring用“”...
2018-06-27 13:42:14
417
原创 MGR单主模式搭建
三个节点 192.168.0.156 oceanbase06 192.168.0.157 oceanbase07 192.168.0.158 oceanbase08数据库端口：3306 组复制端口：24901准备工作关闭防火墙，修改SELinux为disabledservice iptables stopchkconfig iptables offsetenf...
2018-06-27 13:41:11
11274
2
原创 Greenplum扩容
一、Greenplum扩展分类在现有segment主机上添加新的segment。添加新的segment主机并添加新的segment。二、总体步骤介绍：为扩展准备新的节点 具体步骤包括修改操作系统参数，安装数据库软件，交换SSH秘钥。 如非添加新的segment主机，此步骤省略。生成扩展配置文件 使用gpexpand命令交互方式生成节点扩展配置文件。 须指定需要扩展...
2018-02-11 15:18:14
964
原创 Greenplum数据迁移（恢复到配置不同的GP系统）
操作流程：1、源库并行备份，生成数据库对象的DDL语句，数据导入文件，及数据库索引、约束等DDL语句。2、将生成的备份文件copy到目标库master节点。3、目标库串行恢复，先恢复数据库表结构，然后导入数据，最后生成其他数据库对象。使用gp_dump/gpcrondump并行备份greenplum数据库，如要使用gp_restore或gpdbrestore并行恢复操作，恢复的系统必须与备份的
2018-01-02 13:46:14
4117
转载 JSON 数据格式
原文地址：http://www.cnblogs.com/SkySoot/archive/2012/04/17/2453010.htmlJSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。JSON采用完全独立于语言的文本格式，这些特性使JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成。基础结构JSON建构于两种结构： 1.“名称/值
2017-10-30 17:09:04
737
原创 Oracle查询视图需要有基表的查询权限吗？
问题： 1.查询视图，是否必须要有视图基表的查询权限？ 2.将视图的查询权限赋予其他用户，只需要有基表的查询权限吗？测试步骤： 1.创建三个用户test1，test2，test3，赋予connect，resource，create view权限。SQL> create user test1 identified by test1;User created.SQL> create user t
2017-10-12 14:03:06
2454
1
转载 Starting sshd: Missing privilege separation directory: /var/empty/sshd
原文地址：http://blog.163.com/ly_89/blog/static/186902299201110211181828/启动 sshd 服务的时候报了如上的错误，本来开始认为是 sshd 的配置文件的错误，其实不是配置文件的问题。一下是解决的方法：The SSHD service while restarting, looks for the “/var/empty/sshd/etc
2017-10-12 09:45:47
3822
原创 感兴趣的博客地址临时记录
关于求解关键路径相关计算一个简单总结使用multi-paxos实现日志同步应用用小说的形式讲解Spring（1） —— 为什么需要依赖注入一步一图一代码，一定要让你真正彻底明白红黑树Linux makefile 教程 非常详细，且易懂
2017-09-19 17:59:34
420
转载 MySQL · 引擎特性 · Group Replication内核解析
原文地址：https://yq.aliyun.com/articles/175055?spm=5176.100239.bloglist.30.V4wyl5 db匠 2017-08-21 09:00:02 发表于： 阿里云数据库ApsaraDB背景为了创建高可用数据库系统，传统的实现方式是创建一个或多个备用的数据库实例，原有的数据库实例通常称为主库master，其它备用的数据库实例称为备库或从库s
2017-09-12 13:17:38
319
原创 Oracle附加日志supplemental log（未完成，后续补充）
背景最近在测试OGG复制的时候，发现replicat进程莫名其妙abended了。 查看日志发现如下信息：Internal GG error: missing key columns for statement (table LILI.LOGMINER_TABLE, io_type=15)Aborting transaction on /ogg4oracle/dirdat/rt beginnin
2017-08-31 16:52:45
2425
原创 Logminer简介及应用
背景近期在研究OGG复制时，对于官方稳定中提到了11.2.0.4及以后的数据库出现了一种新的捕获日志的方法：integrated capture mode。该方法使用Log Mining Server捕获日志。故对于LogMiner进行了一些回顾，整理资料如下。LogMiner用于分析重做日志和归档日志所记载的事务操作。 Logminer是oracle提供的用于分析重做日志信息的工具，它包括DBM
2017-08-31 11:08:50
6324
原创 Oracle中sysdba和dba的区别
SYSDBA不是权限，当用户以SYSDBA身份登陆数据库时，登陆用户都会变成SYS。 [oracle@ora11g ~]$ sqlplus ogg4o/ogg4o as sysdba SQL> show user USER is “SYS”sysdba身份登陆可以打开，关闭数据库，创建SPFILE，对数据库进行恢复操作等，而这些是DBA角色无法实现的you can query the v
2017-08-30 13:14:24
1914
原创 OGG对于没有主键表的处理
问：想用ogg对生产库做个报表库。现在生产库中还有一堆表没有主键（其中有些表的记录甚至完全一样），对这些表上的操作容易导致报表库REPLICAT abended，请问这在OGG配置中是如何避免的？HANDLECOLLISIONS？答： In order to maintain data integrity when replicating transactional data, Oracle Go
2017-08-29 15:21:54
5482
原创 OGG Configuring DDL Support
13.1 Prerequisites for Configuring DDL Extract can capture DDL operations from a source Oracle Database through the use of a special DDL trigger or natively through the Oracle logmining server. Which
2017-08-29 15:03:18
648
翻译 OGG12.2如何extract LOB数据
Fusion Middleware Installing and Configuring Oracle GoldenGate for Oracle Database（12.2.0.1）1.6.7 Large Object Data Types支持的数据类型：CLOBNCLOBBLOBSECUREFILE和BASICFILE1.6.7.1 integrated和classic捕获方式通用的限
2017-08-29 13:21:55
2752
原创 Oracle LOB
Oracle支持四种LOB：CLOB，存储大量文本信息，需要进行字符集转换，也就是说，在获取时，这个字段中的字符会从数据库的字符集转换为客户端的字符集，而在修改时会从客户端的字符集转换为数据库的字符集。NCLOB，采用国家字符集，而不是数据库字符集。BLOB，二进制LOB，不进行字符集转换。BFILE，二进制文件LOB，与其说时一个数据库存储实体，不如说是一个指针。BFILE列在数据库中存储
2017-08-27 08:59:16
867
原创 OGG：Oracle to MySQL异构复制环境搭建
环境介绍source： Oracle RDBMS 11.2.0.4 OGG for oracle IP：192.168.5.221 OS user：oggora 安装目录：/ogg4oracle OGG数据库用户：ogg4o OGG数据库表空间：oggtbs 数据库测试账户：lilitarget： MySQL 5.6.37 OGG for mysql IP：192.168.5.
2017-08-23 23:44:31
5139
原创 【GoldenGate】 OGG-01201 Error reported by MGR : Access denied.
搭建OGG异构数据复制，初始化数据，源端启动init进程时报错：2017-08-23 10:05:09 ERROR OGG-01201 Error reported by MGR : Access denied.2017-08-23 10:05:09 ERROR OGG-01668 PROCESS ABENDING.看报错是提示被目标端mgr拒绝连接。 查看目标端mgr的repor
2017-08-23 18:26:41
3264
原创 二叉树的创建及遍历
图的创建前序遍历中序遍历后序遍历层序遍历二叉树的层序遍历的实现还是比较简单的，由于其层级的关系，很明显要用到队列来辅助实现，主要是从左向右，自上而下，依次将二叉树的各节点入队，这样便可以保证输出的顺序是层序排列的。下面是算法的实现思想：先将树的根节点入队，如果队列不空，则进入循环{ 将队首元素出队，并输出它； 如果该队首元素有左孩子，则将其左孩子入队； 如果该队首元素有右孩子，则将其右孩子入队
2017-08-17 10:25:47
292
转载 分布式系列文章——Paxos算法原理与推导
原文地址：http://linbingdong.com/2017/03/17/%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E5%88%97%E6%96%87%E7%AB%A0%E2%80%94%E2%80%94Paxos%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86%E4%B8%8E%E6%8E%A8%E5%AF%BC/Paxos算法在分布式领
2017-08-06 18:02:54
390
原创 C语言 数据结构 杂记
问：p->next等价于(*p).next还是(*p).(*next)么？ 答：等价于第一个 p是指针，指针用->获取成员， *是解引操作，*p 是引用，引用用.获取成员
2017-06-28 00:57:16
281
转载 MySQL Master High Available 源码篇
MasterFailover (Non-GTID)MHA::MasterFailover::main()->do_master_failoverfailover_non_gtid Phase 1: Configuration Check Phaseinit_config(): 初始化配置MHA::ServerManager::init_binlog_server: 初始化binlog se
2017-06-28 00:54:56
621
原创 xtrabackup备份原理及注意事项
物理备份(Xtrabackup)相对于逻辑备份利用查询提取数据中的所有记录，物理备份更直接，拷贝数据库文件和日志来完成备份，因此速度会更快。当然，无论是开源的Mydumper还是官方最新的备份工具(5.7.11的mysqlpump)都支持了多线程备份，所以速度差异可能会进一步缩小，至少从目前生产环境来看，物理备份使用还是比较多的。由于Xtrabackup支持备份innodb表，实际生产环境中我们使用
2017-05-29 19:43:46
4195
1
原创 sysbench简单使用介绍
安装1.可以下载源码编译安装 在 http://sourceforge.net/projects/sysbench 下载源码包 接下来，按照以下步骤安装：tar zxf sysbench-0.4.8.tar.gzcd sysbench-0.4.8./configure make && make install以上方法适用于 MySQL 安装在标准默认目录下的情况，如果 MySQL 并不是安
2017-05-29 10:55:20
1252
原创 mysqldump备份原理及注意事项
关于MySQL热备，可分为两种方式：逻辑备份物理备份对于前者，常用的工具是MySQL自带的mysqldump，对于后者，常用的工具是Percona提供的XtraBackup。对于规模比较小，业务并不繁忙的数据库，一般都是选择mysqldump。那么，mysqldump的备份原理是什么呢？抛开源码不谈，其实我们可以通过打开general log，查看mysqldump全库备份时执行的命令来了解m
2017-05-27 19:07:43
5928
转载 redis持久化RDB和AOF
Redis 持久化:提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF.RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还可以在后台
2017-05-07 18:26:38
282
原创 redis杂记
Redis repl-disable-tcp-nodelay配置（1）在slave和master同步后（发送psync/sync），后续的同步是否设置成TCP_NODELAY。 假如设置成yes，则redis会合并小的TCP包从而节省带宽，但会增加同步延迟（40ms），造成master与slave数据不一致。 假如设置成no，则redis master会立即发送同步数据，没有延迟。 前者关注性
2017-05-06 12:03:51
320
原创 Redis基础
一、简介REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取
2017-05-04 22:35:03
350
转载 Redis Sentinel机制与用法（一）
概述Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行主备切换，而Redis-sentinel本身也是一个独立运行的进程，它能监控多个master-slave集群，发现master宕机后能进行自懂切换。它的主要功能有以下几点不时地监控redi
2017-05-04 18:01:06
384
转载 MongoDB Secondary同步慢问题分析
问题背景最近生产环境出现多次Primary写入QPS太高，导致Seconary的同步无法跟上的问题（Secondary上的最新oplog时间戳比Primary上最旧oplog时间戳小），使得Secondary变成RECOVERING状态，这时需要人工介入处理，向Secondary发送resync命令，让Secondary重新全量同步一次。同步过程下图是MongoDB数据同步的流程 Primary上
2017-05-03 14:56:29
1375
转载 MySQL order by实现原理分析和Filesort优化
原文地址：不可考。。。应该是简朝阳大神的博客。略作修改。在MySQL中的ORDER BY有两种排序实现方式： 1. 利用有序索引获取有序数据 2. 文件排序在使用explain分析查询的时候，利用有序索引获取有序数据显示Using index。而文件排序显示Using filesort。1.利用有序索引获取有序数据 取出满足过滤条件、作为排序条件的字段，以及可以直接定位到行数据的行指针信息
2017-04-21 23:54:14
11300
1
翻译 master_ip_failover
#!/usr/bin/env perluse strict;use warnings FATAL => 'all';use Getopt::Long;my ( $command, $ssh_user, $orig_master_host, $orig_master_ip, $orig_master_port, $new_master_host, $
2017-04-16 21:41:45
2158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人