哈维-CSDN博客

转载分布式存储中的EC/LRC

http://m.blog.csdn.net/article/details?id=52295666&from=timeline&isappinstalled=0http://m.blog.csdn.net/article/details?id=52429706&from=timeline&isappinstalled=0

2016-09-06 16:37:15 3918

转载服务器入门科普

http://blog.csdn.net/pan_tian/article/details/9955539

2016-02-01 10:15:39 1050 1

转载 go语言中的接口类型与反射

http://chienlung.github.io/blog/2013/09/01/goyu-yan-zhong-fan-she-bao-de-shi-xian-yuan-li-The-laws-of-reflection/

2015-12-16 11:54:36 981

转载 reactor和proactor的区别

http://blog.jobbole.com/59676/

2015-10-08 16:07:50 651

原创 GFS为什么要三个副本全写成功才算成功？——基于paxos实现多数派逻辑的方案设计

GFS的三副本要求数据在三个副本都写成功，才会更新元数据，标志数据写入成功，为何不使用多数派机制呢？这是因为，写多少乍一想非常简单，但是要设计一个正确的、可容错的、严格一致性的多数派写入方案还是非常复杂的，本文给出一个可选的写入方案

2015-09-28 12:23:27 2159

转载 GFS TFS HAYSTACK比较

http://www.importnew.com/3491.html

2015-08-10 16:53:17 1310

转载 haystack论文翻译以及和TFS的对比

http://www.importnew.com/3292.html

2015-08-10 14:19:57 1290

转载 swift数据分布原理分析博文推荐

http://www.cnblogs.com/yuxc/archive/2012/06/22/2558312.html

2015-08-03 11:49:34 561

原创 aerospike性能测试

单节点测试：[if !supportLists]l [endif]测试环境配置两个物理机 AB，A作为Server节点，B作为客户端节点，AB配置一致：24 CPU， 128G内存，SSD盘，万兆网卡；数据库配置项中，工作队列和网络线程（epoll）数量和CPU数量一致.写入性能测试一在key取值区间是【0-800M】，已有条数167M（value大小随机产生）,磁盘

2015-07-28 14:44:20 2672 1

原创 aerospike与tair对比

1. 性能不弱于ssdb+rocksdb，功能上尽量兼容tair性能数据未知，从网上查到一些数据，但感觉可信度不高，需要自己测下，不过如果考虑换用ROCKSDB的存储引擎，性能应该和SpringDB相当areospike的论文中，提到单机读22万qps, 单机写15万tps，但机器配置较低，而且没有介绍数据大小，只能作为简单参考。2. 跨机房的复制方案tair支持双机房部署

2015-07-28 14:42:37 2598 1

转载 wwemproxy分析和性能测试

http://blog.jpush.cn/redis-twemproxy-benchmark/

2015-06-26 12:03:13 618

转载 perf详细介绍

http://www.ibm.com/developerworks/cn/linux/l-cn-perf1/

2015-05-20 20:48:11 716

转载云存储中元数据方案与一致性哈希深入比较

元数据归来[url]http://blog.csdn.net/longshanks/article/details/7654047?reload[/url]莫华枫云存储服务是云计算的重要组成部分。技术上，云存储属于大型分布式在线存储范畴。云存储是一大类特殊的共享存储。作为提供存储资源的服务，云存储需要保证用户存放的数据可靠，不丢失。同时，云存储必须确保实时在线，任何宕机都会

2015-05-18 19:59:01 2457

原创分布式数据库MVCC读写设计

分布式数据库数据表分成多个parition，分布在不同server上，拓扑是每个server维护不同的版本时间戳，相比单机数据库，提供MVCC要复杂很多，当然，你如果有spanner的原子钟，那会简单很多。现描述一种可行的实现方案，抛砖引玉。此方案可以做如下保证：1.单Partition读（分分布式事务读）可以保重repeated read。2同一个server上的分布式事务可以保证repeat

2015-05-12 19:47:50 1617

转载后Hadoop时代的大数据架构

原文在此http://zhuanlan.zhihu.com/donglaoshi/19962491

2015-04-24 09:16:31 770

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee

2015-04-10 20:25:00 1319 1

转载一致性哈希算法

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正

2015-04-07 20:12:24 530

转载 epoll原理详解

什么是epollepoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 ep

2015-01-15 15:45:09 1114

原创内存碎片引发系统问题分析

14年淘宝双十一收藏夹业务依然使用我们OceanBase0.3版本，在0点抢购开始qi

2014-11-13 11:20:14 1304 1

原创内存屏障

当使用指令优化的编译器时，你千万不要认为指令会严格按它们在源代码中出现的顺序执行。例如，编译器可能重新安排汇编语言指令以使寄存器以最优的方式使用。此外，现代CPU通常并行地执行若干条指令，且可能重新安排内存访问。这种重新排序可以极大地加速程序的执行。然而，当处理同步时，必须避免指令重新排序。因为如果放在同步及原语之后的一条指令在同步原语本身之前执行，事情很快就会变得失控。所以，所有的同步技

2014-10-11 16:49:11 841

原创 Hazard Pointer 改进设计——hazard version

Hazard Version1 lock free算法的内存回收问题hazard pointer算是比较通用也比较实用的内存回收机制，但是也有缺点，这里先介绍hazard pointer的做法，然后介绍一种改进方案。2 hazard pointer按hazardpointer的做法，一个节点要区分以下两种状态 retired：这个节点被删掉。在retire之后开始的操作

2014-09-28 09:06:43 2597 1

转载 C++静态变量和静态成员函数总结

http://www.cnblogs.com/lzjsky/archive/2011/01/24/1943199.html

2014-09-26 15:38:10 684

转载 attribute((weak))

http://blog.csdn.net/mrpre/article/details/23097869

2014-09-26 15:35:56 913

原创多线程安全的滑动窗口设计实现

滑动窗口是日志模块重要的数据结构，用于日志发送接收以及日志索引查询，和组内同学讨论了的多线程安全的滑动窗口设计，有三种实现方案，写此文档记录下。

2014-09-24 14:14:58 2643

转载 CACHE_LINE_ALIGN的作用

看到过CACHE_LINE_ALIGN很多此，今天仔细研究了下其中的

2014-09-24 14:11:18 1444

原创分布式多副本下如何通过日志同步实现副本数量变更

分布式多副本的存储系统，通常依据PAXOS设计一致性协议。当副本数量变化时候，PAXOS的多数派的值也会发生变化，如何在不中断服务的情况下，实现安全一致的副本数量变化方案，raft中提出了joint consensus的概念，然而，这种方案并没有给出形式化的严格证明。本文从严格的PAXOS出发，提出了一种可形式化证明的成员变更方法。

2014-08-25 17:03:52 1548 1

原创 RAFT中成员变更过程以及失败回滚分析

分析了RAFT系统中，分布式系统成员变更实现以及失败恢复的过程。

2014-08-15 16:33:19 3896

转载 CPU cache 与内存对齐

一. Cache Cache一般来说，需要关心以下几个方面1）Cache hierarchyCache的层次，一般有L1, L2, L3 （L是level的意思）的cache。通常来说L1，L2是集成在CPU里面的（可以称之为On-chip cache），而L3是放在CPU外面（可以称之为Off-chip cache）。当然这个不是绝对的，不同CPU的做法可能会不太一样。这里面应该

2014-07-25 15:43:53 19857

转载 RAFT介绍

rafthttp://www.cnblogs.com/foxmailed/p/3418143.htmlhttp://www.slideboom.com/presentations/956855/Raft%E4%BB%8B%E7%BB%8D

2014-07-24 16:30:28 992

转载 PAXOS VS ZAB

晒昔日的“散片”记我们已经在上面的分析中，我们已经看到observer模型在多机场景下的问题，所以，paxos模型的目标就是解决这个问题，他解决这个问题的方法就是quorum模型。我的目标是让大家能弄明白，掌握这些复杂的概念，所以我也会将以前我在淘宝java中间件团队内分享时候，大家经常犯的一些错误，也写到【】里面，尽可能让大家少走弯路，如果有什么感想，疑问，后

2014-07-24 10:39:36 9814 7

原创 OceanBase分布式事务以及两阶段提交实现详细设计

基于Oceanbase现有架构，设计了两阶段提交的具体实现流程，已经在各阶段失败的回复流程。在没有全局时钟的情况下，设计了分布式快照读的实现优化。

2014-07-07 12:47:20 7323

转载分布式事务两阶段提交详解

http://duanple.blog.163.com/blog/static/70971767201311810939564/

2014-07-02 11:44:15 1295

转载 SMT、CMP、SMP

1、多线程同时多线程Simultaneous multithreading，简称SMT。SMT可通过复制处理器上的结构状态，让同一个处理器上的多个线程同步执行并共享处理器的执行资源，可最大限度地实现宽发射、乱序的超标量处理，提高处理器运算部件的利用率，缓和由于数据相关或Cache未命中带来的访问内存延时。当没有多个线程可用时，SMT处理器几乎和传统的宽发射超标量处理器一样。SM

2014-05-20 16:08:10 4049

原创线程绑定CPU

线程绑定CPU，顾名思义，就是是线程还是进程，都是通过设置亲和性(affinity)来达到目的。对于进程的情况，一般是使用sched_setaffinity这个函数来实现，网上讲的也比较多，这里主要讲一下线程的情况。与进程的情况相似，线程亲和性的设置和获取主要通过下面两个函数来实现：int pthread_setaffinity_np(pthread_t thread, siz

2014-05-20 14:15:04 3129

转载线程存储

http://blog.sina.com.cn/s/blog_77d329940101cnd5.htmlOB中的Btree也用到了 pthread_key_t 类型的变量，主要用其索引每个线程自己的内存池，使得每次新建或者回收节点都能实现多线程并发执行。

2014-02-15 17:17:01 624

转载 voilate详解

http://hedengcheng.com/?p=725

2013-12-04 18:48:34 2093

转载 AUTOCONF 和AUTOmake使用详解

http://blog.csdn.net/yunhua_lee/article/details/6172617

2013-12-02 15:47:36 898

原创 oceanbase数据库update server主备机日志同步方式

UPS(updateserver)有强一致的主备机，主备之间需要同步日志。启动的时候备机需要向主机获取日志的checkpoint，通过回放日志将当前数据恢复到和主机一致。当主备落后较多时候，主机有较多转储的SSTable文件，备机向主机放松其本地的sstable文件版本号，主机通过比较本地，将最新的sstable文件通过scp拷贝到备机对应目录下。但这种方法的“容错性”比较差，在此过程

2013-11-13 12:03:44 1784

翻译 automake介绍

http://jianlee.ylinux.org/Computer/C%E5%92%8CGNU%E5%BC%80%E5%8F%91/makefile-am.html

2013-10-15 18:52:13 570

转载多线程程序中操作的原子性

http://www.parallellabs.com/2010/04/15/atomic-operation-in-multithreaded-application/

2013-10-09 16:40:31 526

空空如也

空空如也