- 博客(15)
- 收藏
- 关注
RSS订阅转载 一致性哈希及chord环
一、一致性哈希转自：一致性Hash(Consistent Hashing)原理剖析二、chord环转自：Chord算法（原理）
2018-11-27 16:41:54
757
转载 CAP、BASE、一致性
感谢博主，转自：从分布式一致性谈到CAP理论、BASE理论问题的提出在计算机科学领域，分布式一致性是一个相当重要且被广泛探索与论证问题，首先来看三种业务场景。1、火车站售票假如说我们的终端用户是一位经常坐火车的旅行家，通常他是去车站的售票处购买车 票，然后拿着车票去检票口，再坐上火车，开始一段美好的旅行----一切似乎都是那么和谐。想象一下，如果他选择的目的地是杭州，而某一趟开往杭...
2018-11-11 19:32:33
238
转载 持久化与故障恢复
数据库中实现持久化与故障恢复的技术有很多，下面主要对Undo、Redo、WAL、Checkpoint、Snapshot等相关技术进行记录。一、Undo和Redo暂且这样称呼：数据库文件data file；数据库缓存db buffer；日志缓存log buffer；磁盘日志文件log file；某次操作，我们取了数据库某表格中的数据，这个数据会在内存中缓存一些时间。对这个...
2018-10-18 21:44:34
270
转载 并发控制中存在问题及解决方案
一、并发控制定义在数据库中，并发控制是指在多个用户/进程/线程同时对数据库进行操作时，保证事务的一致性和隔离性，同时最大程度地并发。并发控制的目的是保证一个用户的工作不会对另一个用户的工作产生不合理的影响。在某些情况下，这些措施保证了当用户和其他用户一起操作时，所得的结果和她单独操作时的结果是一样的。二、并发中存在的冲突状况1、读-读不存在任何问题2、读-写有隔离性问题，可...
2018-10-17 21:59:03
16684
2
转载 B+树与LSM树的区别与联系
转自： B+树与LSM树的区别与联系首先来回答一个问题：为什么在磁盘中要使用b+树来进行文件存储呢？原因还是因为树的高度低得缘故，磁盘本身是一个顺序读写快，随机读写慢的系统，那么如果想高效的从磁盘中找到数据，势必需要满足一个最重要的条件：减少寻道次数。我们以平衡树为例进行对比，就会发现问题所在了：先上个图 这是个平衡树，可以看到基本上一个元素下只有两个子叶节点 抽象的来看，树...
2018-09-27 21:07:10
1999
转载 List，Set，Map的区别以及遍历
List、Set、Map的区别一、List特征：list和set是实现了collection接口的1.可以允许重复的对象。2.可以插入多个null元素。3.是一个有序容器，保持了每个元素的插入顺序，输出的顺序就是插入的顺序。4.常用的实现类有 ArrayList、LinkedList 和 Vector。ArrayList 最为流行，它提供了使用索引的随意访问，而 Li...
2018-09-12 10:26:38
3746
转载 事务的特性及隔离
转自：数据库事务的四大特性以及事务的隔离级别和浅谈事务与一致性问题一、数据库中事务的四大特性（ACID）如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下四个特性：⑴ 原子性（Atomicity）原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库...
2018-08-30 19:47:41
174
转载 B树、B+树
背景：下面这段摘抄自博客：（从B 树、B+ 树、B* 树谈到R 树） 动态查找树主要有：二叉查找树（Binary Search Tree），平衡二叉查找树（Balanced Binary Search Tree），红黑树(Red-Black Tree )，B-tree/B+-tree/ B*-tree (B~Tree)。前三者是典型的二叉查找树结构，其查找的时间复杂度O(log2N)与树的深...
2018-07-30 10:54:14
152
转载 LSM树
假如对写操作的吞吐量比较敏感，可采用日志策略（顺序读写，只追加不修改）来提升写性能。存在问题：数据查找需要倒序扫描，花费很多时间。比如，预写日志WAL，WAL的中心概念是数据文件（存储着表和索引）的修改必须在这些动作被日志记录之后才被写入，即在描述这些改变的日志记录被刷到持久存储以后。如果我们遵循这种过程，我们不需要在每个事务提交时刷写数据页面到磁盘，因为我们知道在发生崩溃时可以使用日志来恢复数据...
2018-07-30 10:42:38
2121
转载 （转）跳跃表skiplist-原理及Java实现
在数据结构中,集合的最基本的体现方式无外乎两种,一种是内存结构连在一起的数组的结构,一种是内存分散的通过指针连接的链表结构。形式上,有两种存放方式,一种是排序的,一种是非排序的。排序的重要主要是为了检索快速使用的。如果对于集合中的元素很少,几个到100个,排序和非排序两种方式是没有区别的,全遍历也不会消耗多长时间。可是当集合中的个数特别多的时候,排序这个时候就相当的重要。回归主题，跳表是一种随...
2018-07-26 14:10:37
416
转载 （转）JAVA 8大数据类型
转载自：https://blog.csdn.net/u014266877/article/details/543748671. Java的简单类型及其封装器类Java基本类型共有八种，基本类型可以分为三类，字符类型char，布尔类型boolean以及数值类型byte、short、int、long、float、double。数值类型又可以分为整数类型byte、short、int、long和浮...
2018-07-23 10:44:54
6837
转载 Bloom Filter与Cuckoo Filter
Bloom Filter背景日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用哈希表（hash table）来存储的。它的好处是快速准确，缺点是费存储空间。当集合比较小时，这个问题不显著，但是当集合巨大时，哈希表存储效率低的问题就显现出...
2018-07-23 10:09:53
1606
原创 数据生命周期管理
定义数据生命周期管理（data life cycle management，DLM）是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从创建和初始存储，到它过时被删除。DLM产品将涉及的过程自动化，通常根据指定的策略将数据组织成各个不同的层，并基于那些关键条件自动地将数据从一个层移动到另一个层。数据生命周期管理的总体原则数据生命周期管理的总体原则口在数据的整个生命周期...
2018-07-19 20:19:49
19477
1
原创 数据质量管理
数据质量问题常见的数据质量问题包括数据无法匹配 数据不可识别 数据不一致 数据沉余重复 实效性不强 精度不够数据质量管理的目标通过数据分析、数据评估、数据清洗、数据监控、错误预警等内容，解决数据质量问题，使数据的质量得以改善，使其满足数据需求方对数据质量的规则要求。数据质量评估包括但不止以下6个方面完整性 Completeness：度量哪些数据丢失了或者哪些数据...
2018-07-19 16:28:11
9401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人