- 博客(8)
- 收藏
- 关注
RSS订阅
原创 为什么大厂都喜欢用 Codis 来管理分布式集群？
前言Redis 集群，顾名思义就是使用多个 Redis 节点构成的集群，从而满足在数据量和并发数大的业务需求。在单个 Redis 的节点实例下，存储的数据量大和高并发的情况下，内存很容易就暴涨。同时，一个 Redis 的节点，内存也是受限的，两个原因，一个是内存过大，在进行数据同步的时候，全量同步的时候会导致时间过长，会增加同步失败的风险；另一个原因就是一般的 Redis 都是部署在云服务器上...
2019-04-08 16:00:01
440
原创 详解MapReduce中的五大编程模型
前言我们上一节讲了关于 MapReduce 中的应用场景和架构分析，最后还使用了一个CountWord的Demo来进行演示，关于MapReduce的具体操作。如果还不了解的朋友可以看看上篇文章：初识MapReduce的应用场景（附JAVA和Python代码）接下来，我们会讲解关于MapReduce的编程模型，这篇文章的主要目的就是讲清楚Mapreduce的编程模型有多少种，它们之间是怎么协调合...
2019-03-16 18:52:08
18324
原创 MapReduce系列：初识MapReduce的应用场景（附JAVA和Python代码）
从这篇文章开始，我会开始系统性地输出在大数据踩坑过程中的积累，后面会涉及到实战项目的具体操作，目前的规划是按照系列来更新，力争做到一个系列在5篇文章之内总结出最核心的干货，如果是涉及到理论方面的文章，会以画图的方式来讲解，如果是涉及到操作方面，会以实际的代码来演示。这篇是MapReduce系列的第一篇，初识MapReduce的应用场景，在文章后面会有关于代码的演示。前言Hadoop作为Apa...
2019-02-27 12:56:48
808
原创 一文讲清HBase的存储结构
前言Hbase 是一个分布式的、多版本、面向列的开源 KV 数据库。运行在 HDFS 的基础上，支持 PB 级别、百万列的数据存储。HBase的存储结构逻辑存储结构通过下图直观地展示 HBase 的逻辑存储结构：在本图中，列簇（Column Family）对应的值就是 info 和 area ，列（ Column 或者称为 Qualifier ）对应的就是 name 、 age...
2019-01-06 17:58:42
3697
2
原创 (三分钟系列)详解Redis中字典的内部原理和使用方法
前言在 Redis 中，字典是一种运用特别广泛的数据结构，基本上各个功能模块都有使用到。主要用途是两个方面作为数据库键空间作为 Hash 类型键的底层实现之一目录字典的使用示例字典的底层结构和源码解析Rehash 的过程业务场景的实际运用1. 字典使用示例1.1 实现数据库键空间清除数据库里面的所有键值对redis> FLUSHDBOK...
2018-10-30 11:56:23
934
原创 （三分钟系列）详解Redis中列表（List）的使用方法和内部结构
前言在 Redis 中的列表是一个非常灵活的数据结构，提供了非常多的操作 API ，可以根据 API 的组合来满足需要的业务场景。目录Redis列表( List )的常用方法及演示Redis中列表( List )内部结构和源码解析内部结构源码解析实际业务中列表( List )的使用场景列表常用方法1. 左右边插入键值对//左边插入redis 127.0.0....
2018-10-30 11:43:37
1567
原创 Redis中的字符串特性详解与源码解读
前言Redis 中有五种数据类型，分别是 Str （字符串）、 Hash （哈希）、 List （列表）、 Set （集合）、 Zset （有序集合）。这五种数据类型的实际运用与底层实现和其他语言中的数据结构的实现有所不同，底层实现是由Redis基于C语言的基础上来完成的。接下来我们会结合源码来讨论 Redis字符串中的实际运用与底层原理。运用范例redis 127.0.0.1:637...
2018-10-30 11:23:07
179
原创 Redis中的强大的数据结构跳跃表（skiplist）的内部详解及实际运用
前言跳跃表结构在 Redis 中的运用场景只有一个，那就是作为有序列表 (Zset) 的使用。跳跃表的性能可以保证在查找，删除，添加等操作的时候在对数期望时间内完成，这个性能是可以和平衡树来相比较的，而且在实现方面比平衡树要优雅，这就是跳跃表的长处。跳跃表的缺点就是需要的存储空间比较大，属于利用空间来换取时间的数据结构。接下来我们思考三个问题：思考三个问题跳跃表的底层结构是什么样的，为什么...
2018-10-30 11:17:58
831
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人