- 博客(87)
- 资源 (18)
- 收藏
- 关注
RSS订阅Redis开发与运维一书-勘误
Redis开发与一书勘误列表如下：https://cachecloud.github.io/2017/02/17/%E3%80%8ARedis%E5%BC%80%E5%8F%91%E4%B8%8E%E8%BF%90%E7%BB%B4%E3%80%8B%E5%8B%98%E8%AF%AF/
2017-04-11 09:01:26
309
原创 2017技术计划
由于写书的原因，2016年没有在Redis以外的技术进行学习和实践，好在一年的努力没有白费，CacheCloud开源效果不错，书即将出版(内容上个人比较满意，虽然还有一些遗憾)，废话少说了。2017年技术上的计划如下：深入学习Hbase，说来惭愧在业务中已经用了2年多HBase，没有深入去研究(运维的比较少)，所以希望今年在业务开发、运维、组件设计等方面做些工作，个人觉得Hbase相...
2017-01-15 15:39:12
165
原创 Redis客户端常见异常分析
本文部分内容来自《Redis开发与运维》一书，转载请声明。原文如下：https://cachecloud.github.io/2016/11/17/Redis%E5%AE%A2%E6%88%B7%E7%AB%AF%E5%B8%B8%E8%A7%81%E5%BC%82%E5%B8%B8%E5%88%86%E6%9E%90/ 在Redis客户端的使用过程中，无论是客户端使用不当或...
2016-11-17 16:27:42
476
本人新书-Redis开发与运维-目录
声明：原定书名《Redis3开发运维最佳实践》改为《Redis开发与运维》，因为根据最新的广告法，书名不允许有最字。一、图书简介本人和同事撰写的新书《Redis开发与运维》近期已经截稿，本书重点关注Redis开发运维中方方面面的问题，作者是来自搜狐视频一线的Redis开发和运维工程师-付磊和张益军。2016年3月，作者所在团队开源了Redis的私有云平台CacheCloud。本...
2016-10-25 11:06:28
770
1
原创 kafka好文章
info的一个kafka系列：Kafka剖析（一）：Kafka背景及架构介绍Kafka设计解析（二）：Kafka High Availability （上）Kafka设计解析（三）：Kafka High Availability （下）Kafka设计解析（四）：Kafka Consumer解析Kafka设计解析（五）：Kafka BenchmarkLinkedIn关...
2016-07-15 22:16:51
505
原创 kafka简单安装部署
一、安装、配置 １．下载kafka是由linkedin开源的，但是已经托管在了apache，所以需要从apache下载，http://kafka.apache.org/downloads.html。安装推荐的版本安装就可以了，例如下面0.10.0.0是最新的release，也是推荐稳定的release。建议下载scala 2.11版本(kafka是scala语言开发的)Releas...
2016-07-02 21:39:07
237
原创 Redis 3.2文档目录
Redis3.2.0在2016年5月正式发布，有一些新的特性以及修复了之前版本的一些bug，所以有必要对其进行研究：Redis 3.2与3.0对比Redis 3.2新特性-GEORedis 3.2新特性-新的list底层实现quicklistRedis 3.2新特性-新的安全模型Redis 3.2新特性-Lua DebuggerRedis 3.2新特性-新的命令zqu...
2016-06-06 10:15:53
182
原创 Redis 3.2文档-1.比较3.0
一、Redis3.0与3.2文件对比1. clone redisgit clone https://github.com/antirez/redis.git2. checkout分支cd redisgit checkout 3.0git checkout 3.2 3. 比较(1) 比较3.0和3.2文件变化数> git rev-list 3...
2016-06-06 09:37:15
178
原创 看图理解HBase
一、HBase生态系统二、HBase架构图三、HBase和Hadoop版本矩阵四、HBase组件五、行列存储六、Region Server七、scale out/up水平扩容垂直扩容八、compact九、读写流程十、LSM存储十一、存储层...
2016-05-09 13:23:49
119
原创 Hbase单机版安装
注意1. 需要oracle jdk 7+。2. Hbase0.98分别支持hadoop1和hadoop2，hadoop1已经不更新了，所以选用hbase0.98-hadoop-2。3. 单机版hbase: hbaseMaster,zookeeper,regionserver都在一起，使用本地磁盘代替hdfs存储。一、安装、配置、启动1.下载hbase镜像：http://mirror.bit.e
2016-04-29 14:57:46
1088
原创 CacheCloud-资源归档
资源github主页： https://github.com/sohutv/cachecloudwiki: https://github.com/sohutv/cachecloud/wikiCachecloud视频教程在线： http://my.tv.sohu.com/pl/9100280/index.shtmlCacheCloud视频教程百度网盘: http://pan.baidu
2016-04-29 11:54:17
2092
原创 CacheCloud-资源归档
CacheCloud-资源归档 资源CacheCloud github主页： https://github.com/sohutv/cachecloudCacheCloud wiki: https://github.com/sohutv/cachecloud/wikiCachecloud 视频教程在线： http://my.tv.sohu.com/pl/910028...
2016-04-26 10:26:27
145
原创 CacheCloud bug修复日志
CacheCloud从3月17日正式开源，虽然在我们内部一直运行正常，开源后虽然没有大的问题，但还是遇到很多小问题，比如操作系统兼容性问题，数据库版本问题，一些配置不灵活等等问题。期间感谢大家的反馈，现在将CacheCloud修复的问题列出来，希望将来这个能一直更新下去，有问题去github issue一下。 搜狐视频Redis云平台CacheCloud的github主页：http...
2016-04-06 16:55:58
217
原创 搜狐视频Redis云平台Cachecloud开源-视频教程
搜狐视频Redis云平台CacheCloud的github主页：https://github.com/sohutv/cachecloud 欢迎关注、star、拍砖 转载请注明出处哈:http://carlosfu.iteye.com 声明：虽然录制的视频没有进行特别精心的准备，就是想到哪聊到哪，但...
2016-03-20 20:48:44
376
原创 Linux的OOM killer简单测试
一、一些概念 1. OOM killer 顾名思义，OOM(out of memory) killer，是Linux操作系统发现内存不足时，它会强制杀死一些用户进程（非内核进程），来保证系统有足够的物理内存进行分配。 2. 内存overcommit Linux对大部分申请内存的请求都回复"yes"，以便能跑更多更大的程序。...
2016-02-17 17:59:24
962
1
原创 redis入门视频分享
转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426 近期给实习生培训redis相关课程，同时录制了一份视频，比较入门，不才分享给大家。 声明： 由于是给实习生讲的，内容比较入门，勿喷。 所有slides放在百度网盘中了：http://pan.baidu.com/s/1jIztTcy...
2016-02-16 11:09:37
136
原创 dubbo快速实战(非最佳配置，演示用)
一、目标： 由于培训需要演示dubbo的快速实战，因此有了本文，再次声明，本文不是最佳配置。 使用dubbo，构建一个provider提供视频信息服务，一个consumer获取视频信息服务并调用。 文中zookeeper配置的是127.0.0.1，请以真实ip为准 二、准备：1. 安装zookeeper: 因为是演示，只安装一个...
2016-02-15 18:00:53
131
原创 redis的nodejs客户端ioredis初识
转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426 声明：我是java程序员，对node不是很熟悉，只是写书的需要，要了解一下redis的node客户端，欢迎拍砖。 一、redis的nodejs客户端 去redis的官网看了一下http://redis.io/clients#node，node的客户端...
2016-02-13 18:24:35
2086
原创 redis的python客户端redis-py初识
转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426 声明：我是java程序员，对python不是很熟悉，只是写书的需要，要了解一下redis的python客户端，欢迎拍砖。 一、redis的python客户端 去redis的官网看了一下http://redis.io/clients#python，py...
2016-02-13 10:20:25
228
原创 记一次Redis超时排查
转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426 一、问题： 1. 应用端使用了我们提供的一个redis-sentinel集群(1主，1从，3个sentinel) 2. 客户端设置了超时时间为200ms, 下面是应用端提供的超时日志。注意上图对象数只有265个。2016-02-03 14:20:42,...
2016-02-03 17:25:00
1039
原创 Redis Sentinel安装、配置和部署
转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426 实际中，多个sentinel、master、slave不应该在一台机器 一、准备redis(下载、编译、安装、配置目录、数据目录)1. 下载、编译、安装cd /opt/softwget http://download.redis.io/releases...
2016-01-30 21:51:16
241
原创 缓存系列文章--8.热点key问题(mutex key)
转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 一、引出热点key问题 我们通常使用 缓存 + 过期时间的策略来帮助我们加速接口的访问速度，减少了后端负载，同时保证功能的更新，一般情况下这种模式已经基本满足要求了。 但是有两个问题如果同时出现，可能就会对系统造成致命的危害： (1...
2016-01-16 16:26:20
214
缓存使用与设计系列文章--目录
本文部分内容来自《Redis开发与运维》一书，转载请声明。 缓存使用与设计系列文章--1.缓存的一些基本常识。缓存使用与设计系列文章--2.是否真的需要缓存？缓存使用与设计系列文章--3.缓存常用更新策略对比。缓存使用与设计系列文章--4.缓存的粒度控制。缓存使用与设计系列文章--5.穿透问题。缓存使用与设计系列文章--6.雪崩问题-stampeding herd...
2016-01-10 17:36:31
82
原创 缓存系列文章--2.是否真的需要缓存？
转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 一、缓存的成本和收益是什么： 既然要讨论是否真的需要缓存这个问题，就要知道缓存带来的成本与收益（好处、坏处）是什么？ 收益成本缓存 + 后端存储(资源)1. 加速读写2. 降低后端负载1. 数据不一致性2. 代码维护...
2016-01-09 19:11:40
72
原创 缓存系列文章--4.缓存的粒度控制
转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 一、什么是缓存粒度 下面这个图是很多项目关于缓存使用最常用的一个抽象，那么我们假设storage层为mysql, cache层为redis。 假如我现在需要对视频的信息做一个缓存，也就是需要对select * from vid...
2016-01-09 09:53:22
153
原创 好文章列表（持续）
零、总技术和非技术阿里感悟系列文章CTO是干什么的？英文电子书免费下(英文书太贵了，原谅我不尊重版权)服务端工程师入门与进阶 Java 版DB-Engines Ranking (所有数据库的排行榜)如何写一本书？(分析的很好)如何出一本技术书怎么样写出更好、也更简短的源码分析书(黄健宏)七年阿里老人谈新人成长技术人员的发展之路r...
2015-12-20 11:50:25
75
原创 基于Redis的MQ中间件实现-目录
众所周知，Redis提供了发布订阅功能以及利用List数据结构可以实现消息队列的功能，本来这些也没什么技术难度，但是每次写这些程序时候，生产者和消费者都要写一些重复代码（管理Redis）和一些容易混乱的代码（消费者如何实现发布订阅和消息队列的消费），能不能有个中间件或者一个工具(例如一个通用的组件，比如一个jar包)，把这些东西封装起来，让不会Redis的人，像使用其他MQ系统一样使用，...
2015-12-19 10:16:10
217
原创 缓存系列文章--7.无底洞问题(multiget hole)
转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 最近有点忙，一直没更新博客，继续坚持下去。 一、背景 1. 什么是缓存无底洞问题：Facebook的工作人员反应2010年已达到3000个memcached节点，储存数千G的缓存。他们发现一个问题--memcached的连接效率下降了，于是添加memcach...
2015-12-14 09:18:14
173
原创 linux 同步IO: sync、fsync与fdatasync(转载)
原文：http://blog.csdn.net/cywosp/article/details/8767327 一、UNIX写盘操作模型。 1. 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者...
2015-11-27 08:25:08
185
原创 慢查询引起的redis-clusterdown
一、现象 1. 报警：我们的redis私有云有几百个redis实例，对于每个实例的存活，都有定时任务会每隔5分钟，重试多次ping命令去检查它的存活性，比如多次都ping不通，这时候就会收到报警短信： xxx系统-实例(10.10.xx.xx:xxxx)-由运行中变为心跳停止。这时候我就会去线上看一下出现了哪些问题。 2. 检测代码：比较简易，但是比...
2015-11-26 21:19:55
566
原创 博客竟然成为本月TOP1(^_^)
开博客正好三个月了，利用闲暇竟然写了50篇文章，其中40几篇原创，虽然水平有限，但是几乎每一篇都是尽心尽力的写，竟然成为了本月的TOP1博客（持续一周）(用郭老师的话说很欣慰啊)，继续加油，继续我自己所知、所想、所理解写出来分享给大家。 码农周刊： 开发者头条： ...
2015-11-22 19:11:33
115
原创 美团在Redis上踩过的一些坑-5.redis cluster遇到的一些问题
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 由于演讲时间有限，有关Redis-Cluster，演讲者没做太多介绍，简单的介绍了一些Redis-Cluster概念作用和遇到的两个问题，我们在Redis-Cluster也有很多运维经验，将来的文章会介绍。 但是讲演者反复强调，不要听信网上对于Redis-Cluster...
2015-11-09 17:31:07
888
原创 美团在Redis上踩过的一些坑-4.redis内存使用优化
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 一、背景: 选择合适的使用场景 很多时候Redis被误解并乱用了，造成的Redis印象：耗内存、价格成本很高： 1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发量很低的系统使用Redis，将原来放在Mysql数据全部放在Redis中。 ...
2015-11-08 19:22:57
373
原创 美团在Redis上踩过的一些坑-3.redis内存占用飙升
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 一、现象： redis-cluster某个分片内存飙升，明显比其他分片高很多，而且持续增长。并且主从的内存使用量并不一致。 二、分析可能原因： 1. redis-cluster的bug （这个应该不存在） 2. 客户端的...
2015-11-07 16:39:03
104
原创 美团在Redis上踩过的一些坑-2.bgrewriteaof问题
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 一、背景1. AOF: Redis的AOF机制有点类似于Mysql binlog，是Redis的提供的一种持久化方式（另一种是RDB），它会将所有的写命令按照一定频率(no, always, every seconds)写入到日志文件中，当Redis停机重...
2015-11-05 14:12:20
168
原创 美团在Redis上踩过的一些坑-1.客户端周期性出现connect timeout
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 1. 背景： 大部分互联网公司都会有Mysql或者Oracle的DBA，但是在Nosql方面一般不会设置专门的DBA。不过对于一些知名的互联网公司来说，Nosql的使用量是巨大的，所以通常让Mysql的DBA或者单独聘请工程师来维护一些Nosql数...
2015-11-05 09:21:31
284
原创 美团在Redis上踩过的一些坑-目录（本人非美团）
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 上上周和同事(龙哥)参加了360组织的互联网技术训练营第三期，美团网的DBA负责人侯军伟给大家介绍了美团网在redis上踩得一些坑，讲的都是干货和坑。 分为5个部分： 一、周期性出现connect timeout 二、redis bgre...
2015-11-04 10:26:32
204
原创 Tcp创建三次握手和关闭四次握手
本文大部分来自： http://blog.csdn.net/whuslei/article/details/6667471 一、基本概念： 说来惭愧，工作这么久一直对TCP的三次握手模模糊糊，最近排查jedis connection time out过多的问题，才发现理解TCP协议非常的重要。 上一张图简单说明一下： (1)建立连接： TCP协议建立连接需...
2015-11-02 21:44:49
102
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人