- 博客(14)
- 资源 (4)
- 收藏
- 关注
RSS订阅大数据分析
Hadoop是一个分布式计算的基础平台，解决了数据分发和任务分发两个分布式计算的基本问题 HDFS作为Hadoop的独立基本组件，完成了分布式文件系统的功能，解决了数据分发的难题，达到数据分布式管理的目的。 由于HDFS的独立性，使得HDFS的接口可以单独提供分布式文件系统的功能，使得Hadoop很方便地作为分布式文件系统为其他分布式计算框架提供服务。 mapreduce作为一个计算框架，为
2017-03-28 19:34:22
104
redis笔记
redis的基本类型： sds list dict skiplist intset ziplist 对象及其底层实现： 字符串对象 列表对象 哈希对象 集合对象 有序集合对象 类型检查与多态， 内存回收与共享
2016-11-09 11:18:20
69
翻译 hazelcast学习笔记---queue
hazelcast分布式队列实现了java.util.concurrent.BlockingQueue接口，是一个阻塞队列。 获取一个队列： HazelcastInstance hazelcastInstance = Hazelcast.newHazelcastInstance(); BlockingQueue queue = hazelcastInstance.getQueue( "tas
2016-10-27 18:16:11
457
原创 java线程通信与同步语义实现总结
Java线程间通信与同步可以分为以数据为中心和以流程为中心两种方式。 volatile volatile关键字可以施加在变量的定义上，保证该变量值的可见性，是线程间通信的初级方式。 给JVM的语义是，该变量的值是不确定的，线程在使用该值时，都应该读取或写入到主内存中，而不能从寄存器中读取。 synchronized 对volatile语义进行了加强，既能施加在变量上
2016-10-20 17:20:42
222
原创 多线程模式解决的问题分类
多线程编程时，总是有些经典的场景，在不同的场合重复使用，我们针对这些场景提出了相应的解决方案，称之为多线程编程的设计模式。 1. 消除同步等待 —— future模式 2. 提高并发，有效利用资源 —— master-worker模式 3. 限制并发，控制并发成本，保持程序可用 —— guarded-suspension模式 4. 业务解耦，线程通信 —
2016-10-20 11:19:21
131
原创 mysql总结3（高性能MySQL笔记）
10 复制 mysql支持基于行的复制和基于语句的复制，这两种方式都是通过在主库中记录二进制日志，然后在备库中重放日志的方式来实现数据的异步复制。 复制框架对于主库的开销：增加二进制日志的存储，备库从主库读取日志的网络开销等。 复制的目的：数据分布存储、达到负载均衡、备份、高可用性和故障切换、服务器升级测试等 复制的过程：首先，主库上执行sql，改变主库数据内容，然后根据sql提交的顺序，
2016-09-28 15:42:27
423
原创 mysql学习总结（高性能MySQL笔记）
1.mysql基本情况 mysql架构 处理与存储分离 三层结构：连接等基本功能层，mysql核心处理层（查询缓存，sql解析，优化器），存储引擎层 共享锁与排他锁，锁粒度与锁开销，表锁与行级锁，服务器层与存储引擎层加锁。 数据库事务，数据库四种类型的事务：读未提交，读已提交，可重复读，序列化，这四种类型的分类分别从事务是否提交，对修改是否透明，对插入删除
2016-09-28 15:41:37
380
原创 jvm频繁GC问题查找记录
是的，是在JVM中进行配置；配置的大小没有具体的评判标准，需要根据具体环境进行调整，受到新建对象大小，频率，对象生命周期长短，堆内存总大小等的影响。 老年代与新生代内存大小的比例可由JVM的NewRatio参数配置：NewRatio = 老年代内存大小/新生代内存大小，在默认的情况下，NewRatio=2 从我们的日志能够看到，老年代大小是1G，那么默认情况下NewRatio的大小就是512
2016-09-28 13:57:58
298
原创 TCPcopy使用示例
最近在公司弄一个频繁GC的问题，以下是我提的第一个建议，但公司环境不允许这样实行（生产环境管理及其严格，而且涉及调用其他服务的问题），现记录如下。 TCPcopy最开始是网易开发的用于广告投放系统的一个测试工具，能够进行分布式压力测试，普通上线测试，流量放大测试等，其测试数据比较真实。 下面以图形说明TCPcopy的原理 1.下图是一个典型的web应用服务器的示例，用户请求过来后，
2016-02-25 11:35:36
282
分布式技术与zookeeper
1 分布式架构的特点与问题 2 一致性协议 两阶段提交协议（2PC） 1. 由协调者向每个参与者发起事务请求，然后执行逻辑操作，协调者等待参与者的执行结果 2.协调者根据每个参与者第一步的执行结果，决定是否提交整个事务 2.1 如果有一个以上参与者在第一步返回false，则协调者在所有参与者上rollback事务 2.2如果第一步的所有参与者
2016-01-31 12:17:38
52
原创 zk框架使用记录
最近工作中在使用zk做前端开发，学习与使用过程中，浏览了很多好的博客资源 最好的入门博客： http://blog.csdn.net/daquan198163/article/details/9304897
2015-12-27 13:16:01
698
原创 hazelcast学习笔记---sharding与cluster
hazelcast的目标是千亿级的缓存系统,在这样的系统里,sharding和cluster是必不可少的话题. sharding: hazelcast的sharding使用的是传统的hash+分片的技术.hazelcast服务器将缓存默认分为271个partitions,对于要存入hazelcast缓存的内容,首先需要进行如下几步处理:
2015-12-17 17:31:18
856
zk开发文档
2016-01-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人