陈folin-CSDN博客

原创 Storm一个Topology中提供drpc和计算功能

本文主要介绍在storm中如何组件drpc和计算同时存在的多功能Topology编写，如何组件storm复杂的计算结构，包括其中应该注意的一些问题。

2015-04-24 14:17:37 852

原创关于Zookeeper Watcher使用注意事项

Watcher是Zookeeper中实现的事件通知机制，当发生变动的时候会通知Client，Zookeeper中Client操作注册的Watcher都为一次性Watcher，除去特殊事件类型，事件类型如下： None (-1),NodeCreated (1),NodeDeleted (2), NodeDataChanged (3), NodeChildrenChan

2014-07-18 10:49:05 1480

原创 HDFS(2.2.0)选择DataNode机制

HDFS选择数据节点的方式越来越复杂，也越来越考虑到吞吐量，但是同样存在着一些问题。分配数据节点的所需的参数主要有文件副本数numOfReplicas、writer（客户端所在节点）、excludedNodes（客户端排除的节点）、chosenNodes（已经选择的节点）方法是BlockPlacementPolicyDefault类的DatanodeDescriptor[] c

2014-01-26 16:31:08 2000 1

原创 Hadoop RPC框架解读

1. RPC概述1.1 RPC简介RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更

2014-01-14 16:52:00 3564

原创解密高并发支持

通过讲述Java Thread、Erlang process、Golang goroutine的详细机制阐述并发的秘密，解密Erlang和Golang的高并发支持。 Erlang和Golang都提供并发支持，能够支持几万甚至几十万的并发，但是Java或是C/C++在线程达到几千的时候，CPU性能就开始明显的下降，所以在并发度上来看，Java或是C/C++相对于Erlang、Gola

2014-01-10 16:05:36 1628 2