qq_39957602的博客

原创 原型图

原创 Storm-核心概念

核心概念Topologies 拓扑，将整个流程串起来 计算拓扑，由spout和bolt组成 类似于MR作业 MR最终要完成，topology会一直运行除非自己杀死 对应的资源 TOPOLOGYBUILDER Running topologies on a production cluster Local mode Streams 流，数据流，水流...

原创 Storm-入门

Storm是什么 Strom技术网站官网;srorm.apache.org githup: guithup.com/apache/stormStrom对比Hadoop数据源/处理领域：Hadoop数据存储在HDFS 处理过程不同： hadoop:map+reduce Storm:spout+bolt 进程是否结束 Hadoop：启动的时候申请资源，作业全部跑完之后...

转载 Linux中出现的结构体

首先说说DIR这一结构体，以下为DIR结构体的定义：struct __dirstream      {       void *__fd;        char *__data;        int __entry_data;        char *__ptr;        int __entry_ptr;        size_t __allocation;     

转载 接口和抽象类的去呗

接口和抽象类的概念不一样。接口是对动作的抽象，抽象类是对根源的抽象。抽象类表示的是，这个对象是什么。接口表示的是，这个对象能做什么。比如，男人，女人，这两个类（如果是类的话……），他们的抽象类是人。说明，他们都是人。人可以吃东西，狗也可以吃东西，你可以把“吃东西”定义成一个接口，然后让这些类去实现它.所以，在高级语言上，一个类只能继承一个类（抽象类）(正如人不可能同时是生物

转载 学习-storm常用类

backtype.storm.topology.TopologyBuilder用来建立topology。SpoutDeclarer backtype.storm.topology.TopologyBuilder.setSpout(String id, IRichSpout spout, Number parallelism_hint)给topology设置spout。paralleli

转载 学习-storm中的Grouping

参考资料1：shuffleGrouping将流分组定义为混排。这种混排分组意味着来自Spout的输入将混排，或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。fieldsGrouping这种grouping机制保证相同field值的tuple会去同一个task，这对于WordCount来说非常关键，

转载 学习-Thrift

本文先整体性地介绍Thrift框架，然后分析Thrift源码中自带的toturial例子，作为Thrift的入门吧。一．Thrift介绍Thrfit是一种开源的跨语言的服务部署框架，这里的服务是指RPC，即远程过程调用了。它最初是由Facebook开发的，后来Facebook将其开源了。因此你可以很方便地下载到它的源代码，下载地址为：http://incubator.apach

转载 学习-Socket编程讲解

Socket接口是TCP/IP网络的API，Socket接口定义了许多函数或例程，程序员可以用它们来开发 TCP/IP网络上的应用程序。请参阅以下资料：socket非常类似于电话插座。以一个国家级电话网为例。电话的通话双方相当于相互通信的2个进程，区号是它的网络地址；区内一个单位的交换机相当于一台主机，主机分配给每个用户的局内号码相当于socket号。任何用户在通话之前，首先要占有一部电话机，相当