- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HiveSerDe2及JsonSerDe源码分析(超详细)
转载请注明出处Hive的数据是存储在HDFS上的,在使用Hive执行操作的时候,实际上是将sql语句解释成MR程序对HDFS上的数据进行读写操作,而一般的,文件在网络传输和存储上都是以二进制(0和1组成的比特流)的方式分发的,这样,如果需要读写数据就要进行序列化和反序列化,这里,简称SerDe,即(Serializer and Deserializer)通常，我们在HDFS上有一个JSON格式...
2019-01-15 11:22:28
1098
原创 Win7上Eclipse集成Hadoop环境(详细)
在网上看了几篇博客后终于将hadoop-eclipse-plugin插件编译好了，记录一下。我编译好的插件是Hadoop2.8.5版本的，地址： https://github.com/xiaomoo/oeasy/Hadoop2.8.5-eclipse-plugin 在build/contrib/eclipse-plugin目录下可以用git clone https://github.com/x...
2018-12-19 11:14:21
157
转载 trident State应用指南
trident State应用指南本文转载自:http://blog.csdn.net/jediael_lu/ https://blog.csdn.net/jediael_lu/article/details/76794843trident State应用指南一State基础示例1主类2Aggregator的用法1Aggregator...
2018-11-26 16:01:30
191
转载 Storm并发模型及ACK机制处理
转载自:https://blog.csdn.net/u013063153/article/details/73723749从大到小的话我们看它有这么5个层次，最简单的storm是个集群，cluster是个层次，第二个层次就是有比较明确的意义了，就是supervisor，supervisor对应的层级就是一个个的host，就是一个个的node，就是一个机器这个级别的，然后一个机器它又有很多的wo...
2018-11-23 09:42:12
141
转载 Storm学习总结
本博客转载自:https://yq.aliyun.com/articles/609466?spm=a2c4e.11163080.searchblog.20.3c7e2ec139rsNh分享的目的让大家更加深入了解Storm的架构以及运用JStorm之类的流式计算框架解决业务开发过程中遇到的问题能够有所帮助分享大纲Storm介绍和系统架构Storm核心类Storm trident框架Stor...
2018-11-21 12:03:19
649
转载 流处理中window的概念
转载自：https://blog.csdn.net/lmalds/article/details/51604501什么是Window？有哪些用途？ 下面我们结合一个现实的例子来说明。我们先提出一个问题：统计经过某红绿灯的汽车数量之和？ 假设在一个红绿灯处，我们每隔15秒统计一次通过此红绿灯的汽车数量，如下图： 可以把汽车的经过看成一个流，无穷的流，不断有汽车经过此红绿灯，因此无法统计...
2018-10-25 17:11:15
403
原创 flume+kafka+zookeeper+storm实时计算环境搭建(二)
搭建flume+kafka+storm环境这里，我的flume是采集mysql的数据再存入kafka，我用mysql作为我的source，内存memory作为channels，kafka作为sink，这个要借助一个插件source-ng-sql手机mysql的数据环境准备：1.flume1.8.02.kafka2.0.03.storm1.2.24.zookeeper3.4.13flu...
2018-10-22 18:12:40
439
1
原创 flume+kafka+zookeeper+storm实时计算环境搭建(一)
环境准备1.JDK102.ubuntu16.04，centos73.flume1.8.04.zookeeper3.4.135.storm1.2.26.kafka2.0.0这里我用的三台虚拟机搭建的集群，主节点(master)用的ubuntu16.04，从节点分别用centos7搭建slave1，slave2，组成分布式集群下载vmare：https://my.vmware.com...
2018-10-22 15:23:00
528
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人