- 博客(3)
- 收藏
- 关注
RSS订阅原创 MapReduce的初步学习过程与基本示例
MapReduce准确来说分为两个阶段，分别是map阶段与reduce阶段，map阶段负责抽取源数据文件，并向各个reduce task分发任务，机制是将相同key的数据，组成对整合在一起输出到reduce阶段。reduce阶段则进行具体的处理过程，处理过程由一个或多个reduce task进行，其处理过后就是数据最终的处理结果。与平常的数据处理方式相比，mapreduce的好处在于“分而食之
2017-01-14 20:49:25
245
原创 Hadoop系统环境安装
hadoop系统环境安装分为三个部分，linux操作系统的安装，JDK的安装，hadoop的安装。 一.linux操作系统的安装 网上下载VMware workstation，在其上面创建linux虚拟机。具体可参考百度。虚拟机所需镜像文件在后面给出。linux操作系统中所需要注意的几个方面。 配置主机名 ip地址配成static 域名和ip的本地映射hosts。 打开虚拟机，因为
2016-11-23 19:48:49
299
原创 Hadoop系统环境安装傻瓜教程
Hadoop的安装我主要将其分为三个部分，一是linux系统操作环境的安装，二是JDK的安装，三是Hadoop的安装。下面就按照这样的安装流程走一遍，提前要说的是，因为是学习练习所用，所以只是在虚拟机上装了一个linux的环境，并且在hadoop安装过程中所使用的一些主要的安装包也会列出来。SO GO！ 一.linux环境的安装 linux操作环境的安装我是在VM
2016-11-23 19:26:26
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人