决战大数据-CSDN博客

原创 cdh-Hadoop伪分布式安装教程

昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apach

2017-09-22 13:40:31 4475

原创 linux中用eclipse开发Hadoop mapreduce与Hive UDF实例详解及其配置说明

本人刚刚把Hadoop和Spark的基本原理学习完了，在spark往后学习时，还是需要Hadoop中hive的相关内容，于是开始学习hive。废话不多说，下面进入正题。本文主要介绍的是linux中如何用eclipse开发Hadoop mapreduce与Hive UDF，并且对其中的安装配置进行说明。一、eclipse开发Hadoop mapreduce程序1.首先你需要在linux中安装eclip

2017-08-19 13:42:33 1193

原创 python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件

python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件本人在写基因组里的序列比对算法时，需要用Hadoop加快运算的速度，在java中可以直接调用Hadoop里面API提供的方法对hdfs操作，然而由于本人是用python写的算法，需要借助pyhdfs或python调用shell文件来对hdfs来进行操作。一、pyhdfs操作hdfs下面本人都详细介绍pyhdf

2017-08-11 13:30:48 8368

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人