yifeilzm-CSDN博客

原创 ZooKeeper集群搭建

1.ZooKeeper1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。2.如何搭建ZooKeeper服务器集群2.1 zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。2.2 在hadoop0的/usr/local目录下，解压缩zk....tar.gz，设置环境变量2.3 在conf目录下，修改文件 vi zoo_sample.cfg zoo

2014-11-07 10:16:44 222

原创 Pig的简单使用介绍

1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。3.Pig基本数据类型：int、long、float、double、chararry、bytearray 复合数据类型：Map、Tuple、Ba

2014-11-07 10:14:10 507

原创 hbase的集群搭建

1、伪分布搭建

2014-11-07 10:07:56 285

原创 Hadoop分布式安装步骤

hadoop分布式部署步骤：第一大步骤：伪分布式安装1.1 设置ip地址执行命令 service network restart验证: ifconfig1.2 关闭防火墙执行命令 service iptables stop验证: service iptables status1.3 关闭防火墙的自动运行执行命令 chkco

2014-10-30 11:38:55 385

原创 hadoop操作的步骤

1.1读取hdfs中的文件。每一行解析成一个。每一个键值对调用一次map函数

2014-10-24 00:27:33 412

原创 Hadoop对hdfs操作的命令

1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看1.2 -lsr 表示对hdfs目录的递归查看1.3 -mkdir 创建目录1.4 -put 从linux上传文件到hdfs1.5 -get 从hdfs下载文件到linux1.6 -text 查看文件内容1.7 -rm 表示

2014-10-24 00:24:51 572

原创 hadoop的rpc理解

1.RPC1.1 RPC (remote procedure call)远程过程调用.远程过程指的是不是同一个进程。1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回给client。1.4 RPC是hadoop构建的基础。2. 通过例子获得的认识？

2014-10-24 00:21:28 267

原创 hadoop的伪分布安装

1.hadoop的伪分布安装1.1 设置ip地址执行命令 service network restart验证: ifconfig1.2 关闭防火墙执行命令 service iptables stop验证: service iptables status1.3 关闭防火墙的自动运行执行命令 chkconfig iptables off验证: chkconfig -

2014-10-24 00:15:24 267