差不多de先生-CSDN博客

原创 HBase知识点总结

HBase数据模型术语Table（表格）：HBase表格有多行组成Row（行）：行按照key的字母顺序存储在表格中，Row Key只能存储64k的字节数据Column（列）：包含列族列的限定符Column Family（列族）：列族包含一组列和他们的值，HBase把同一列族里面的数据存储在同一个目录，由几个文件保存Column Qualifier（列的限定符）：列的限定符是列族中数...

2018-03-31 16:02:30 336 2

原创 Hbase的安装步骤

解压Hbasetar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz配置环境变量vi ~/.bash_profile export HBASE_HOME=/home/hbase-0.98.12.1-hadoop2export PATH=$PATH:HIVE_HOME/bin修改hbase-env.shexport JAVA_HO...

2018-03-29 22:59:30 239

原创 Hive知识点总结

Hive支持的数据类型primitive_typearray_typemap_typestruct_type DDLcreate table t1( id int, name string,) row format delimited fields terminated by '\t' // 字段之间用'\t'隔开...

2018-03-28 01:51:20 155

原创 Hive的安装步骤

安装Mysqlyum安装Mysqlyum -y install mysql-server启动Mysql Service服务service mysqld start加入到开机启动项chkconfig mysqld on创建用户并赋予权限GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' ...

2018-03-28 01:29:38 201

原创 MapReudce的执行方式

服务器环境在服务器上，使用命令的方式调用，执行过程在服务器中直接把MR程序进行打包，然后传送到服务器上hadoop jar wordCount.jar com.lh.wordCount.RunJob在本地直接调用，执行过程在服务器上（真正企业运行环境）1.在src目录下加入Hadoop的配置文件2.修改Hadoop源码：NativeIO,YARNRunner3...

2018-03-18 16:09:17 241

原创 Hadoop-Eclipse

Windows下解压hadoop的部署包和源码包要找一个没有空格和中文字符的路径（包括JDK的安装目录）将hadoop-2.6.5.dll复制到C:\Windows\System32目录下配置环境变量新建：HADOOP_HOME=D:\Study\hadoop-2.6.5 HADOOP_USER_NAME=root 追加：PATH=%HADOOP_HOME...

2018-03-17 21:55:41 150 1

原创 Hadoop集群环境的搭建

安装Zookeepertar -zxvf zookeeper-3.4.6.tar.gz修改Zookeeper的配置文件tickTime=2000dataDir=/opt/zookeeperclientPort=2181initLimit=5syncLimit=2server.1=node001:2888:3888server.2=node003:2888:388...

2018-03-17 14:59:18 161

原创 HDFS环境的安装配置

准备四台能够相互ping通(jdk安装完毕)的机器NameNode:node001，SecondNameNode:node002DataNode1:node002，DataNode2:node003，DataNode3:node004配置免密码登陆ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa将NameNode(node001)生成的共有密钥...

2018-03-07 01:02:45 1912

原创 Tengine与Memcached解决Session一致性的问题

Tengine的安装安装GCCyum install gcc安装PCREyum install pcre PCRE-devel 安装OpenSSLyum install openssl-devel解压安装包tar -zxvf tengine-2.1.0.tar.gz 执行configure文件，指定安装目录[root@node001 tengine-2.1.0].configure --pref...

2018-02-27 22:12:52 181

差不多de先生的博客