王倔驴-CSDN博客

原创 zookeeper安装及sqoop脚本执行生成数据到mysql

============ zookeeper ======================在opt目录下tar -zxvf zookeeper-3.4.6.tar.gz -C配置在zookeeper目录下创建data 文件夹,进入conf目录, 把 zoo_sample.cfg 改名为 zoo.cfg进入zoo.cfg文件,修改dataDir=/opt/zookeeper/data启动进入bin目录,使用./zkServer start 命令启动,提示如下则启动成功JMX enabled

2020-08-06 23:06:45 212 1

原创安装sqoop及使用

SQOOP —数据搬用工可以将外部数据迁移到hdfs目录或者hive表或者hbase表约定：安装目录为/opt/下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/下载之后进行解压：tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/重命名：mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop配置SQOOP_HOM

2020-08-06 23:03:01 157 1

原创安装kafka及使用

======= kafka ===================安装配置：解压： opt]# tar -zxvf soft/kafka_2.10-0.10.0.1.tgz重命名：opt]# mv kafka_2.10-0.10.0.1/ kafka添加KAFKA_HOME至环境变量：/etc/profile配置相关参数：$KAFKA_HOME/config/server.properties主要参数：broker.id、log.dirs、zookeeper.connectbroker.i

2020-08-06 22:54:51 120 1

原创 hive关联hbase及使用

======= 使用Hive来访问HBase启动hive，进入hive的终端/opt/hive/lib/hive-hbase-handler-2.1.0.jar,/opt/hive/lib/zookeeper-3.4.6.jar --hiveconf hbase.master=master:16010 --hiveconf hbase.zookeeper.quorum=master在Hive里面操作HBase创建一张表：如果hbase中不存在该表我们只能在hive中使用创建内部表的方式，来创建

2020-08-06 22:50:27 323 1

原创安装hbase及使用

============== hbase ================单机版本：解压 opt]# tar -zxf soft/hbase-1.1.5-bin.tar.gz 重命名 opt]# mv hbase-1.1.5-bin hbase添加至环境变量export HBASE_HOME=/opt/hbase配置 $HBASE_HOME/conf/hbase-env.sh、hbase-site.xml$HBASE_HOME/conf/hbase-env.shexport JAV

2020-08-06 22:47:45 197 1

原创在安装Hive程序HWI的时候的异常（2.1.0）

==== 在安装Hive程序HWI的时候的异常（2.1.0） ====在启动hwi的过程中，出现的问题：ar:file:/opt/hive/lib/ant-1.9.1.jar!/org/apache/tools/ant/antlib.xml:37: Could not create task or type of type: componentdef.原因是引用hive新版本2.1.0依赖的ant jar包没有相关的资源，需要使用最新的ant jar包解决方式：下载ant资源：ant-1.10.1

2020-08-06 22:42:35 181 1

原创安装hive和mysql

====== 安装hive和myql =====安装myslqCentOS7自带有MariaDB而不是MySQL，MariaDB和MySQL一样也是开元的数据库解决方案：如果必须要安装MySQL，首先必须添加mysql社区repo通过输入命令#rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm获取mysql#yum install -y mysql-server启动mysql server服务

2020-08-06 22:38:54 138 1

原创安装Hadoop2.6.4和jdk8

============== Hadoop的安装 ==================配置Hadoop环境变量hadoop的版本：hadoop-2.6.4.tar.gz，rz命令上传Hadoop和jdk8到/opt/目录下#vim /etc/profile.d/hadoop-eco.shJAVA_HOME=/opt/jdk8PATH=$JAVA_HOME/bin:$PATHHADOOP_HOME=/opt/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HO

2020-08-06 22:08:03 321 1

原创半天搭建大数据伪分布式环境

============= 模拟处理大数据 ============1.数据写入kafka2.程序消费kafka消息存入hbase3.hive关联hbase处理数据转存成表4.sqoop脚本导出数据到mysqllinux:centos7root/root一台服务器就够了，3G+20G配置静态IP地址#vi /etc/sysconfig/network-scripts/ifcfg-ens32(最后一个为网卡名称)（1）bootproto=static #dhcp动态（2）onboot=

2020-08-06 21:52:50 92 1