qq_43008162的博客

原创 kylin常见错误

下面是我在使用kylin过程中遇到的一些问题以及错误的解决1.运行ERROR，点击日志发现java.io.IOException: fail to find the statistics file in base dir: hdfs:/kylin/kylin_metadata/kylin-6faa47ea-3a5b-4020-976f-c9fcf9d93bd2/kylin_sales_cube/...

原创 hue安装

1.环境准备centos6.5apache-maven-3.3.9-bin.tar（官网下载，解压，配置环境变量即可）jdk-8u171-linux-x64.tar（官网下载，解压，配置环境变量即可）apache-ant-1.8.1-bin.tar（官网下载，解压，配置环境变量即可）hue-3.7.0-cdh5.3.6.tar或者hue-3.12.0.tgz可以去Github下载相应的包...

原创 flume

flume可以监控的内容：服务器本地磁盘文件夹网络端口数据agent是一个jvm进程，是以事件(event)的形式将数据从源头传送至目的地，事件就是一个类的对象，在source读入后进行封装event由Header和Body组成，Body是数据，Header是Body的解释信息，元数据信息，格式agent的三个组件：source，channel，sink（每一个组件就是一个类）flu...

原创 bd

原创 Sqoop

Sqoopsqoop模板（复制粘贴去掉注释，保证\后没有空格否则执行出错误）query 导入sqoop import --connect jdbc:mysql://Hadoop01:3306/test –driver com.mysql.jdbc.Driver –username root --password root -m 1 –split-by id –fields-term...

原创 hplsql安装及常见问题

1.x版本的hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedural SQL on hadoop），并且在未来的Hive的版本（2.0）中，会将该模块集成进来。该解决方案不仅支持Hi...

原创 hive1.x升级成2.x

升级前准备：hive2.x的安装包官网下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/我用的hive-2.3.6的连接链接：https://pan.baidu.com/s/1bCRFM3XVwDGfwCMUGvCJGw提取码：7zcd安装配置将安装包上传到linux系统自己想要安装目录中解压tar -zxvf apache-h...

原创 Centos rpm方式安装mysql

去下载mysql的rpm包，可以在下面的连接里下载。1.下载完毕，用连接工具上传到linux系统的根目录下执行安装程序rpm -ivh mysql-community-common-5.7.26-1.el6.x86_64.rpmrpm -ivh mysql-community-libs-5.7.26-1.el6.x86_64.rpmrpm -ivh mysql-community-cli...

原创 yarn的工作流程(mr)

yarn是yarn的整体流程图client提交作业当有任务开始时，client会向resourcemanager提交自己的任务，client可以是许多计算框架，可以是MapReduce，spark，本文主要以MapReduce为例子，后期会发布spark的yarn的工作流程，提交的内容包括自己需要多少的资源等创建APP masterResourceManager接受到client提交...

原创 linux安装配置jdk

linux安装配置jdk去官网jdk下载jdk根据自己的虚拟机来下载响应版本的jdk,下载tar.gz格式的就行下载完用工具上传到虚拟机中进入相应的文件夹，直接解压，配置环境变量(我的jdk放在/opt/java文件夹下，自己随意创建一个目录就行)[root@Hadoop01 ~]# cd /opt/java/[root@Hadoop01 java]# lsjdk-8u161-l...