- 博客(12)
- 收藏
- 关注
RSS订阅原创 hive之函数&复杂数据类型&Hive分区表
hive 对于JSON 格式的处理{"movie":"1193","rate":"5","time":"978300760","userid":"1"} ---格式{"movie":"661","rate":"3","time":"978302109","userid":"1"}{"movie":"914","rate":"3"...
2019-07-30 16:03:28
389
原创 hive之DDL DML 内置函数
创建表hive (default)> show tables; ---查看所有表OKtab_namedata_emphelloTime taken: 1.061 seconds, Fetched: 2 row(s)hive (default)> create table data_emp2 like data_emp; ...
2019-07-23 11:28:45
945
原创 hive 部署及简单操作
部署hive1）下载：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz2）解压： tar -xfhive-1.1.0-cdh5.7.0.tar.gz[hadoop@hadoop001 software]$ tar -xf hive-1.1.0-cdh5.7.0.tar.gz[hadoop@hadoop0...
2019-07-19 10:39:03
242
原创 hadoop之简单计算
配置主机名 nn：vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop001:9000</value> </property&g...
2019-07-08 21:38:23
513
原创 hadoop(CDH) 伪分布式 安装
创建hadoop用户[root@hadoop001 ~]# useradd hadoop[root@hadoop001 ~]# id hadoopuid=889(hadoop) gid=889(hadoop) groups=889(hadoop)[root@hadoop001 ~]# su - hadoop[hadoop@hadoop001 ~]$ pwd/home/hadoop查...
2019-07-01 20:40:15
161
原创 数据仓库的的数据质量管理思路
一、大数据的数据仓库数据质量源端业务系统数据库 ---- > 数据仓库中间有可能丢数据： 源端（100条） 数据仓库（90条）中间有可能多数据： 源端（90条） 数据仓库（100条）不丢数据： 源端（100条） 数据仓库（100条）二、数据质量管理1、数据量的比对 select count(1)2、数据内容全...
2019-06-30 13:55:05
2130
原创 mysql 安装
[root@hadhoop001 ~]# lltotal 417684-rw-r–r-- 1 root root 0 Mar 21 2018 =-rw-r–r-- 1 root root 58817074 Sep 21 2017 access.log-rw-r–r-- 1 root root 3765999 Mar 24 2018 access.zip-...
2019-06-27 15:17:36
110
原创 Linux 基础命令（二）
1、chown 改变用户 用户组 chmod 改变读写执 drwxr-xr-x. 2 root root 4096 Jun 12 22:41 Downloads -rw-r--r--. 1 root root 1012 Jun 15 21:46 error.log 第一位字母: d文件夹 -文件 l连接 r 读 4、w 写2 、x 执行 1 she...
2019-06-27 14:46:12
76
原创 Linux命令之vim
vim 可分为 三种模式：普通模式、编辑模式、命令模式普通模式：gg : 将光标移动到文件的第一行，等价于 1gg 或 1GG 或 （shift + g ）: 讲光标移动到文件的最后一行0 ： 数字0 将光标从所在位置移动到当前行的结尾n : n 为数字，将光标从当前位置向下移动n行ngg : n为数字，移动到文件的第n行，如11gg可移动到第11行搜索/abc ...
2019-06-25 14:49:41
96
原创 Linux 基础命令
1、ls 英文缩写 list -l 使用长格式列出文件及目录信息 -t 根据最后的修改时间(mtime)排序，默认是以文件名排序 -r 依相反次序排序 -i 显示inode节点信息 -d 列出目录本身而非目录内的文件 -h 以人类可读的信息显示文件及目录大小 -a ...
2019-06-19 11:40:00
449
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人