- 博客(31)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 Hive DDL
1. 相关说明DDL=Date Definition Language，数据定义语言。学习hive的HQL的DDL相关语法，建议对照官方WIKI，因为语法参数较多，而且和SQL多有相似，不建议记忆，梳理一下，记住相关可以实现的功能和注意点以及和SQL之间的区别即可。 官方WIKI打开： 浏览器访问 http://hive.apache.org， 找到”Getting Started Guide”，...
2018-02-23 20:25:05
238
转载 Hive DML
1. 相关说明DML=Data Manipulation Language 数据操作语言。HIVE的DML中，update和delete一般不会用，生产数据是不会删除的，常用overwrite和load做数据的转换。insert into values 也一般不会用，离线批处理，一些实时的数据insert场景并不多，这个命令只是从关系型数据库兼容过来的。2. LOAD操作HIVE的DML，从OS或...
2018-02-23 20:23:45
227
转载 Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。 word版：见附件吧！一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列...
2018-02-23 20:20:45
346
转载 YARN的内存和CPU配置
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个co...
2018-02-23 20:17:53
310
转载 YARN and MapReduce的【内存】优化配置详解
转载自：http://blog.itpub.net/30089851/viewspace-2127850/在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比...
2018-02-23 20:16:39
191
转载 Hadoop调优参数汇总
linux参数以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0 主要配置文件： core hdfs yarn mapred 重要...
2018-02-23 20:14:09
9334
转载 Linux工作常用指令
路径pwd：显示完整路径名 cd : 1. 绝对路径：以/开头的 2. 相对路径：不以/开头的 cd :进入当前用户的家目录 cd ../ （cd ..）: #退回上一级目录 cd - :#返回上一次操作 cd ~ :#家目录 cd /tmp : 切换到指定目录 （按1次 tab键自动补全 2次打印所有相关的） clear: #清屏查看文件或文件夹ls #显示当前目录下的文件名和文件夹名称 ls ...
2018-02-23 20:11:40
184
原创 spark快速入门
Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、M...
2018-02-22 23:09:02
221
原创 mysql必知必会
查看当前使用的数据库，可使用如下命令mysql> select database(); #使用函数database()mysql> show tables; #列头信息中可看出当前使用的db，格式为：Tables_in_[db_name]mysql> status; #注意结果中的"Current database:"信息查看系统中有哪些数据库，mysql> show da...
2018-02-22 23:02:17
126
原创 2017.12.20练习
1.谈谈你对shuffle的理解洗牌,介于map和reduce之间的操作,它是将相同的内容放在了一起,再使用reduce计算2.mr的执行流程,大概分为两大部,请简述创建application master 任务执行3.hdfs报告的命令hdfs dfsadmin -report4.多台机器数据不平衡,该怎么办设置带宽,hdfs balancer ./start-balancer.sh5....
2018-02-22 22:52:11
121
原创 2017.12.21练习
1.vi的三种模式命令行模式 编辑模式 尾行模式2.跳转到最后一行快捷键G3.跳转到行尾$4.跳转到第一行gg5.删除当前行dd6.删除当前行和以下行dG7.rwxrwxr--数字是多少7748.三组数字分别代表什么可读可写可执行 可读可写可执行 可读9.说说R参数命令chown chowd10.说说r参数命令cp rm screen scp11.su和sudo的区别su:期和用户 s...
2018-02-22 22:50:55
137
原创 2017.12.22练习
1.HDFS的读写流程HDFS读流程: 1.Client通过File.open(filepath)方法,与NameNode进行RPC通信,返回该文件的部分或全部的block列表(也包含该列表的block的分布与DateNode地址的列表),也就是返回FSDateInputStream对象 2.Client调用FSDataInputStream对象的read()方法。 a.去...
2018-02-22 22:48:29
161
原创 数据库基础指令学习
查看数据库指令 show databases;进入数据库指令 use 数据库名查看数据库中的表命令 show tables查看表里面的数据 select * from 表名查看表里面的结构命令 desc 表明创建数据库命令 create database 数据库名创建表名 create table 表名插入数据到表里面命令 insert into 表名 values ('123','...
2018-02-22 22:46:37
371
原创 2017.12.25练习
1.文件的创建有哪两种vi xxx.xxx touch xxx.xxx echo "xxx" > xxx.xxx2.创建文件夹的命令和创建多个级联文件的参数创建文件夹 mkdir xxx 创建级联文件夹: mkdir -p xxx/xxx3.隐藏文件的标识是什么以.开头4.如何查看隐藏文件ll -a5.查看文件大小的两个命令du -sh xxx ll -h xxx6.查看文...
2018-02-22 22:41:04
149
原创 2017.12.26练习
1.hadoop三大组件NameNode、DataNode、Secondary NameNode2.我们选择了哪种部署方式伪分布式3.hdfs的启动顺序NN DN SNN4.NN节点需要格式化再启动么需要5.hadoop的官方地址hadoop.apache.org6.我们想要看官方的文档,配置文件在哪里http://hadoop.apache.org/docs/r2.8.3/hadoop-proj...
2018-02-22 22:37:05
180
原创 MySql-二进制部署
关于数据库关系型数据库:Oracle、MySQL、PostgreSQL非关系型数据库:HBase、Redis图形数据库:Titan时序数据库:influxdb1.mysql默认安装路径:默认安装在/usr/local下安装MySQL步骤：1.从本地选择mysql的安装包上传到Linux上 rz 2.查看是否安 # ps -ef | grep mysql 3.查看是否...
2018-02-22 22:34:30
197
原创 大数据常见面试题目
每天在在技术群里沉水,搜刮些面试题目,留作备用~1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解2.hdf文件系统中Namenode和DataNode区别和联系3.请描述Spark RDD中的transform和action的理解?4.两个类TextInputFormat和KeyValueInputFormat的区别是什么？5.在hadoop任务中，什么是inputspl...
2018-02-22 22:30:35
1895
原创 2018.1.3练习
1.Mysql的二级制部署,那么默认配置文件在哪里?my.conf2.Mysql的登录命令是什么mysql -u用户名 -p登录密码3.查看db的命令show databases4.查看哪些表的命令show tables5.查看表的创建语句show create table xxx6.查看表的字段的哪些desc table7.字段的类型都包括哪些int double float time data...
2018-02-22 22:27:53
149
原创 MapReduce Shuffle详解2
shuffle过程包括Map端和Reduce端, 为了更加形象理解,我们先看一组图:Map端包括分区,排序,合并Reduce端包括 复制,归并 reduce 在Map端的shuffle过程是对Map的结果进行分区（partition）、排序（sort）和分割（spill），然后将属于同一个划分的输出合并在一起（merge）并写在硬盘上，同时按照不同的划分将结果发送给对应的Reduce（Map输出的...
2018-02-22 22:17:26
282
原创 MapReduce Shuffle详解1
1.shuffle过程介绍: shuffle的本意是洗牌,混洗,是把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好.MapReduce中的shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据2.为什么MapReduce计算模型要需要shuflle过程? 我们都知道MapReduce计算模型包括两个重要的阶段:Map映射,负责数据的过滤分发,R...
2018-02-22 22:15:05
193
原创 2018.1.5练习
1.左表id为1为3条数据,右表id为1有10条数据,请问left join有多少条30条2.hive的数据分为两块,哪两块,分别存储在哪里mysql和hdfs3.现在我们学的hive的执行引擎是什么MapReduce4.文件格式有哪些?说说你们预习的5.压缩格式有哪些?说说你们预习的6.一般我们创建表默认是外部表么内部表7.外部表的语法是什么[EXTERNAL]8.外部表和内部表有什么区别,请用...
2018-02-22 22:11:32
94
原创 2018.1.4练习
1.hive一般用来做什么数据仓库2.hive数据分为两块,请问都分别存储在哪元数据 mysql; 数据hdfs3.hive在建表时,默认是外部表还是内部表内部表4.外部表是不是要指定一个地址是5.drop外部表会删除数据么不会6.默认换行符是什么/n7.默认分隔符是什么/t8.换行和分隔符语法是什么, 假如我们不知道语法,应该去官网的哪个地址找9.默认的文件格式是什么textfile10.还有其...
2018-02-22 22:09:18
107
原创 第四天早课12.05
1.出现-R参数的两个命令chown chowd2.出现-r参数的命令cp rm3.rwx数字分表代表什么读写执行4.rw-rw-r--6645.第一组 第二组 第三组都是什么意思所属用户权限 所属用户组权限 其他用户和用户组权限6.创建文件有哪几个命令vi xxx touch xxx echo "xxx" > xxx7.创建文件夹的名和级联参数mkdir -p xxx/xxxx8.移动...
2017-12-19 17:31:43
183
原创 第一天早课11.30
1.鼠标在windows桌面怎么进入到centos左键单击2.怎么从centos系统推出到window桌面Esc3.我们常用的linux系统有哪两种centos ubuntu4.查看当前目录命令ls5.进入到目录的命令cd6.root的家目录/root7.怎么进入到root的家目录cd /root8.波浪线代表着什么当前用户的家目录9.返回到上一层目录cd ..10.上层目录一般都怎么样展示.....
2017-12-19 17:30:27
166
原创 第九天早课12.12
1.vi三种模式 命令行模式 编辑模式 尾行模式2.命令行进入到编辑模式的命令按i键3.编辑模式进入到命令行模式的命令esc4.命令行模式进入到尾行模式的命令shift+冒号5.保存退出和强制退出的命令 wq 保存退出 q! 强制退出6.跳转到文本的第一行的第一个字母快捷键gg7.删除当前行dd8.删除当前行以及以下行dG9.跳转到行尾G10.查看文件夹大小的命令du -sh11.查看文...
2017-12-19 17:28:42
243
原创 第十天早课12.13
1.ps和netstat有什么作用 ps-ef 查看当前进程和pid netstat查看端口ip进程2.vi的快捷键有哪些 命令行进入编辑: i 编辑进入到命令行: esc 命令行进入尾行模式:shift+冒号 跳转到第一行行首: gg 跳转到行尾: G 删除当前行: dd 删除当前行和以下行: dG3.windows和linux系统上传下载命令使用之前要安装lr...
2017-12-19 17:25:17
155
原创 12.19早课
1.vi的三种模式命令行 编辑 尾行2.跳转到最后一行行首的快捷键G3.跳转到一行的行尾的快捷键shift+$4.跳转到第一行的行首gg5.删除当前行快捷键dd6.删除当前行以下所有行dG7.强制保存退出快捷键wq!8.多人合作的后台会话命令screen9.可以多人同时进入到同一个会话么不可以10.按什么快捷键从一个会话退出来ctrl+a+d11.查看会话,创建会话,进入会话的参数是什么scree...
2017-12-19 11:30:11
168
转载 Fiddler的详细介绍
一、Fiddler与其他抓包工具的区别 1、Firebug虽然可以抓包，但是对于分析http请求的详细信息，不够强大。模拟http请求的功能也不够，且firebug常常是需要“无刷新修改”，如果刷新了页面，所有的修改都不会保存； 2、Wireshark是通用的抓包工具，能获取HTTP，也能获取HTTPS，但是不能解密HTTPS，所以wireshark看不懂HTTPS中的内容，但如果是TCP、UDP...
2017-12-02 15:27:06
427
原创 Linux基础命令学习03
增增加目录 mkdir增加文件 touch增加用户 useradd增加组 groupadd增加权限 chomod删删除目录 rm删除文件 rm删除用户 userdel删除组 groupdel删除权限 chmod改改文件名 mv批量修改后缀 rename修改ip文件复制 cp远程复制 scp文件重命名 mv切换用户 su改用户...
2017-12-01 00:03:18
144
原创 Linux基础指令学习02
今天听完J哥的课,对生活又冲满了信心,加油-----课程体系零基础2个月+高级班3.5个月+CDH+线下两天课程(需要花费21天时间复习)基础班体系Linux命令学习--shell命令学习--mysql--hadoop Hive-Sqoop-离线商产项目(苏宁项目)1.Linux版本 CenOS: 6.X版本或7.X版本 1.1格式化硬盘 Add partion: ...
2017-11-30 00:11:40
216
原创 Linux基础指令学习01
Linux基础命令学习1.显示当前目录所有文件和目录信息 > ls list > ls 具体目录 查看指定目录下的文件信息2.显示当前文件目录的位置 > pwd 3.目录之间切换 > cd 目录名字 > cd .. 切换到上级目录 4.切换到完全命令模式 >init 3 进入到命令模式 >init 5 进入到可...
2017-11-28 23:48:42
197
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人