- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce的“Hello world”和Shuffle初步理解
前言：任何一种编程语言，开场白基本都是“Hello World”，那么对于Hadoop的计算框架MapReduce一样有着自己的“开场白”，那就是“WordCount”，词频统计这一实例，在任何一个版本的Hadoop安装程序中都会有，下面也会给大家初步介绍如何启动，并分享一下我对Shuffle的初步理解WordCount实例启动1.创建任意文本并上传到HDFShadoop-2.8.1]$...
2018-06-16 13:40:04
376
原创 YARN详解（YARN架构设计、常用命令、三种调度器）
YARN架构设计也是主从架构，分为Resource Mananger（RM）和Node Manager（NM），其中RM主要负责应用管理和资源调度，NM主要负责容器和作业。一、YARN架构介绍YARN架构图如上图所示，详细介绍如下：ResourceManager（RM）：负责对各NM上的资源进行统一管理和调度，将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配...
2018-06-16 13:40:00
2119
原创 MapReduce2架构设计（YARN工作流程（MR提交应用程序））
前言：MapReduce是一种可用于数据处理的编程模型。该模型比较简单，但是要写出有用的程序缺不太容易。本篇文章主要介绍MapReduce2（YARN），会附带介绍MapReduce1的架构。...
2018-06-16 13:39:55
1038
原创 浅谈YARN中Container容器（内存、CPU分配）
前言：hadoop2.x版本和hadoop1.x版本的一个区别就是：hadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce只专注于计算，资源和作业的调度由YARN来负责。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。我们的应用在工作的时候，需要消耗内存和CPU，故当YARN收到application申请...
2018-06-08 16:29:58
14854
1
转载 MapReduce框架详解
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架...
2018-06-07 14:12:07
8585
转载 YARN and MapReduce的内存优化配置详解
在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力,...
2018-06-07 14:02:02
2032
转载 YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个co...
2018-06-07 13:59:20
3700
原创 若泽数据-早课（2018/6/5）
1、vi，清空文件内容，然后从window记事本拷贝内容去Linux文件里，哪些命令？注意点是什么？ 命令模式下gg跳到行首第一个字符，dG删除光标所在到最后一行数据。i进入编辑模式将内容拷贝到文件中，注意要在编辑模式下完成文件的拷贝。2、执行一个命令，说not found，那么你们觉得该怎么办？ 首先检查所执行命令是否正确，若正确则：which 命令 查询命令是否存在，若不存在，可以...
2018-06-05 11:12:12
284
原创 若泽数据-早课（2018/6/4）
1、hdfs架构是什么架构？ hdfs架构为主/从架构，管理者Namenode和工作者Datanode。2、hdfs哪些进程？ 总共有三个进程：Namenode、Datanode和Secondarynamenode3、hdfs dfs等价与什么命令？ hdsf dfs等价于hadoop fs4、hdfs的NN节点是做什么的？ 管理文件系统的命名空间。维护着文件系统书以及整棵...
2018-06-05 10:08:19
433
1
原创 jps详解
首先jps的目录在java中，如下图所示。jps主要用于查看java进程，在查看hdfs的启动进程时可以代替ps -ef | grep hdfs命令。 在讨论jps时，我们可以把用户切换到root用户下，然后jps查看进程，会出现以下问题，如下图所示，显示进程信息不可用（process information unavailale） 在企业中，若进程不可用，先用 ps -ef ...
2018-06-02 20:03:23
4252
原创 HDFS三进程启动IP更改教程
HDFS启动后会有三个进程，在官网默认配置时，只有Namenode的更改方式如下图所示，更改localhost为指定IP即可完成对Namenode启动ip的更改。 但关于Datenode和Secondarynamenode启动ip的更改，官网并没有给出，在启动过程也是以默认进程启动，如下图所示。 以下内容来详细讲解Datenode和Secondarynamenode启动ip的更...
2018-06-02 19:39:53
1265
原创 若泽数据-早课（2018/6/1）
1、vi命令的三种模式，分别什么快捷键？命令模式、编辑模式、尾行模式ESC、i、shift+:2、vi的快捷键，跳转第一行 最后一行 行尾 删除当前行 删除当前行及以下所有行？第一行：gg最后一行：G行尾：ctrl+g删除当前行：dd删除当前行以及以下所有行：dG3、谈谈你知道哪些命令可以创建文件？命令：vi、cat、echo、touch4、mv、cp什么区别 ，谁快？mv 移...
2018-06-01 16:25:04
184
原创 Hadoop编译和伪分布式部署（HDFS、YARN）
本次hadoop源码包版本信息：hadoop-2.8.1-src.tar.gz，如有需要请到http://hadoop.apache.org这个网址去下载。Hadoop广义: 以Hadoop为主的生态圈狭义: Apache Hadoop2.X 3.X组件 HDFS 分布式存储 MapReduce 分布式计算 job1 Yarn 资源和作业调度和管理平台 Spark Ap...
2018-06-01 15:41:06
1103
原创 Hadoop编译环境组件搭建
上接小编另外一篇博客：Hadoop编译Requirements: Unix System *JDK 1.7+ Maven 3.0 or later Findbugs 1.3.9 (if running findbugs) ProtocolBuffer 2.5.0 首先将需要的文件上传到/opt/software中，如需安装包的小伙伴请留言。JDK1.7+安装1、首先查看是否安装J...
2018-06-01 11:46:58
502
原创 若泽数据-早课（2018/5/31）
1、MySQL二进制部署过程，默认配置文件在哪？/etc/my.cnf具体部署过程见链接点击打开链接2、排序语法是什么，默认降序?排序查询时对结果集进行排序，默认升序排序ORGER BY 列名 [DESC][ASC]DESC代表降序ASC代表升序，可省略例：SELECT * FROM table ORDER BY 字段 ASC3、分组函数有哪些?分组语法是什么? 带过滤的参数什么?分组...
2018-05-31 09:53:21
152
原创 MySQL基础命令总结
数据库操作1、创建数据库CREATE DATABASE 数据库名（一般小写）;2、查看数据库SHOW DATABASES;SHOW DATABASE 数据库名;#查看某个数据库3、删除数据库DROP DATABASE 数据库名;4、切换数据库USE 数据库名;5、查看正在使用的数据库SELECT DATABASE();表结构操作1、创建表CREATE TABLE 表名（ 列名1 数据类型...
2018-05-30 17:10:39
214
1
原创 若泽数据-早课（2018/5/30）
1、sudo 和su的分别是什么命令?su命令的全称就是switch user，其意思就是切换用户身份，使得用户可以在shell中以其他身份运行程序。除非该用户自己是超级用户，那么切换用户身份时均需要密码。sudo命令是允许系统管理员让普通用户执行一些或全部的需要root权限的命令的工具。2、怎样给一个用户赋予sudo权限，修改什么配置文件，添加哪行?root权限下vi /etc/sudoer...
2018-05-30 11:48:25
295
原创 MySQL基础命令一
前言：MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品，所使用的 SQL 语言是用于访问数据库的最常用标准化语言。SQL分类：数据定义语言（DDL）：用来定义数据库对象：数据库，表，列等。关键字：create、alter、drop等数据操作语言（DML）：用来对数据库中表的记录进行更新。关键字：insert、delete、update等数据控...
2018-05-29 17:24:26
175
原创 若泽数据-早课（2018/5/29）
1、tar解压和压缩命令是什么？压缩：tar -czvf name.tar.gz name解压：tar -xzvf name.tar.gz [路径]2、zip格式的文件压缩和解压的命令是什么？压缩：zip name.zip解压：unzip name.zip3、多人合作的后台运行命令是什么? 怎样创建，进入，退出，查看的命令参数分别是什么？screen创建：screen -S name进入：...
2018-05-29 16:28:18
169
原创 MySQL数据库远程访问权限设置
远程访问工具有很多，小编我用的是SQLyog，其他的一样可以。如下图所示。MySQL host address表示安装MySQL服务器的主机IP地址。Username以及Password需要在MySQL服务器主机mysql数据库中的user中更改授权。1、改表法 此方法需要用户在本地主机登录Mysql，更改mysql数据库中的user表。mysql -uroot -p填入密码，登录...
2018-05-29 15:52:42
950
2
原创 Linux环境下MySQL5.6二进制安装
本次安装的MySQL版本信息如下：mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz，如需要安装包，请留言。MySQL部署方式：1.yum部署；2.二进制部署1、上传文件包2、检查是否安装Mysqlps -ef | grep mysqldrpm -qa | grep -i mysql没有Mysql进程，表示未安装，安装包有个，但不用3、解压并重命名解压：tar -...
2018-05-28 18:50:53
1973
1
原创 若泽数据-早课（2018/5/28）
1、查看当前目录的命令？pwd2、切换目录的命令是什么？cd例如：cd /root3、切换到家目录方式有几种
2018-05-28 10:22:19
151
原创 Linux常用命令三
权限 r代表读文件权限，w代表写入文件权限，x代表执行文件权限。第一个字符，d代表文件夹，-代表文件 用户 用户组 drwxr-xr-x. 2 root root 4096 May 19 21:40 Downloads -rw-r--r--. ...
2018-05-23 09:56:54
177
原创 Linux常用命令二
创建文件夹 命令：mkdir mkdir ceshi 创建1个文件夹 mkdir 2 3 4 创建并排的3个文件夹 mkdir -p 2/3/4 级联
2018-05-22 14:00:11
161
原创 配置Centos虚拟机固定ip和外网
1.关闭Win7防火墙；关闭Centos防火墙关闭，命令：service iptables stop2.VMware的Wired Network 选择连接System eth03.查看Vmware虚拟网络编辑器。编辑>虚拟网络编辑器，如下图。网关为192.168.233.2我们接下来配置网络的IP前面3位就是192.168.233.XXX，XXX不可以为23.输入命令：vi /etc/sys...
2018-05-21 16:50:47
1436
原创 Linux常用命令一
获取当前主机名 命令：hostname修改hostname 命令：vi /etc/sysconfig/networki-->编辑 修改hadoop001-->ruozehadoop001ecs -->命令 shift+: --> 尾行 输入 wq查看当前路径 命令：pwd查看当前路径文件 命令：ls -l 权限信息 用户和用户组 时间 等...
2018-05-21 15:57:41
123
原创 CentOS 部署
CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同，在于CentOS并不包含封闭源代码软件。
2018-05-21 15:23:37
369
原创 java的JDBC开发中properties配置
Properties 类表示了一个持久的属性集。Properties 可保存在流中或从流中加载。属性列表中每个键及其对应值都是一个字符串。JDBC开发中获得连接的4个参数（驱动、URL、用户名、密码）通常都存在配置文件中，方便后期维护，程序如果需要更换数据库，只需要修改配置文件即可。properties文件，此文件我们将做如下要求：1. 文件位置：任意，使用Eclipe，建议在项目根目录下2. 文...
2018-05-09 14:34:40
1355
原创 Java.sql的接口PreparedStatement使用
自学java，学到数据库这一节了，涉及到JDBC开发，对于PreparedStatement的使用有一点不理解，在查看了一些大牛的文章，自己也尝试着把自己理解的内容写一下，就当给自己做个备注吧，有错误的还请指正，谢谢。谈到PreparedStatement的使用，就得先了解以下它和Statement得区别和联系。查看JDK API不难得知，PreparedStatement接口是继承自Statem...
2018-05-09 11:40:05
37732
8
原创 Eclipse导入jar包
1.手动创建lib目录；2.添加jar包，并右击选择buildpath，选择add to build path；3.在Referenced Libraries中显示，则表示导入成功。
2018-05-08 17:16:24
393
转载 Java静态代码块
在学习JDBC的时候，阅读MySQL驱动类Driver类中，看到类中一种表示方式，直接在类中写static{内容}，如下图所示。后来查询了一下，这是静态代码块。静态代码块作用：有些代码必须在项目启动的时候就执行的时候，需要使用静态代码块，这种代码是主动执行的；需要在项目启动的时候就初始化，在不创建对象的情 况下，其他程序来调用的时候,需要使用静态方法，这种代码是被动执行的。静态方法在类加载的时候就...
2018-05-08 17:09:57
276
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人