- 博客(22)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Ionic Cordova 环境搭建与打包
1. Ionic Cordova 环境搭建安装Nodejs 这里就不赘述， Ionic需要Nodejs环境如果没有安装过淘宝镜像的小伙伴这里推荐大家先安装， 后面安装Ionic的时候速度快一些。命令：npm install -g cnpm --registry=https://registry.npm.taobao.org安装IonicCordova环境命令: cnpm...
2018-12-13 12:03:46
1039
1
原创 Java对HDFS增删改查遇到的问题
Java对HDFS增删改查遇到的问题1 (null) entry in command string: null chmod 0700的解决方法1.1 在本地配置Hadoop的环境1.2 在https://github.com/SweetInk/hadoop-common-2.7.1-bin下载依赖包1.3 将依赖包中的文件winutils.exe , libwinutils....
2018-12-07 17:47:41
187
转载 6.2 解读WordCount
第6章 MapReduce入门6.2 解读WordCountWordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析，我们可以了解MapReduce程序的基本结构和执行过程。6.2.1 WordCount设计思路WordCount程序很好的体现了MapReduce...
2018-12-07 17:07:21
174
转载 5.5 YARN的调度器
第5章 YARN：资源调度平台5.5 YARN的调度器打个比方，Hadoop相当于一台虚拟计算机（由多台计算机构造的集群），那么HDFS就是这台虚拟计算机的文件系统，管理磁盘资源；而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序（比如5.4节跑的PI和wordcount两...
2018-12-06 16:46:42
101
转载 5.4 YARN集群运行
第5章 YARN：资源调度平台5.4 YARN集群运行HDFS已经启动[root@node1 ~]# jps2247 NameNode2584 Jps2348 DataNode1234[root@node2 ~]# jps2279 Jps2137 DataNode2201 SecondaryNameNode1...
2018-12-06 16:45:44
157
转载 5.2 YARN参数解读与调优
第5章 YARN：资源调度平台5.2 YARN参数解读与调优yarn-site.xml文件默认参数： http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml5.2.1 ResourceManager相关配置参数参数默认值说明yarn.resourcemanager.addre...
2018-12-06 16:44:05
475
转载 5.1 YARN介绍
第5章 YARN：资源调度平台5.1 YARN介绍YARN的全称是Yet Another Resource Negotiator，意为另一种资源调度者。 从Apache Hadoop 2.0开始， Hadoop包含 YARN。5.1.1 Hadoop 1.x与Hadoop 2.x（1）MRv1 在介...
2018-12-06 16:40:44
214
转载 Zookeeper集群搭建步骤及相关知识点深入了解
Zookeeper集群搭建步骤及相关知识点深入了解 1、zookeeper概念zookeeper是一个分布式协调服务：a:zookeeper是为别的分布式程序服务的 b:zookeeper本身就是一个分布式程序（只要半数以上节点存活，zookeeper就能正常服务。） c:zookeeper的服...
2018-12-04 11:10:13
97
转载 3.5 HDFS基本命令
第3章 HDFS：分布式文件系统3.5 HDFS基本命令HDFS命令官方文档： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html3.5.1 用法[root@node1 ~]# ...
2018-11-25 10:39:28
179
1
转载 3.4 HDFS集群模式
第3章 HDFS：分布式文件系统3.4 HDFS集群模式节点IP角色node1192.168.80.131NameNode，DataNodenode2192.168.80.132SecondaryNameNode，DataNodenode3192.168.80.133DataNode3.4.1 Hadoop环...
2018-11-25 10:38:53
161
转载 3.3 HDFS参数解读
第3章 HDFS：分布式文件系统3.3 HDFS参数解读3.3.1 官方文档Hadoop官方文档地址： http://hadoop.apache.org/docs/r2.7.3/由于Hadoop相关参数页面需要通过FireFox浏览器打开，这里需要你先安装FireFox浏览器。下拉页面，可以在页面左...
2018-11-25 10:38:40
125
转载 3.2 HDFS文件读写
第3章 HDFS：分布式文件系统3.2 HDFS文件读写3.2.1 文件访问权限针对文件和目录，HDFS有与POSIX非常相似的权限模式。 一共提供三类权限模式：只读权限（r）、写入权限(w)和可执行权限（x）。读取文件或列出目录内容时需要只读权限。写入一个文件，或是在一个目录上创建及删除文件或目录...
2018-11-25 10:38:31
177
转载 2.5 WordContent简单应用
第2章 Hadoop快速入门2.5 WordContent简单应用Hadoop的HelloWorld程序2.5.1 创建HDFS目录hdfs命令位于bin目录下，通过hdfs dfs -mkdir命令可以创建一个目录。[root@node1 hadoop-2.7.3]# bin/hdfs dfs -mkdir...
2018-11-25 10:38:05
440
转载 2.4 Hadoop单机运行
第2章 Hadoop快速入门2.4 Hadoop单机运行紧接上一节内容，首先切换到Hadoop根目录 或者cd /opt/hadoop-2.7.3进入Hadoop根目录 通过pwd命令可以知道当前所在目录[root@node1 hadoop-2.7.3]# pwd1注意：本节命令都将在/o...
2018-11-25 10:37:24
188
转载 2.3 Hadoop单机配置
第2章 Hadoop快速入门常见的Hadoop部署模式分为单机模式和集群模式，也称为伪分布式模式和分布式模式。 单机模式（伪分布式）模式是在一个节点上部署所有的Hadoop服务。在使用上，单机模式（伪分布式）模式跟集群模式（分布式模式）是一样的。2.3 Hadoop单机配置2.3节到2.5节内容参考...
2018-11-25 10:37:11
136
转载 2.2 Hadoop下载与安装
2.1 Hadoop下载与安装2.1.1 官网下载打开Apache Hadoop官方网址http://hadoop.apache.org/单击左侧菜单“Releases”将打开发行版页面http://hadoop.apache.org/releases.html单击2.7.3版本下“binary”链接，将进入...
2018-11-25 10:36:07
847
转载 2.1 Hadoop简介
第2章 Hadoop快速入门2.1 Hadoop简介2.1.1 Hadoop编年史（1）2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。（2）2003 年 Google 发表了一篇技术学术论文关于 Google 文件系统（GFS）。GFS 也就是 Go...
2018-11-25 10:35:58
110
转载 1.7 目录规划
第1章 环境安装配置1.7 目录规划1、总体规划软件安装目录：/opt数据目录：/var/data日志目录：/var/log2、hadoop相关目录按照上面规划，hadoop相关目录如下：软件安装目录：/opt/hadoop2.7数据目录：/var/data/hadoop/var/data/hadoop/na...
2018-11-25 10:35:50
194
转载 centos 7 ssh免密码登录（补充1.6 SSH免密登录）
参考（十分详细）：http://blog.csdn.net/newstruts/article/details/46424191目的在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖...
2018-11-25 10:35:29
107
转载 1.6 SSH免密登录
第1章 环境安装配置1.6 SSH免密登录1、XShell的一个技巧当多台虚拟机需要执行相同命令时，可以单击XShell右下角的“三条横杠”按钮，选择“全部会话”，这时XShell下方的输入框将显示提示“发送文本到当前XShell窗口的全部会话”比如在XShell下方输入框输入data命令回车后，将该date...
2018-11-25 10:35:13
367
转载 1.5 构建集群
第1章 环境安装配置1.5 构建集群1、集群概念根据百度的解释： 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。服务器集群是一种提升服务器整体计算能力的解决方案。它...
2018-11-25 10:34:57
272
转载 1.2 安装Linux虚拟机
1.2 安装Linux虚拟机1.2.1 选择Ubuntu还是CentOSUbuntu适合桌面环境，CentOS适合服务器环境1.2.2 下载CentOS1）打开CentOS官网，进入下载页面https://www.centos.org/download/ DVD ISO:可以刻录一张普通DVD光盘。...
2018-11-25 10:34:31
143
软件设计师考试考点突破、案例分析、实战练习一本通（2014版）.pdf
2019-07-19
J2EE中文帮助文档
2015-12-15
各类开发帮助文档以及学习教程
2015-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人