- 博客(23)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 shell脚本专家指南笔记#7_非直接引用变量
### 本文为《shell脚本专家指南》一书的学习笔记。##7. 非直接变量直接变量的概念 明确知道变量的名字，可以不先知道变量的值。 创建直接变量的三种方式。 直接赋值。 # a=b 存储一个命令的输出。 # a=`echo b` 存储某些类型的计算结果。 # a=$(( 1 + 2 ))非直接变量的概念 ...
2018-12-19 16:43:26
173
原创 shell脚本专家指南笔记#6_测试变量和设置默认值
### 本文为《shell脚本专家指南》一书的学习笔记。##6. 测试变量和设置默认值6.1. 设置默认值 设置变量默认值的几种形式，复杂程度递减。 # if [ -z "$var" ]; then var="default" fi # [-z "$var" ] && var="default" # ...
2018-12-18 12:37:40
155
原创 shell脚本专家指南笔记#5_接受命令行选项_开关_参数
### 本文为《shell脚本专家指南》一书的学习笔记。##5.接受命令行选项_开关_参数原文示例有两部分值得借鉴的内容： 1. app的目录布局； 2. getopts的用法。app的目录布局 /usr/local/apphome /usr/local/apphome/myapp-1.2.3 /usr/local/apphome/myapp...
2018-12-17 17:15:04
174
原创 shell脚本专家指南笔记#4_比较和测试
### 本文为《shell脚本专家指南》一书的学习笔记。##4. 比较和测试通用形式 if [ "$string" = "some_string" ]; then ... if [ $integer -eq 15 ]; then ...注意双引号 "" 的使用，原文说明比较模糊，后来我做了测试。 在test 和 [] 中，如果$a中a未定义，不加双引号，会导致...
2018-12-17 13:41:41
124
原创 shell脚本专家指南笔记#3.日期和时间操作
### 本文为《shell脚本专家指南》一书的学习笔记。##3.1. 用天数来计算日期 unix和linux以1970年1月1日0时0分开始计算时间，也就是所谓的时间戳，单位是 秒。在系统中，可以使用 date +'%s' 来查看。 严格来讲，系统的起止时间是以零时区开始计算的。比如，一般我们系统的时区为 东八区(+8)，故使用 date -...
2018-12-14 17:57:45
200
1
原创 shell脚本专家指南笔记#2.使用函数库
### 本文为《shell脚本专家指南》学习笔记。##2.1. 使用库可以将常用函数，封装如库文件中，在需要用对应函数时，只要导入对应库文件即可。示例：通过导入库文件，就可以引用已写好的函数。比如，导入OSTYPE环境变量。#!/bin/echo WARN: this library should be sourced!# ostype(): import OSTYPE va...
2018-12-14 10:44:48
158
原创 shell脚本专家指南笔记#1.shell脚本错误检测
## # 本文为《shell脚本专家指南》一书的学习笔记。##1.1. shell跟踪 使用set -x和set -v。仅在当前脚本生效。 set -x # 打开代码跟踪。个人理解为，显示当前执行的代码。 set +x # 关闭代码跟踪。 set -v # 打开代码冗余。个人理解为，显示当前走过的代码(不一定执行)。 set +v # 关闭代...
2018-12-13 18:10:59
713
原创 编译hadoop并获取native
文档说明 该文档为完成编译后，根据印象编写，并未经过重新编译测试，大体步骤应该没错，如有错误，望指正。 编译的最初目的，是为了获取合适的native包，并且检测手动编译的native包和自带的native包有何差别。 编译的版本为apache-hadoop-2.7.6和hadoop-2.6.0-cdh5.5.0。编译说明 源码中会有一个 BUILDING.txt...
2018-12-12 19:14:18
1357
原创 希尔排序#demo
public class ShellSort { public static void main(String[] args) throws Exception { int[] numbers = ArrayTools.getRandomInts(9, -5, 5, true); ArrayTools.printInts(numbers); ...
2018-12-10 15:41:21
102
原创 插入排序Demo
public class InsertSort { public static void main(String[] args) throws NumberWrongException { int[] numbers = ArrayTools.getRandomInts(7, -9, 9); ArrayTools.printInts(numbers); ...
2018-11-30 20:44:23
106
原创 java-快速排序Demo
public class QuickSort { public static void main(String[] args) throws NumberWrongException { int[] numbers = ArrayTools.getRandomInts2(7, -9, 9); ArrayTools.printInts(numbers); ...
2018-11-29 00:37:02
230
1
原创 冒泡/选择排序Demo
冒泡排序 public static void main(String[] args) throws Exception { int[] numbers = ArrayTools.getRandomInts2(7, -9, 9); ArrayTools.printInts(numbers); bubbleSort(numbers); ...
2018-11-27 21:19:31
112
原创 随机生成int数组Demo//ArrayTools
Demo1/** * @param length * @param start * inclusive. * @param end * exclusive. * @return * @throws NumberWrongException */ public s...
2018-11-23 11:17:39
258
翻译 hadoop-2.7.4-翻译文档-viewFS指南
介绍视图文件系统（ViewFs）提供了一种方法来管理多个Hadoop文件系统名字空间（或名字空间卷）。这种方法对于拥有多个名称节点和名字空间卷的联邦HDFS特别有用。ViewFs类似于Unix / Linux系统中的客户端挂载表。ViewFs可用于创建个性化的名字空间视图以及每个群集的通用访问。本指南在具有多个集群的Hadoop系统上下文中呈现，每个集群可以联合到多个命名空间中。它还描
2017-09-27 09:31:09
445
翻译 hadoop-2.7.4-翻译文档-联邦HDFS
HDFS联盟HDFS联盟背景多个Namenodes /命名空间主要优点联合配置组态：格式化Namenodes从旧版本升级并配置联盟将新的Namenode添加到现有的HDFS集群管理集群启动和停止集群平衡器退役群集Web控制台本指南概述了HDFS联合功能以及如何配置和管理联合集群。背景HDFS有两个主要层：命名空间
2017-09-25 09:16:33
502
翻译 hadoop-2.7.4-翻译文档-机架感知
机架感知Hadoop组件具有机架感知功能。例如，HDFS通过机架感知来将块副本放在不同的机架上，从而提高容错。在群集中发生网络交换机故障或进行分区时，可提供数据可用性。Hadoop主守护进程通过调用由配置文件指定的外部脚本或java类来获取群集从站的机架ID。使用java类或外部脚本进行拓扑，输出必须遵守java org.apache.hadoop.net.DNSToSwitchMappi
2017-09-23 16:03:57
415
翻译 hadoop-2.7.4-翻译文档-resourcemanager高可用
ResourceManager高可用性介绍本指南概述了YARN的ResourceManager的高可用性，并详细介绍了如何配置和使用此功能。ResourceManager（RM）负责跟踪群集中的资源，并调度应用程序（例如MapReduce作业）。在Hadoop 2.4之前，ResourceManager在YARN集群中存在单点故障。高可用性功能以active/standby rm
2017-09-23 10:51:23
731
翻译 hadoop-2.7.4-翻译文档-QJM高可用
HDFS高可用(QJM) 本指南概述了HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS集群。本文档假设读者对HDFS集群中的一般组件和节点类型有一般的了解。有关详细信息，请参阅分布式集群部署。 本指南讨论如何使用Quorum Journal Manager（QJM）配置和使
2017-09-22 17:39:20
325
原创 hadoop-2.7.4-nodemanager无法启动问题解决方案
近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。问题日志如下： resourcemanager_log 2017-09-20 03:54:24,165 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService: NodeManager from ub
2017-09-20 21:15:07
3306
2
翻译 hadoop-2.7.4-翻译文档-分布式集群搭建
安装安装Hadoop集群通常需要在集群中的所有机器上进行统一安装，或者通过适合目标操作系统的打包系统进行安装。安装的要点是对不同的节点分配不同的功能。通常，集群中的一台机器被指定为NameNode，另一台机器被指定为ResourceManager。这些是主人(master)。其他服务（例如Web App Proxy Server和MapReduce作业历史记录服务器）通常根据负载在专用硬件或
2017-09-18 19:42:15
504
翻译 hadoop-2.7.4-翻译文档-集群部署
准备JDK。SSH。下载hadoop-2.7.4.tar.gz本地模式1.tar开hadoop包$>tar -zxvf hadoop-2.7.4.tar.gz2.配置环境变量[etc/environment] PATH=...:hadoop_path/bin:hadoop_path/sbin HADOOP_HOME=hadoop_path3.验证安装$>hadooop伪分
2017-09-18 16:11:40
558
原创 JDK下载
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-09-17 20:43:51
346
原创 选用英文字体输入中文自动选用中文字体相关
关于字体选择，选择支持中文的字体会节省很多精力，但是有时追求美观或者个人爱好等因素，促使我们选择其他字体，有时会有如下问题。系统记事本，如果采用consolas字体，中文显示有能会为'?'。修复方法：格式-字体-脚本，选择非“西欧语言”的其他选项，可以自动使用系统默认中文字体来替代英文字体中的中文部分。效果如下。如此，即可在系统记事本中使用如consolas
2017-09-15 21:32:45
770
hadoop-2.7.2/4-ha-conf
2017-09-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人