xys2xll的博客

封面 1 书名 2 前言 10 目录 19 第Ⅰ部分 Hadoop基础知识 第1章 初识Hadoop 27 1.1 数据！数据！ 27 1.2 数据的存储与分析 29 1.3 查询所有数据 30 1.4 不仅仅是批处理 31 1.5 相较于其他系统的优势 32 1.5.1 关系型数据库管理系统 32 1.5.2 网格计算 34 1.5.3 志愿计算 35 1.6 Apache Hadoop发展简史 36 1.7 本书包含的内容 40 第2章 关于MapReduce 43 2.1 气象数据集 43 2.2 使用Unix工具来分析数据 45 2.3 使用Hadoop来分析数据 46 2.3.1 map和reduce 47 2.3.2 Java MapReduce 48 2.4 横向扩展 55 2.4.1 数据流 55 2.4.2 biner函数 59 2.4.3 运行分布式的MapReduce作业 61 2.5 Hadoop Streaming 61 2.5.1 Ruby版本 62 2.5.2 Python版本 64 第3章 Hadoop分布式文件系统 66 3.1 HDFS的设计 66 3.2 HDFS的概念 68 3.2.1 数据块 68 3.2.2 namenode和datanode 69 3.2.3 块缓存 70 3.2.4 联邦HDFS 71 3.2.5 HDFS的高可用性 71 3.3 命令行接口 74 3.4 Hadoop文件系统 76 3.5 Java接口 80 3.5.1 从Hadoop URL读取数据 80 3.5.2 通过FileSystem API读取数据 82 3.5.3 写入数据 85 3.5.4 目录 87 3.5.5 查询文件系统 87 3.5.6 删除数据 92 3.6 数据流 92 3.6.1 剖析文件读取 92 3.6.2 剖析文件写入 95 3.6.3 一致模型 98 3.7 通过distcp并行复制 100 第4章 关于YARN 102 4.1 剖析YARN应用运行机制 103 4.1.1 资源请求 104 4.1.2 应用生命期 105 4.1.3 构建YARN应用 105 4.2 YARN与MapReduce 1相比 106 4.3 YARN中的调度 109 4.3.1 调度选项 109 4.3.2 容量调度器配置 111 4.3.3 公平调度器配置 113 4.3.5 延迟调度 117 4.3.5 主导资源公平性 118 4.4 延伸阅读 119 第5章 Hadoop的I／O操作 120 5.1 数据完整性 120 5.1.1 HDFS的数据完整性 121 5.1.2 LocalFileSystem 122 5.1.3 ChecksumFileSystem 122 5.2 压缩 123 5.2.1 codec 124 5.2.2 压缩和输入分片 129 5.2.3 在MapReduce中使用压缩 130 5.3 序列化 133 5.3.1 Writable接口 134 5.3.2 Writable类 136 5.3.3 实现定制的Writable集合 145 5.3.4 序列化框架 149 5.4 基于文件的数据结构 151 5.4.1 关于SequenceFile 151 5.4.2 关于MapFile 159 5.4.3 其他文件格式和面向列的格式 160 第Ⅱ部分 关于MapReduce 第6章 MapReduce应用开发 165 6.1 用于配置的API 166 6.1.1 资源合并 167 6.1.2 变量扩展 168 6.2 配置开发环境 168 6.2.1 管理配置 170 6.2.2 辅助类GenericOptionsParser，Tool和ToolRunner 173 6.3 用MRUnit来写单元测试 176 6.3.1 关于Mapper 176 6.3.2 关于Reducer 180 6.4 本地运行测试数据 180 6.4.1 在本地作业运行器上运行作业 180 6.4.2 测试驱动程序 182 6.5 在集群上运行 184 6.5.1 打包作业 184 6.5.2 启动作业 186 6.5.3 MapReduce的Web界面 189 6.5.4 获取结果 191 6.5.5 作业调试 192 6.5.6 Hadoop日志 195 6.5.7 远程调试 197 6.6 作业调优 198 6.7 MapReduce的工作流 200 6.7.1 将问题分解成MapReduce作业 201 6.7.2 关于JobControl 202 6.7.3 关于Apache Oozie 203 第7章 MapReduce的工作机制 208 7.1 剖析MapReduce作业运行机制 208 7.1.1 作业的提交 209 7.1.2 作业的初始化 210 7.1.3 任务的分配 211 ....................

毫无疑问，UNIX/Linux 最重要的软件之一就是shell，目前最流行的shell 被称为Bash(Bourne Again Shell)，几乎所有的Linux 和绝大部分的UNIX 都可以使用Bash。作为系统与用户之间的交互接口，shell 几乎是你在UNIX 工作平台上最亲密的朋友，因此，学好shell，是学习Linux/UNIX 的的开始，并且它 会始终伴随你的工作学习。 shell 是如此地重要，但令人惊奇的是，介绍shell 的书没有真正令人满意的。所幸的是，我看到了 这本被人称为abs 的书，这本书介绍了bash 大量的细节和广阔的范围，我遇到的绝大部分的技术问题 --无论是我忘记的或是以前没有发现的--都可以在这本书里找到答案。这本使用大量的例子详细地介绍 了Bash 的语法，各种技巧，调试等等的技术，以循序渐进的学习方式，让你了解Bash 的所有特性， 在书中还有许多练习可以引导你思考，以得到更深入的知识。无论你是新手还是老手，或是使用其他 语言的程序员，我能肯定你能在此书用受益。而本书除了介绍BASH 的知识之外，也有许多有用的关 于Linux/UNIX 的知识和其他shell 的介绍。

第1章，“可伸展的语言”，给出了Scala的设计，和它后面的理由，历史的概要。 第2章，“Scala的第一步”，展示给你如何使用Scala完成若干种基本编程任务，而不牵涉过多关于如何工作的细节。本章的目的是让你的手指开始敲击并执行Scala代码。 第3章，“Scala的下一步”，演示更多的基本编程任务来帮助你更快速地上手Scala。本章之后，你将能够开始在简单的脚本任务中使用Scala。 第4章，“类和对象”，通过描述面向对象语言的基本建设模块和如何编译及运行Scala程序的教程开始有深度地覆盖Scala语言。 第5章，“基本类型和操作”，覆盖了Scala的基本类型，它们的文本，你可以执行的操作，优先级和关联性是如何工作的，还有什么是富包装器。 第6章，“函数式对象”，进入了Scala面向对象特征的更深层次，使用函数式（即，不可变）分数作为例子。 第7章，“内建控制结构”，显示了如何使用Scala的内建控制结构，如，if，while，for，try和match。 第8章，“函数和闭包”，深度讨论了函数式语言的基础建设模块，函数。 ...... 第31章，“组合子解析”，显示了如何使用Scala的解析器组合子库来创建解析器。 第32章，“GUI编程”，展示了使用Scala库简化基于Swing的GUI编程的快速旅程。 第33章，“SCell电子表”，通过展示一个完整的电子表的实现，集中演示了Scala的一切。

快学scala习题、答案、详细解答 快学scala第一章习题答案.doc 快学scala第二章习题答案.doc 快学scala第三章习题答案.doc ......