tjrpxpx的博客

本书深入讨论Hyperledger的核心技术，帮读者分析原理、 关键实现与使用，是为数不多深入探讨和研究区块链的书籍之—. 本书共有12章内容，大体可以分为三篇内容． 准备篇（第1~2章） ，介绍区块链的基本概念，感受区块链的魅力． 第1章 本章是区块链技术与生态的概览，涉及区块链的基本概念、 演进、 主流平台，并看重分析企业级区块链平台的应用场景，有助千读者对区块链HyperledgerFabric 1,0 (以下简称Fabric)的设计理念有整体性的了解． 第2章 本章介绍Fabric的安装、 部署与调试． 抛开复杂的底层技术细节，简化复杂的部署过桯，快速体验Fabric的强大功能，以便有直观的感受． 核心篇（第3~9章） ，从系统架构开始讲解内部实现机制． 第3章 本章基千Fabric 1,0i井解区块链的架构，这是后续章节的基础，高屋建令出昭旨待各个部件之间的关系和运行逻辑． 本章涉及系统逻辑架构、 网络节点架构、 典型的交易流程、 消息协议结构、 策略管理和访问控制等内容，后面章节会从技术角度逐— "拆解". 第4章 本章介绍基于Gossip的P2P数据分发机制，包括节点启动与成员管理、 主节点选举与基千反墒的状态同步、 身份认证与管理、多路分用与分区处理过桯、 消 g 息的多种验证策略等． 第5章 本章介绍最为基础的分布式账本技术，它涵盖账本数据、 索引数据、 状态数据、 历史数据等的实现技术． 第6章 本章介绍如何在排序服务上实现多通道的数据隔离，包括创建通道、 节点加入通道等． 排序服务采用插件化设计，可以根据业务场景的需求采用不同的共识算 与 法． 本章后面的内容详细介绍了排序服务的接口，以及实现了排序服务接口的Solo和Kafka模式． 第7章 本章介绍Fabric 1.0颈的多链及其内部的实现，多个链同时运行是— 个系统工程，本章从数据存储、链码、 命令行工具和SOK实现等多个方面分析如何支持 多链 第8章 本章介绍成员硕机制． 它分为两个部分第量分详细介绍了MSP机制包括MSP成员的部正 目录结构和配过删圭实践等第二部分介绍可选的Fabric CA, 包括服务端的安装部署和客户端的使用，还介绍了服务端提供的RESTful接口． 第9章 本章介绍Fabric 1.0上智能合约的实现．包括的内容有链码的生命周期管理、 内置的系统链码、链码的相互调用、 背书节点和链码的有限状态机等． 应用篇（第10~12章） ，从安装部署和应用开发的角度，通过—个票据背书的案例讲解如何基千Hyperledger Fabric 1.Qff发区块链应用． 第10章 本章介绍Fabric 1.0的应用开发模型． 从应用开发的角度看，开发者需要关注两部分 一部分是基千不同语言的SOK开发和区块链网络交互的应用程序，另一部分是实现超级账本的智能合约． 本章详细介绍HFC SOK各个模块及其主要功能，链码的主要接口及其功能． 第11章 本章介绍多种Fabric 1.0的部署方式，包括分别基千Vagrant、 Virtualbox、 Docker的运行环境，以及BYFN脚本的使用． 详细说明如何手动构建Fabric 1.0 网络等． 第12章 本章通过—个票据背书示例， 讲解如何实际开发— 个基千Fabric 1.0的区块链应用． 通过本章的实践， 读者能够掌握区块链应用开发的方方面面， 然后就可 以动手开发具体的项目了．

本手册主要是了解计算机科学、程序设计和问题解决的基本概念；理解什么是“抽象”以及抽象在问题解决过程中的作用；理解“抽象数据类型”的概念以及在实际操作中学会运用；学习Python程序设计语言。需要的朋友可下载！ 原名：Problem Solving with Algorithms and Data Structures using Python 目录 1.引言 .10 2.算法分析 56 3.基本数据结构类型.78 4.递归 Recursion 119 5.排序与搜索 .158 6.树和树算法 .191 7.图和图算法 .259

对大数据的搜索与挖掘，在当今网络时代是很有必要的。本书提出的分布式大数据搜索与日志挖掘及可视化解决方案是基于Elasticsearch、Logstash和Kibana而形成的，它能有效应对海量大数据所带来的分布式存储与处理、全文检索、日志挖掘、可视化等的挑战。构建在全文检索开源软件Lucene之上的Elasticsearch，不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析；Logstash能有效处理来源于各种不同数据源的日志信息；Kibana能得出可视化分析结果。本书讲解有关Elasticsearch、Logstash、Kibana的使用，相关内容以模块化的方式进行组织，注重实战，强调实践，内容新颖，组织合理。 目录 2015年5月第1章概述 1.1Elasticsearch的安装与简单配置 1.2走近Elasticsearch 1.2.1Elasticsearch是什么 1.2.2Elasticsearch中涉及到的相关概念 1.2.3Elasticsearch API的简单使用方式 1.2.4Elasticsearch RTF版本中的部分插件简介 1.2.5Elasticsearch 基本架构 1.3Elasticsearch索引及其构建 1.3.1概述 1.3.2借助Head工具构建索引 1.3.3Mapping简述 1.4信息检索及其构建 1.5实例 1.6扩展知识与阅读 1.7本章小结 第2章文档索引及管理 2.1文档索引概述 2.2建立索引 2.3通过映像Mapping配置索引 2.3.1在索引中使用映像 2.3.2管理/配置映像 2.3.3获取映像信息 2.3.4删除映像 2.4管理索引文件 2.4.1打开、关闭、检测、删除索引文件 2.4.2清空索引缓存 2.4.3刷新索引数据 [1][2][1][3]2.4.4优化索引数据 2.4.5Flush操作 2.5设置中文分词器 2.6对文档的其他操作 2.6.1获取指定的文档信息 2.6.2删除文档中的信息 2.6.3数据更新 2.6.4基于POST方式批量获取文档 2.6.5删除部分文档 2.7扩展知识与阅读 2.8本章小结 第3章信息检索与结果过滤 3.1实验数据集描述 3.2简单检索 3.3基本检索 3.3.1设置不同字段的排序权重 3.3.2指定返回的字段子集 3.3.3Term查询、Terms查询、Wildcard通配符查询 3.3.4Match、Match_all、Match_phrase查询 3.3.5Query_string查询 3.3.6Prefix、Range查询 3.3.7More_like_this、Fuzzy_like_this查询 3.3.8跨字段检索 3.4Filter概述 3.5常用Filter及其应用 3.5.1And Filter及Or Filter 3.5.2Bool Filter 3.5.3Exists Filter和Missing Filter 3.5.4Type Filter 3.5.5Match_all Filter 3.5.6Not Filter 3.5.7Query Filter 3.6复合查询 3.7结果排序 3.8扩展知识与阅读 3.9本章小结 第4章信息统计分析与搜索提示 4.1Facets概述 4.2各种不同的Facets统计 4.2.1Terms Facets: 指定字段的分布情况统计 4.2.2Range Facets: 在某个范围的分布情况统计 4.2.3Histogram Facets 4.2.4Date_histogram Facets 4.2.5Statistical Facets 4.2.6Terms_stats Facets 4.3Aggregations 4.3.1概述 4.3.2最值、求和、均值统计 4.3.3Stats Aggregations及Extended Stats Aggregations 4.3.4Terms Aggregations 4.3.5Range Aggregations 4.3.6Date_range Aggregations 4.3.7Histogram Aggregations 4.3.8Date_histogram Aggregations 4.3.9Filter Aggregations 4.3.10Missing Aggregations 4.4搜索提示 4.5扩展知识与阅读 4.6本章小结 第5章Elasticsearch部分功能的Java客户端实现 5.1Elasticsearch节点实例化 5.1.1通过Maven添加对Elasticsearch依赖 5.1.2初始化Elasticsearch Client 5.2索引数据 5.2.1准备JSON数据 5.2.2索引JSON数据 5.3对索引文档的操作 5.3.1获取索引文档 5.3.2删除索引文档 5.3.3更新索引文档 5.3.4批量操作索引文件 5.3.5简单的统计操作 5.4信息检索 5.4.1概述 5.4.2MultiSearch 5.4.3Query DSL概述 5.4.4MatchQuery 5.4.5MatchAllQuery 5.4.6MultiMatchQuery 5.4.7BoolQuery 5.4.8TermQuery 5.4.9WildcardQuery 5.4.10QueryString 5.4.11MoreLikeThis 5.4.12Filter概述 5.4.13TermFilter 5.4.14ExistsFilter 5.4.15MatchAllFilter 5.4.16QueryFilter 5.4.17RangeFilter 5.4.18TypeFilter 5.4.19过滤器间的组合: BoolFilter、NotFilter、OrFilter、AndFilter 5.5统计分析 5.5.1Facets 5.5.2Aggregations 5.6对检索结果的进一步处理 5.6.1控制每页的显示数量及显示排序依据 5.6.2基于Scroll方法的检索结果及其分页 5.6.3高亮显示检索词 5.7扩展知识与阅读 5.8本章小结 第6章Elasticsearch配置与集群管理 6.1Elasticsearch部分基本配置及其说明 6.2提高索引和查询效率的策略 6.3监控集群状态 6.4控制索引分片与副本分配 6.5扩展知识与阅读 6.6本章小结 第7章基于Logstash的日志处理 7.1概述 7.2Input: 处理输入的日志数据 7.2.1处理基于File方式输入的日志信息 7.2.2处理基于Generator产生的日志信息 7.2.3处理基于Log4j的日志信息 7.2.4处理基于Redis的日志信息 7.2.5处理基于Stdin方式输入的信息 7.2.6处理基于TCP传输的日志数据 7.2.7处理基于UDP传输的日志数据 7.3Codecs: 格式化日志数据 7.3.1JSON格式 7.3.2Rubydebug格式 7.3.3Plain格式 7.4基于Filter的日志处理与转换 7.4.1JSON Filter 7.4.2Grok Filter 7.4.3Kv Filter 7.5Output: 处理输出的日志数据 7.5.1将处理后的日志输出到Elasticsearch中 7.5.2将处理后的日志输出至文件中 7.5.3将处理后的部分日志输出到csv格式的文件中 7.5.4将处理后的日志输出到redis中 7.5.5将处理后的部分日志通过UDP协议输出 7.5.6将处理后的部分日志通过TCP协议输出 7.5.7将收集到的日志信息传输到自定义的HTTP接口中 7.6扩展知识与阅读 7.7本章小结 第8章基于Kibana的数据分析可视化 8.1安装Kibana 8.2Kibana概述 8.2.1在仪表盘上添加新行 8.2.2在行中添加新面板 8.2.3设置Query和Filtering 8.3常用面板类型 8.3.1Histogram 8.3.2Table 8.3.3Map和Bettermap 8.3.4Terms 8.3.5Text 8.3.6Sparklines 8.3.7Trends 8.4网站性能监控可视化应用的设计与实现 8.4.1概述 8.4.2Page View 8.4.3响应/请求时间 8.4.4流量走势与统计 8.4.5状态码监控 8.4.6UA行 8.5Kibana V4简介 8.5.1新建视图 8.5.2建立Dashboard 8.5.3配置 8.6扩展知识与阅读 8.7本章小结 第9章网络信息检索与分析实践 9.1信息采集 9.2基于Python的信息检索及Web端设计 9.2.1安装Python及Django 9.2.2安装Elasticsearch的Python插件 9.2.3Web页面设计 9.3基于Logstash的日志处理 9.3.1安装和配置Nginx 9.3.2设计面向日志文件的Pattern 9.3.3在Logstash中进行相关配置 9.4基于Kibana的日志分析结果可视化设计与实现 9.4.1图表1: 状态码走势分析 9.4.2图表2: 查询词分析 9.4.3图表3: 分析各状态码随时间的变迁情况 9.4.4集成上述图表 9.5扩展知识与阅读 9.6本章小结 参考文献

Splunk是一种高扩充性且通用的数据引擎。它可以帮助企业收集、编入索引并智能化地分析由网络、应用程序以及移动设备等产生的机器数据，并最终帮助企业决策者做出准确的判断。本书集合了各种实用方法，目的是给读者提供指导和实用知识，以便读者掌握Splunk Enterprise 6的各种功能，从数据中提取出强大而有价值的运维智能。 《Splunk智能运维实战》共10章，第1章介绍将数据导入Splunk的基本方法；第2章介绍使用Splunk搜索数据的基本方法；第3章介绍如何创建仪表盘和数据的可视化图表；第4章介绍如何创建并修改Splunk应用程序；第5章介绍如何使用Splunk的数据模型和透视功能；第6章介绍Splunk中的一些高级搜索命令，将学习如何创建事务、编写次级搜索、理解并发性、利用字段关联等；第7章介绍如何增加和丰富Splunk中的数据，详细讲解Splunk查找和工作流程功能的使用；第8章介绍Splunk的警报功能；第9章介绍Splunk中的更多数据汇总方法：汇总索引和报表加速；第10章介绍如何自定义Splunk应用程序并使用Splunk SDK和API的高级特性来处理Splunk内的数据。 目录 译者序 前言 第1章 游戏时间——导入数据 1 1.1 简介 1 1.2 索引文件和目录 2 1.3 从网络端口获取数据 7 1.4 使用脚本输入 10 1.5 使用模块输入 12 1.6 使用通用转发器收集数据 16 1.7 为本书加载样本数据 19 1.8 定义字段提取内容 22 1.9 定义事件类型和标签 24 1.10 小结 26 第2章 深入数据——搜索和报表 27 2.1 简介 27 2.2 使原始事件数据具备可读性 30 2.3 找出最常访问的网页 32 2.4 找出最常使用的Web浏览器 34 2.5 找出浏览量来源最多的网站 37 2.6 制作网页响应代码的图表 38 2.7 显示网页响应时间的统计数据 40 2.8 列出浏览次数最多的产品 43 2.9 制作应用程序使用性能的图表 45 2.10 制作应用程序内存使用情况的图表 47 2.11 计算数据库连接的总数 48 2.12 小结 50 第3章 仪表盘和可视化——让数据闪光 51 3.1 简介 51 3.2 创建智能运维仪表盘 53 3.3 使用饼图展示最常访问的网页 55 3.4 显示唯一访客数量 59 3.5 使用计量器显示错误的数量 63 3.6 制作每一主机不同请求方法数量的图表 66 3.7 制作请求方法、浏览量和响应时间的时间图 67 3.8 使用散点图根据大小和响应时间标识离散的请求 70 3.9 制作面积图显示应用程序的性能统计数据 73 3.10 使用条形图按类别显示平均花销 75 3.11 制作折线图显示项目浏览量和购买量随时间的变化 77 3.12 小结 78 第4章 创建智能运维应用程序 80 4.1 简介 80 4.2 创建智能运维应用程序 81 4.3 添加仪表盘和报表 84 4.4 更高效地组织仪表盘 89 4.5 动态钻取活动报表 92 4.6 创建表单搜索Web活动 97 4.7 将网页活动报表链接至表单 101 4.8 显示访客地理分布图 105 4.9 计划仪表盘的PDF交付 109 4.10 小结 112 第5章 智能拓展——数据模型和透视 113 5.1?简介 113 5.2?为Web访问日志创建数据模型 115 5.3?为应用程序日志创建数据模型 121 5.4 加速数据模型 126 5.5 透视总交易量 129 5.6 根据地理位置透视购买量 134 5.7 透视响应最慢的网页 139 5.8 用透视图显示最多的错误代码 144 5.9 小结 145 第6章 深入挖掘——高级搜索 146 6.1 简介 146 6.2 计算网站平均会话时间 147 6.3 计算多层Web请求的平均执行时间 152 6.4 显示最大并发结账 157 6.5 分析Web请求之间的关系 161 6.6 预测网站流量大小 164 6.7 寻找数量反常的Web请求 168 6.8 识别潜在的会话欺骗 172 6.9 小结 175 第7章 丰富数据——查找和工作流程 176 7.1 简介 176 7.2 查询产品编码描述 177 7.3 标记可疑IP地址 183 7.4 创建会话状态表 187 7.5 在IP地址中添加主机名 190 7.6 为给定的IP地址搜索ARIN 192 7.7 为给定错误触发谷歌搜索 196 7.8 为应用程序错误创建凭证 200 7.9 从外部数据库查询库存 204 7.10 小结 211 第8章 抢先一步——创建警报 212 8.1 简介 212 8.2 警告异常网页响应时间 214 8.3 警告实时结账过程中的错误 218 8.4 警告异常用户行为 225 8.5 警告失败并触发脚本响应 229 8.6 警告预计销售量超出库存量 232 8.7 小结 238 第9章 加速智能数据汇总 239 9.1 简介 239 9.2 计算每小时会话及完成交易的数量 241 9.3 按城市回填购买数量 247 9.4 按时间顺序显示并发会话最大数量 254 9.5 小结 259 第10章 更进一步——自定义、Web框架、REST API和SDK 260 10.1 简介 260 10.2 自定义应用程序的导航 261 10.3 添加网络点击量的力导向图 265 10.4 添加产品购买量的日历热图 273 10.5 远程查询Splunk的REST API以获取唯一页面浏览量 278 10.6 创建Python应用程序返回唯一IP地址 280 10.7 创建自定义搜索命令来格式化产品名称 284 10.8 小结 288

《Spark大数据处理技术》以Spark 0.9版本为基础进行编写，是一本全面介绍Spark及Spark生态圈相关技术的书籍，是国内首本深入介绍Spark原理和架构的技术书籍。主要内容有Spark基础功能介绍及内部重要模块分析，包括部署模式、调度框架、存储管理以及应用监控；同时也详细介绍了Spark生态圈中其他的软件和模块，包括SQL处理引擎Shark和Spark SQL、流式处理引擎Spark Streaming、图计算框架Graphx以及分布式内存文件系统Tachyon。《Spark大数据处理技术》从概念和原理上对Spark核心框架和生态圈做了详细的解读，并对Spark的应用现状和未来发展做了一定的介绍，旨在为大数据从业人员和Spark爱好者提供一个更深入学习的平台。 《Spark大数据处理技术》适合任何大数据、Spark领域的从业人员阅读，同时也为架构师、软件开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学习《Spark大数据处理技术》，读者能够熟悉和掌握Spark这一当前流行的大数据框架，并将其投入到生产实践中去。 目录 第1章 Spark系统概述 1 1.1 大数据处理框架 1 1.2 Spark大数据处理框架 3 1.2.1 RDD表达能力 3 1.2.2 Spark子系统 4 1.3 小结 7 第2章 Spark RDD及编程接口 9 2.1 Spark程序“Hello World” 9 2.2 Spark RDD 12 2.2.1 RDD分区（partitions） 13 2.2.2 RDD优先位置（preferredLocations） 13 2.2.3 RDD依赖关系（dependencies） 15 2.2.4 RDD分区计算（compute） 19 2.2.5 RDD分区函数（partitioner） 20 2.3 创建操作 23 2.3.1 集合创建操作 23 2.3.2 存储创建操作 23 2.4 转换操作 26 2.4.1 RDD基本转换操作 26 2.4.2 键值RDD转换操作 35 2.4.3 再论RDD依赖关系 43 2.5 控制操作（control operation） 46 2.6 行动操作（action operation） 47 2.6.1 集合标量行动操作 47 2.6.2 存储行动操作 52 2.7 小结 56 第3章 Spark运行模式及原理 57 3.1 Spark运行模式概述 57 3.1.1 Spark运行模式列表 57 3.1.2 Spark基本工作流程 58 3.1.3 相关基本类 59 3.2 Local模式 62 3.2.1 部署及程序运行 62 3.2.2 内部实现原理 63 3.3 Standalone模式 64 3.3.1 部署及程序运行 64 3.3.2 内部实现原理 67 3.4 Local cluster模式 68 3.4.1 部署及程序运行 68 3.4.2 内部实现原理 69 3.5 Mesos模式 69 3.5.1 部署及程序运行 69 3.5.2 内部实现原理 70 3.6 YARN standalone / YARN cluster模式 72 3.6.1 部署及程序运行 72 3.6.2 内部实现原理 75 3.7 YARN client模式 76 3.7.1 部署及程序运行 76 3.7.2 内部实现原理 77 3.8 各种模式的实现细节比较 78 3.8.1 环境变量的传递 78 3.8.2 JAR包和各种依赖文件的分发 80 3.8.3 任务管理和序列化 82 3.8.4 用户参数配置 83 3.8.5 用户及权限控制 84 3.9 Spark 1.0版本之后的变化 85 3.10 小结 86 第4章 Spark调度管理原理 87 4.1 Spark作业调度管理概述 87 4.2 Spark调度相关基本概念 88 4.3 作业调度模块顶层逻辑概述 89 4.4 作业调度具体工作流程 92 4.4.1 调度阶段的拆分 94 4.4.2 调度阶段的提交 97 4.4.3 任务集的提交 99 4.4.4 完成状态的监控 99 4.4.5 任务结果的获取 101 4.5 任务集管理模块详解 102 4.6 调度池和调度模式分析 104 4.7 其他调度相关内容 106 4.7.1 Spark应用之间的调度关系 106 4.7.2 调度过程中的数据本地性问题 106 4.8 小结 107 第5章 Spark的存储管理 109 5.1 存储管理模块整体架构 109 5.1.1 通信层架构 110 5.1.2 通信层消息传递 112 5.1.3 注册存储管理模块 113 5.1.4 存储层架构 114 5.1.5 数据块 (Block) 116 5.2 RDD 持久化 116 5.2.1 RDD分区和数据块的关系 117 5.2.2 内存缓存 118 5.2.3 磁盘缓存 119 5.2.4 持久化选项 120 5.2.5 如何选择不同的持久化选项 122 5.3 Shuffle数据持久化 122 5.4 广播（Broadcast）变量持久化 125 5.5 小结 126 第6章 Spark监控管理 127 6.1 UI管理 127 6.1.1 实时UI管理 128 6.1.2 历史UI管理 132 6.2 Metrics管理 133 6.2.1 Metrics系统架构 133 6.2.2 Metrics系统配置 135 6.2.3 输入源（Metrics Source）介绍 136 6.2.4 输出方式（Metrics Sink）介绍 138 6.3 小结 139 第7章 Shark架构与安装配置 141 7.1 Shark架构浅析 142 7.2 Hive/Shark各功能组件对比 143 7.2.1 MetaStore 143 7.2.2 CLI/ Beeline 143 7.2.3 JDBC/ODBC 144 7.2.4 Hive Server/2 与 Shark Server/2 144 7.2.5 Driver 145 7.2.6 SQL Parser 146 7.2.7 查询优化器（Query Optimizer） 147 7.2.8 物理计划与执行 147 7.3 Shark安装配置与使用 148 7.3.1 安装前准备工作 149 7.3.2 在不同运行模式下安装Shark 149 7.4 Shark SQL命令行工具（CLI） 152 7.5 使用Shark Shell命令 155 7.6 启动Shark Server 155 7.7 Shark Server2配置与启动 156 7.8 缓存数据表 157 7.8.1 数据缓存级别 158 7.8.2 创建不同缓存级别的Shark数据表 158 7.8.3 指定数据表缓存策略 159 7.8.4 使用Tachyon 160 7.9 常见问题分析 160 7.9.1 OutOfMemory异常 160 7.9.2 数据处理吞吐量低 161 7.9.3 Shark查询比Hive慢 161 7.10 小结 162 第8章 SQL程序扩展 163 8.1 程序扩展并行运行模式 164 8.2 Evaluator和ObjectInspector 164 8.3 自定义函数扩展 168 8.3.1 自定义函数扩展分类 168 8.3.2 CLI中的用户自定义函数扩展相关命令 170 8.3.3 用户自定义函数（UDF） 171 8.3.4 通用用户自定义函数（Generic UDF） 175 8.3.5 用户自定义聚合函数（UDAF） 178 8.3.6 通用用户自定义聚合函数（Generic UDAF） 182 8.3.7 通用用户自定义表函数（Generic UDTF） 186 8.4 自定义数据存取格式 190 8.4.1 SerDe 190 8.4.2 StorageHandler 197 8.5 小结 198 第9章 Spark SQL 199 9.1 Spark SQL逻辑架构 199 9.1.1 Catalyst功能边界 200 9.1.2 SQL解析阶段 201 9.1.3 逻辑计划元数据绑定和语义分析阶段 202 9.1.4 逻辑计划优化阶段 202 9.1.5 物理计划生成阶段 202 9.1.6 Shark和Spark SQL对比 203 9.2 Catalyst上下文（Context） 204 9.2.1 SQLContext 204 9.2.2 HiveContext 205 9.3 SQL DSL API 206 9.3.1 数据源管理 206 9.3.2 SchemaRDD 208 9.3.3 Row API 210 9.3.4 数据类型 211 9.3.5 DSL API举例 213 9.3.6 表达式计算 214 9.3.7 Parquet列式存储文件 218 9.3.8 代码演示 218 9.4 Java API 221 9.5 Python API 224 9.6 Spark SQL CLI 225 9.7 Thrift服务 225 9.8 小结 225 第10章 Spark Streaming流数据处理框架 227 10.1 快速入门 227 10.2 Spark Streaming基本概念 229 10.2.1 链接和初始化 229 10.2.2 时间和窗口概念 231 10.2.3 DStream原理 232 10.2.4 DStream输入源 234 10.2.5 DStream 操作 235 10.2.6 DStream持久化 237 10.3 性能调优 238 10.3.1 运行时间优化 238 10.3.2 内存使用优化 238 10.4 容错处理 239 10.4.1 工作节点失效 239 10.4.2 驱动节点失效 240 10.5 DStream作业的产生和调度 242 10.5.1 作业产生 242 10.5.2 作业调度 243 10.5.3 Streaming作业与Spark作业之间的关系 244 10.6 DStream与RDD关系 246 10.7 数据接收原理 248 10.8 自定义数据输入源 251 10.9 自定义监控接口（StreamingListener） 253 10.10 Spark Streaming案例分析 254 10.11 小结 256 第11章 GraphX计算框架 259 11.1 图并行计算 259 11.1.1 数据并行与图并行计算 259 11.1.2 图并行计算框架简介 260 11.1.3 GraphX简介 264 11.2 GraphX模型设计 264 11.2.1 数据模型 264 11.2.2 图计算接口 265 11.3 GraphX模型实现 269 11.3.1 图的分布式存储 269 11.3.2 图操作执行策略 278 11.3.3 图操作执行优化 280 11.3.4 序列化和反序列化 283 11.3.5 GraphX内置算法库 284 11.4 GraphX应用 285 11.4.1 Pregel模型 285 11.4.2 N维邻接关系计算 288 11.5 小结 291 第12章 Tachyon存储系统 293 12.1 设计原理 294 12.1.1 高效的内存读写 294 12.1.2 无副本的可靠性实现——Lineage 297 12.2 框架设计 299 12.2.1 主节点 300 12.2.2 工作节点 304 12.2.3 客户端 306 12.2.4 读写工作流程 307 12.3 Tachyon的部署 313 12.3.1 单机部署 313 12.3.2 分布式部署 316 12.3.3 Tachyon的配置 317 12.4 Tachyon应用 321 12.4.1 Shark原始表（RawTable） 321 12.4.2 Spark的堆外RDD 325 12.4.3 Tachyon用户接口（API） 327 12.5 相关项目讨论 335 12.6 小结 336

本书研究了堤坝渗漏探测中获取水文地质参数的理论和方法，重点探讨了地下水渗透流速、流向以及含水层渗透系数等参数的获取，自主研发了野外测量系统，并结合实践分析了综合示踪方法在堤坝隐患探测中的应用。主要包括以下各章：绪论、单孔示踪测定地下水渗透流速和流向、复杂含水层中测定水文地质参数的理论和方法、综合示踪方法研究堤坝渗漏、现场测试系统研发、总结与展望等。 目录 前言 第1章 Oracle数据库概述 1.1 Oracle数据库产品结构及组成 1.1.1 标准版1 1.1.2 标准版 1.1.3企业版 1.2 数据库基本术语 1.2.1 数据库 1.2.2 数据库管理系统 1.2.3数据库系统 1.2.4 数据库模式 1.2.5 数据模型 1.2.6 数据完整性约束 1.2.7 联机事务处理和联机分析处理 1.2.8 数据仓库 1.3 Oracle基本术语 1.3.1 数据字典 1.3.2 数据文件 1.3.3 控制文件 1.3.4 日志文件 1.3.5 表空间 1.3.6 段 1.3.7 区 1.3.8 数据块 1.4 Oracle 12c的新特性 1.4.1 数据库管理部分 1.4.2 CDB与PDB部分 1.4.3云端连接 第2章 Oracle在Windows 8上的安装与配置 2.1 下载Oracle 12c R1 for Windows x64的版本 2.2 Oracle通用安装器 2.3 Oracle数据库软件的安装准备 2.4 安装过程 2.5 配置服务 2.6 安装后的验证 第3章 SQL基础 3.1 SQL概述 3.1.1 SQL的功能 3.1.2 SQL的特点 3.1.3 SQL语句的编写规则 第4章 Oracle PL/SQL及编程 第5章 熟悉SQL*Plus环境 第6章 Oracle的基本操作 第7章 Oracle数据库管理操作 第8章 数据库用户管理 第9章 数据库空间管理 第10章 备份与恢复机制 第11章 控制文件及日志文件的管理 第12章 数据库控制 第13章 Oracle数据库的安全管理 第14章 留言板系统 第15章 新闻发布系统 附录

Android优化技术详解》循序渐进而又详细地讲解了Android优化技术的基本知识。《Android优化技术详解》内容新颖、知识全面、讲解详细。《Android优化技术详解》分为12章，第1章讲解了Android系统的基础知识；第2章讲解了Android核心框架；第3章详细讲解了为什么要优化；第4章详细讲解了uI布局优化的基本知识；第5章详细讲解了Android内存系统的基本知识；第6章讲解了Android内存优化的基本知识；第7章讲解了代码优化的基本知识；第8章讲解了性能优化的基本知识；第9章讲解了系统优化的基本知识；第10章讲解了开发一个Android优化系统的基本知识；第11章和第12章足两个综合实例，分别讲解了在手机地图系统和Android足球游戏中使用优化技术的知识。书中的每个实例都遵循先提出制作思路及所包含知识点，在实例最后总结知识点，并让读者举一反三。 目录 第1章Android系统闪亮登场 　　1.1一款全新的智能手机平台——Android 　　1.1.1何谓智能手机 　　1.1.2看当前主流的智能手机系统 　　1.2分析Android的优势 　　1.2.1第一个优势——出自名门 　　1.2.2第二个优势——强大的开发团队 　　1.2.3第三个优势——奖金丰厚 　　1.2.4第四个优势——代码开源 　　1.3搭建开发环境 　　1.3.1安装AndroidSDK的系统要求 　　1.3.2安装JDK、Eclipse、AndroidSDK 　　1.3.3设定AndroidSDKHome. 　　1.4创建Android虚拟设备（AVD） 　　1.4.1Android模拟器简介 　　1.4.2模拟器和真机的区别 　　1.4.3创建Android虚拟设备 　　1.4.4启动模拟器 　　1.4.5快速安装SDK 　　1.5解决搭建环境过程中的三个问题 　　1.5.1不能在线更新 　　1.5.2一直显示Proiect.namemustbespecified提示 　　1.5.3Target列表中没有Target选项 　　第2章分析Android核心框架 　　2.1简析Android安装文件 　　2.1.1AndroidSDK目录结构 　　2.1.2android.jar及其内部结构 　　2.1.3SDK帮助文档 　　2.1.4AndroidSDK实例简介 　　2.2Android的系统架构详解 　　2.2.1Android体系结构介绍 　　2.2.2Android工程文件结构 　　2.2.3应用程序的生命周期 　　2_3简析Android内核 　　2.3.1Android继承于Linux 　　2.3.2Android内核和Linux内核的区别 　　2.4简析Android源码 　　2.4.1获取并编译Android源码 　　2.4.2Android对Linux的改造 　　2.4.3为Android构建Linux的 　　操作系统 　　第3章为什么需要优化 　　3.1用户体验是产品成功的关键 　　3.1.1什么是用户体验 　　3.1.2影响用户体验的因素 　　3.1.3用户体验设计目标 　　3.2Android的用户体验 　　3.3不同的厂商，不同的硬件 　　3.4Android优化概述 　　第4章UI布局优化 　　4.1和布局相关的组件 　　4.1.1View视图组件 　　4.1.2Viewgroup容器 　　4.2Android中的5种布局方式 　　4.2.1线性布局LinearLayout 　　4.2.2框架布局FrameLayout 　　4.2.3绝对布局AbsoluteLayout 　　4.2.4相对布局RelativeLayout 　　4.2.5表格布局TableLayout 　　4.3(merge)标签在UI界面中的优化作用 　　4.4遵循AndroidLayout优化的两段通用代码 　　4.5优化Bitmap图片 　　4.5.1实例说明 　　4.5.2具体实现 　　4.6FrameLayout布局优化 　　4.6.1使用(merge)减少视图层级结构 　　4.6.2使用(include)重用Layout代码 　　4.6.3延迟加载 　　4.7使用Android为我们提供的优化工具 　　4.7.1LayoutOptimization工具 　　4.7.2HierarchyViewer工具 　　4.7.3联合使用(merge)和(include)标签实现互补 　　4.8总结AndroidUI布局优化的原则和方法 　　第5章Android的内存系统 　　5.1内存和进程的关系 　　5.1.1进程管理工具的纷争 　　5.1.2程序员的任务 　　5.1.3Android系统内存设计 　　5.2分析Android的进程通信机制 　　5.2.1Android的进程间通信（IPC）机制Binder 　　5.2.2ServiceManager是Binder 　　机制的上下文管理者 　　5.2.3分析Server和Client获得ServiceManager的过程 　　5.3分析Android系统匿名共享内存C++调用接口 　　5.3.1Java程序 　　5.3.2相关程序 　　5.4Android中的垃圾回收 　　5.4.1sp平口wp简析 　　5.4.2详解智能指针（androidrefbase类（sp和wp）） 　　第6章Android内存优化 　　6.1Android内存优化的作用 　　6.2查看Android内存和CPU使用情况 　　6.2.1利用AndroidAPI函数查看 　　6.2.2直接对Android文件进行解析查询 　　6.2.3通过Runtime类实现 　　6.2.4使用DDMS工具获取 　　6.2.5其他方法 　　6.3Android的内存泄漏 　　6.3.1什么是内存泄漏 　　6.3.2为什么会发生内存泄漏 　　6.3.3shallowsize、retainedsize 　　6.3.4查看Android内存泄漏的工具 　　6.3.5查看Android内存泄漏的方法 　　6.3.6Android（Java）中常见的容易引起内存泄漏的不良代码 　　6,4常见的引起内存泄漏的坏毛病 　　6.4.1查询数据库时忘记关闭游标 　　6.4.2构造Adapter时不习惯使用缓存的convertView 　　6.4.3没有及时释放对象的引用 　　6.4.4不在使用Bitmap对象时调用recycle（）释放内存 　　6.5演练解决内存泄漏 　　6.5.1使用MAT根据heapdump分析Java代码内存泄漏的根源 　　6.5.2演练Android中内存泄漏代码优化及检测 　　6.6Android图片的内存优化 　　第7章代码优化 　　7.1Android代码优化的基本原则 　　7.2优化Java代码 　　7.2.1GC对象优化 　　7.2.2尽量使用StringBuilder和StringBuffer进行字符串 　　连接 　　7.2.3及时释放不用的对象 　　7.3编写更高效的Android代码 　　7.3.1避免建立对象 　　7.3.2优化方法调用代码 　　7.3.3优化代码变量 　　7.3.4优化代码过程 　　7.3.5提高Cursor查询数据的性能 　　7.3.6编码中尽量使用ContentProvider共享数据 　　7.4Android控件的性能优化 　　7.4.1ListView控件的代码优化 　　7.4.2Adapter（适配器）优化 　　7.4.3ListView异步加载图片优化 　　7.5优化Android图形 　　7.5.12D绘图的基本优化 　　7.5.2触发屏幕图形触摸器的优化 　　7.5.3SurfaceView绘图覆盖刷新及脏矩形刷新方法 　　第8章性能优化 　　8.1资源存储优化 　　8.1.1Android文件存储 　　8.1.2Android中的资源存储 　　8.1.3Android资源的类型和命名 　　8.1.4Android文件资源（raw/data/asset）的存取 　　8.1.5Android对Drawable对象的优化 　　8.1.6建议使用Drawable，而不是Bitmap 　　8.2加载APK文件和DEX文件 　　8.2.1APK文件介绍 　　8.2.2DEX文件介绍和优化 　　8.2.3Android类动态加载技术实现加密优化 　　8.3SD卡优化 　　8.4Android的虚拟机优化 　　8.4.1Android虚拟机概述 　　8.4.2平台优化—ARM的流水线技术 　　8.4.3Android对C库优化 　　8.4.4创建进程的优化 　　8.4.5渲染优化 　　8.5SQLite优化 　　8.5.1AndroidSQLite的查询优化 　　8.5.2SQLite性能优化技巧 　　8.6Android的图片缓存处理和性能优化 　　第9章系统优化 　　9.1基本系统优化 　　9.1.1刷机重启 　　9.1.2刷内核 　　9.1.3精简内置应用 　　9.1.4基本系统优化总结 　　9.2进程管理 　　9.2.1Android进程跟Windows进程是两回事 　　9.2.2查看当前系统中正在运行的程序 　　9.2.3枚举Android系统的进程、任务和服务的信息 　　9.2.4研究Android进程管理器的实现 　　9.3将Android软件从手机内存转移到存储卡 　　9.3.1第一步：准备工作 　　9.3.2第二步：存储卡分区 　　9.3.3第三步：将软件移动到SD卡 　　9.4常用的系统优化工具 　　9.4.1优化大师 　　9.4.2360优化大师 　　第10章开发一个Android优化系统 　　10.1优化大师介绍 　　10.1.1手机优化大师客户端 　　10.1.2手机优化大师PC端 　　10.2项目介绍 　　10.2.1规划UI界面 　　10.2.2预期效果 　　10.3准备工作 　　10.3.1新建工程 　　10.3.2主界面 　　10.4编写主界面程序 　　10.5进程管理模式模块 　　10.5.1基础状态文件 　　10.5.2CPU和内存使用信息 　　10.5.3进程详情 　　10.6进程视图模块 　　10.6.1进程主视图 　　10.6.2进程视图 　　10.6.3获取进程信息 　　10.7进程类别模块 　　10.7.1加载进程 　　10.7.2后台加载设置 　　10.7.3加载显示 　　10.8文件管理模式模块 　　10.8.1文件分类 　　10.8.2加载进程 　　10.8.3文件视图处理 　　10.9文件管理模块 　　10.9.1文件夹 　　10.9.2显示文件信息 　　10.9.3操作文件 　　10.9.4获取进程的CPU和内存信息 　　10.10系统测试 　　第11章综合实例——手机地图系统 　　11.1项目分析 　　11.1.1规划UI界面 　　11.1.2数据存储设计和优化 　　11.2具体实现 　　11.2.1新建工程 　　11.2.2主界面 　　11.2.3新建界面 　　11.2.4设置界面 　　11.2.5帮助界面 　　11.2.6地图界面 　　11.2.7数据存取 　　11.2.8实现Service服务 　　11.3发布自己的作品来盈利 　　11.3.1申请会员 　　11.3.2生成签名文件 　　11.3.3使用签名文件 　　11.3.4发布 　　第12章综合实例—Android足球游戏 　　12.1手机游戏产业的发展 　　12.1.11.2亿手机游戏用户 　　12.1.2淘金的时代 　　12.1.3手机游戏的未来发展 　　12.2Java游戏开发基础 　　12.3足球游戏介绍 　　12.3.1手机足球游戏 　　12.3.2策划游戏 　　12.3.3准备工作 　　12.4项目架构 　　12.4.1总体架构 　　12.4.2规划类 　　12.5Android手机游戏的优化策略 　　12.6具体编码 　　12.6.1Activity类开发 　　12.6.2欢迎界面 　　12.6.3加载节目 　　12.6.4运动控制 　　12.6.5奖品模块

本书是国内第一本同时讲述Android客户端和PHP服务端开发的经典著作。 黄隽实编著的《Android和PHP开发*实践(第2版移动开发)》以一个完整的微博应用项目实例为主线，由浅入深地讲解了Android客户端开发和PHP服务端开发的思路和技巧。从前期的产品设计、架构设计，到客户端和服务端的编码实现，再到性能测试和系统优化，以及最后的打包发布，完整地介绍了移动互联网应用开发的过程。同时，本书也介绍了Android系统中比较有特色的功能，比如Google地图、LBS功能、传感器、摄像头、多媒体以及语音功能的使用等。此外，书中还介绍了AndroidNDK的开发以及Android游戏开发的相关内容，包括OpenGL的使用、流行游戏引擎Cocos2d-x和Unity3D。 本书适合所有对Android和PHP技术有兴趣的读者。不管是客户端还是服务端的开发者，都可以从本书中获得不少有用的经验。另外，值得一提的是，全书绝大部分的实例代码均源自于真实项目，参考价值极高。 目录 第一篇 准备篇 第1章 学前必读 第2章 Android开发准备 第3章 PHP开发准备 第二篇 实战篇 第4章 实例产品设计 第5章 程序架构设计 第6章 服务端开发 第7章 客户端开发 第三篇 优化篇 第8章 性能分析 第9章服务端优化 第10章 客户端优化 第四篇 进阶篇 第11章 Android特色功能开发 第12章 Android NDK开发 第13章 Android游戏开发

本书是由知名安全机构ImmunityInc的资深黑帽JustinSeitz先生主笔撰写的一本关于编程语言Python如何被广泛应用于黑客与逆向工程领域的书籍．老牌黑客，同时也是Immunity Inc的创始人兼首席技术执行官(CT0)Dave Aitel为本书担任了技术编辑一职。本书的绝大部分篇幅着眼于黑客技术领域中的两大经久不衰的话题：逆向工程与漏洞挖掘，并向读者呈现了几乎每个逆向工程师或安全研究人员在日常工作中所面临的各种场景，其中包括：如何设计?构建自己的调试工具，如何自动化实现烦琐的逆向分析任务，如何设计与构建自己的fuzzing工具，如何利用fuzzing测试来找出存在于软件产品中的安全漏洞，一些小技巧诸如钩子与注入技术的应用，以及对一些主流Python安全工具如PyDbg、Immunity Debugger、Sulley、IDAPython、PyEmu等的深入介绍。作者借助于如今黑客社区中备受青睐的编程语言Python引领读者构建出精悍的脚本程序来——应对上述这些问题。出现在本书中的相当一部分Python代码实例借鉴或直接来源于一些优秀的开源安全项目，诸如Pedram Amini的Paimei，由此读者可以领略到安全研究者?是如何将黑客艺术与工程技术优雅融合来解决那些棘手问题的。 本书适合热衷于黑客技术，特别是与逆向工程与漏洞挖掘领域相关的读者，以及所有对Python编程感兴趣的读者阅读与参考。 其中英文版目录: 1: Setting Up Your Development Environment 2: Debuggers and Debugger Design 3: Building a Windows Debugger 4: PyDbg -- A Pure Python Windows Debugger 5: Immunity Debugger -- The Best of Both Worlds 6: Hooking 7: DLL and Code Injection 8: Fuzzing 9: Sulley 10: Fuzzing Windows Drivers 11: IDAPython -- Scripting IDA Pro 12: PyEmu -- The Scriptable Emulator

本书源自日均阅读量近万次火爆的线上同名课程，口碑与影响力俱佳，旨在打造简单易学且实用性强的轻量级Linux入门教程。 本书基于最新的红帽RHEL系统编写，且内容通用于CentOS、Fedora等系统。本书共分为20章，内容涵盖了部署虚拟环境、安装Linux系统；常用的Linux命令；与文件读写操作有关的技术；使用Vim编辑器编写和修改配置文件；用户身份与文件权限的设置；硬盘设备分区、格式化以及挂载等操作；部署RAID磁盘阵列和LVM；firewalld防火墙与iptables防火墙的区别和配置；使用ssh服务管理远程主机；使用Apache服务部署静态网站；使用vsftpd服务传输文件；使用Samba或NFS实现文件共享；使用BIND提供域名解析服务；使用DHCP动态管理主机地址；使用Postfix与Dovecot部署邮件系统；使用Squid部署代理缓存服务；使用iSCSI服务部署网络存储；使用MariaDB数据库管理系统；使用PXE+Kickstart无人值守安装服务；使用LNMP架构部署动态网站环境等。此外，本书还深度点评了红帽RHCSA、RHCE、RHCA认证，方便读者备考。 本书适合打算系统、全面学习Linux技术的初学人员阅读，具有一定Linux使用经验的用户也可以通过本书来温习自己的Linux知识。

本书全面介绍了在 Windows 环境下使用 SocketAPI 开发各类黑客软件及系统安全防护工具软件的编程实现方法。 在讲解细节上，本书循序渐进地向读者介绍了黑客攻击程序、安全防护工具、远程控制软件、网络安全管理软件的原理及具体编程实现方法，从当前热门的黑客软件和安全防护工具中选择典型案例， 深入分析。 本书不仅适用于黑客程序开发，在读者掌握本书介绍的各种编程技术后还能胜任开发各类网络安全防护软件， 是读者成为专业的网络开发工程师不可不读的书籍。

本书定位为大数据技术入门教材，为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用，帮助读者形成对大数据知识体系及其应用领域的轮廓性认识，为读者在大数据领域“深耕细作”奠定基础、指明方向。

《Linux兵书》由浅入深，全面、系统地介绍了Red Hat管理技术。《Linux兵书》提供了大量实例，供读者实战演练。另外，作者专门为本书编写了PPT课件，以帮助读者更好地学习本书内容。 全书分4篇共18章。第1篇为Red Hat基础入门，由浅入深地介绍了Linux的历史和不同版本，图文并茂地描述了Red Hat Enterprise Linux 6的安装过程。第2篇为Red Hat初步使用，主要介绍Red Hat的软/硬件配置、软件包管理等常用功能，并对网上冲浪做了专题讲解。第3篇为Red Hat编程应用，主要讲解Shell的使用和管理，以及常见的编程工具。第4篇为Red Hat高级管理，主要介绍Red Hat下对用户和进程等高级管理的相关知识，并以专题的形式介绍了FTP、DNS、MAIL及各个服务器的搭建和管理。

LaTeX入门的12个视频教程，其内容包括其 LaTeX软件介绍、软件的基础、LaTeX应基本使用、 LaTeX的book的基础、LaTeX的book长文档编写、LaTeX的book长文档的添加、 LaTeX的book长文档的例子、LaTeX一篇短的科技论文以及LaTeX的数学试卷的开发。

提要文摘附注: 流畅的Python 致力于帮助Python开发人员挖掘这门语言及相关程序库的优质特性，避免重复劳动，同时写出简洁、流畅、易读、易维护，并且具有地道Python风格的代码。流畅的Python 尤其深入探讨了Python语言的高级用法，涵盖数据结构、Python风格的对象、并行与并发，以及元编程等不同的方面。

本书系统地介绍了大数据算法设计与分析的理论、方法和技术，针对大数据的特点，介绍了亚线性算法、外存算法、并行算法和众包算法。书中提供了大量关于大数据算法设计与分析的实例，旨在阐述大数据算法设计技术，有助于读者掌握相应的算法设计与分析方法。

本书完整全面地讲述数据挖掘的概念、方法、技术和最新研究进展。本书对前两版做了全面修订，加强和重新组织了全书的技术内容，重点论述了数据预处理、频繁模式挖掘、分类和聚类等的内容，还全面讲述了OLAP和离群点检测，并研讨了挖掘网络、复杂数据类型以及重要应用领域。本书是数据挖掘和知识发现领域内的所有教师、研究人员、开发人员和用户都必读的参考书，是一本适用于数据分析、数据挖掘和知识发现课程的优秀教材，可以用做高年级本科生或者一年级研究生的数据挖掘导论教材。