haoyonggui的博客

　比尔·盖茨年度荐书！《终ji算法》近20年人工智能领域具轰动性的著作！揭秘机器学习的终ji逻辑，全景勾勒人工智能的商业未来。《乔布斯传》作者沃尔特·艾萨克森、图灵奖得主朱迪亚·珀尔、中国大数据领航人车品觉、今日头条首席算法架构师曹欢欢 倾力推荐！ 　　Google X、微软研究院 密切关注！ 　　如果你先想了解人工智能，那么推荐佩德罗·多明戈斯所著的《终ji算法》，非常值得一读。——比尔·盖茨

　　2017年是“人工智能应用元年”，人工智能将引领一场比互联网影响更为深远的科技革命。 　　本书是全面了解人工智能的必读之作，秒杀你对人工智能的一切疑问，好读易懂，有趣有料。 　　创新工场董事长李开复、创新工场人工智能工程院副院长王咏刚携手解读：人工智能时代，个人与企业如何找到人机协作的新位置。 　　人工智能将颠覆现有的商业模式，不仅在高科技领域，任何企业都需要尽早引入“AI+”的思维方式。 　　人工智能将部分取代人类的工作，程式化的、重复性的技能将失去价值。我们的工作必须具备足够的深度，让自己强大到不会轻易被机器撼动。

在本书中，作者采用反复置疑、层层递进的手法，从一些极其简单的现象或结果出发，为你揭示“程序是什么”这个简单而深刻的命题。本书将创建一个一致性的思维框架，并引领读者在这个框架之下，发现简单代码到系统结构之间不变的那些规则与本质。 本书既是追溯程序原本之书，也是走向设计师、架构师的入门之径。

本书可以看成是《大道至简》的姊妹篇，是以软件工程为体系、以组织结构为视角的全新著述。全书围绕对人的理解、对项目目标的理解，以及对工程整体性的理解三个大的方向，构划了一个相当宏大的论述结构。在具体的讨论中，作者仍然采用其早期著作《大道至简》中“着笔于章句之末”的写作手法，置喙于文中而留意于言外。并且延续了《大道至简》一书有关广义工程和具体工程的讨论，进一步地引导读者回到“工程的本质问题是组织”这样的视角。 本书适合各类工程管理人员阅读。

《Python机器学习算法》是一本机器学习入门读物，注重理论与实践的结合。全书主要包括6个部分，每个部分均以典型的机器学习算法为例，从算法原理出发，由浅入深，详细介绍算法的理论，并配合目前流行的Python语言，从零开始，实现每一个算法，以加强对机器学习算法理论的理解、增强实际的算法实践能力，最终达到熟练掌握每一个算法的目的。与其他机器学习类图书相比，《Python机器学习算法》同时包含算法理论的介绍和算法的实践，以理论支撑实践，同时，又将复杂、枯燥的理论用简单易懂的形式表达出来，促进对理论的理解。

我用了20年的时间，终于有了自己对“程序”的理解——程序是可被组织的元素。这事实上是对程序的可结构化特性的一个阐释，貌似是说着相同的话。然而如果程序是可被组织的，那么“结构化”其实就只是组织的手法之一。这意味着后者——结构化——只是“程序是什么”的一个解，而绝非唯一解。 这就是架构视角的独特处。当它找到一种新的抽象来定义事物时，旧的事物哪怕没有形式与内容上的变化，却在思维框架中有了新的位置、新的理解，以及新的矛盾与冲突。而所谓问题，就来自这些外在视角的变化和内在冲突的产生。架构的目标最终就是直指这些问题，而非解决一个切实的需求，例如写一个程序。 一切的起源在哪里呢？ 我将我作为程序员时对“程序”的观察体会写在了《程序原本》这本书中，然而书中最终写到的是一个称为“系统”的东西——它既是一种程序的目标，也是指该目标的规模。那个所谓的系统由一些称为“分布、依赖、消息、子系统”等等的基础部件构成。我想在大多数人看来，这些更多地应该是属于架构师讨论的话题集，而非程序员。然而，到了现在你所读的这本《我的架构思想》中，却只剩下了“系统”这个讨论对象，那些基础构件已经全然不见了。 这一切的根源又在哪里呢？ 架构本质上是一个映像。洞见映像背后的事实，就如同从镜子去观照现实，知道镜子是一层，知道镜子中的映像是第二层，知道镜子映像所现的实体是第三层。而至第四层时，还要看得到那实体周围的背景，这是实体之为实体所必须的依托，如绿叶之于红花。再深入到第五层，你得知道背景之外不可见的那些影影绰绰的事实，它们是环境中的残片和推想，它们不可确知而又影响着你在镜子中看见的那个主体。再至第六层…… 如此层层渐近，才是真正的“镜之用在鉴”，才是“鉴”这一行为的本意。然而一旦你触及到“鉴作为行为的事实存在”，那么你就看到了镜子一侧的自我，进而看到自我之见，看到由自我、镜鉴和自我之见等等所构成的整个系统，这个系统被称为“观察”。当然，在这整个“被称之观察系统”的系统之外，还要有光。否则一切所谓事实都将湮灭，即便存在，亦无可证实，无可证伪。 架构需要那束光来观照事实，以证明自己的存在。

TensorFlow 是谷歌公司开发的深度学习框架，也是目前深度学习的主流框架之一。本书从深度学习的基础讲起，深入TensorFlow框架原理、模型构建、源代码分析和网络实现等各个方面。全书分为基础篇、实战篇和提高篇三部分。基础篇讲解人工智能的入门知识，深度学习的方法，TensorFlow的基础原理、系统架构、设计理念、编程模型、常用API、批标准化、模型的存储与加载、队列与线程，实现一个自定义操作，并进行TensorFlow源代码解析，介绍卷积神经网络（CNN）和循环神经网络（RNN）的演化发展及其TensorFlow实现、TensorFlow的高级框架等知识；实战篇讲解如何用TensorFlow写一个神经网络程序并介绍TensorFlow实现各种网络（CNN、RNN和自编码网络等）并对MNIST数据集进行训练，讲解TensorFlow在人脸识别、自然语言处理、图像和语音的结合、生成式对抗网络等方面的应用；提高篇讲解TensorFlow的分布式原理、架构、模式、API，还会介绍TensorFlow XLA、TensorFlow Debugger、TensorFlow和Kubernetes结合、TensorFlowOnSpark、TensorFlow移动端应用，以及TensorFlow Serving、TensorFlow Fold和TensorFlow计算加速等其他特性。最后，附录中列出一些可供参考的公开数据集，并结合作者的项目经验介绍项目管理的一些建议。

《人工智能时代》是斯坦福大学人工智能与伦理学教授杰瑞·卡普兰（Jerry Kaplan）撰写的图书，中文版由湛庐文化联合浙江人民出版社出版，属于湛庐文化联合中国人工智能学会推出的“机器人与人工智能”书系。 当机器人霸占了你的工作，你该怎么办？机器人犯罪，谁才该负责？人工智能时代，人类价值如何重新定义？ 在《人工智能时代》一书中，智能时代领军人、硅谷连续创业者杰瑞·卡普兰指出：智能时代的到来，给人类社会带来了两大灾难性冲击：持续性失业与不断加剧的贫富差距。机器正在很大程度上替代人类的工作，不管你是蓝领还是白领。而针对未来社会将要发生的这些问题，卡普兰在《人工智能时代》一书中从企业、税收和保险等机制上构建起了一个有益的经济生态，让社会中的每一个人都能从技术发展中获益，带领我们一窥人机共生下财富、工作与思维的大未来。《人工智能时代》一书提出的建议和解决方案给遭遇挑战的人们更多抚慰和安全感！ 拥抱人工智能时代必读之作，引爆人机共生新生态。

《自制搜索引擎》聚焦于Google和Yahoo!等Web搜索服务幕后的搜索引擎系统，首先讲解了搜索引擎的基础知识和原理，接着以现实中的开源搜索引擎Senna/Groonga为示例，使用该引擎的源代码引导读者亲自体验搜索引擎的开发过程。这部分讲解涉及了倒排索引的制作和压缩、检索的处理流程以及搜索引擎的优化等内容。最后又简单介绍了一些更加专业的搜索引擎的知识和要点，为读者今后进一步学习打下了基础。本书适合所有对搜索引擎感兴趣的技术人员阅读。

新手程序员在具备了理论基础后，面对实际项目时，往往不知道如何解决问题；有经验的程序员在学习了一门新语言后，也会有很多不知道如何使用的特性。针对程序员的这一普遍困惑，资深软件工程师Brian P. Hogan在这本书中总结了57道练习题，教他们如何锤炼技能。这些练习题的难度会逐渐增加，使得编程训练充满挑战又乐趣多多。

1. 介绍面向对象设计方法中的架构和设计模式。 2. 有助于提高软件的编写质量，加深对软件理论知识的理解，扩展专业视野，了解大型软件开发中的架构模式。 3. 介绍的设计模式和架构模式都配有Java语言的程序实例，模式中类和类之间的静态关系或对象间的动态关系都用UML语言描述。各章末均提供了相应的练习。 4. 本书在网络上提供各章练习答案和书中实例的Java代码。 5. 可以作为高校计算机相关专业的教材，也可供系统开发人员和大型系统的系统架构设计人员阅读参考。

本书犹如一次旅行，期间，你有机会将各种测试驱动(TDD)最佳实践应用于Java开发。这次旅行结束时，你将成为TDD黑带，你的软件开发工具中也会多一个法宝。

介绍了数据库的概念，数据库设计与实现的相关知识，系统讲解了sqllite主要组件。

本书是PvdL及其在SUN公司编译程序与操作系统小组的同事们多年来往在C程序设计方面的经验总结。作战以生动风趣的笔墨，热情洋溢的向读者介绍了C程序语言的技术和技巧。

UNIX网络编程：第2版（第2卷 进程间通信），ISBN：9787302038153，作者：（美）[W.R.史蒂文斯]W.Richard Stevens著；杨继张译

高性能网络编程的好书，下载第二部分

高性能网络编程的好书，第一部分，下载第二部分后才能阅读

《Storm源码分析》从源代码的角度详细分析了Storm的设计与实现，共分为三个部分，第一部分介绍了Storm的基本原理以及Storm集群系统的搭建方法，第二部分深入剖析了Storm的底层架构，如Nimbus、Supervisor、Worker以及Task，第三部分系统讨论了Storm如何实现可靠的消息传输，如Transaction Topology以及Trident。 《Storm源码分析》适用于程序员、架构师以及计算机专业的学生。

目录 第0 章 当谈论大数据时我们在谈什么 1 0.1 大数据是什么 2 0.2 大数据之翼：技术范型转换 4 0.3 大数据商业炼金术 6 0.4 “大数据”在路上 7 第1 章 数据分片与路由 9 1.1 抽象模型10 1.2 哈希分片（Hash Partition） 11 1.2.1 Round Robin11 1.2.2 虚拟桶（Virtual Buckets） 12 1.2.3 一致性哈希（Consistent Hashing） 13 1.3 范围分片（Range Partition） 18 参考文献19 第2 章 数据复制与一致性20 2.1 基本原则与设计理念21 2.1.1 原教旨CAP 主义21 2.1.2 CAP 重装上阵（CAP Reloaded）23 2.1.3 ACID 原则24 2.1.4 BASE 原则24 2.1.5 CAP／ACID／BASE 三者的关系25 2.1.6 幂等性（Idempotent）26 2.2 一致性模型分类26 2.2.1 强一致性27 2.2.2 最终一致性28 2.2.3 因果一致性28 2.2.4 “读你所写”一致性29 2.2.5 会话一致性29 2.2.6 单调读一致性30 2.2.7 单调写一致性30 2.3 副本更新策略30 2.3.1 同时更新30 2.3.2 主从式更新31 2.3.3 任意节点更新32 2.4 一致性协议32 2.4.1 两阶段提交协议（Two—Phrase Commit，2PC）33 2.4.2 向量时钟（Vector Clock） 38 2.4.3 RWN 协议40 2.4.4 Paxos 协议42 2.4.5 Raft 协议45 参考文献49 第3 章 大数据常用的算法与数据结构51 3.1 布隆过滤器（Bloom Filter） 51 3.1.1 基本原理52 3.1.2 误判率及相关计算52 3.1.3 改进：计数Bloom Filter53 3.1.4 应用54 3.2 SkipList55 3.3 LSM 树58 3.4 Merkle 哈希树（Merkle Hash Tree） 62 3.4.1 Merkle 树基本原理62 3.4.2 Dynamo 中的应用63 3.4.3 比特币中的应用63 3.5 Snappy 与LZSS 算法65 3.5.1 LZSS 算法65 3.5.2 Snappy67 3.6 Cuckoo 哈希（Cuckoo Hashing） 67 3.6.1 基本原理68 3.6.2 应用：SILT 存储系统68 参考文献70 第4 章 集群资源管理与调度71 4.1 资源管理抽象模型72 4.1.1 概念模型72 4.1.2 通用架构73 4.2 调度系统设计的基本问题74 4.2.1 资源异质性与工作负载异质性74 4.2.2 数据局部性（Data Locality） 75 4.2.3 抢占式调度与非抢占式调度75 4.2.4 资源分配粒度（Allocation Granularity） 76 4.2.5 饿死（Starvation）与死锁（Dead Lock）问题76 4.2.6 资源隔离方法77 4.3 资源管理与调度系统范型77 4.3.1 集中式调度器（Monolithic Scheduler）78 4.3.2 两级调度器（Two—Level Scheduler） 79 4.3.3 状态共享调度器（Shared—State Scheduler） 79 4.4 资源调度策略81 4.4.1 FIFO 调度策略81 4.4.2 公平调度器（Fair Scheduler）81 4.4.3 能力调度器（Capacity Scheduler） 82 4.4.4 延迟调度策略（Delay Scheduling）82 4.4.5 主资源公平调度策略（Dominant Resource Fair Scheduling）82 4.5 Mesos 84 4.6 YARN87 参考文献90 第5 章 分布式协调系统91 5.1 Chubby 锁服务92 5.1.1 系统架构93 5.1.2 数据模型94 5.1.3 会话与KeepAlive 机制95 5.1.4 客户端缓存95 5.2 ZooKeeper 96 5.2.1 体系结构96 5.2.2 数据模型（Data Model） 97 5.2.3 API 98 5.2.4 ZooKeeper 的典型应用场景98 5.2.5 ZooKeeper 的实际应用103 参考文献104 第6 章 分布式通信106 6.1 序列化与远程过程调用框架107 6.1.1 Protocol Buffer 与Thrift 108 6.1.2 Avro109 6.2 消息队列110 6.2.1 常见的消息队列系统110 6.2.2 Kafka 111 6.3 应用层多播通信（Application—Level Multi—Broadcast）114 6.3.1 概述114 6.3.2 Gossip 协议115 参考文献118 第7 章 数据通道120 7.1 Log 数据收集120 7.1.1 Chukwa121 7.1.2 Scribe122 7.2 数据总线123 7.2.1 Databus125 7.2.2 Wormhole 127 7.3 数据导入／导出128 参考文献129 第8 章 分布式文件系统131 8.1 Google 文件系统（GFS） 132 8.1.1 GFS 设计原则132 8.1.2 GFS 整体架构133 8.1.3 GFS 主控服务器134 8.1.4 系统交互行为136 8.1.5 Colossus 137 8.2 HDFS 138 8.2.1 HDFS 整体架构139 8.2.2 HA 方案140 8.2.3 NameNode 联盟143 8.3 HayStack 存储系统145 8.3.1 HayStack 整体架构146 8.3.2 目录服务147 8.3.3 HayStack 缓存148 8.3.4 HayStack 存储系统的实现148 8.4 文件存储布局150 8.4.1 行式存储151 8.4.2 列式存储151 8.4.3 混合式存储156 8.5 纠删码（Erasure Code）158 8.5.1 Reed—Solomon 编码159 8.5.2 LRC 编码164 8.5.3 HDFS—RAID 架构166 参考文献166 …… 第9 章 内存KV 数据库168 第10 章 列式数据库176 第11 章 大规模批处理系统199 第12 章 流式计算219 第13 章 交互式数据分析240 第14 章 图数据库：架构与算法271 第15 章 机器学习：范型与架构313 第16 章 机器学习：分布式算法337 第17 章 增量计算366 附录A 硬件体系结构及常用性能指标378 附录B 大数据必读文献380