游走在钱塘江边的程序员

内容简介 · · · · · · “双 11”，诞生于杭州，成长于阿里，风行于互联网，成就于新经济，贡献于全世界。 从 2009 年淘宝商城起，双 11 已历经八年。每年的双 11 既是当年的结束，又是走向未来的起点。技术的突破创新，商业模式的更替交互，推动着双 11 迈步向前。 《尽在双11——阿里巴巴技术演进与超越》是迄今唯一由阿里巴巴集团官方出品、全面阐述双 11 八年以来在技术和商业上演进和创新历程的书籍。内容涵盖在双 11 背景下阿里技术架构八年来的演进，如何确保稳定性这条双 11 生命线的安全和可靠，技术和商业交织发展的历程，无线和互动的持续创新与突破，以及对商家的赋能和生态的促进与繁荣。 《尽在双11——阿里巴巴技术演进与超越》主要面向广大互联网技术和商业从业者，内容包括基础设施、云计算、大数据、AR/VR、人工智能、物联网等技术领域的剖析，以及在电商、金融、客服、物流等商业层面的洞察；同时，《尽在双11——阿里巴巴技术演进与超越》也可以作为了解科技与商业最新发展的一个窗口，供科研人员和高校在校师生参考。 《尽在双11——阿里巴巴技术演进与超越》也包含丰富的双 11 发展历程中的故事性片段，生动有趣，可读性强，读者可以在由衷感叹双 11 背后艰辛的演进历程之余，更为透彻地体会到阿里人在技术和商业创新上坚韧不拔、矢志不渝的精神。 作者简介 · · · · · · 阿里巴巴双11技术团队：负责双11所有产品的开发，保障系统稳定性和用户体验，覆盖了几乎阿里所有事业部的技术团队，由天猫、手淘、业务平台、淘宝、蚂蚁、聚划算、中间件、搜索、菜鸟、阿里云、安全、基础架构、商家事业部、AliExpress、飞猪、阿里健康、数据平台、村淘、阿里妈妈、集团客服、钉钉、阿里通信、优酷等二十多个BU共同组成的技术团队。 目录 · · · · · · 序一 IX 序二 X 双11大事年表 XII 引言 XIII 第1章 阿里技术架构演进 1 双11是阿里技术发展的强大驱动力，双11业务的快速发展造就了阿里具备高度水平伸缩能力、低成本的电商架构体系。这个架构体系是如何一步一步形成的呢？在形成过程中阿里遇到了哪些问题，做了哪些尝试，最终用什么样的思路、方法和技术解决了问题？ 1.1 五彩石，电商架构新起点 3 1.2 异地多活，解除单地域部署限制的新型双11扩容方式 9 1.3混合云，利用阿里云弹性大幅降低双11成本 17 1.4 OceanBase，云时代的关系数据库 23 1.5 手机淘宝，移动互联网电商新时代 30 1.6 蚂蚁技术架构演进 36 第2章 稳定，双11的生命线 43 双11最大的困难在于零点峰值的稳定性保障。面对这种世界级的场景、独一无二的挑战，阿里建设了大量高可用技术产品，形成了全链路一体化的解决方案，用更加逼真和自动化的方式，去评估、优化和保护整个技术链条，最大化地为用户提供稳定可靠的服务。 2.1 容量规划，资源分配的指南针 45 2.2 全链路压测，大促备战的核武器 51 2.3 全链路功能，提前开始的狂欢盛宴 58 2.4 自动化备战，喝着咖啡搞大促 65 2.5 实时业务审计，从系统可用到业务正确 70 2.6 故障演练，系统健壮性的探测仪 75 2.7 系统自我保护，稳定性的最后一道屏障 82 第3章 技术拓展商业边界 89 双11业务驱动技术发展的同时，技术的创新与发展也不断推动着商业模式的升级与变革，实践着技术拓展商业的边界。 3.1 招商报名，活动基础设施建设 91 3.2 会场，小二与商家共同打造的购物清单 99 3.3 搜索，大促场景下智能化演进之路 107 3.4 个性化推荐，大数据和智能时代的新航路 114 3.5 供应链，从飞速增长到精耕细作 120 3.6 蚂蚁花呗，无忧支付的完美体验 127 第4章 移动端的技术创新之路 133 从2010年开始，国内爆发了从PC向移动端技术和业务的持续迁移，移动深刻地改变着人们的衣食住行和人际交往。阿里的双11始于2009年，正好经历了移动互联网崛起的全程，双11在移动端的主要创新有哪些呢？ 4.1 Weex，让双11更流畅 135 4.2 互动，让购物变成狂欢 143 4.3 VR&AR;，移动端创新体验 153 4.4 奥创&TMF;，让双11多端业务腾飞 163 第5章 繁荣生态，赋能商家 171 双11从阿里内部员工的一个点子到全球购物狂欢节，其背后支撑是服务、物流、大数据、云计算、金融服务等，是商家自身业务结构的调整、消费者消费习惯的转变、第三方开发者的大量入驻，以及整个生态的变迁。 5.1 聚石塔，开放的电商云工作台 173 5.2 菜鸟电子面单，大数据改变物流 179 5.3 生意参谋，数据赋能商家的“黑科技” 184 5.4 阿里小蜜，用智能重新定义服务 191 5.5 阿里中间件，让传统企业插上互联网的翅膀 198 5.6 蚂蚁金服，金融机构间协同运维的探索和实践 205 展望 213 索引 216

编辑推荐语 Bubi Kurniawan和Paul Deck所著的《深入剖析Tomcat》以Tomcat 4和Tomcat 5两个版本为基础，从建立一个*简单的连接开始，深入介绍Tomcat的体系结构。从连接器到*终的JMX管理，循序渐进，层层深入。每一章有配有相关代码，既是对理论内容的具体展现，也可以帮助读者编写一个实用的应用服务器。 在内容上，本书*关注对Tomcat基本体系结构的讲解，并没有涉及在实际应用中的具体实现细节。希望读者在阅读的时候，着重把握Torrical的一些设计思想，在此基础上，再针对某一方面进行深入的学习和研究。 内容提要 Bubi Kurniawan和Paul Deck所著的《深入剖析Tomcat》深入剖析 Tomcat 4和Tomcat 5中的每个组件，并揭示其内部工作原理。通过学习本书 ，你将可以自行开发Tomcat组件，或者扩展已有的组件。Tomcat是目前比较 流行的Web服务器之一。作为一个开源和小型的轻量级应用服务器，Tomcat 易于使用，便于部署，但Tomcat本身是一个**复杂的系统，包含了很多功 能模块。这些功能模块构成了Tomcat的核心结构。《深入剖析Tomcat》从* 基本的HTTP请求开始，直至使用JMX技术管理Tomcat中的应用程序，逐一剖 析Tomcat的基本功能模块，并配以示例代码，使读者可以逐步实现自己的 Web服务器。 作者简介 德克，是一个有15多年经验的IT架构师，参与了很多项目的开发，这些项目遍布在美国、加拿大、中国和澳大利亚。他喜欢旅行，对网络、互联网编程、设计模式和用户界面交互设计**感兴趣。 克尼亚万是《Java for Web With Servlets, JSP and EJB》的作者，同时也是一位IT咨询师，主要研究方向包括互联网与面向对象程序设计。除了其他一些计算机图书，他已经在10多种出版物上发表了约100篇文章，其中包括一些享有盛誉的Java杂志，如《Java.net》、《JavaPro》、《JavaWorld》等。Budi也是Brainysoftware的应用程序File Upload Bean的作者，在世界范围内很多公司都获得授权并使用该应用程序。 目录 译者序 前言 第1章 一个简单的Web服务器 1.1 HTTP 1.1.1 HTTP请求 1.1.2 HTTP响应 1.2 Socket类 1.3 应用程序 1.3.1 HttpServer类 1.3.2 Request类 1.3.3 Response类 1.3.4 运行应用程序 1.4 小结 第2章 一个简单的servlet容器 2.1 javax.servlet.Servlet接口 2.2 应用程序 2.2.1 HttpServer1类 2.2.2 Request类 2.2.3 Response类 2.2.4 StaticResourceProcessor类 2.2.5 servletProcessor1类 2.2.6 运行应用程序 2.3 应用程序 2.4 小结 第3章 连接器 第4章 Tomcat的默认连接器 第5章 servlet容器 第6章 生命周期 第7章 日志记录器 第8章 载入器 第9章 Session管理 **0章 安全性 **1章 StandardWrapper **2章 StandardContext类 **3章 Host和Engine **4章 服务器组件和服务组件 **5章 Digester库 **6章 关闭钩子 **7章 启动Tomcat **8章 部署器 **9章 Manager应用程序的servlet类 第20章 基于JMX的管理

编辑推荐 　　1.UCloud季昕华、Databricks连城，阿里胡熠，棒米科技武泽胜，腾讯肖磊\靳志辉\徐羽等联袂推荐！ 　　2.腾讯专家首次分享Spark实践，作者均为腾讯一线员工，拥有丰富的实战经验 　　3.基于真实数据，用案例分析全面解读大数据应用设计 　　4.腾讯杰出研发者的Spark实践，揭秘广告和推荐系统核心技术 内容简介 　　本书是Spark实战指南，全书共分8章。前4章介绍Spark的部署、工作机制和内核，后4章分别通过实战项目介绍SparkSQL、SparkStreaming、SparkGraphX和SparkMLib功能模块。此外，本书详细介绍了常见的实战问题，比如大数据环境下的配置设置、程序调优等。本书附带的一键安装脚本，更能为初学者提供很大帮助。 作者简介 　　陈欢，腾讯杰出程序员，15年编码经验，曾任职网络安全、互联网金融等部门，亲手从零建设了财付通业务的Spark集群，并使之同时支持SQL、实时计算、机器学习等多种数据计算场景。他目前就职于腾讯社交与效果广告部，从事大数据分析工作。 　　林世飞，腾讯杰出研究员，2005年加入腾讯，先后在无线产品、安全中心、搜索平台、开放平台、社交与效果广告部等部门从事开发和团队管理工作。他对网络安全、搜索引擎、数据挖掘、机器学习有一定了解，热衷知识传播和分享，曾获腾讯学院2009年年度杰出讲师。目前，他就职于社交与效果广告部，负责广告系统相关的研发工作。 目录 第1 章 Spark 与大数据 1 1．1　大数据的发展及现状　1 1．1．1　大数据时代所面临的问题　1 1．1．2　谷歌的大数据解决方案　2 1．1．3　Hadoop 生态系统　3 1．2　Spark 应时而生　4 1．2．1　Spark 的起源　4 1．2．2　Spark 的特点　5 1．2．3　Spark 的未来发展　6 第2　章 Spark 基础　8 2．1　Spark 本地单机模式体验　8 2．1．1　安装虚拟机　8 2．1．2　安装JDK　19 2．1．3　下载Spark 预编译包　21 2．1．4　本地体验Spark　22 2．2　高可用Spark 分布式集群部署　25 2．2．1　集群总览　26 2．2．2　集群机器的型号选择　28 2．2．3　初始化集群机器环境　29 2．2．4　部署ZooKeeper 集群　33 2．2．5　编译Spark　35 2．2．6　部署Spark Standalone 集群　37 2．2．7　高可用Hadoop 集群　40 2．2．8　让Spark 运行在YARN 上　40 2．2．9　一键部署高可用Hadoop + Spark　集群　42 2．3　Spark 编程指南　43 2．3．1　交互式编程　43 2．3．2　RDD 创建　44 2．3．3　RDD 操作　47 2．3．4　使用其他语言开发Spark 程序　54 2．4　打包和提交　54 2．4．1　编译、链接、打包　54 2．4．2　提交　56 第3　章 Spark 工作机制　58 3．1　调度管理　58 3．1．1　集群概述及名词解释　58 3．1．2　Spark 程序之间的调度　60 3．1．3　Spark 程序内部的调度　63 3．2　内存管理　65 3．2．1　RDD 持久化　65 3．2．2　共享变量　66 3．3　容错机制　67 3．3．1　容错体系概述　67 3．3．2　Master 节点失效　68 3．3．3　Slave 节点失效　69 3．4　监控管理　69 3．4．1　Web 界面　69 3．4．2　REST API　72 3．4．3　Metrics 指标体系　73 3．4．4　其他监控工具　73 3．5　Spark 程序配置管理　73 3．5．1　Spark 程序配置加载过程　74 3．5．2　环境变量配置　74 3．5．3　Spark 属性项配置　74 3．5．4　查看当前的配置　76 3．5．5　配置Spark 日志　76 第4　章 Spark 内核讲解　77 4．1　Spark 核心数据结构RDD　77 4．1．1　RDD 的定义　78 4．1．2　RDD 的Transformation　80 4．1．3　RDD 的Action　82 4．1．4　Shuffle　83 4．2　SparkContext　84 4．2．1　SparkConf 配置　84 4．2．2　初始化过程　85 4．2．3　其他功能接口　87 4．3　DAG 调度　87 4．3．1　DAGScheduler　87 4．3．2　TaskScheduler　90 第5　章 Spark SQL 与数据仓库　92 5．1　Spark SQL 基础　93 5．1．1　分布式SQL 引擎　93 5．1．2　支持的SQL 语法　97 5．1．3　支持的数据类型　98 5．1．4　DataFrame　99 5．1．5　DataFrame 数据源　103 5．1．6　性能调优　104 5．2　Spark SQL 原理和运行机制　104 5．2．1　Spark SQL 整体架构　105 5．2．2　Catalyst 执行优化器　105 5．3　应用场景：基于淘宝数据建立电商 数据仓库　110 5．3．1　电商数据仓库场景　111 5．3．2　数据准备和表设计　111 5．3．3　用Spark SQL 来完成日常运营 数据分析　115 5．3．4　Spark SQL 在大规模数据下的 性能表现　120 第6　章 Spark 流式计算　122 6．1　Spark Streaming 基础知识　123 6．1．1　入门简单示例　123 6．1．2　基本概念　124 6．1．3　高级操作　129 6．2　深入理解Spark Streaming　132 6．2．1　DStream 的两类操作　132 6．2．2　容错处理　134 6．2．3　性能调优　136 6．2．4　与Storm 的对比　137 6．3　应用场景：一个类似百度统计的流式 实时系统　139 6．3．1　Web log 实时统计场景　139 6．3．2　日志实时采集　140 6．3．3　流式分析系统实现　140 第7　章 Spark 图计算　149 7．1　什么是图计算　149 7．1．1　图的基本概念　149 7．1．2　图计算的应用　150 7．2　Spark GraphX 简介　151 7．2．1　GraphX 实现　151 7．2．2　GraphX 常用API 介绍　152 7．3　应用场景：基于新浪微博数据的社交 网络分析　153 7．3．1　社交网络分析的主要应用　153 7．3．2　社区发现算法简介　154 7．3．3　用GraphX 实现Louvain 算法　156 7．3．4　小试牛刀：谁是你的闺蜜　162 7．3．5　真实的场景：新浪微博关系 分析　164 第8　章 Spark MLlib　169 8．1　机器学习简介　169 8．1．1　什么是机器学习　169 8．1．2　机器学习示例　171 8．1．3　机器学习的基本方法　172 8．1．4　机器学习的常见技巧　173 8．1．5　机器学习参考资料　174 8．2　MLlib 库简介　174 8．2．1　基础数据类型　174 8．2．2　主要的库　175 8．2．3　附带的示例程序　176 8．3　应用场景：搜索广告点击率 预估系统　178 8．3．1　应用场景　178 8．3．2　逻辑回归　179 8．3．3　学习算法　181 8．3．4　模型评估　184 8．3．5　数据准备　186 8．3．6　模型训练　187 8．3．7　模型调优　195 附录　Scala 语言参考　197 收起全部↑ 前言/

目录 目 录 第1章 基本概念 1 话题1 开门见山——测试你的Java水平 1 话题2 世外隐者——隐居深山的“关键字” 2 话题3 疑团满腹——标识符更深层的思考 6 话题4 鞭长莫及——我的特殊字符，你不能用！ 10 话题5 移星换斗——从byte b = 1谈类型转换的神秘 16 话题6 扑朔迷离——浮点类型的种种悬疑 22 话题7 水落石出——浮点结构的最终解密 31 话题8 龙虎争霸——基本for循环与加强型for 循环的对比 45 第2章 运算符与表达式 52 话题9 莫衷一是——i+++j该如何计算？ 52 话题10 千差万别——++i与i++仅是“先加”与“后加”的差别吗？ 56 话题11 强大相径庭——相除与求余在Java中的具体表现 61 话题12 移形换位——移位运算的真实剖析 75 话题13 鞭辟近里——条件运算符（？:）的类型深入 81 话题14 井然有序——运算顺序的详细挖掘 86 话题15 异曲同工——交换变量的3种方式 90 话题16 择木而栖——开关选择表达式switch的类型内幕 95 第3章 String类 103 话题17 来龙去脉——“+”是怎样连接字符串的？ 103 话题18 一成不变——不可修改的String对象 107 话题19 钩深索隐——String字符最大长度的探索 111 话题20 追本溯源——追寻String字面常量的“极限” 116 话题21 旧调重弹——再论equals方法与“==”的 区别 122 话题22 顺藤摸瓜——从字面常量到String常量池 136 第4章 方法、构造器与变量 143 话题23 相差无几——main方法很“特殊”吗？ 143 话题24 一词多义——方法重载的详细说明 150 话题25 踵事增华——方法重写的真正条件 166 话题26 一叶障目——方法与成员变量的隐藏 177 话题27 发轫之始——执行初始化的构造器 182 话题28 殊途同归——成员变量不同的初始化方式 193 话题29 按部就班——初始化顺序与向前引用 206 第5章 类与接口 220 话题30 相辅相成——基本数据类型与包装类 220 话题31 分门别类——数组的阐述 232 话题32 规矩方圆——定义规范的接口类型 242 话题33 彻里至外——嵌套类型 248 话题34 不胜枚举——枚举的神秘 258 话题35 按部就班——加载、链接与初始化 265 话题36 择优录取——类型及其成员的选择 283 内容简介 本书分为5章，分别为“基本概念”，“运算符与表达式”，“String类”，“方法，构造器与变量”，“类与接口”。 通过以上方面介绍那些常见、常用却少为人知的Java知识。虽然内容相对基本，但都不是容易解答的。目前更多的开发人员（不乏多年开发经验者），也仅仅停留在Java表面的层次，而本书，将更深入一层地去讨论Java的话题，令读者耳目一新，知其然，更知其所以然。

　《Learning Hbase（中文版）》是一本介绍HBase 知识的专业书籍，它系统地介绍了HBase 的基本概念，与传统关系数据库的功能和特点的对比，自身的配置方法以及安装方法，同时深入介绍了HBase 的运维管理和故障处理。《Learning Hbase中文版》还介绍了基于HBase的Java编程方法，以及HBase作为大数据工具的一些使用案例，这些足以帮助读者更好地理解HBase 的架构，更顺利地在自己的项目中使用HBase。 　　《Learning Hbase（中文版）》不仅适合HBase 初学者自学使用，也适合有HBase 经验的开发人员作为工具查询之用，是一本针对HBase 技术的比较完整的通用工具书，希望本书能在实际工作中对读者有所帮助。

　　本书结合理论和实践，由浅入深，全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。全书5部分24章，第Ⅰ部分介绍Hadoop基础知识，主题涉及Hadoop、MapReduce、Hadoop分布式文件系统、YARN、Hadoop的I/O操作。第Ⅱ部分介绍MapReduce,主题包括MapReduce应用开发；MapReduce的工作机制、MapReduce的类型与格式、MapReduce的特性。第Ⅲ部分介绍Hadoop的运维，主题涉及构建Hadoop集群、管理Hadoop。第Ⅳ部分介绍Hadoop相关开源项目，主题涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三个案例，分别来自医疗卫生信息技术服务商塞纳(Cerner)、微软的人工智能项目ADAM(一种大规模分布式深度学习框架)和开源项目Cascading(一个新的针对MapReduce的数据处理API)。 　　本书是一本专业、全面的Hadoop参考书和工具书，阐述了Hadoop生态圈的新发展和应用，程序员可以从中探索海量数据集的存储和分析，管理员可以从中了解Hadoop集群的安装和运维。

本书探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单；把大型数据集分布到相对廉价的商业服务器集群中；使用本地Java客户端，或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase；了解HBase架构的细节，包括存储格式、预写日志、后台进程等；在HBase中集成MapReduce框架；了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。 本书适合使用HBase进行数据库开发的高级数据库研发人员阅读。

Flink技术栈及其适用场景.pdf 这里介绍了flink组建的技术栈和使用场景，适合给使用Flink的同学进一步熟悉Flink

HTTP（HyperText Transfer Protocol，超文本传输协议）是Web客户端与服务器交互文档和信息时所使用的协议，是每个成功Web事务的幕后推手。众所周知，我们每天访问公司内部网络、搜索绝版书籍、研究统计信息时所使用的浏览器的核心就是HTTP。但HTTP的应用远不仅仅是浏览Web内容。由于HTTP既简单又普及，很多其他网络应用程序也选择了它，尤其是采用SOAP和XML-RPC这样的Web服务。 详细解释了HTTP协议，包括它是如何工作的，如何用它来开发基于Web的应用程序。但本书并不只介绍了HTTP，还探讨了HTTP有效工作所依赖的所有其他核心因特网技术。尽管HTTP是本书的中心内容，但本书的本质是理解Web的工作原理，以及如何将这些知识应用到Web编程和管理之中去，主要涵盖HTTP的技术运作方式、产生动机、性能和目标，以及一些相关技术问题。 本书是HTTP协议及相关Web技术方面的著作，主要内容包括： HTTP方法、首部以及状态码 优化代理和缓存的方法 设计Web机器人和爬虫的策略 Cookies、认证以及安全HTTP 国际化及内容协商 重定向及负载平衡策略 本书由具有多年实践经验的专家编写，通过简洁语言和大量翔实的细节图解帮助读者形象地理解Web幕后所发生的事情，详细说明了Web上每条请求的实际运行情况。要想高效地进行Web开发，所有Web程序员、管理员和应用程序开发者都应该熟悉HTTP。很多书籍只介绍了Web的使用方式，而本书则深入说明了Web的工作原理。

本书追求的目标是算法背后的逻辑，是一本启示书，而不是一本包罗万象的算法大全。因此，本书甄选了那些能够展现算法思想、战略和精华，并能够有效训练算法思维的内容。本书将算法的讨论分为五大部分：算法基础篇、算法设计篇、算法分析篇、经典算法篇、难解与无解篇。每一个部分分别讨论算法的一大方面：基础、设计、分析、经典和难解问题。