humu7733的博客

原创 MICROSAR OS：第一个task是如何执行起来的？

MICROSAR OS是Vector公司开发的符合AUTOSAR OS规范的实时操作系统。本文介绍MICROSAR

转载 深度学习要多深，才能读懂人话？｜阿里小蜜前沿探索

前言：本篇文章全面阐述了“机器阅读理解综述及在电商领域的探索”主题，总字数近五千字，预计需要10分钟左右的阅读时间。推荐对深度学习、大数据、自然语言处理感兴趣的童鞋收藏。研究背景阿里小蜜是阿里巴巴推出的围绕电商服务、导购以及任务助理为核心的智能人机交互产品，在去年双十一期间，阿里小蜜整体智能服务量达到643万，其中智能解决率达到95%，成为了双十一期间服务的绝对主力。阿里小蜜所使用的问答技术也在经...

转载 如何将bug杀死在摇篮里？

导读：在欧洲中世纪的传说中，有一种叫“人狼”的妖怪，就是人面狼身。它们会讲人话，专在月圆之夜去袭击人类。而且传说中对“人狼”用一般的枪弹是不起作用的，普通子弹都伤不到也打不死它，只有一种用银子作成的特殊子弹才能把它杀死。Brooks在他最著名的随笔文章《No Silver Bullet》里引用了这个典故 ，说明在软件开发过程里是没有万能的终杀性武器的，只有各种方法综合运用，才是解决之道。那么在软件...

转载 人工智能第三次黄金时代，藏在全球数亿摄像头里？

导读：人工智能历史上的三次黄金时代是什么？这次有何不同？视觉智能应用成功的关键因素有哪些？本文通过众多的成功实例和遍地黄金的视觉计算应用机会，对这些问题进行探讨，并试图讨论云上视觉智能的终局。注：本文整理自阿里iDST科学家华先胜在全球人工智能技术大会上的演讲。今天和大家报告的主要是近两年在阿里云上做的视觉智能方面的工作和一些思考。首先看一下人工智能的三次“春天”。第一次是在20世纪50年代，人工...

转载 阿里史上首款AI硬件设备，为何如此“听话”？

2017年7月6日，阿里人工智能实验室发布了旗下首款智能语音终端设备天猫精灵X1。天猫精灵X1内置第一代中文人机交流系统AliGenie。AliGenie生活在云端，它能够听懂中文普通话语音指令，目前可实现智能家居控制、语音购物、手机充值、叫外卖、音频音乐播放等功能，带来崭新的人机交互新体验。天猫精灵X1和AliGenie均由阿里巴巴的科学家和工程师团队研发，应用了阿里巴巴积累多年的语音识别、自然...

转载 人类与机器人，如何能像朋友一样愉快聊天？

导读：今天由阿里巴巴资深专家千诀带来精彩分享，主要聚焦在人和设备如何通过自然语言对话来展开对话交互。看完后你会发现，原来为了与你愉快聊天，机器人在背后付出了这么巨大的努力。互联网正在从连接的时代走向交互的时代纵观传统互联网时代，如果用一个词来总结和概括的话，“连接”这词再合适不过了，传统互联网时代，我认为主要建立了三种连接：第一，人和信息的连接；第二，人和人的连接；第三，人与商品服务的连接。第一种...

转载 如何送货最省钱？菜鸟自研核心引擎架构首次曝光！

随着中国物流运输行业的蓬勃发展， 物流成本已经占据了18%的国民生产总值， 其中， 车辆运输作为配送成本的核心要素， 成为了一个必须面对的问题。而车辆路径规划问题的目标就是减少配送的车辆数目和距离， 进而降低物流成本， 同时也是物流成本透明化的重要手段。菜鸟网络人工智能部从自身业务出发， 联合集团IDST、阿里巴巴云计算的力量， 打造一款适合中国复杂的业务需求， 又在效果上接近国际水准的分布式车辆...

转载 架构师是如何炼成的？以天猫APP架构＆开发模式升级工程为例

在集团大数据、算法的背景下，猫客（天猫客户端）首页率先从2015年的坑位运营走向2016年的全面个性化，猫客首页个性化业务点多达50多处，个性化场景大部分通过通过Aladdin（天猫推荐）接入TPP（集团个性化平台）来实现的。走向个性化的同时也接入大量的第三方服务，例如：阿里妈妈钻展、新人礼包等。​2016老版本猫客首页问题梳理​线上问题定位周期长：首页客户端同学+首页服务端同学+阿拉丁+算法同学...

转载 号称史上最晦涩的算法Paxos，如何变得平易近人？

导读：Paxos（分布式一致性算法）作为分布式系统的基石，一直都是计算机系统工程领域的热门话题。Paxos号称是最难理解的算法，其实真的这么困难么？“X-Paxos”是阿里巴巴数据库团队面向高性能、全球部署以及阿里业务特征等需求，实现的一个高性能分布式强一致的Paxos独立基础库。X-Paxos具体又有哪些优势，能给现有的系统带来什么收益呢？背景分布式一致性算法（Consensus Algorit...

转载 如何解决租房烦恼？阿里工程师写了一套神奇的代码

导读：租房的烦恼，相信大家或多或少都有过。独自一人在大都市打拼，找个温暖的小窝实属不易，租个称心又价格公道的房子是件重要的事儿。本文作者、阿里工程师鹿星，也是众多北漂中的一员。如何从各大租房网的房源里面，找到最称心如意的小窝？今天让鹿星带大家看看数据能不能做出最优选择。文末有代码。选择困难症毕业到现在两年多了，一直住的自如合租房，但因为各种原因住处已经换过4次，每次换租都是一件头疼的事。从茫茫房海...

转载 如何搭建大规模机器学习平台？以阿里和蚂蚁的多个实际场景为例

导读 ：近年来，随着“大”数据及“大”模型的出现，学术界和工业界对分布式机器学习算法引起了广泛关注。针对这一刚需，本论文设计了一个独一无二的分布式平台——鲲鹏。它无缝的结合了分布式系统及并行优化算法，解决了大规模机器学习算法带来的一系列问题。鲲鹏不仅囊括了数据/模型并行、负载平衡、模型同步、稀疏表示、工业容错等特性，而且还提供了封闭好的、宜于调用的API供普通的机器学习者开发分布式算法，降低使用成...

转载 世界级难题：把不同物品装进箱子，如何使箱子表面积最小？

导读：三维装箱问题是一类经典的组合优化问题，具有巨大的学习研究和实际应用价值。传统的三维装箱问题都是给定了箱子的尺寸并以最小化箱子的使用数量为优化目标，但是在某些实际业务场景中并没有固定尺寸的箱子。​基于此类场景，本文提出了一类新型的三维装箱问题。在本问题中，需要将若干个长方体物体逐个放入一个箱子中（物品的摆放位置不能倾斜），优化目标为最小化能够容纳所有物品的箱子的表面积，因为箱子的表面积与其成本...

转载 阿里知识图谱首次曝光：每天千万级拦截量，亿级别全量智能审核

导读：借助阿里知识图谱的建设，阿里电商平台管控从过去的“巡检”模式升级为发布端实时逐一检查。在海量的商品发布量的挑战下，最大可能地借助大数据、人工智能阻止坏人、问题商品进入阿里生态。同时面临问题商家实时的对弈、变异和恶意攻击等诸多挑战，知识图谱仍然保持着每天千万级别的拦截量，亿级别的全量智能审核次数，在滥发、侵权、合规、假货、经营范围等多个场景全面与问题卖家正面交锋，实时对弈。为了最大限度地保护知...

转载 如何用智能有效感知城市？城市大脑三大AI产品来了

导读：在近期举办的云栖大会南京峰会上，达摩院机器智能技术实验室副主任华先胜发表了《城市数字化转型——城市大脑》的主题演讲，公开了城市大脑三大AI产品，并分享了他对城市大脑未来的三大思考。下面让我们一起来回顾。华先胜：城市大脑经过两年多的发展，连续克服了很多技术的困难和非技术的困难，积累了大量的技术、产品和解决方案。城市大脑解决的是什么问题？除了城市的数字化、数据的汇聚，更重要的是怎么挖掘城市大量数...

转载 如何基于Weex实现创新交互体验？手淘开源技术BindingX案例解析

导读：随着手淘流量红利时代的结束，如何通过精细化运营、不断提升App用户体验，成了我们新的目标。手淘技术团队童鞋在有限的条件下，巧妙利用Weex，实现了以往用纯native才能实现的卡片式交互形态，给用户创造了小惊喜（该技术已开源）。下面让我们一起来深入了解。文章一开始，我们先来看两张效果图：      大家第一眼看到，是不是觉得这两个产品应该是纯native实现的，weex貌似不具备这个能力。但...

转载 阿里SRE体系如何支撑24小时峰值压力、220+个国家“剁手党”？

导读：淘宝点亮了全中国，Aliexpress点亮了全球，在近百个国家的购物类app排名第一。但AE国际只有1-2个物流，峰值压力一度导致多个国家的银行系统、物流系统瘫痪，可以想象，作为Aliexpress的SRE压力多大。究竟阿里工程师是如何解决这一难题？今天我们通过AliExpress SRE负责人周志伟的分享，揭开这个谜题。阿里巴巴高级技术专家、AliExpress SRE负责人周志伟 Ali...

转载 对待棘手bug，新手与大牛的差距在哪里？

导语：一行代码引发周边童鞋的Xcode内存爆炸。作为一名喜欢探究到底的工程师，岂能袖手旁观？来自高德的涛澜童鞋，给出了一个样本式的解决思路。下面就让我们一起走进“案发现场”。​问题描述：自上上周起，团队中陆续有iOS开发抱怨电脑特别卡。有细心的同学发现，因为Xcode占用了约6-7G内存，而部分mac只有8G内存，所以内存爆满引起卡顿。而部分同学的mac是16G内存的，比如我（嘲讽脸），因为内存充...

转载 揭秘支付宝中的深度学习引擎：xNN

导读：本文介绍支付宝App中的深度学习引擎——xNN。xNN通过模型和计算框架两个方面的优化，解决了深度学习在移动端落地的一系列问题。xNN的模型压缩工具 (xqueeze) 在业务模型上实现了近50倍的压缩比， 使得在包预算极为有限的移动App中大规模部署深度学习算法成为可能。xNN的计算性能经过算法和指令两个层面的深度优化，极大地降低了移动端DL的机型门槛。   深度学习——云端还是移动端？近...

转载 后摩尔时代，如何给你的CPU减负？

导读：通用处理器（CPU）的摩尔定律已入暮年，而机器学习和Web服务的规模却在指数级增长。如何用硬件加速来提升性能、降低成本？下面我们一起来看看。移除点击此处添加图片说明文字​一、背景介绍通用处理器（CPU）的摩尔定律已入暮年，而机器学习和Web服务的规模却在指数级增长。伴随着当今硬件技术的成熟发展，普通CPU无论是在计算能力，还是资源成本上相对于一些专用硬件已经没有绝对优势，这也促使硬件加速技术...

转载 深度解读 | 阿里云新一代关系型数据库 PolarDB

导读：本文通过描述关系型数据库发展的背景以及云计算的时代特征，分享了数据库计算力的螺旋式上升的进化理念，另外结合阿里云 RDS 产品的发展路径，阐述了自主研发的新一代云托管关系型数据库 PolarDB 的产品整体设计思想，对一些关键技术点进行了解读。关系型数据库谈到关系型数据库，在这个知识日新月异的 TMT 时代，听起来有些“古董”，这个起源于半个世纪以前的 IT 技术，事实上一直处于现代社会科技...

转载 如何让数据价值最大化？阿里全域大数据系统深度解读

2016年，阿里巴巴集团提出中台概念，阿里巴巴数据技术及产品部作为中台战略中的组成部分，承载了集团数据中台的工作，其核心就是建设全域大数据。究竟全域数据到底是什么？又该如何建设？在2017年底的云栖大会阿里大数据分论坛，阿里巴巴高级技术专家张磊给出了详细的回答。以下为分享全文实录：阿里巴巴高级技术专家张磊数据中台阿里巴巴数据技术及产品部定位2016年阿里巴巴

转载 如何成为一名顶尖的架构师？

在技术圈，架构师一方面是已经被说烂的职务，另一方面也是让人困扰的职位，行业发展到现在似乎人人都是架构师，各种架构图绚丽多彩漫天飞舞，同时永远有人在抱怨架构太烂、坑太多。那么到底什么是架构师？如果有一天把你丢到架构师的位置上你会怎么做？ 做什么呢？今天，阿里国际技术事业部的无叶，与大家坐一起，聊一聊。一、两种架构师工作五年以上的童鞋，或多或少都会有这样的经历：在小团队或者项目中承担非明确的架构师职责...

转载 加班越久故障越多，如何跳出程序员的恶性循环？

导读：如何让每一位可爱的工程师少加班、不加班？阿里巴巴技术专家张冠楠，在质量保障体系建设、持续集成领域、敏捷实践领域和研发效能领域方面具有丰富的经验和心得。今天，冠楠将用阿里研发团队的实际案例，生动说明如何用数据驱动研发效率提升。本文是我利用云效公有云度量功能，加上敏捷部分的方法指导，实践于某事业部几十人团队沉淀的成果，希望能给大家一些借鉴意义。我会就各种具有关键表征的数据进行介绍，但是详细数据，...

转载 阿里EB级大数据体系，如何做到秒级响应、高效赋能？

导读：阿里巴巴如何构建一个从底层的数据采集、处理，到挖掘算法、应用、产品服务的全链路、标准化的大数据体系，使得超过EB级别的海量数据能够高效融合，并以秒级的响应速度，服务并驱动阿里巴巴的业务和外部千万用户的发展？阿里巴巴数据技术及产品部资深技术专家姚滨晖，在2017云栖大会上做了一次非常精彩的分享，今天我们一起来重温。阿里巴巴资深技术专家姚滨晖总体来看，阿里巴巴的生态可以分为六个业务板块：电商、物...

转载 如何让机器理解汉字一笔一画的奥秘？

导读：针对无监督中文词向量生成问题，蚂蚁金服人工智能部设计了一种新的算法：cw2vec。该算法充分利用了中文的语言学特性，让机器理解汉字一笔一画之间的奥秘。在公开数据集上，算法的准确度超过了谷歌的word2vec，斯坦福的GloVe，清华的CWE等业界最优的算法，并且在阿里的诸多场景中均取得了不错的效果，相关论文被AAAI 2018高分录用。本文作者： 曹绍升 陆巍 周俊 李小龙背景介绍从智能客服...

转载 41岁阿里工程师：35岁转管理，真的是必经之路吗？

导读：墨玦，阿里巴巴 iDST 高级技术专家。博士毕业于北京邮电大学，计算机应用专业，目前主要从事语音技术工程化方面的研发。回顾在阿里的三年时光，他感慨良多，写下了这篇总结，与大家共勉。今年的程序员节，也恰恰是我在阿里工作满3年的时候，借此机会盘点一下自己近3年来的工作，也为自己后续发展把把关。个人的眼界和思考总是有限的，特别是对于研究和技术领域来说，知道得越多，其实就会知道自己有多无知，从而对未...

转载 深度解读！时序数据库HiTSDB：分布式流式聚合引擎

​导读：高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 是一种高性能，低成本，稳定可靠的在线时序数据库服务， 提供高效读写，高压缩比存储、时序数据插值及聚合计算，时间线多维分析，主要服务于监控系统和IoT领域。 目前已在阿里巴巴集团多项内部业务中获得广泛运用，稳定服务于2016年双11、2017年双11，背景HiTSDB...

转载 深度解读！时序数据库HiTSDB：分布式流式聚合引擎

导读：高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 是一种高性能，低成本，稳定可靠的在线时序数据库服务， 提供高效读写，高压缩比存储、时序数据插值及聚合计算，时间线多维分析，主要服务于监控系统和IoT领域。 目前已在阿里巴巴集团多项内部业务中获得广泛运用，稳定服务于2016年双11、2017年双11，背景HiTSDB时...

转载 深度学习如何应用在广告、推荐及搜索业务？阿里妈妈实践案例解读

导读：靖世，阿里妈妈精准展示技术研究员。2011 年，刚进阿里的他提出了分片线性模型 MLR，极大提高了 CTR 预估的准确性。近期，靖世又带领团队在 CTR 预估方面推出了一个新的模型结构——深层用户网络兴趣分布网络，利用深度学习在用户历史性行为和广告CTR预估之间建立部分匹配。靖世在行业大会中分享阿里妈妈的深度学习演进之路。以下为演讲实录。靖世：非常高兴与大家进行“深度学习演进之路”的交流，阿...

转载 如何让快递更“快”？菜鸟自研定时任务调度引擎首次公开

导读：网上购物的普及化带动了物流行业的迅猛发展，同时也带来了极大的压力和严峻的考验，特别是在电商大促的时节。如何有效提高整个物流链路的时效体验，给消费者更好的体验，这是菜鸟物流一直奋斗的目标。今天，我们来深入了解菜鸟的轻量级定时任务调度引擎设计系统，学习如何在亿级别包裹中快速定位运输超时的包裹。在中国物流快速发展的今天，日均包裹量已经突破1亿，如何确保1亿包裹在合理的时间之内送达收件人，并且能够在...

转载 使用开源项目的正确姿势，都是血和泪的总结！

导读：开源精神是技术发展的源动力之一，受到工程师们的热烈欢迎。但是开源项目如此之多，哪一个最适合自己？如何更好利用开源项目，甚至做二次开发？今天，阿里资深无线开发专家李运华，总结多年与开源项目打交道的经验，讲述如何正确利用开源项目，希望对大家有所启发。软件开发领域有一个流行的原则：DRY，Don’t repeat yourself，我们翻译过来更形象通俗：不要重复造轮子。开源项目主要目的是共享，其...

转载 如何用区块链技术解决信任问题？Fabric 架构深度解读

导读：区块链技术，随着比特币的兴起而为大家所知。但是具体到技术本身，大家相对熟悉的几个词可能是“数据不可篡改”、“公开链”、“分布式数据”、“共识机制”等。这篇文章将抛砖引玉，通过深度解读Hyperledger Project旗下的Fabric，介绍区块链适合的应用场景，如何从技术上去解决实际业务中的问题，希望能和大家一起探讨、学习。前言Hyperledger Project 由Linux基金会创...

转载 当数据库遇见FPGA：X-DB异构计算如何实现百万级TPS？

导读：X-Engine 是集团数据库事业部研发的新一代存储引擎，也是新一代分布式数据库X-DB的根基。在线事务处理的数据库存储引擎中，如何有效率的回收多版本的旧数据一直是一个难题，尤其在write intensive的应用中，事务处理无可避免受到后台任务的干扰(compaction or vacuum)，引入异构计算设备来offloading这些任务的想法由来已久，但是真正想要应用起来确有难度。今...

转载 如何快速成长为技术大牛？阿里资深技术专家的总结亮了

导读：你是否有类似这样的问题——“天天写业务代码的程序员，怎么成为技术大牛，开始写技术代码？”今天，阿里资深无线开发专家李运华，系统梳理了自己的思考和理解，希望帮助更多同学少走一些弯路。写在前面不管是开发、测试、运维，每个技术人员心里多多少少都有一个成为技术大牛的梦，毕竟“梦想总是要有的，万一实现了呢”！正是对技术梦的追求，促使我们不断地努力和提升自己。然而“梦想是美好的，现实却是残酷的”，很多同...

转载 阿里新突破！自主创新的下一代匹配&推荐技术：任意深度学习+树状全库检索

转载 知识图谱数据构建的“硬骨头”，阿里工程师如何拿下？

导读：搜索“西红柿”，你不但能知道它的营养功效、热量，还能顺带学会煲个牛腩、炒个鸡蛋！搜索引擎何时变成“暖男”了？原来背后有“知识图谱”这个强大的秘密武器。作为近年来搜索领域和自然语言处理领域的热点，知识图谱正引领着搜索引擎向知识引擎的转变。在阿里的“神马搜索”中，知识图谱及其相关技术的广泛应用不仅能帮助用户找到最想要的信息，更能让用户有意想不到的知识收获。背景简介为了不断提升搜索体验，神马搜索的...

转载 如何用架构师思维解读区块链技术？

导读：很多童鞋反馈，区块链技术有点绕，有点晦涩，大都是一知半解，理解不够通彻。但在阿里技术专家郑吉看来，区块链特别是比特币本身，并没有使用高大上复杂的新技术，只是对现有技术的组合。其天才的地方体现在系统的架构上，体现在把金融学，货币学，博弈学，甚至是哲学思想体现在比特币的系统架构上。如果单纯从系统中的技术点着手学习研究，那么往往就会觉得有点绕，有点晦涩。这就像我们在平时工作中了解某个系统，如果首先...

转载 GTS来了！阿里微服务架构下的分布式事务解决方案

导读：分布式事务已经成为微服务落地最大的阻碍，也是非常具有挑战性的一个技术难题。 为此，今天我们邀请阿里高级技术专家于皋，和大家深入探讨微服务架构下，分布式事务的各种解决方案，并重点为大家解读阿里巴巴提出的分布式事务解决方案----GTS（Global Transaction Service）。1 微服务的发展微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务，这样可以降低开发难度、增强...

转载 揭秘！双11万亿流量下的分布式缓存系统 Tair

导读：本文以双11面临的挑战为背景，从Tair（阿里自研高速缓存系统）发展和应用开始谈起，重点分享了性能优化方面的实践，最后对缓存热点难题给出了解决方案，希望能对大家的工作有所启发。本文作者为宗岱，阿里巴巴资深技术专家，2008年加入淘宝，阿里分布式缓存、NoSQL数据库Tair和Tengine负责人。Tair概览Tair发展历程Tair在阿里巴巴被广泛使用，无论是淘宝天猫浏览下单，还是打开优酷浏...

转载 如何实现32.5万笔/秒的交易峰值？阿里交易系统TMF2.0技术揭秘

导读：基于TMF 2.0关键模型，阿里交易平台实现了业务定义可视、可管、可配。今天我们来一起了解交易平台遇到的挑战、TMF2.0解决的关键问题、以及TMF 2.0的关键模型。本文作者为毗卢，阿里巴巴资深技术专家，主导设计了TMF2.0框架，并基于该框架完成交易平台架构升级改造，目前负责商品中心，专注电商领域业务建模与工程交付相结合的研究与平台推广。交易平台遇到的挑战2017双11，交易峰值达到了3...