- 博客(140)
- 收藏
- 关注
RSS订阅
转载 MaxCompute JOIN优化小结
Join是MaxCompute中最基本的语法，但由于数据量和倾斜问题，非常容易出现性能问题。一般情况下，join产生的问题有两大类：数据倾斜问题：join会将key相同的数据分发到同一个instance上处理，如果某个key上的数据量特别多则会导致该instance处理时间比其他instance处理时间长，这就是我们常说的数据倾斜，这也是join计算性能问题的罪魁祸首；数据量问题：关联的两表基本没...
2018-03-22 14:15:02
26280
转载 2018亚太CDN峰会开幕，阿里云王海华解读云+端+AI的短视频最佳实践
4月11-12日，2018亚太CDN峰会在北京隆重召开，在11日下午的短视频论坛中，阿里云高级技术专家王海华进行了《短视频最佳实践：云+端+AI》的主题演讲，分享了短视频的生命周期关键点和阿里云技术解决方案。以下全文为演讲内容。每个人都将成名十五秒钟短视频已经走进我们的生活，离我们越来越近。在1968年美国的艺术家 安迪•沃霍尔 就曾经预言：“在未来，每个人都将成名十五分钟。”在短视频如此火爆的当...
2018-04-12 16:50:27
307
转载 阿里云朱照远：AI打开新视界 8K时代已来！
2018年4月11-12日，2018亚太CDN峰会在北京隆重召开，大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在亚太CDN领袖峰会上，阿里视频云总经理朱照远（叔度）作了题为《享见未来 开启新视界》的主题演讲。2017阿里视频云都做了什么朱照远首先分享了2017年阿里视频云团队所做的一些工作，包括：2017.03，融合优酷视频技术发...
2018-04-12 16:17:53
333
转载 直播内容不合规怎么办？智能AI为您解决审核难题
背景近些年来，视频直播快速发展，大量的直播平台如雨后春笋一般出现，但是这同样给直播内容的监管带来了巨大的挑战，一方面国家对于直播内容监管的要求日益严格，另一方面相对于文字内容的审核，多媒体内容的审核复杂度更高，资源耗费也更大技术门槛相对也较高，所以这逐渐成为制约直播服务健康发展的一个瓶颈，尤其是对于一些刚刚起步的中小直播平台。对于内容审核，一些平台还是采用人肉审核的方法，雇佣大量的直播审核员，来从...
2018-04-12 15:58:27
1974
转载 使用云效在阿里云上进行一站式开发运维
导读作为一站式企业协同研发云，云效提供从“需求->开发->测试->发布->运维->运营”端到端的协同服务和研发工具支撑。同时云效与其它常用的云产品紧密集成，提供以应用为核心的一站式研发体验。先上一张大图：为什么需要云效来集成各个云产品？重复的概念目前阿里云提供了大量的优秀的云产品，比如ECS，SLB，云监控，日志服务，帮助用户进行线上服务的部署，运维，监控，告警。但实...
2018-04-12 15:29:19
578
转载 实战：阿里巴巴 DevOps 转型后的运维平台建设
导读：阿里巴巴DevOps转型之后，运维平台是如何建设的？阿里巴巴高级技术专家陈喻结合运维自身的理解，业务场景的分析和业界方法论的一些思考，得出来一些最佳实践分享给大家。前言“我是这个应用的 Owner”是阿里巴巴DevOps转型的重要策略，运维有了这个策略以后，PE大量的日常工作就可以释放出来，会有更多的时间去思考沉淀，去做编码，去做以前不曾做的事情。运维的三个阶段第一阶段：黑屏，三角形是代表整...
2018-04-12 15:07:24
396
转载 佛系程序员的月薪五万指南
摘要： 大师：很简单，我这里有一份佛系月薪 5 万指南，我看你骨骼清奇、脑门光亮，一看就是将要大富大贵之人，这份指南可以助你快速实现小目标！程序员问大师……青年：大师，你看咪蒙的助理都月薪 5 万了，我也想月薪 5 万！大师：很简单，我这里有一份佛系月薪 5 万指南，我看你骨骼清奇、脑门光亮，一看就是将要大富大贵之人，这份指南可以助你快速实现小目标！青年：太好了，要多少钱，三年无效能退款么？大师：...
2018-04-12 10:38:48
165
转载 MSSQL · 最佳实践 · 利用文件组实现冷热数据隔离备份方案
摘要在SQL Server备份专题分享中，前四期我们分享了：三种常见的数据库备份、备份策略的制定、如何查找备份链以及数据库的三种恢复模式与备份之间的关系。本次月报我们分享SQL Server如何利用文件组技术来实现数据库冷热数据隔离备份的方案。场景引入假设某公司有一个非常重要的超大的数据库（超过10TB），面临如下场景：该数据库中存储了近10年的用户支付信息（payment），非常重要每年的数...
2018-04-11 14:59:37
198
转载 再谈全局网HBase八大应用场景
摘要： HBase可以说是一个数据库，也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在2.0中，引入了OffHeap降低了延迟，可以满足在线的需求。引入MOB，可以存储10M左右的对象，完全适应了对象存储。另外由于自身的并发能力、存储能力，可以说是具有最为竞争力的引擎HBase概述HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产...
2018-04-11 13:58:48
190
转载 如何避免HBase写入过快引起的各种问题
首先我们简单回顾下整个写入流程client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem整个写入流程从客户端调用API开始，数据会通过protobuf编码成一个请求，通过s...
2018-04-10 15:40:58
364
转载 阿里云MaxCompute被Forrester评为全球云端数据仓库领导者
参考消息网3月19日报道 日前，全球权威调研机构佛瑞斯特研究公司（Forrester）发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了全面评估，最终AWS、阿里云、谷歌、微软四大巨头杀入全球一线阵营。阿里云成为唯一入选的中国科技公司。 Forrester报告被认为是全球各大公司CIO选择服务商的指导手册，在行业内极具权威性。云端的大数据服...
2018-04-10 15:15:49
216
转载 为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能
众所周知，数据开发和分析的同学每天都要花大量时间写MaxCompute SQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代码提示，更快速的响应，帮助大家提升开发效率； 首先show几张美图：看起来如何?是不是很像本地编辑器，...
2018-04-10 14:27:08
138
转载 在阿里，我们如何管理代码分支？
摘要： 阿里有很多的研发团队，不同事业部使用的发布流程、分支策略并非整齐划一，但总体上看是比较规整的。其中有一种主流的发布模式以及对应的分支使用方式，称为“AoneFlow”。这套工作模式思路独特，在阿里以外的地方并不多见。本文围绕这些实践，聊一聊分支管理的话题。引言在阿里内部，流行着许多有意思的工程实践。有些实践通过工具和流程嵌在集团的大环境里，外界不容易复制，有些实践则是流露在大家的日常习惯里...
2018-04-10 14:04:44
115
转载 QuickBI助你成为分析师-数据建模（二）
在数据集编辑界面可以进行数据建模来更好的展示数据，创建数据集默认将数值类型字段作为度量，日期、字符串等类型作为维度，度量可以根据维度分组展示。下面来介绍一下常见功能：维度编辑：如下图为维度编辑功能：1.编辑： 修改维度显示名以及备注信息2.克隆维度：快速复制一个维度，生成的维度将会自动带上副本以做提示3.删除：删除该字段4.新建计算字段（维度）：可新创建一个维度字段，并且可自定义其计算方式5.移动...
2018-04-09 16:01:12
247
转载 QuickBI助你成为分析师-数据建模（一）
摘要： 创建数据集是报表分析的基础，合理建模可以达到事半功倍的效果哦！产品核心流程第二步为创建数据集，进行数据建模，如果说数据是海，那么创建数据集并合理建模就是划船的浆，有了浆才能在数据的海洋里畅游。目前创建数据集有两种方式：（1）数据表直接创建数据集 （2）通过自定义sql创建数据集，以实现初步建模。创建数据集：（1）直接新建数据集：如下图，在数据源列表页，找到目标表，点击创建数据集按钮并选择存...
2018-04-09 15:57:25
227
转载 CDN高级技术专家周哲：深度剖析短视频分发过程中的用户体验优化技术点
深圳云栖大会已经圆满落幕，在3月29日飞天技术汇-弹性计算、网络和CDN专场中，阿里云CDN高级技术专家周哲为我们带来了《海量短视频极速分发》的主题分享，带领我们从视频内容采集、上传、存储和分发的角度介绍整体方案，并且重点讲解短视频加速的注意事项和用户体验优化要点。讲解从三个部分展开：短视频应用场景、阿里云短视频解决方案、阿里云对短视频用户体验的相关优化。短视频应用场景短视频比图片和文字包含更多的...
2018-04-09 15:40:18
194
转载 《CDN 之我见》原理篇——CDN的由来与调度
CDN是将源站内容分发至全国所有的节点，从而缩短用户查看对象的延迟，提高用户访问网站的响应速度与网站的可用性的技术。它能够有效解决网络带宽小、用户访问量大、网点分布不均等问题。为了让大家更全面的了解CDN的原理、调度、缓存和安全等关键技术点，阿里云高级技术专家白金将自己从事 CDN 相关领域工作 8 年来的一些经验、收获和个人认知撰写成《CDN之我见》系列文章，分享给大家。《CDN 之我见》共分成...
2018-04-08 17:16:03
353
转载 深圳云栖 | 数字化转型专家，阿里云助力商业转型升级，共建新零售服务市场
新零售，近年来已成为行业热点，关于“什么是新零售”、“怎么做新零售”，更是成为大家热议的话题与关注的焦点。作为新零售概念的践行者，阿里云在本次深圳云栖上，分享了如下观点：一、洞察行业趋势、新零售创新理念践行新零售是技术发展、消费升级与行业内驱的必然要求，新零售的发展目标是通过线上线下的商业融合，以数据驱动商业模式的转型升级，为消费者提供极致的用户体验。阿里云新零售在新零售大潮中的使命是作为数字化转...
2018-04-08 17:09:24
355
转载 省钱小贴士（ECS）：教你如何每年省出8w+ 块
随着用户越来越多地使用阿里云的ECS服务，如何用最小的成本来保有ECS，成为用户越来越重要的关注点。变更点为了更好的服务客户，ECS团队调整了系统盘的最小容量限制linux系统core os调整为30G起步其余linux系统容量调整为20G起步freebsd系统调整为20G起步windows系统依然保持40G起步适用场景目前新的系统盘限制只适用新购的ECS实例，已经保有的系统盘大于20G 的实例目...
2018-04-08 14:24:39
165
转载 ESS控制台发布新功能：创建多实例规格的伸缩配置
背景原弹性伸缩ESS服务限定，生效的伸缩配置中只能对应一种实例规格，这样就会存在如果生效的配置中的实例规格的库存不足（高配实例规格通常更容易出现库存不足的情况）时， 用户配置好的伸缩规则以及伸缩组对应的报警任务或者定时任务都会失效。尤其是大客户在业务高峰时，需要争分夺秒的弹出高规格实例来应对业务流量时，该问题的影响便更加突出。适用场景对伸缩组弹出的实例只关注性能，而不限定于某一种特定规格业务流量较...
2018-04-08 14:21:49
170
转载 阿里云全球首次互联网8K直播背后的技术解读
3月28日，云栖大会·深圳峰会现场，阿里云发布并现场演示了阿里视频云最新8K互联网直播解决方案。这是全球发布的首个8K视频云解决方案，也是全球首次8K互联网视频直播。视频地址：https://v.qq.com/x/page/v0618atp7nr.html舞台的屏幕上显示了从1300公里以外的阿里巴巴杭州园区传输回来的直播图像视频。现场观众清晰地看到了景泰蓝淘公仔的精致画面。海外的小伙伴也忍不住手...
2018-04-08 14:18:54
183
转载 深圳云栖大会人工智能专场：探索视频+AI，玩转智能视频应用
摘要： 在人工智能时代，AI技术是如何在各行业和领域真正的发挥应用和商业价值，带来产业变革才是关键。在3月28日深圳云栖大会的人工智能专场中，阿里云视频服务技术专家邹娟将带领大家探索熟悉的视频场景中，AI技术如何应用落地，解决实际业务场景中的问题。众所周知，全民视频时代已经来临，用户的注意力已经从传统的文字、图片向视频转移，相信绝大部分用户的手机中都会有几个点播、直播、短视频的APP。据网络公开数...
2018-04-03 17:17:04
172
转载 深圳云栖大会人工智能专场：探索视频+AI，玩转智能视频应用
摘要： 在人工智能时代，AI技术是如何在各行业和领域真正的发挥应用和商业价值，带来产业变革才是关键。在3月28日深圳云栖大会的人工智能专场中，阿里云视频服务技术专家邹娟将带领大家探索熟悉的视频场景中，AI技术如何应用落地，解决实际业务场景中的问题。众所周知，全民视频时代已经来临，用户的注意力已经从传统的文字、图片向视频转移，相信绝大部分用户的手机中都会有几个点播、直播、短视频的APP。据网络公开数...
2018-04-03 17:12:53
257
转载 CDN高级技术专家周哲：深度剖析短视频分发过程中的用户体验优化技术点
深圳云栖大会已经圆满落幕，在3月29日飞天技术汇-弹性计算、网络和CDN专场中，阿里云CDN高级技术专家周哲为我们带来了《海量短视频极速分发》的主题分享，带领我们从视频内容采集、上传、存储和分发的角度介绍整体方案，并且重点讲解短视频加速的注意事项和用户体验优化要点。讲解从三个部分展开：短视频应用场景、阿里云短视频解决方案、阿里云对短视频用户体验的相关优化。短视频应用场景短视频比图片和文字包含更多的...
2018-04-03 17:09:41
107
转载 阿里云容器服务区块链解决方案全新升级 支持Hyperledger Fabric v1.1
摘要： 全球开源区块链领域影响最为广泛的Hyperledger Fabric日前宣布了1.1版本的正式发布，带来了一系列丰富的新功能以及在安全性、性能与扩展性等方面的显著提升。阿里云容器服务区块链解决方案第一时间同步升级，在v1.1新功能的基础上，提供了弹性裸金属服务器（神龙）、内置容器化Explorer、集成阿里云日志服务等方面的增强。作为全球开源区块链领域影响最为广泛的项目之一，超级账本近日宣...
2018-04-03 17:06:08
665
转载 阿里云Quick BI——让人人都成为分析师
在3月29日深圳云栖大会的数据分析与可视化专场中，阿里云产品专家潘炎峰（陌停）对大数据智能分析产品 Quick BI 进行了深入的剖析。大会现场的精彩分享也赢得观众们的一直认可和热烈的反响。Quick BI诞生于阿里巴巴集团自身对数据分析的需求过程。从自研报表，到自研BI可视化，再到现在所使用的智能Quick BI，集团经历了多年的探索。从当初重度依赖专业的数据分析人才，到现在赋予一线业务人员智能...
2018-04-03 17:02:54
174
转载 Quick BI助力云上大数据分析---深圳云栖大会
在3月29日深圳云栖大会的数据分析与可视化专场中，阿里云产品专家陌停对大数据智能分析产品 Quick BI 进行了深入的剖析。大会现场的精彩分享也赢得观众们的一直认可和热烈的反响。大数据分析之路的挑战与期望阿里巴巴作为一家大数据公司，整个集团，从上到下都在践行数字化运营。传统的大数据分析之路，正面临着临时需求多、需求响应时间长、本地化现象严重、专业人才紧缺等挑战，急需构建一个面向业务人员的自助式大...
2018-04-03 16:55:14
104
转载 云无边界，阿里云混合云数据同步发布
针对不同数据库间数据实时同步难的问题，日前，阿里云宣布推出混合云数据同步一站式解决方案，便于广大云产品用户实现实时数据同步的混合云支持，更为方便的是，该功能让本地Oracle也能实现与云上数据库的实时同步。目前，很多用户有云下或其他厂商的Oracle、MySQL到阿里云RDS或ECS自建数据库间的数据实时同步需求。DTS混合云数据同步功能，适用于多种用户应用场景，包括：1、业务灰度切换业务系统比较...
2018-04-02 15:53:41
609
转载 一张图看懂阿里云解析PrivateZone
近日，阿里云宣布云解析PrivateZone正式对外公测，该产品是基于阿里云专有网络VPC（Virtual Private Cloud）环境的私有域名解析和管理服务，使用户在自定义的一个或多个专有网络VPC中快速构建DNS系统，将私有域名映射到IP地址。通过PrivateZone，用户可以方便地使用私有域名记录来管理VPC中的ECS主机名、SLB、OSS等阿里云资源，而这些私有域名在VPC之外将无...
2018-04-02 15:51:16
325
转载 一张图看懂混合云数据同步一站式解决方案
针对不同数据库间数据实时同步难的问题，日前，阿里云宣布推出混合云数据同步一站式解决方案，便于广大云产品用户实现实时数据同步的混合云支持，更为方便的是，该功能让本地Oracle也能实现与云上数据库的实时同步。通过一张图来了解一下原文链接...
2018-04-02 15:48:30
128
转载 MaxCompute访问TableStore(OTS) 数据（20170601更新）
摘要： MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。免费开通大数据服务：https://www.aliyun.com/product/odps0. 前言MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。而MaxCompute SQL作为分布式数据处理的主要入口，为快速方便处理/存储EB级别的离线数据提供了...
2018-04-02 15:45:41
287
转载 MaxComputeSql性能调优
部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决、也影响了用户正常业务。 合并整理部分性能提升方法方便支持用户查询和优化Sql，提高效率；部分需要原来手动调优的如mapjoin、ppd谓词下推注意分区位置等原有的调优设置在不断衍...
2018-04-02 15:14:54
98
转载 异构计算助力客户春节webp图片编码
背景与挑战科技博客 GigaOM 曾报道：YouTube 的视频略缩图采用 WebP 格式后，网页加载速度提升了 10%；谷歌的 Chrome 网上应用商店采用 WebP 格式图片后，每天可以节省几 TB 的带宽，页面平均加载时间大约减少 1/3；Google+ 移动应用采用 WebP 图片格式后，每天节省了 50TB 数据存储空间。但Webp最大的缺点在于压缩算法计算复杂度是JPEG的10倍以上...
2018-03-29 14:55:06
142
转载 全新一代人工智能计算引擎MaxCompute杭州开服，强化阿里云大数据能力，比肩谷歌微软
摘要： 3月22日，阿里云将正式开服售卖华东1（杭州）节点的大数据计算服务MaxCompute，以进一步提升对华东区域客户服务的响应速度，推动杭州大数据、人工智能产业的加速发展。日前，全球权威调研机构Forrester发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了全面评估，最终AWS、阿里云、谷歌、微软四大巨头杀入全球一线阵营。阿里云成...
2018-03-28 18:06:50
386
转载 【实操手册】一篇文章教你快速开始使用视频点播
阿里云视频点播（VoD）是集音视频采集、编辑、上传、自动化转码处理、媒体资源管理、分发加速、视频播放于一体的一站式音视频点播解决方案。用户可以通过阿里云管理控制台进行基本和高级 VoD 配置、操作，还可以通过视频点播开发工具包（SDK）或直接在应用程序中进行 RESTful API 调用执行基本和高级 VOD任务。为了让用户更便捷快速的开通点播服务，本文将介绍视频点播功能、如何开通、初始化设置和控...
2018-03-28 17:59:50
623
转载 QuickBI助你成为分析师——搞定数据源
摘要： QuickBI支持多种数据源连接，添加数据源是数据分析展示的第一步，下面来详细介绍一下产品数据源支持情况！Quick BI是一个基于云计算的灵活的轻量级的自助BI工具服务平台，提供海量数据即时分析 ，拖拽式操作、丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据洞察 。它不仅是业务人员看数据的工具 ，更是数据化运营的助推器，解决大数据应用“最后一公里”的问题，实现“人人都是数据分析师...
2018-03-28 17:45:56
377
转载 QuickBI助你成为分析师——数据源FAQ小结
摘要： 添加数据源的时候经常会遇到各种问题，下面来讲解一下常见情况，若仍有疑问扫码咨询哦！使用 Quick BI 分析数据时，需要先指定原始数据所在的数据源，测试连通数据源是数据分析的基础，下面让我们看一下添加数据源时常遇到的问题吧！MaxCompute注意以下几点：AccessId和AccessKey 必须是有效的对应账号最好是项目admin或者owner若为普通用户，需具有 list、sele...
2018-03-28 16:14:48
169
转载 车纷享：基于阿里云HBase构建车联网平台实践
1. 业务介绍车纷享是国内首家进行汽车共享开发和运营的公司。旗下共享汽车平台采用新能源汽车作为运营工具，以B2C+C2C汽车共享作为商业运营模式，采用车联网技术作为运营管理技术，目前已与国内多个城市建立合作。公司打造会员制的分时自助租赁平台“车纷享”与“众车纷享”，以及纯电动新能源汽车分时租赁平台“彩虹车”，向会员提供以分钟加里程为计费单位的自助租车服务。通过公司自助租车系统，用户可以进行车...
2018-03-28 14:30:49
1154
转载 MaxCompute 中的Code Generation技术简介
前言 在《数据库系统中的Code Generation技术介绍》中，我们简单介绍了一下Code Generation技术及其在大规模OLAP系统，特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code Generation技术来提高计算效率。在MaxCompute2.0中，我们又引入了基于LLVM的JIT(Just In Time) Code Generation技...
2018-03-27 17:56:07
164
转载 MaxCompute Tunnel SDK数据上传利器——BufferedWriter使用指南
MaxCompute 的数据上传接口（Tunnel）定义了数据 block 的概念：一个 block 对应一个 http request，多个 block 的上传可以并发而且是原子的，一次同步请求要么成功要么失败，不会污染其他的 block。这种设计对于服务端来讲十分简洁，但是也把记录状态做 failover 的工作交给了客户端。用户在使用 Tunnel SDK 编程时，需要对 block 这一层...
2018-03-27 17:35:32
500
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人