技术和商业的碰撞,谈阿里云与天猫双11这十年

摘要: 2009年,发生了两件看似不起眼的事。 初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。 同年11月11日,淘宝商城启动了一个叫做双11的促销活动。 谁也没想到,多年以后他们会是现在这模样。

2009年,发生了两件看似不起眼的事。

初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。

同年11月11日,淘宝商城启动了一个叫做双11的促销活动。

谁也没想到,多年以后他们会是现在这模样。

前传

2007年淘宝的交易额突破了400亿,技术团队却喜忧参半:现有集中式架构已经捉襟见肘,该如何应对?

随即启动的分布式改造获得巨大成功,淘宝所有的业务都做了模块化。

尽管这次技术升级在现在看来存在诸多局限性:更多的是为了应对不断增多的图片缓存,在CDN端对海量的图片缓存做了一些限流操作。但就是这次改造成就了历史上第一个双11,2009年双11当天的流量达到了一个高峰,在旧的架构体系下,这几乎是一项不可能完成的任务。

一年后,飞天的第一个版本上线,仅有几十台机器的集群开始服务第一个内部客户——阿里金融。

这些探索让所有人看到了一个趋势:用分布式的方法将传统、昂贵的小型机硬件和软件,替换成通用的X86的服务器集群,虚拟化等技术可以让计算能够按量、随时被启动。

流量狂奔:脉冲计算

从计算机诞生到90年代,计算资源都是作为“可计划性”的资源来使用。无论是探索月球,还是研究基因的奥秘,计算资源本身是可规划的。然而,互联网时代的到来,一个爆发性事件,就有可能挑战整个计算资源,不确定性如影随形。

毫无疑问,双11就是这样一个典型场景。

2011双11的流量洪峰给技术团队留下了午夜惊魂般难忘的回忆:系统性技术问题,使大量商家可能出现超卖。

事后,这群国内互联网行业最优秀的技术人开始意识到这已经不仅仅是一场商业促销活动,更是一次技术大考。

次年,天猫与阿里云、万网宣布联合推出聚石塔平台,率先以云计算为“塔基”,为天猫、淘宝平台上的电商及电商服务商提供IT基础设施。

基于阿里云的ECS云服务器、RDS云数据库、SLB负载均衡网络,商家订单源源不断的推送到商家平台上,保障了数据的稳定和延续。这是云计算首次参与双11,并且实现了191亿的交易总额。

飞天的高速成长也给了所有人信心:5年的时间,飞天平台集群规模从1500台到3000台,2013年8月,单集群超越5000台,同时支持多集群跨机房计算……

接下来几年,云计算逐渐成为这场狂欢节中的基石,到2014年,聚石塔上96%的交易使用了阿里云。

2015年开始,双11构建了全球最大的混合云,将公共云和专有云无缝连接。

而这些成果最终成为了全社会的能力:无论是春节在12306抢票,还是在世界杯期间的狂欢,抑或是微博上的明星八卦,脉冲计算的能力在今天已经变成了常态。

数据平台,计算创造价值

2013年前后,“船票论”在互联网圈极为流行。“船票”成为了人们对于一家公司有没有未来的判断依据。至于如何拿到这张船票,彼时都非常模糊。

然而,移动端带来的海量数据却是真实存在的,移动端带来的新需求,也推动了阿里云大数据平台的发展。

鲜为人知的是,2004年,为了从大数据中分析当前状况,并预测未来的趋势,阿里就拥有了第一个大数据仓库,到2008年,淘宝的业务量与数据量已达到2004年的数千倍,为了让数据成为生产资料,从底层重构大数据技术就显得尤为重要。

2010年春,大数据引擎MaxCompute的前身SQL Engine第一版上线,运行在当时30台机器的飞天集群上。

2011年,飞天团队开始探索支撑集团内部数仓业务,在1500台机器上并行运行云梯2的生产作业,并取得了不输于Hadoop的性能和稳定性成绩。

飞天5K项目之后,MaxCompute随之进入5000台机器和跨机房调度时代,并且可以在377秒完成100TB的排序。

通过MaxCompute引擎助力,从2014年双11开始,千人千面成为常态。现在,这一产品已经成为阿里巴巴的主力计算平台:

l阿里巴巴集团99%的数据存储以及95%的计算能力使用MaxCompute;

l每天有超过500万个作业在平台上运行;

l2017年双11,MaxCompute单日数据处理超过320PB。

几年过去,“船票论”烟消云散,然而大数据平台带来的价值已显山露水,通过大数据与人工智能算法的结合,MaxCompute已成为ET大脑最重要的组成部分,ET城市大脑自动指挥城市路口信号灯,并且成功应用于马来西亚的交通治理;ET工业大脑推动工厂取得更好的良品率,致力于帮助制造企业提升1%的良品率。

从数字化阿里到数字化城市,MaxCompute可以承载EB级的数据存储能力,成为全球首个100TB规模Bigbench测试通过的大数据计算平台;在公共云上覆盖国内外的十几个国家和地区,专有云上部署超过100+套。

史上最大规模的人机协同

2017年的双11被认为是人类历史上最大规模的人机协同“超级工程”:技术运维、商品推荐、客服、支付、物流等各个环节都引入机器智能。

数据、计算力、算法是人工智能的三大核心要素。飞天在通用计算服务的基础上,开始探索面向人工智能的异构计算。

2017年9月12日,阿里云宣布推出全新一代异构计算加速平台,在行业内第一次覆盖了包括AMD、NVIDIA的GPU和Intel、XILINX的FPGA在内的所有6款主流异构实例,提供最高可达75TFLOPS的算力。

全新的基础设施让全球最大规模的人机协同成为了可能。双11大量AI和视频转码业务部署在ECS的GPU集群之上,包括视频云的视频智能处理、阿里小蜜、拍立淘和新零售的智能供应链管理等AI业务都通过阿里云异构计算GPU昊天平台进行加速。

l ● 阿里巴巴数据中心机器人“天巡”每天在机房巡逻,能接替运维人员以往30%的重复性工作。

l ● AI调度官“达灵”将数据中心资源分配率拉升到90%以上。

l ● 人工智能助手‘阿里小蜜’在双11当天承担95%的客服咨询。

l ● 菜鸟智慧货仓机器人单日可发货超过100万件。

l ● AI设计师“鹿班”,在双11期间设计了4.1亿张商品海报。

l ● 阿里机器智能推荐系统双11当天为用户生成超过567亿个专属“货架”,像智能导购员一样,给消费者“亿人亿面”的个性化推荐。

半年后的武汉云栖大会上,阿里云首次和合作伙伴一起展出了AI智能点单设备,在没有任唤醒词的情况下,客户以每秒5个字的速度,向一台机器点单,并频繁更换语句,这台机器对每次对话均作出了精准应答。

现在,这些基础设施以及商业化的产物正服务于各行各业。

飞天2.0支撑2018全社会的双11

如果说最初的技术变革是为了解决平台的流量峰值问题,那么现在新的篇章已经开启,新技术正在引领商业变革。

今年双11期间,阿里云上新增调用的弹性计算能力累计超过1000万核,相当于10座大型数据中心,创造了“脉冲计算”的新纪录。不仅如此,飞天2.0的新能力全面支撑双11:

● 阿里云自研神龙弹性裸金属服务器在核心系统中发挥巨大作用。其基于完全自研的新一代软硬融合的X-Dragon虚拟化架构,兼具物理机和虚拟机优势,解决了高峰值流量下的性能瓶颈。

● 业界首个百万级IOPS的ESSD云盘提供了数十PB的存储规模,应对了史上最大的高并发IO挑战。

● 猫晚网络直播创下带宽峰值记录,阿里云视频云高可靠直播方案完美保障了优酷2500万用户的体验。

● CDN为中国1/3以上的互联网流量提供加速,视频云在海外为Lazada提供直播服务。

● 国内首次大规模IPv6商业应用实践,云、网、端以及应用全面支持IPv6。

● 实时计算Blink处理峰值达到每秒17.18亿条,相当于120万本新华字典的数据量。

● MaxCompute支撑在线流量洪峰12万笔/秒交易,承载45%导购流量。

● 云盾为云上客户提供上千万次风险识别服务,并将DDoS高防技术输出到全球,保障全球业务。

……

在这些技术底座之上,整个系统应对流量洪峰更加从容,当天交易额达到创纪录的2135亿。

当然,IoT的登场则为双11创造了更大的想象空间。

在消费侧,IoT技术服务新零售的同时,正在催生新的追踪经济。消费者可以查看进口商品完整的商品溯源实时信息,确保天猫进口商品安全可溯,远洋运输也实时可见。

在制造侧,助力天猫品牌服装厂商数字化接单、下单和备货,个性化生产、柔性化制造,交期准确率近乎100%;对农业生产、运输、销售进行全链路升级。

从线上到线下,从生产制造到物流配送,从国内到海外,阿里云的技术能力延伸到各行各业。而这只是这些新技术应用的冰山一角,云与AI、IoT的有机融合未来还会产生什么化学反应?我们拭目以待。

结语

从27个品牌参加成交额不过数千万元开始,到现在的千亿级体量,双11已经成为一个未来商业实践的范本,也是新技术的最大试验场,这些新技术逐渐变成全社会的基础能力,撬动一场全球的社会大协作。

原文地址:http://blog.51cto.com/14031893/2315987

时间: 2024-11-05 18:50:46

技术和商业的碰撞,谈阿里云与天猫双11这十年的相关文章

ET城市大脑出海:阿里云发展世界级创新技术业务

在微软CEO萨提亚·纳德拉的新书<刷新:重新发现商业与未来>中,强调微软的核心竞争力在于多样化和包容性(Inclusion).纳德拉说微软的使命是服务于全球市场,微软技术必须反映全球市场的需求,这就包括多样化和囊括多种选择与视角."在创造多样化和包容性业务时,微软将处于最佳状态." 作为到目前为止最成功的全球化软件产品供应商,微软一直是中国软件与技术公司的梦想:成为中国的微软.创造中国自己的世界级软件,这是中国创新一直在追赶但从未能超越的高度.2018年1月29日,马来西亚

新商业云:阿里云智能总裁张建锋首次亮相的信号

2019,将是数字化转型的加速之年,由消费者驱动的商业模式变革,将持续而深入的发生.根据Gartner 2019年首席信息官议程调查,亚太区的数字化业务正从初步试点迈入大规模应用,而通过数字渠道增加客户互动是亚太区数字化转型进入扩展阶段的主要推动因素.Gartner调查显示,47%的亚太地区CIO表示其所在企业已经更改了业务模式或者正在更改过程之中:40%的亚太地区CIO表示,不断变化的消费者需求正在推动其业务模式的转变. 但正如iPhone带来的移动商业变革那样,数字化转型并不意味着简单把PC

阿里云国际化重大进展,中国云全面参与全球技术竞争

2016年的云计算产业还没有收官,阿里云已经马不停蹄地开始布局2017年的市场了.11月21日,阿里云在迪拜宣布其位于欧洲.中东.日本和澳大利亚的数据中心将于月内相继开服.经过了7年发展的阿里云,如今已经成为无可争议的第一大中国公有云服务商,而在国际上也已经与AWS亚马逊云.Azure微软云成为三驾马车. 进入了第8年的阿里云,要拿什么来完成从"1到N"?海外市场将是一个重要的路径.拓展海外市场一直是中国企业家们的心愿,而对于公有云这种本身就是全球化的业务来说,国际化也是一个必须要完成

阿里云自研新一代企业云数据库POLARDB背后的技术

摘要: 从2008年到2018年,阿里巴巴的数据库技术已经发展了10年的时间,10年的时间从AliSQL到RDS,再到自研POLARDB,阿里巴巴数据库技术得到了极大的提升.那么在阿里云自研新一代企业云数据库POLARDB背后有哪些技术呢?本文中,阿里云数据库事业部总经理鸣嵩就为大家进行分享. 从2008年到2018年,阿里巴巴的数据库技术已经发展了10年的时间,10年的时间从AliSQL到RDS,再到自研POLARDB,阿里巴巴数据库技术得到了极大的提升.那么在阿里云自研新一代企业云数据库PO

阿里云姚伟斌发表《场景化的CDN技术》主题演讲

摘要: 在11月14日的2018亚太CDN年度盛典上,阿里云资深技术专家姚伟斌(文景)发表了<场景化的CDN技术>主题演讲,他认为,当下的CDN,需要根据过去CDN的发展历程,更清晰地分析客户不同场景下的不同需求,再通过需求所用到的技术点,来设计出能更好服务客户的CDN产品. 在11月14日的2018亚太CDN年度盛典上,阿里云资深技术专家姚伟斌(文景)发表了<场景化的CDN技术>主题演讲,他认为,当下的CDN,需要根据过去CDN的发展历程,更清晰地分析客户不同场景下的不同需求,再

PouchContainer 容器技术演进助力阿里云原生升级

点击下载<不一样的 双11 技术:阿里巴巴经济体云原生实践> 作者 | 杨育兵(沈陵) 阿里巴巴高级技术专家 我们从 2016 年开始在集团推广全面的镜像化容器化,今年是集团全面镜像化容器化后的第 4 个 双11,PouchContainer 容器技术已经成为集团所有在线应用运行的运行时底座和运维载体,每年 双11 都有超过百万的 PouchContainer 容器同时在线,提供电商和所有相关的在线应用平稳运行的载体,保障大促购物体验的顺滑. 我们通过 PouchContainer 容器运行时

困知,勉行—阿里云服务观

文 / 郭雪梅 虽然道歉无法弥补给大家带来的麻烦,但是,我们可以用更快的访问速度,更好的用户体验,更贴心的体验去弥补,虽然故障的事实无法改变,但我们的努力可以创造更少故障的未来! —杜勇<进步集> 2014年10月15日,北京飞往杭州的飞机上,绝大多数乘客都是中国的一线开发者.他们和我的目标一样,向着同一个地方:杭州转塘,参加2014阿里云开发者大会.安静的路途中,不时能听到关于创业.产品.技术.实践的轻声讨论.我的脑海中盘旋的也是与多位2014阿里云开发者大会的演讲嘉宾沟通时提到的阿里云近期

云栖大会SaaS加速器专场 | 阿里云资深技术专家黄省江:让天下没有难做的SaaS

导语:本文中,阿里云资深技术专家黄省江(花名禅笑)将聚焦“SaaS加速器——让天下没有难做的SaaS”,对伙伴来说,SaaS加速器帮助他们做好SaaS,卖好SaaS:对企业来说,SaaS加速器帮助他们选好SaaS,用好SaaS.同时,也全面展示了SaaS加速器的产品堆栈和最新成果. 上一Part辛总分享了阿里云不敢做SaaS的原因,顺着他的话题我来讲一下我的感受,确实我们是不敢做.不敢做不是因为To B的链条太长,毕竟阿里云现在有To B自有的产品,然后商业以及服务体系里面也建立了自己的一整套班

阿里云升级人工智能战略,用大数据AI备战新七年大考

"拥有了数据的积累,机器将替代人类的智商,我们判断人工智能的时代已经到来."这是阿里云总裁胡晓明在2016年8月10日举办的阿里云栖大会·北京峰会上对外表达的观点,他说:"我们认为人类一定会进入数据时代,我们认为人类一定会进入到人工智能的时代." 2016年,阿里云正在跨越七年之痒.2009年2月,飞天正式写下第一行代码,由此拉开了阿里云的历史.七年后,德意志银行2016年4月的研究报告指出,在中国云计算市场,阿里的云计算业务规模是第二名腾讯的10倍.阿里云进入全球