云计算撑起足球盛宴 阿里云CDN智能调度技术解读

摘要: FIFA世界杯是4年一届的足球盛宴,全球的足球球迷们不管是真球迷还是泛球迷都乐在其中。今年世界杯很大的一个特色就是移动互联网直播,球迷朋友们可以在赛事期间通过手机、PAD、电视大屏来观看看高清比赛直播,特别是今年的优酷世界杯,大部分的用户对直播的清晰度和流畅度表示满意。

FIFA世界杯是4年一届的足球盛宴,全球的足球球迷们不管是真球迷还是泛球迷都乐在其中。今年世界杯很大的一个特色就是移动互联网直播,球迷朋友们可以在赛事期间通过手机、PAD、电视大屏来观看看高清比赛直播,特别是今年的优酷世界杯,大部分的用户对直播的清晰度和流畅度表示满意。

作为史上最大规模的线上直播活动,在每一场球赛开场前后10分钟左右,流量以每分钟上T带宽的速度剧烈攀升、下降,这给直播的分发工作带来了巨大的挑战,这种挑战几倍于双11和春晚。阿里云CDN基于云架构的内容分发平台,多租户共享资源池,那么在世界杯期间,如何保障世界杯直播业务在各个区域有充足的机房带宽资源,又不影响其他业务的服务品质?本文将为您揭晓。

能做到“鱼”和“熊掌”兼得,主要依靠的是阿里云CDN智能调度的新技术,通过专访阿里云CDN高级技术专家仔晟,总结的思路包括如下几点:

第一,智能资源锁
在多租户共享资源池的背景下,世界杯业务量做不到资源独占,然而CDN调度中受到DNS TTL等因素,流量调度是有10分钟左右(有很多具体情况甚至有更长时间)的迟滞效应,那么在世界杯业务量剧烈攀升阶段,如何能驱使其他业务量能快速外切给世界杯业务量,腾挪出足够的带宽资源呢?

本次世界杯直播中,阿里云CDN采用了重点保障业务的智能资源锁功能,本质上是提供了一种针对重点保障业务提供多租户场景下带宽资源高优先级分配的解决方案,在结合大型活动智能预测数据和大型活动实时带宽数据进行独占资源的动态调整,考虑到DNS TTL因素,提前将闲置资源优先分配给重点保障业务。此功能在这次世界杯直播护航过程中,完美解决了世界杯业务带宽突发上巨大流量后所需带宽资源抢占时间过长的问题,为所有的世界杯直播活动提供持续优质稳定的播放服务品质提供了坚实的保障。

综上,智能资源锁功能的优势在于:

确保世界杯突发的涨量空间都在世界杯锁定空间中,保障这部分带宽不被其他业务抢占。
锁定空间根据比赛推进和实时带宽进行智能调整,比如突发上量越剧烈,锁定量预留越多。
第二,相同域名HTTPDNS&DNS混合调度
基于DNS调度还带来另一个问题,正常情况下只能根据A记录条数进行业务带宽平摊,并且一个DNS包能放下的A记录条数是有限的,调度颗粒度比较大,那么基于DNS的调度机制是无法在多个节点间按最优的比例去分摊业务带宽,也就是节点间水位均衡做不到很理想,无法充分使用节点带宽资源。

阿里云CDN是如何解这个难题?
针对客户端,阿里云CDN采用了全体系HTTPDNS按策略智能展开的调度方案,使得世界杯大部分流量能完美执行阿里云CDN的智能调度策略,将调度粒度做到最小,并在分钟级别执行到位。

针对如H5、WEB等无法使用HTTPDNS,只能使用DNS调度的终端,阿里云CDN采用了HTTPDNS与DNS组合调度方案。

如何将HTTPDNS与DNS进行混用,从而提升带宽资源使用率呢?
HTTPDNS调度的流量颗粒度很小,就像液体。DNS调度的流量颗粒度比较大,就像固体。在水杯里装东西,如果是液体,那么空间使用率会很高;如果是固体,由于有缝隙,空间使用率比较低;如果将固体和液体混合填充,就能做到比较大的空间使用率。

第三,智能、实时的资源规划

在本次世界杯直播中,阿里云CDN采用了全局自动化资源规划和实时自动化资源规划相结合的方案,每天基于全局带宽分布预测进行节点资源和带宽资源的科学分配;实跑如果遇到突发带宽,流控程序自动触发实时资源规划,给世界杯业务增加相应的资源保障,确保世界杯直播在突发带宽下能平稳度过流量洪峰,从而保障直播的稳定、流畅。

阿里云在全球拥有1500多个CDN节点、120TB的带宽储备,不但经历过多年天猫双十一的考验,也曾帮助微博、芒果卫视、央视网等平稳度过了春节的流量高峰,可在短时间内弹性扩容上万台云服务器,并提供互联网8K直播、窄带高清等能力。今年优酷直播的64场世界杯比赛,全部由阿里云提供技术保障。通过以上CDN智能调度以及其他的新技术,阿里云CDN能够更加从容、流畅的服务于全球顶级体育赛事,也为今后服务更多客户打下了更坚实的基础。

原文链接请添加链接描述
本文为云栖社区原创内容,未经允许不得转载

原文地址:http://blog.51cto.com/13876536/2147759

时间: 2024-10-24 23:26:30

云计算撑起足球盛宴 阿里云CDN智能调度技术解读的相关文章

阿里云 CDN HTTPS 最佳实践系列——动态证书(一)

背景 了解阿里云 CDN 架构的朋友应该知道,阿里云 CDN 7层的接入组件是 Tengine,我们知道 Tengine 原生是支持 SSL 的,只需要在配置文件中配置证书和私钥即可.在 CDN HTTPS 产品化以前,要开通 HTTPS 的域名需要把证书私钥给我们,我们在 Tengine 静态配置中配置,然后再同步到所有 CDN 边缘节点,显然这种方式在越来越多的域名开通 HTTPS 后,Tengine 静态配置文件会越来越大,难以管理,同时也会导致 Tengine reload 变得很慢,这

阿里云 CDN HTTPS 最佳实践——动态密钥套件(三)

背景 在 ssllabs 中可以测试域名的 SSL 安全等级: 影响这个测试等级的最主要因素就是密钥套件,在接入阿里云 CDN 的所有域名中,绝大多数域名评级都是 A,但是有少数域名为了兼容一些老浏览器或者客户端,需要支持比如 RC4 这样的加密算法,这样就导致评级为 B,但用户体验更重要,这就需要为这些对密钥套件有特殊需求的域名特殊配置密钥套件. 另外,当我们调试 https 时,比如抓包分析数据包时,发现应用数据都是加密的,无法分析 HTTP 协议的问题,但是如果我们有私钥,那就有办法可以通

2018双十一阿里云CDN流量包低至72元/年

2018年双十一阿里云产品优惠活动已经上线了,很多云产品的价格都非常劲爆,除了我们常用的云服务器ECS之外,还有CDN流量包. 本次参与阿里云双十一活动的CDN流量包有2款.10T版和1T版,对于有需求的是个不错的选择,都不贵. 废话不多说了,购买流程: 1.加入拼团(活动规则是加入已满6人团,才能享受最低折扣,本团已经满6人了.注意:别的地方可没有这么高的折扣) 2018双十一阿里云CDN流量包低至72元/年 :http://t.cn/EZBhnoO 2.选择购买"CDN流量包10T版/1T版

护航Lazada双11购物节 阿里云CDN全球化火力全开

摘要: Lazada是东南亚最大B2C平台,业务范围覆盖印度尼西亚.马来西亚.菲律宾.新加坡.泰国和越南六个东南亚国家,覆盖大约6亿消费者.在双11期间,阿里云CDN为Lazada电商内容加速,并且通过独家的直播解决方案,帮助Lazada把双11晚会推送到泰国.马来西亚,和东南亚人一起狂欢双11. 2018年11月12日零点--东南亚最大的电子商务公司Lazada 2018双11购物节正式收官.这是一场超过2000万的消费者在Lazada网站上及APP上浏览和疯狂抢购的盛会. Lazada是东南

阿里云CDN实时日志服务是什么?

阿里云CDN实时日志服务重磅发布!在飞天技术汇第43期,阿里云发布了CDN实时日志服务,直播及回看地址:https://yq.aliyun.com/live/699?source=5176.11533457&userCode=ahxhg8oc&type=copy --日志秒级交付.一站式投递.多维数据分析和定制能力.一键配置,业务决策尽在运筹帷幄之中. 下面,我们来看看什么是实时日志? 在借助CDN访问各种的图片.文字或者视频资源时,CDN会产生大量的日志数据,CDN会实时采集这些日志数据

阿里云CDN接入踩坑记录

最近负责的系统安全要求接入CDN,避免DDOS之类攻击,然后华丽丽踩了两个大坑.回顾问题原因后,发现还是相关人员都对CDN原理不够熟悉.了解导致. 坑一:默认支持的文件上传最大是300M 问题现象: 接入CDN后,连续两个用户反馈视频上传失败.系统对视频最大长度有限制,一开始引导用户确认时长,后来给力的用户居然定位到精超过300M就上传失败. 问题原因: 1.除了接入CDN,系统未进行任何变更,因此很快定位到是接入CDN导致. 2.跟阿里云咨询,确认如下:默认支持的最大文件为300M:可以申请放

阿里云的智能视觉识别生意经,打算这么念

在2017年6月10日举行的云栖大会·上海峰会上,阿里云正式发布了"图像识别"和"人脸识别"两项视觉智能服务.视觉计算是阿里巴巴"NASA"计划的一部分,"NASA"计划聚焦于机器学习.芯片.IoT.操作系统.生物识别等核心技术领域,希望解决10年.20年后的挑战.虽然着眼于解决10年.20年后的挑战,但每新推出一项智能服务,阿里云都有一本自己的生意经. 智能视觉识别的生意经 在针对的目标市场方向,阿里云表示图像识别分为生物识

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

免费开通大数据服务:https://www.aliyun.com/product/odps 转载自xingbao 各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第三篇,今天主要介绍针对在线服务的资源强稳定 一.FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiMaster支持的功能主要有: 1.多租户管理 2.支持FIFO/FAIR调度策略 3.针对在线服务保持资源强稳定(

【LC3开源峰会网络技术系列之二】阿里云开发智能网卡的动机、功能框架和软转发程序

摘要: 摘要 这篇文章介绍了阿里云开发智能网卡的动机.功能框架和软转发程序以及在软转发过程中发现的问题和优化方法. 主讲人陈静 阿里云高级技术专家 主题Zero-copy Optimization for DPDK vhost-user Receiving 分论坛Network & Orchestration 项目背景 在VPC产品部署中虚拟交换Virtual Switch承担着overlay层和underlay层进行网络协议的加解密encap/decap功能在多租户虚拟机或者容器的主机上也需要