重磅 | Dragonfly 晋升成为 CNCF 孵化项目

今天,由云原生计算基金会(CNCF)技术监督委员会投票,Dragonfly 正式晋升为 CNCF 孵化级别的托管项目。

Dragonfly 是一个由阿里巴巴开源的云原生镜像/文件分发系统,主要解决云原生领域以 Kubernetes 为核心的应用镜像分发问题。2018 年 10月?正式进入?CNCF,成为?CNCF 沙箱级别项目(Sandbox Level Project),开始云原生探索之旅,帮助用户改善 Kubernetes 中镜像/文件分发的体验,从而让企业工程师可以专注于应用程序本身而非基础架构管理。

前往 GitHub 了解 Dragonfly 项目详情:https://github.com/alibaba/Dragonfly

阿里巴巴资深技术专家易立认为“作为阿里巴巴生态系统中容器平台的骨干技术之一,Dragonfly 每年支撑了数十亿次应用服务的部署交付,并被全球许多企业客户使用。阿里巴巴期待不断改进 Dragonfly,使其更加高效和易于使用。”

Dragonfly 的目标是解决云原生场景中的分发问题。该项目由三个主要部分组成:SuperNode 扮演中央调度器角色,控制 peer 之间的所有分发过程; dfget 是 P2P 客户端,主要负责 peer 之间分块的互传;dfdaemon 则扮演代理角色,拦截容器引擎的镜像下载请求并重定向到 dfget 中。

“Dragonfly 通过利用 P2P 技术提升镜像和文件分发的效率,同时减轻镜像仓库的网络负载来改善用户体验,” TOC 成员和项目 Sponsor 梁胜博士说。“随着世界各地的组织将工作负载迁移到容器堆栈上,我们预计 Dragonfly 的采用将继续显着增加。”

目前,Dragonfly 与其他 CNCF 项目进行了集成,包括 Prometheus,containerd,Harbor,Kubernetes 和 Helm。项目 Maintainer 来自阿里巴巴,ByteDance,eBay 和美图,项目 Contributor 来自包括网易、京东、沃尔玛、VMware、Shopee、中国移动、Qunar、中兴、七牛、NVidia 等在内的?20 多家公司。

Dragonfly 主要特性

  • 基于 P2P 的文件分发:使用 P2P 技术进行文件传输,Dragonfly 可以充分利用每个 peer 的带宽资源来提高下载效率,节省了大量的 IDC 带宽,尤其是昂贵的跨地区、跨国际带宽;
  • 对各种容器技术的无侵入支持:Dragonfly 可以无缝地支持各种容器来分发镜像,如Docker、containerd 等;
  • 主机级别速度限制:很多下载工具(wget / curl)仅具有当前下载任务的速率限制,但是 Dragonfly 提供整个主机的速率限制;
  • Passive CDN:被动式 CDN 机制可以避免重复的远程下载。

重要里程碑

  • Maintainer 来自 4 个组织的 7 个项目
  • 67 位贡献者
  • 21 个贡献组织
  • 4.6k + GitHub Stars
  • 10万+ Docker Hub 下载量
  • 去年 commit 数量增加 120%

自加入 CNCF Sandbox 以来,Dragonfly 经历了重要的旅程,变得更“云原生”。

  • 为使开发人员更友好并更易于集成到 CNCF 中,Dragonfly 通过 Golang 进行了重构;
  • Dragonfly 积极地与 Kubernetes,Harbor,containerd,Prometheus,Helm 等集成;
  • 在 CNCF 的帮助下,Dragonfly 努力帮助整个行业采用云原生分发。

CNCF CTO / COO Chris Aniszczyk 表示?“随着云原生应用的持续增长,在大规模生产环境中分发容器镜像已成为要解决的重要挑战,我们很高兴 Dragonfly 分享了在阿里巴巴的实践经验,Dragonfly?项目最近在 Golang 中进行了完全改写,取得了长足的进步,我们期待培养更多这样项目和让项目更具多样性”。

最新版本 Dragonfly 1.0.0 已全部用 Golang 重写,以提高与其他云原生技术的易用性。现在,Dragonfly 带来了更加灵活和可扩展的体系结构,更多的云方案以及与 OCI(开放容器计划)的潜在集成,以使镜像分发更加高效。

阿里巴巴高级技术专家、 Dragonfly 项目 Maintainer 孙宏亮表示:“我们很高兴 Dragonfly 成为孵化项目,Maintainer?一直在努力推进项目各个方面的改善,我们期待看到 Dragonfly 的更多可能性。”

Dragonfly 的落地实践

自加入 CNCF 沙箱以来,Dragonfly 在包括电子商务,电信,金融,互联网等在内的各个行业中迅速发展。 用户包括阿里巴巴,中国移动,Shopee,Bilibili,蚂蚁金服,虎牙,滴滴,iFLYTEK 等组织。

中国移动浙江分公司在生产环境中采用 Dragonfly 已有 3 年以上的历史,涉及超过? 1000 台物理计算机。目前在 Dragonfly 上运行 200 多个业务系统和 1,700 多个应用程序模块。

Shopee 是总部位于 Sea Group 下的新加坡电子商务平台。由于将业务范围扩展到马来西亚,泰国,台湾,印度尼西亚,越南和菲律宾,它为客户提供了一种简单,安全和快速的在线购物方式。 Shopee 在生产环境中采用Dragonfly 已有 1 年以上的历史,涉及 10K+ 台物理机器。

国内视频弹幕网站 Bilibili 已在超过 3900 台机器的测试和生产环境中采用了 Dragonfly。来自 Bilibili 的工程师在注册表验证,稳定性等方面与 Dragonfly 社区合作并做出了积极贡献。

阿里云容器镜像服务企业版( ACR EE)是国内领先的云原生应用资产管理平台,支持 Docker/OCI 镜像, Helm Chart 等制品的安全管理及高效分发,被众多行业 Top 企业大规模使用。ACR EE 结合 Dragonfly 的大规模镜像分发能力,保障客户容器业务的快速扩展和极速部署。ACR 团队也结合企业云原生场景和云端环境,和社区共同推动和促进 Dragonfly 持续优化。

未来可期

未来,Dragonfly 将巩固文件/镜像分发,朝着更灵活和可扩展的体系结构方向发展;此外,Dragonfly 社区将深度与 Linux Foundation OCI(开放容器标准)展开合作,建设更高效的镜像分发能力:

  • 基于行业场景,积极探索技术创新:1. 基于机器学习算法,支持更智能 P2P 调度能力,进一步分发效率;2. 加强数据传输过程中的安全性、完整性以及传输效率;3. 基于云原生基础设施,插件化与场景化,灵活适应裸金属、云服务器、IoT等多领域;
  • 协同OCI社区,打造并制定镜像/文件在云原生领域的分发标准,开放“数据分发接口”提供“被集成”能力。

附:CNCF Blog

云原生网络研讨会邀您参加

点击立即预约直播

阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的公众号。”

原文地址:https://blog.51cto.com/13778063/2486287

时间: 2024-11-09 01:20:33

重磅 | Dragonfly 晋升成为 CNCF 孵化项目的相关文章

Falco 进入 CNCF Incubator 项目 | 云原生生态周报 Vol. 35

作者 |?王思宇.陈洁.敖小剑 业界要闻 Falco 进入 CNCF?Incubator 项目 原于?2018 年 8 月进入 sandbox,旨在 Kubernetes 运行时环境下支持配置规则来加强应用安全性.降低风险. Kubernetes v1.17.1 发布 解决部分 cloud provider 和 kubelet 相关问题,比如: kubelet 更新 Pod ready status 失败 kubelet 清理 Pod volumes 发生 panic CFP 2020 K8s

重磅推出:ZCN.NET 自动化项目生成器

2015-12-8 ZCN.NET 自动化项目生成器 AutoProject Studio,核心架构图: ZCN.NET自动化项目生成器(英文名:AutoProject Studio)是一款基于C#.Net Framework 4.0为平台自主研发.专为软件设计.开发.管理的自动化项目(代码)生成器,同时也是一个智能化软件开发平台与超高效率.超低成本的最优解决方案. 该生成器的核心之一是基于数据库元数据为驱动,目前支持SQLServer.SQLAzure.SQLCe.Access.SQLite.

拿下 Gartner 容器产品第一,阿里云打赢云原生关键一战!

作者?| 易立(阿里云容器服务研发总监).伍杏玲 导读:近日,Gartner 发布 2020 年公共云容器报告.据报告显示,阿里云和 AWS 拥有最丰富的产品布局,覆盖 9 项产品能力,并列排名第一.具体详情可查看:<Gartner 容器报告:阿里云与 AWS 并列第一,领先微软.谷歌>. 据 Gartner 分析师评论,阿里云拥有丰富的容器产品形态,在中国市场表现强劲,在 Serverless 容器.服务网格.安全沙箱容器.混合云和边缘等 9 个产品领域具备良好的技术发展策略. 阿里云已连续

始于阿里,回归社区:阿里8个项目进入CNCF云原生全景图

破土而出的生命力,源自理想主义者心底对技术的信念. 云原生技术正席卷全球,云原生基金会在去年KubeCon +CloudNativeCon NA的现场宣布: 其正在孵化的项目已达14个,入驻的厂家或产品已超过300家,并吸引了2.2万开发者参与项目代码贡献,其明星产品Kubenetes 的GitHub 上Authors 和 Issues 量已排行开源领域的第二名. 今年,KubeCon + CloudNativeCon 首次来到中国. 在2018 KubeCon + CloudNativeCon

Argo 项目加入 CNCF 孵化器 | 云原生生态周报 Vol. 45

作者 | 陈洁.高相林.陈有坤.敖小剑 业界要闻 Argo 项目加入 CNCF 孵化器 Argo 项目是一组 Kubernetes 原生工具,用于运行和管理 Kubernetes 上的作业和应用程序.目前由 Argo Workflows,Argo Events,Argo CD 和 Argo Rollouts 四个子项目组成.4 月 8 日,CNCF 技术监督委员会(Technical Oversight Committee,TOC)投票决定接受 Argo 作为孵化级别的托管项目. Argo CD

深度解读阿里巴巴云原生镜像分发系统 Dragonfly

Dragonfly 是一个由阿里巴巴开源的云原生镜像分发系统,主要解决以 Kubernetes 为核心的分布式应用编排系统的镜像分发难题.随着企业数字化大潮的席卷,行业应用纷纷朝微服务架构演进,并通过云化平台优化业务管理.Dragonfly 源于阿里巴巴,从实际落地场景出发,前瞻性地解决了云原生镜像分发的__效率.流控与安全__三大难题. Dragonfly 目前承载了阿里全集团 90%以上的文件下载任务.日分发峰值达到 1 亿次,100%成功支撑双十一营销活动数据抵达数万台机器,github

重磅!阿里巴巴工程师获得 containerd 社区席位,与社区共建云时代容器标准

11 月 29 日,CNCF containerd 社区正式宣布:两位阿里巴巴工程师正式获得 containerd 社区席位,成为 containerd 社区 Reviewer,未来将共同参与云时代容器标准的建设. containerd 是一个工业级别的容器运行时管理引擎,代表的是 Open Containers Initiative(OCI) 标准的最佳实践.同时,containerd 也是 CNCF(云原生计算基金会)的孵化项目,正逐渐发展成 Kubernetes 生态中容器引擎首选.值得一

CNCF官方大使张磊:什么是云原生?

作者|张磊 阿里云容器平台高级技术专家,CNCF 官方大使 编者说: 从 2015 年 Google 牵头成立 CNCF 以来,云原生技术开始进入公众的视线并取得快速的发展,到 2018 年包括 Google.AWS.Azure.Alibaba Cloud 等大型云计算供应商都加入了云原生基金会?CNCF,云原生技术也从原来的应用容器化发展出包括容器.Service Mesh.微服务.不可变基础设施.Serverless.FaaS 等众多技术方向,CFCF 旗下也囊括了越来多的开源项目. Kub

OpenStack网络新项目Dragonflow研究

https://www.ustack.com/blog/openstack-dragonflow/ 本文由2015年5月30日举行的OpenStack Meetup北京上的演讲整理而成,演讲者为UnitedStack网络工程师王为. 在温哥华OpenStack Summit上,Neutron最新的子项目Dragonflow并未被特别提及.事实上,在网络领域,这个由华为以色列技术团队提出的项目在开发者中还是很受关注的.Dragonflow项目提出的时间是在2014年,2015年开始提交代码,目前已