云上跑容器,如何降低存储成本

PX-Autopilot: 自动化的存储容量管理,节省一半的云存储成本

不少客户都在使用K8S来管理容器,并且通过Portworx来管理容器存储。虽然云原生的方式让我们获得了更大的自动化和灵活度,许多客户在容器下层的基础架构层的扩展性方面,仍然有一定的局限。K8S和Portworx能够自动化部署容器应用,但是这些应用所基于的基础架构还无法通过自动化的方式进行扩展。DevOps团队还经常被要求去做基础架构投资成本收益的财务分析,并增加财务管理手段来降低成本和让成本更具备可预测性。当基础架构被转移到公有云后,成本管理就成为更加重要的方面,不少用户在公有云上的成本甚至高于他们原有的本地部署架构的成本。Portworx新发布的PX-Autopilot能够对存储基础架构进行更加有效的运营管理,并且降低一半的存储成本。

PX-Autopilot: 自动化的存储容量管理

PX-Autopilot让客户能够自动化的扩展存储,不仅是扩展某个容器化应用所属的存储(通过PVC的扩容),还可以对基础架构层的存储池进行扩容。Portworx2.3.1最新版本中,已经包含了PX-Autopilot。通过PX-Autopilot,客户能够更加方便的构建企业级自服务K8S应用和数据管理能力,不论是在本地部署,私有云,还是公有云中

我们的目的是帮助客户:

  • 大幅简化为容器应用做存储扩容的操作
  • 在不需要停机的情况下,更有效的管理云计算IaaS的存储层

通过PX-Autopilot的PVC resize功能,用户能够在他们的存储空间即将到达限度之前,自动的扩展PVC。PX-Autopilot可以利用现有的监控解决方案,比如Prometheus,来监控集群中的数据,并且监测高用量资源。

当监测发现资源用量达到阈值后,PX-Autopilot自动通过K8S,以及事先制定的扩容规则,来对PVC进行扩容。

这些规则的定义和部署都非常的灵活和简单。通过在K8S集群的一个或多个NameSpace上加标签即可实现。当这些集群扩容的时候,由于基础架构层本身的限制,会存在一个短时间内PVC无法被调整。Autopilot可以利用公有云的灵活性来扩大基础架构层的存储池容量。

用户只需要在StorageCluster spec中提供一个minSize,以及一个可选的maxSize, Autopilot就会自动化的按照需要扩展存储池容量。

目前这样的功能已经支持Microsoft Azure和vSphere。Amazon EBS和Google Persistent Disk也即将支持。

通过PX-Autopilot节省云成本

除了能帮用户节省操作存储集群扩容的近20个小时工作量,PX-Autopilot通过自动化的存储容量调整,可以帮助客户节省大量的存储成本。

K8S帮助我们完成了自动化的容器应用部署,但我们还需要对底层基础架构层进行自动化调整,来保证容器应用有足够的计算和存储资源。

虽然公有云提供的是按使用量付费的方式,但是实际上客户必须手动的管理存储扩容来应对数据增长,通常会部署超出正常需要2~3倍的块存储。这意味着客户不得不对没有使用的存储去付费。PX-Autopilot可以通过按实际用量自动化扩展存储容量的方式,帮助客户减少一半的存储成本。

很大一部分客户已经体会到了使用PX-Autopilot来扩充公有云存储的益处。Portworx是一个软件定义的存储层,通过Portworx,用户不在需要过度部署存储,而只是需要在应用数据增长需要额外存储的时,自动化的对存储进行扩容。

我们来看一个例子。如果您是在AWS公有云中运行一个云原生的应用。这个应用需要10,000 IOPS,gp2-volume的SSD存储。有10个类似这样的应用,每个卷需要1TB的存储容量。

没有Portworx的话,你需要部署10个3.33TB的EBS卷,来达到所要求的IOPS (EBS提供每GB存储3 IOPS,所以提供每卷10,000 IOPS需要每卷3.33TB,虽然一共我们只需要每卷1TB)。在使用Portworx的情况下,我们可以先从10个1TB每卷的最小存储量开始。PX-Autopilot后续会根据数据量的增长,自动化的来扩容存储,这样可以在一年里节省54%的存储成本。这样的成本节约还没有考虑如果达到最大存储容量附加限制后,额外的计算资源的增加,以及其它与K8S部署有关的软件成本。

Portworx还可以帮助客户,根据自身应用实际使用状况,在需要情况下把卷指向更低类型的存储,或者通过快照把存档指向S3兼容类型的存储。从而进一步降低云存储成本。

在以上的例子中,如果你需要使用st1-hdd作为第二层,并通过Portworx来调度应用,并希望降低50%的存储,则会实际上降低64%的存储。类似的,不再使用公有云中收费的存储快照功能,而通过Portworx使用本地快照,或者把快照指向S3,如果把1/3的数据通过S3快照来实现,而不是使用EBS快照,则会有62%的成本降低。

我们将会很快把自动化工作流的功能加入到PX-Autopilot中。下面的表格是更详细的成本节省的分析。

Pivotal是这样评价PX-Autopilot的:

更多的客户把关键应用向Pivotal Container Service (PKS)转移,对我们来说,保持生态随着客户需求的发展,持续性进化是非常重要的。我们非常高兴的看到PX-Autopilot帮助PKS的客户有效的进行存储扩容,并且无停机时间。

— Angus MacDonald, General Manager, Global Alliances at Pivotal

PX-Autopilot还将持续更新,它将真正实现云原生存储的自动化,以及SLA下的多租户平台。

原文地址:https://blog.51cto.com/14572152/2468987

时间: 2024-10-03 06:13:14

云上跑容器,如何降低存储成本的相关文章

普元云计算-阿里云上的容器技术实践详解

转载本文需注明出处:EAII企业架构创新研究院,违者必究.如需加入微信群参与微课堂.架构设计与讨论直播请直接回复公众号:"EAII企业架构创新研究院".(微信号:eaworld)   导读:本文以"实践过程中问题与思考"为主体,与大家分享其中的过程和经验,希望大家在后续的工作中能够避免相关问题,形成更佳实践. 为什么选择阿里云 现在的公有云如雨后春笋,国外如AWS.Azure.Bluemix,国内如BAT.DaoCloud.goodrain,都可以给大家提供丰富的云

中小企业及创业团队云上监控方法

创业团队往往人少,强调效率,强调速度,所以一般会选择使用公有云来部署业务,基于云的监控是一个难点,本文讨论创业团队云上监控的方法. 要分享这个题目,是因为前几天我有个朋友,刚好就在一个创业团队,他们的业务初步上线,效果比较好,但是有几次业务出现问题,都是收到用户反馈,然后才去排查,从发现到处理完成,时间已经很长了.经过几次折腾,这时候才意识到监控的重要性. 为了快速解决问题,他们使用了商业监控方案,效果不错,用了一周就完成了系统及业务层面比较全面的监控,能做到业务有问题及时短信.邮件报警,然后快

华为云全球首发容器多云和混合云解决方案,实现容器应用轻松跨云

3月22日,在华为中国生态伙伴大会上,华为云全球首发商用级容器多云和混合云解决方案,为用户提供容器集群及云原生应用的跨云管理能力,解决云服务平台供应商锁定和单云场景的低可靠风险,让用户的选择更加灵活,云原生业务更加稳定可靠. 华为云BU PaaS产品部总经理廖振钦现场发布MCP 现场通过模拟网上购物过程中,某云上集群宕机的场景,完整的演示了从用户体验到服务异常检测.后台应用服务自动迁移的完整过程,让用户直观感受到,基于华为多云管理平台(MCP)即可快速实现业务的跨云容灾.现场听众纷纷表示这是在跨

混合云存储网关云上部署版本介绍

摘要: 随着企业信息系统的需求扩展和信息技术的发展进步,很多企业用户的信息系统已经完成了从物理环境到虚拟化环境的转变.云上部署版本的混合云存储网关在目前已实现的虚拟化环境中部署形态的基础上,帮助用户在云上的环境中无需改变现有业务系统中的应用,轻松的对接阿里云上的存储服务. 一.背景随着企业信息系统的需求扩展和信息技术的发展进步,很多企业用户的信息系统已经完成了从物理环境到虚拟化环境的转变.而现在,越来越多的企业用户已经开始了业务向云环境的迁移.如何在不淘汰现有架构的前提下,顺利实现业务转型成了很

云计算之路-阿里云上-容器难容:自建docker swarm集群遭遇无法解决的问题

我们从今年6月开始在生产环境进行 docker 容器化部署,将已经迁移至 ASP.NET Core 的站点部署到 docker swarm 集群上.开始我们选用的阿里云容器服务,但是在使用过程中我们遭遇了恐怖的路由服务(acsrouting)路由错乱问题 —— 请求被随机路由到集群中的任一容器,虽然后来阿里云修复了这个问题,但我们对容器服务失去了信心,走上了用阿里云服务器自建 docker swarm 集群的道路. 用上自建 docker swarm 集群之后,本以为可以在云上容器中过上安稳的日

云计算之路-阿里云上-容器难容:容器服务故障以及自建 docker swarm 集群故障

3月21日,由于使用阿里云服务器自建 docker swarm 集群的不稳定,我们将自建 docker swarm 集群上的所有应用切换阿里云容器服务 swarm 版(非swarm mode). 3月22日,我们进行移除与重启节点的操作时引发了故障,详见 云计算之路-阿里云上-容器服务:移除节点引发博问站点短暂故障 . 3月24日,我们参考阿里云容器服务帮助文档-指定多节点调度通过给节点添加用户标签的方式成功移除了部分节点.我们是这么操作的,当时所有节点没有添加用户标签,给待移除节点之外的所有节

【微软公有云系列】(六)存储--基于SMB 3.0的群集(Cluster)共享(上)

接着我们前几篇搭建公有云的文章,我们实现了基本的网络架构和通信,主要解决了租户方面的网络问题,那么这么多租户的虚拟机,存放在哪呢?那么很自然地就涉及到存储的问题,我们如何给租户去提供一个高可用的,且高效的存储方式,那么就有了我们今天的这个Demo, 基于SMB 3.0 做文件共享存储,并且实现CLUSTER的一个高可用性. 环境介绍: 基本我们都沿用前面的Demo环境基础 所有物理机和虚拟机操作系统为Windows Server 2012DataCenter GUI x64版本 所有物理机和虚拟

混合云场景下容器技术在新能源功率预测产品中的最佳实践

能源互联网是物联网和"互联网+"在能源行业深度融合的产物,是中国制造2025的重要组成部分,我们现在还处于能源互联网的早期阶段.绝大部分能源行业的应用都部署在私有局域网内,并且网络结构异常复杂,这是阻碍互联网技术在能源行业落地的最大挑战. 6月28日,金风科技数据平台架构师张利出席了Rancher Labs举办的Container Day 2018容器技术大会,并做了题为<混合云场景下容器技术在新能源功率预测产品中的最佳实践>的演讲. 金风科技是中国成立最早.自主研发能力最

阿里云宣布 Serverless 容器服务 弹性容器实例 ECI 正式商业化

摘要: 阿里云宣布弹性容器实例 ECI(Elastic Container Instance)正式商业化,ECI 是阿里云践行普惠的云计算理念,将 Serverless 和 Container 技术结合,提供的一款敏捷安全的Serverless容器运行服务. 1月2日,阿里云宣布弹性容器实例 ECI(Elastic Container Instance)正式商业化,ECI 是阿里云践行普惠的云计算理念,将 Serverless 和 Container 技术结合,提供的一款敏捷安全的Serverl