MaxCompute存储力持续升级,每年节省不止一个亿

摘要: MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。

数据是开启全新洞察和机器智能创新的基础,拥有高性能、稳定、可扩展性强的存储能力和充沛的计算力,才能全面释放数据价值。

阿里巴巴大数据计算平台MaxCompute,作为阿里巴巴统一的计算平台,支持了整个阿里巴巴集团内部几乎99%的数据存储,数据规模已至EB级。同时,MaxCompute也在为数以万计的云上用户提供快速、完全托管的 GB到EB 级数据仓库解决方案,解决用户海量数据存储与计算问题。所以说,如何提高数据存储效率、稳定性、可用性,是MaxCompute存储团队不断努力的方向。

从MaxCompute整体存储架构来看,存储层处于MaxCompute Tasks和底层盘古分布式文件系统之间,提供统一的逻辑数据模型给各种各样的计算任务(包括SQL,XLib,Graph,PAI等),以保证数据在不同类型的Task之间可以互联互通,同时存储引擎提供逻辑数据模型到DFS的映射、数据编码压缩和文件存储格式、冷热数据分离与文件合并归档等方面的服务。

在本次存储升级中,MaxCompute利用新一代数据压缩算法提供更高压缩率,并且在不同数据集中都有极佳性能,持续提升MaxCompute存储和计算能力,带来存储费用的下降和计算性能的提升。

新压缩算法在10TB TPC-DS测试集下,压缩节省8.38%, 计算节省4.35%。

从资源成本角度看,新压缩算法比原有算法快5.3%。

MaxCompute作为阿里巴巴的“水电煤”,数据规模巨大,数据的压缩率和压缩速度对整个平台的性能和成本都有着巨大的意义。MaxCompute存储团队采用新一代的压缩算法作为底层压缩的替代方案,为大规模数据存储和数据计算带来了巨大收益。

整体存储变化趋势

存储账单变化

经实践,在业务增长量不变的情况下,升级新一代数据压缩算法后,在阿里巴巴集团内部每年可节省存储费用可一个亿。

对于业务跑在MaxCompute上的公共云客户而言,本次存储升级无疑是阿里巴巴技术红利的又一次释放,为企业和开发者们提供具备更高存储效率、稳定性以及可用性的存储服务,降低存储成本的同时进一步提升计算性能。

一次升级,集团内外,每年节省不止一个亿。

接下来,MaxCompute会持续在存储加密、冷热数据分离与文件合并归档、文件格式支持AliOrc以及存储和计算的结合方面持续发力,用先进的技术不断打磨产品,为云上企业释放更多技术红利,帮助企业和开发者抓住更多市场机遇。

原文链接请添加链接描述

本文为云栖社区原创内容,未经允许不得转载。

原文地址:http://blog.51cto.com/13952056/2171743

时间: 2024-10-29 09:08:20

MaxCompute存储力持续升级,每年节省不止一个亿的相关文章

五招让你卖股水平提升不止一个档次

股民学堂:五招让你卖股水平提升不止一个档次 01-30 09:26 来源:同花顺综合 点评 引言: "长期来看,持续地将损失控制在最小范围内的投资者将会获得较好收益.” 一:低于买入价8%-9%坚决止损 要做到这一点对于许多投资者来讲是很困难的,毕竟承认自己犯了错误并不容易.投资最重要的就在于当你犯错误时迅速认识到错误并将损失控制在最小范围,这是亏8%止损的原因.财苑网友研究发现,在关键点位下跌8%-9%的股票未来有较好表现的机会较小,投资者应注意不要只看见少数大跌后又大涨的例子. 长期来看,持

Sql中联合查询中的”子查询返回的值不止一个“的问题

在子查询中,如果想实现如下的功能: select lib,count(*),select sum(newsNo) from Table1 group by lib from Tabel1 T1,Table2 T2 where T1.newsNo =T2.newsNo group by lib 就会提示“子查询返回的值不止一个.”的错误,意思是子查询不能返回多个结果,只能返回一个结果. 因此可以改用如下的方式: select lib,count(*),select sum(newsNo) from

民生银行信用卡中心:构建“科技服务台”,项目管理持续升级

近日,金融市场捷报连连,TechExcel公司凭借产品和服务实力再次直签下中国民生银行信用卡中心,全力打造项目全生命周期管理平台,借助DevSuite项目管理工具为民生银行提供了一套必不可少的信息化工具,构建"科技服务台"为中心,全面提升需求及研发管理效率. 中国民生银行信用卡中心直属中国民生银行总行,总部设在北京,在全国有35家营销中心,员工总数已超过5000人.首张民生信用卡于2005年6月16日在北京人民大礼堂公开发行.通过四年多的发展,民生信用卡发卡量已达到750万张,在产品创

存储MCS-自动升级CPLD版本

#!/bin/python import os import subprocess import time def update_cpld(): file = open('test.txt','a+') node_status = os.popen("mtinq lsservicenodes -delim ,|awk -F \",\" \'{print &7}\' |head -2 |tail -1").read()[:-1] if node_status

5G为何采纳华为力挺的Polar码?一个通信工程师的大实话

Polar码被采纳为5G eMBB场景的控制信道编码,这两天连续被这条消息刷屏,连吃瓜群众都直呼好爽. 然而,随着媒体报道的持续发酵,真相在口口相传中变了形,不乏夸大不实之嫌,小编终于坐不住了,也想吐露点心里话,希望尽可能站在客观的角度,在这个浮躁的世界里发出一点微不足道的声音,一个通信工程师的声音. 事件经过我们再回溯一遍- 2016年11月14日至18日期间,3GPP RAN1 #87会议在美国Reno召开,本次会议其中一项内容是决定5G短码块的信道编码方案,其中,提出了三种短码编码方案:T

腾讯云cos对象存储服务文件上传api就是一个大坑

一.介绍 对象存储服务(Cloud Object Service)是基于腾讯多年海量服务经验,对外提供的可靠.安全.易用的海量存储服务.提供多样化接入方式,以及全国部署的上传加速集群,可以无缝衔接CDN进行加速下载. 二.cos 文件上传api源码 /** * 单个文件上传,适用于小文件 * * @param bucketName * bucket名称 * @param remotePath * 远程文件路径 * @param localPath * 本地文件路径 * @return 服务器端返

php大力力 [042节] 今天做了一个删除功能

if(isset($_GET['action'])){ if($_GET['action']=="del"){ $sql = "delete from tbl_media where MadiaName = '{$_GET['MadiaName']}'"; $result = mysql_query($sql); if($result && mysql_affected_rows()>0){ echo"删除成功<br>&q

函数——返回值不止一个的情况(解一元二次方程)

namespace 一元二次方程函数解决{    class Program    {        static void Main(string[] args)        {            while (true)            {                            Console.WriteLine("请为一元二次方程ax²+bx+c设置相关参数:");            Console.WriteLine("请输入a:&qu

坑,Chromium里threaded parsing导致sub resource loader不止一个路径

void ScriptLoader::handleSourceAttribute(const String& sourceUrl) { if (ignoresLoadRequest() || sourceUrl.isEmpty()) return; bool ScriptLoader::ignoresLoadRequest() const { VLOG(0)<<"ScriptLoader::ignoresLoadRequest m_alreadyStarted="&