阿里云高级总监谈超大规模超高性能分布式快存储系统

摘要: 10月27日下午,2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛,一起探讨新型硬件带来的变化。论坛上,阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。

新型硬件(如NVRAM、RDMA、GPU/TPU等)及其构建的异构复杂环境,与既有硬件环境的巨大差异,导致传统的算法、数据结构甚至是涉及原则和经验法则等难以为继,对计算智能与大数据处理带来新的挑战和机遇。

10月27日下午,2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛,一起探讨新型硬件带来的变化。论坛上,阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。

专家简介:

马涛,阿里云高级总监,在IBM、ORACLE有多年的操作系统以及企业级存储的研发经验,2010年加入阿里巴巴集团淘宝核心系统部,负责淘宝底层操作系统的设计和研发工作。2014年转入阿里云,负责阿里云弹性计算存储相关产品的研发工作。

在报告中,马涛指出面对企业上云实现数字化转型以及新硬件架构层出不穷,现有存储产品已无法满足业务的需求,亟需新一代的超大规模、超高性能分布式快存储(ESSD)提升系统的业务能力,目前ESSD的性能已将单块云盘性能提升到100万IOPS、100微秒延迟、4000MB吞吐量的全新高度。


随后,马涛介绍了ESSD系统的设计和实现,展示了阿里云在软硬一体协同优化方面的探索,基于NVMe SDD和3D Xpoint新一代存储介质,采用了全用户态协议栈,通过用户态Polling模式驱动程序架构如SPDK、DPDK等,让ESSD达到释放数百万IOPS的能力,完成计算机体系结构的全面调优,满足超低延迟、超高性能和超大规模的设计要求。



最后,马涛对块存储的未来发展提出了一些新的思考和方向,包括如何应对数据中心内部的网络问题、如何解决高性能存储的资源隔离和软硬一体化、REDIS的教训、传统块存储产品如何使用、如何和CLOUD NATIVE更好的配合等。

原文地址:http://blog.51cto.com/14031893/2314486

时间: 2024-10-18 00:30:51

阿里云高级总监谈超大规模超高性能分布式快存储系统的相关文章

干货:阿里云高级技术专家李金波:我们该如何做好一个数据仓库?

介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师.8年以上互联网数据仓库经历,对系统架构.数据架构拥有丰富的实战经验,曾经数据魔方.淘宝指数的数据架构设计专家. 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的基础架构.2008年加入阿里进入淘宝数据平台部后,他开始接触分布式计算平台Hadoop. 初始时在Hadoop平台上构建数仓主要解决企业内部数据分析的需求,在2010年公司决定对外开放数据后,开始于201

阿里P8架构师谈:消息中间件介绍、典型使用场景、以及使用原则

阿里P8架构师谈:消息中间件介绍.典型使用场景.以及使用原则大型分布式架构里一定会涉及到消息中间件,今天先谈谈消息中间件. 本文作者 陈睿 优知学院创始人 曾任职阿里巴巴高级软件工程师.百度研发经理.携程定制旅游CTO 常用的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ. 一.kafka1.不完全符合jms规范,注重吞吐量,类似udp 和 tcp 2.一般做大数据吞吐的管道 我们现在的用途就是负责在各个idc之间通信 3.量大对数据不是百

阿里云产品总监何云飞:数据是企业的第一资产,云与企业必须深度融合

摘要: 对于企业而言,除了管理不当,资金链断裂等因素会导致企业面临危机,在互联网时代,数据中心事故同样会导致企业面临灾难性危机且绝大多数不可逆.据IDC统计数据表明,十年间发生过灾难的公司,有55%当时倒闭,剩下的45%中,因为数据丢失,有29%也在两年之内倒闭,生存下来的仅占16%. 对于企业而言,除了管理不当,资金链断裂等因素会导致企业面临危机,在互联网时代,数据中心事故同样会导致企业面临灾难性危机且绝大多数不可逆.据IDC统计数据表明,十年间发生过灾难的公司,有55%当时倒闭,剩下的45%

阿里P8架构师谈:2019的Java程序员要怎么提升?拿30K高薪?

最近去阿里的菜鸟国际做了一次面试交流,发现大公 阿里P8架构师谈:2019的Java程序员要怎么提升?拿30K高薪?司对于面试者的知识结构考核非常严谨,可以作为我们日常工作学习的指导.虽然很多人说面试问到的东西在实际工作中很少用到,甚至有「面试造火箭,工作拧螺丝」的说法.但从面试中,其实可以看得出来现在的公司对于面试者的知识体系要求.如果我们能在工作中就按着这样的要求去不断提升,那么在面试的时候必然也能游刃有余. 具有一到五年开发经验的程序员 需要学习的内容? 技术学到这个阶段,很容易遇到瓶颈,

读<阿里亿级日活网关通道架构演进>有感

读<阿里亿级日活网关通道架构演进>时对优化方法有些概念不理解,特意搜索了一下,拓展自己的思路. 其中的优化: 优化方法中1,2比较常见,3,4我知道的比较少,很感兴趣.就继续追踪下去: 于是去网上搜索了ecdh和session-ticket及slight-ssl,其中slight-ssl是阿里自建的一套的技术. ecdh:ECC算法和DH结合使用,用于密钥磋商,这个密钥交换算法称为ECDH.交换双方可以在不共享任何秘密的情况下协商出一个密钥. session-ticket:在会话ticket复

阿里云大数据总监:计算让城市更智能

摘要: 10月25日,2018中国计算机大会上举办了主题是智慧城市下个十年:智在"数"还是"术"的技术论坛.目前,城市已经具备了丰富多样的大数据积累,成体系的数据管理标准,开放自由的数据流动环境等重要基础,但对于已经同时掌握"数"据和技"术"的玩家,在许多城市和现实环境中,城市大数据管理和处理技术难以得到同步发展. 10月25日,2018中国计算机大会上举办了主题是智慧城市下个十年:智在"数"还是"

HDFS—Hadoop底层分布式文件存储系统

声明:本文档所有内容均在本人的学习和理解上整理,仅供参考,欢迎讨论.不具有权威性,甚至不具有精确性,也会在以后的学习中对不合理之处进行修改. 在上一篇“浅谈Hadoop inFusionInsight—华为大数据解决方案的理解”中,我重点提到了大数据的两个相较于传统数据所不同的特点——数量大和种类多.在Hadoop的底层有个非常重要的部分,我们一般称之为“核心”——分布式文件存储系统,即HDFS.我之前说过,单个服务器的内存和磁盘空间是有上限的,不可能无限支持线性增加.面对海量的大数据,单个服务

分布式 Key-Value 存储系统:Cassandra 入门

Apache Cassandra 是一套开源分布式 Key-Value 存储系统.它最初由 Facebook 开发,用于储存特别大的数据. Cassandra 不是一个数据库,它是一个混合型的非关系的数据库,类似于 Google 的 BigTable.本文主要从以下五个方面来介绍 Cassandra:Cassandra 的数据模型.安装和配制 Cassandra.常用编程语言使用 Cassandra 来存储数据.Cassandra 集群搭建. 在 IBM Bluemix 云平台上开发并部署您的下

从NoSQL到NewSQL,谈交易型分布式数据库建设要点

在上一篇文章<从架构特点到功能缺陷,重新认识分析型分布式数据库>中,我们完成了对不同"分布式数据库"的横向分析,本文Ivan将讲述拆解的第二部分,会结合NoSQL与NewSQL的差异,从纵向来谈谈OLTP场景"分布式数 据库"实现方案的关键技术要点.本文既是前文的延伸,同时也算是分布式数据库专题文章的一个总纲,其中的要点Ivan之后也会单独撰文阐述. 一.NewSQL & NoSQL NewSQL是本专题关注的重点,也是前文中特指的"分