Linux为何需要为全闪阵列做特殊优化?

这周一参加了在小米公司举办的China Linux Storage and File system workshop会议。该会议主要探讨Linux中的相关存储技术,例如文件系统和RAID等技术,交流的比较多的还是文件系统技术。在这个会议上我代表memblaze做了一个来自产业界的技术交流,主要针对全闪阵列的需求,提出了对Linux中的一些优化需求。应朋友的要求,在此对所做报告作一个简单的介绍,起到一点抛砖引玉的作用。

说到全闪阵列,这是一个革命性的产品和未来的主流发展趋势。我们有理由相信,未来的存储产品的主要一个形态就是全闪阵列。说起全闪阵列不得不提传统的磁盘阵列。传统的磁盘阵列是目前的主要存储产品形态,但是,由于行业需求的变化、新技术的迭代,使得传统磁盘阵列的问题变得日益突出,不能很好的满足应用需求。而全闪阵列恰好可以解决传统磁盘阵列的问题,满足未来数据日益增长和应用日益复杂的需求。

简单列举一下,全闪阵列主要具有如下技术优势:

全闪阵列的技术是十分复杂的。如果将传统磁盘阵列中的磁盘简单替换成闪存盘,那么这种“所谓的全闪阵列”不是一个真正意义上的全闪阵列。这是因为传统磁盘阵列中的软件是面向磁盘进行设计的,包括文件系统和RAID。而面向磁盘设计的软件将会考虑到磁盘本身的一些问题,例如如何避免磁盘抖动,使得存储性能达到更佳?传统磁盘阵列软件中所考虑的很多的问题在闪存上都不存在,而一些闪存中存在的问题却没有在传统的存储软件中进行考虑。因此,如果简单的将传统磁盘替换成闪存盘,那么整个系统将会面临很多的问题,不能使得SSD/闪存的性能达到最佳。所以,一个真正的全闪存阵列将是一个面向SSD/闪存进行优化设计的系统,主要涉及到的一些技术包括:

其中,在全闪存阵列研发的过程中,Linux系统的优化就是一个非常关键和重要的步骤。在学习计算机体系结构的时候,我们都知道存在一个“剪刀差”。这个“剪刀差”就是CPU性能和IO性能之间的差距。随着半导体工艺的不断发展,CPU性能在急剧的提升,但是,IO性能却增长非常的缓慢,从而导致CPU和IO之间的性能差距越来越大。

IO性能的瓶颈在于磁盘。主要是由于磁盘是一种机械部件,所以,性能很难得到大幅度提升。非易失性半导体存储器件的出现使得这种现象得到了好转。特别是闪存技术的发展,使得后端存储不再是一个瓶颈点。整体性能的瓶颈已经从IO转向了CPU和前端网络,这是一个非常重大的变化。真因为这个变化,使得我们在研发全闪阵列的时候,需要更多的考虑CPU和前端网络的性能瓶颈优化问题。

另一个问题是操作系统。在传统存储系统中,操作系统根本不是一个问题。传统存储主要考虑是如何优化IO的顺序,使得磁盘的抖动达到最低,从而提升IO性能。并且在传统存储中,主要优化的都是带宽和IOPS,对于Latency是很难做到低延迟的。在闪存存储中,操作系统的优化变得非常关键,由于闪存存储不仅优化带宽和IOPS,而且需要优化延迟。因此,Linux操作系统中的很多部分都需要进行特殊优化,从而降低延迟抖动。

全闪存阵列技术的发展将会对Linux操作系统本身做出重大调整和优化,特别在低延迟IO技术方面。无论是从技术挑战,还是技术价值来看,对于研发来说,这都是一件非常有意义的事情。在这次的Linux存储技术会议上,memblaze还在现场进行了一次招聘。

未来的社会依赖大数据;存储系统是数据的家;闪存是构建未来存储系统的砖。整个产业链已经联动起来,包括硬件、存储软件以及OS,紧密围绕在闪存存储的周围,一同构造明天的“数据”家园。

时间: 2024-08-09 01:07:31

Linux为何需要为全闪阵列做特殊优化?的相关文章

全闪阵列GSa保障大型多元化集团5到10年的业务发展

项目背景:浙江宝盛投资股份有限公司是一家多元化经营的大型企业,业务遍及建筑业.酒店旅游业.房地产业.有色金属矿产业,随着规模的扩大,员工数量已高达11000多人.面临的挑战:1.集团信息中心的虚拟机环境扩展的压力逐渐加大2.先前存储系统无法满足前端虚机的迅猛增长3.4G FC的链路也无法支持新增数据的传输.4. 鉴于之前的存储系统使用了长达7年之久,用户特别要求新的产品具备很高的可用性,保证集团业务的长期运行.Infortrend优势:1.全闪存阵列IOPS性能强劲.2.主机通道种类多高性能.3

FC比FCoE更能发挥全闪存阵列性能

博科的一项研究称全闪存阵列使用FC能够提供比FCoE更高的效率.FCoE做全闪存阵列的接口是为了能够使得运行FC的全闪存阵列能够方便的与以太网想结合.但是博科资助的 Evaluator Group的研究员做了一个实验,实验内容主要是研究全闪存阵列与刀片服务器相连时,16Gb/s 的FC和FCoE在带宽.延迟等指标上的差异.他们的研究结果如下: 单个的16Gb/s FC比两个10G以太网连接的效率要搞. 在SAN工作负载占用资源超过80%时,FC能够提供2倍到10倍于FCoE的速度性能 比起FCo

中国闪存论坛演讲报告——全闪存阵列技术

今年10月份的时候参加中国闪存论坛,并有幸通过分论坛演讲的形式和很多朋友一起分享了闪存存储技术.最近一段时间一直在从事闪存存储系统方面的研发,从产品.市场.应用和技术的角度对闪存存储进行过深入的思考,思考之后越发觉得存储的未来在于闪存或者严格意义上说在于半导体介质.这种新型介质的引入,对存储系统的研发.应用都产生了革命性的变化.传统存储技术不能直接满足新介质的需求:新介质的引入对存储技术提出了很多新的技术需求.所以,当下的这几年是闪存存储技术变革的几年,通过变革年代的技术积累.产品开发.应用,将

2014全闪存阵列市场第一花落谁家?

传统存储市场由于经过多年竞争,市场格局早已走向稳定,而在以全闪存阵列为代表的新兴存储细分领域中,则呈现出一派繁荣景象,参与市场竞争者之多.创新产品之丰富远超传统存储市场.就连市场份额第一的宝座也在最近几年中多次易主,ViolinMemory.IBM等公司轮番坐庄,并没有出现绝对的王者.临近年底之际,2014年全闪存阵列市场第一的宝座再次引起业界的关注.EMC公司率先透露其过去三个季度的全闪存阵列业务营收情况,在EMC看来,2014年全闪存阵列市场第一的宝座已经非他莫属. 2014:市场竞争激烈

Memblaze明年进军全闪存阵列市场

大数据在线报道:近日,在国内一场闪存应用小型沙龙活动中,Memblaze联合创始人.总经理殷雪冰透露公司将于明年年底正式推出其全闪存阵列产品,此举意味着Memblaze即将涉足竞争激烈的全闪存阵列市场.Memblaze为国内一家专注在PCI-E闪存卡的初创企业,近年来已经获得多轮投资,在今年八月完成的最新一轮融资中,贝塔斯曼亚洲投资基金.中兴合创.鼎兴基金.英菲尼迪等投资机构共投资2000万美元,其PCI-E闪存产品已经获得了包括百度.阿里.腾讯等大型互联网公司的青睐与使用. 根据殷雪冰透露,M

IBM全闪存阵列--FlashSystem(Data Protection)

一.Flash Technology 上一篇文章<IBM全闪存阵列--FlashSystem(1)>提过要了解plane,chip是什么意思,去看下这篇文章-http://www.cnblogs.com/heiyue/p/3436349.html.这里我再贴出来科普下. 上图是一个8Gb 50nm的SLC颗粒内部架构,每个page有33,792个存储单元,每个存储单元代表1bit(SLC),所以每个page容量为4096Byte + 128Byte(SA区).每个Block由64个page组成

全闪存阵列为大数据优化

为了更好地支持大数据应用,富士通推出了针对大数据进行优化的全闪存阵列和大数据一体机,在保证整个系统高性能和高可靠的前提下,进一步提升了数据处理和分析的效率. 大数据是继云计算之后又一项将改变传统商业模式和IT应用方式的重要变革.从存储的角度看,富士通正逐渐将产品的重点向大数据倾斜,近日推出了最新的全闪存阵列ETERNUS DX200F和面向大数据的一体机MHA. 全闪存阵列ETERNUS DX200F是一款面向中小企业用户的入门级存储产品.虽然是一款入门级的产品,但是ETERNUS DX200F

IBM全闪存阵列--FlashSystem(1)

上个月参加了上海这边存储微信群线下交流,来自HP的产品经理辉哥给大家介绍了HP的存储产品,会议主要围绕全闪存阵列.(PS,这里不得不佩服辉哥的表达能力以及知识圈,对各家产品的优劣势是如数家珍)."闪存阵列"这个词对于我还是有点陌生,我对它的第一印象是"分层存储".这不回来之后恶补下,不然跟不上时代了. ================================================================= IBM在2012年收购企业级闪存厂

EonStor GSa 2024 全闪存阵列获得国际权威媒体的五星级认可

EonStor GSa 2024 全闪存阵列获得国际专业IT杂志的五星好评,斩获编辑选择大奖. 这家媒体的资深存储专家对EonStor GSa 2024 全闪存阵列给出了这样的评语:"EonStor GSa 2024RC 功能齐全,不仅提供丰富多样的数据存储服务,更具备优异的全闪存存储性能.巨大的存储空间扩展能力,以及多种规格的数据传输端口."GSa 2024为统一存储,具备双冗余控制器 (dual-redundant controllers) ,以及 24 个热插拔 (hot-swa