存储可靠性技术之 --RAID

  云计算项目交付时,不可避免的需要考虑存储磁盘采用何种RAID。例如:我们的项目工程师可能会建议大家连接克隆虚拟机系统盘组RAID 10,完整复制虚拟机数据盘

  使用RAID5或者RAID6等,那么RAID到底是什么?我们为什么要采用RAID?如何选取合适的RAID 形式呢?

  1)RAID 概念

  RAID是Redundant Array of Independent Disk 的缩写,独立磁盘冗余阵列。它是一种数据保护技术,它通过把多块独立的硬盘(物理硬盘)按不同方式组合起来

  形成一个硬盘组(逻辑硬盘),提供比单个硬盘更高的存储性能和提供数据冗余。

  2)RAID的优点

  ·提高传输速率

  RAID 通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量。在RAID 中,可以让很多磁盘驱动器同时传输数据,而这些磁盘驱动器在逻辑上又是一个磁盘

  驱动器,所以使用RAID 可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。

  ·提供容错功能

  普通磁盘驱动器无法提供容错功能,RAID 可提供容错功能,RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的,所以它提供更高的安全性。在很多RAID模式中都有

  较为完备的相互校验/恢复的措施,甚至是直接相互的镜像备份,从而明显提高了RAID系统的容错度,提高了系统的稳定冗余性。

  二、RAID 分类

  目前业界公认的标准是 RAID0~RAID5。另外,其他还有6,7,10等。

  本文中只给出几种常用的RAID 级别的简要介绍:

  ·RAID0

  它将数据分成一定的大小,顺序地写到阵列的磁盘里。如下图所示:

  

  理论上讲,一个由N个磁盘组成的RAID0系统,它的读写性能将是单个磁盘读取性能的N倍,且磁盘空间的存储效率最大(100%)。由于总线带宽等多种因素的影响,

  实际的提升速率会低于理论值。但是,大量数据并行传输与串行传输比较,性能必然大幅提高。RAID0有一个明显的缺点:不提供数据冗余保护,一旦数据损坏,

  将无法恢复。RAID0至少需要2块硬盘才能实现。

  ·RAID1

  也称为镜像(mirror),它将数据完全一致的分别写到工作磁盘和镜像磁盘。

  

  RAID1系统的磁盘空间利用率为50%,对数据写入时间会产生影响,但是读的时候没有任何影响。RAID1提供了非常好的数据保护,一旦工作磁盘发生故障,系统自动从

  镜像磁盘读取数据,不会影响用户工作。而且RAID1支持“热替换”,即不断电的情况下对故障磁盘进行更换,更换完毕只要从镜像盘上恢复数据即可。RAID1至少需要2块硬盘才能实现。---偶数块。

  ·RAID5

  采用分布式奇偶校验的独立磁盘结构。数据校验的信息被均匀的分散到阵列的各个磁盘上,阵列的磁盘上既有数据,也有数据校验信息,数据块和对应的校验信息会存储于不同的磁盘上。

  

  校验位即P位是通过同一带区的数据做异或求得的。当一个数据盘损坏时,RAID5系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。RAID5至少需要3块硬盘才能实现。

  ·RAID6

  采用两种奇偶校验的磁盘结构。RAID6在RAID5的基础上,进一步加强了数据保护,实际上是一种扩展RAID5等级。

  RAID6的数据冗余性能相当好。但是由于增加了一个校验,所以写入的效率较RAID5还差。而且控制系统的设计也更为复杂,第二块的校验区也减少了有效存储空间。

  RAID6至少需要4块硬盘才能实现。

  ·RAID10

  是一个RAID0与RAID1的组合体。RAID10的结构非常简单,首先创建2个独立的RAID1,然后将这两个独立的RAID0组成一个RAID0,当往这个逻辑RAID中写入数据时,数据被有序的写入两个RAID1中。

  

  RAID10 以 RAID0 为执行阵列,以RAID1为数据保护阵列。具有与RAID1一样的容错能力,用于容错处理的系统开销与单独的镜像操作基本一样,由于使用RAID0作为执行等级,因此具有较高的I/O宽带。

  RAID10至少需要4块硬盘才能实现。

  使用场景

  ·RAID0使用场景

  RAID0不提供容错能力,但是它的读取性能很高。故RAID0应用对于读取性能要求较高但所存储的数据为非重要数据的场合。

  ·RAID1使用场景

  RAID1提供了非常好的数据保护,一旦工作磁盘发生故障,系统自动从镜像磁盘读取数据,且支持“热替换”,故RAID1应用于对数据保护极为重视的场合。

  ·RAID5及RAID6的使用场景

  RAID5是一种存储性能、数据安全和存储成本兼顾的存储解决方案。RAID5可以为系统提供数据安全保障,但保障程度要比RAID1 低而磁盘空间利用率要比RAID1高。

  RAID6两个独立的奇偶系统使用不同的算法,数据的可靠性比RAID5 高,即使两块磁盘同时失效也不会影响数据的使用。

  故对于数据的保存所需级别要求并不是很高的情况下,我们只需要使用常规的RAID5即可。就现在而言,对于那些数据中心,信息中心等对数据安全级别要求比较高的企业,

  使用RAID6保护数据还是有必要的。

  ·RAID10使用场景

  RAID10适用于数据库存储服务器等需要高性能、高容错但对容量要求不大的场合。

  实际项目中,需要综合考虑客户对数据存储的安全要求,价格要求等各项因素选择合理的RAID形式。

时间: 2024-08-24 03:33:13

存储可靠性技术之 --RAID的相关文章

存储可靠性技术之--备份

备份是指为防止系统出现操作失误或系统故障导致数据丢失,而将文件系统或数据库系统中的全部或部分数据集合从应用主机的硬盘或阵列复制到其它存储介质, 从而方便.及时地恢复系统的有效数据和正常运作. 一.备份方式的分类 可以从不同的纬度,对备份进行划分: 二.数据处理技术 在实施备份的过程中,可以对数据进行各种处理,以便改善备份速度,恢复速度,增加数据安全性,提升存储介质的利用率.常见的数据处理技术如下: ·数据压缩技术 ·数据重复删除技术 ·数据复制技术 ·数据加密技术 ·数据缓冲技术 数据备份跟多详

说说存储虚拟化技术(1 )

存储虚拟化技术其实不是一个新东西,在很早以前就有了存储虚拟化技术.技术发展到今天,在存储虚拟化技术之上又诞生了其他很多新的概念和技术.记得在2006年的时候,我们实验室在做一个非常宏大的项目叫VSDS,这个项目就是一个典型的存储虚拟化项目. 在这个项目中,采用了大量的存储虚拟化技术.首先将磁盘进行虚拟化,通过池化的方式将所有磁盘存储资源进行管理,然后再将磁盘存储池中的资源分配给系统中的存储卷.形成存储卷资源的动态分配.这个概念在当时是非常前卫的,和LVM卷管理系统有着截然不同的存储资源管理效果.

linux杂谈(十七):iscsi存储分离技术

1.iscsi简介 ? ?iSCSI利用了TCP/IP的port 860 和 3260 作为沟通的渠道.透过两部计算机之间利用iSCSI的协议来交换SCSI命令,让计算机可以透过高速的局域网集线来把SAN模拟成为本地的储存装置. ? ? 虽然 iSCSI 可以与任意类型的 SCSI 设备进行通信,系统管理员几乎总是使用它来连接服务器计算机 (例如,数据库服务器) 和磁盘卷上存储阵列. 使用iSCSI SAN 的目的通常有以下两个: 存储整合 公司希望将不同的存储资源从分散在网络上的服务器移动到统

存储linux RAID6中raid信息丢失数据恢复解决方法

数据恢复故障描述: 原存储为12块2T硬盘组成的Linux RAID6,文件系统均为EXT3,此存储上划有3个LUN,每个均为6TB大小,某天在RAID失效后,维护人员为了抢救数据,对此失效的存储重进行分配RAID,并进行了初始化.初始化进行很长时间后,维护人员察觉到情况有异,便强制停止初始化,但初始化已达到 50%以上.数据部分已被不可逆的破坏.数据恢复故障分析:故障的起因仅仅是RAID失效,维护人员随后的抢救数据过程中用11块硬盘进行重分配RAID5,并进行长时间的初始化,这对原始数据是不可

深入浅出高可靠性技术

一. 高可靠性技术概述 · 可靠性:Availability,可靠性=MTBF/ (MTBF+MTTR): ○ MTBF(Mean Time Between Failure:平均无故障时间):衡量稳定程度 ○ MTTR(Mean Time to Repair:故障平均修复时间):衡量故障响应修复速度 · 高可靠性的应用: ○ 网络高可靠性主要是指当设备或网络出现故障时,网络提供服务的不间断性. 1.可靠性达到5 个9 以上: 2.可靠性99.999%意味着每年故障时间不超过5 分钟: 3.可靠性

阿里云PolarDB及其共享存储PolarFS技术实现分析(上)

PolarDB是阿里云基于MySQL推出的云原生数据库(Cloud Native Database)产品,通过将数据库中计算和存储分离,多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题:通过引入RDMA和SPDK等新硬件来改造传统的网络和IO协议栈来极大提升数据库性能.代表了未来数据库发展的一个方向.本系列共2篇文章,主要分析为什么会出现PolarDB以及其技术实现. 由于PolarDB并不开源,因此只能基于阿里云公开的技术资料进行解读.这些资料包括从去年下半

【RAID技术】RAID入门级——RAID级别、原理

序言 RAID是"Redundant Array of Independent Disks"的缩写,称为"独立磁盘冗余阵列",通常简称为"磁盘阵列(DiskArray)".通常简单来说,RAID技术就是将多个硬盘按照一定方式有机的组合在一起,形成一个大的硬盘阵列,从而提高硬盘数据的存储性能和数据备份技术.对于用户而言,操作磁盘阵列就像操作一般的单个硬盘一样,而且这样比操作单个硬盘的数据存储速度更快,并具有数据自动备份的机制.根据组成硬盘的不同方式

san存储之硬盘与RAID总结

硬盘 硬盘结构 硬盘的主要指标 容量: 指硬盘能存储的数据量大小,以字节为基本单位 单碟容量: 硬盘都是由一个或几个盘片组成,单碟容量就是指包括正反两面在内的单个盘片的总容         量 转速: 即主轴马达转动速度,单位为RPM(Round PedMinute),即每分钟盘片转动圈数 缓存: 是硬盘控制器上的一块内存芯片,具有极快的存取速度,它是硬盘内部盘片和外部接口         之间的缓冲器 平均访问时间:硬盘磁头找到目标数据所需的平均时间 平均寻道时间:磁头寻找目标数据所在磁道所需

大数据存储的进化史 --从 RAID 到 Hdfs

我们都知道现在大数据存储用的基本都是 Hdfs ,但在 Hadoop 诞生之前,我们都是如何存储大量数据的呢?这次我们不聊技术架构什么的,而是从技术演化的角度来看看 Hadoop Hdfs. 我们先来思考两个问题. 在 Hdfs 出现以前,计算机是通过什么手段来存储"大数据" 的呢? 为什么会有 Hadoop Hdfs 出现呢? 在 Hdfs 出现以前,计算机是通过什么手段来存储"大数据" 要知道,存储大量数据有三个最重要的指标,那就是速度,容量,容错性.速度和容量