什么是条带化(striping) ?(转载)

条带(strip)是把连续的数据分割成相同大小的数据块,把每段数据分别写入到阵列中的不同磁盘上的方法。简单的说,条带是一种将多个磁盘驱动器合并为一个卷的方法。 许多情况下,这是通过硬件控制器来完成的。
   当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。大多数磁盘系统都对访问次数(每秒的 I/O 操作,IOPS)和数据传输率(每秒传输的数据量,TPS)有限制。当达到这些限制时,后面需要访问磁盘的进程就需要等待,这时就是所谓的磁盘冲突。避免磁盘冲突是优化 I/O 性能的一个重要目标,而 I/O 性能的优化与其他资源(如CPU和内存)的优化有着很大的区别 ,I/O 优化最有效的手段是将 I/O 最大限度的进行平衡。

条带化技术就是一种自动的将 I/O 的负载均衡到多个物理磁盘上的技术,条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突,而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的 I/O 并行能力,从而获得非常好的性能。由于条带化在 I/O 性能问题上的优越表现,以致于在应用系统所在的计算环境中的多个层次或平台都涉及到了条带化的技术,如操作系统和存储系统这两个层次中都可能使用条带化技术。
  条带化后,条带卷所能提供的速度比单个盘所能提供的速度要快很多,由于现在存储技术成熟,大多数系统都采用条带化来实现系统的I/O负载 分担,如果OS有LVM软件或者硬件条带设备,决定因素是条带深度(stripe depth)和条带宽度(stripe width)。

  条带深度:指的是条带的大小,也叫条带大小。有时也被叫做block size, chunk size, stripe length 或者granularity。这个参数指的是写在每块磁盘上的条带数据块的大小。RAID的数据块大小一般在2KB到512KB之间(或者更大),其数值是2 的次方,即2KB,4KB,8KB,16KB这样。

条带大小对性能的影响比条带宽度难以量化的多。

  • 减小条带大小: 由于条带大小减小了,则文件被分成了更多个,更小的数据块。这些数据块会被分散到更多的硬盘上存储,因此提高了传输的性能,但是由于要多次寻找不同的数据块,磁盘定位的性能就下降了。
  • 增加条带大小: 与减小条带大小相反,会降低传输性能,提高定位性能。

根据上边的论述,我们会发现根据不同的应用类型,不同的性能需求,不同驱动器的不同特点(如SSD硬盘),不存在一个普遍适用的"最佳条带大小"。所以这也是存储厂家,文件系统编写者允许我们自己定义条带大小的原因。

   条带宽度:是指同时可以并发读或写的条带数量。这个数量等于RAID中的物理硬盘数量。例如一个经过条带化的,具有4块物理硬盘的阵列的条带宽度就是 4。增加条带宽度,可以增加阵列的读写性能。道理很明显,增加更多的硬盘,也就增加了可以同时并发读或写的条带数量。在其他条件一样的前提下,一个由8块 18G硬盘组成的阵列相比一个由4块36G硬盘组成的阵列具有更高的传输性能。

下面先看下影响IO大小的操作系统和Oracle的相关参数:

db_block_size oracle数据块的大小,也决定了oracle一次单个IO请求中oracle数据块的大小
db_file_multiblock_read_count:在多数据块读时,一次读取数据块的数量,它和参数db_block_size一起决定了一次多数据块读的大小,它们的乘积不能大于操作系统的最大IO大小。
操作系统的数据块大小:这个参数决定了Redo Log和Archive Log操作时的数据块大小,对于大多数Unix系统来说,该值为512K。
最大操作系统IO大小:决定了一次单个的IO操作的IO大小的上限,对于大多数Unix系统来说,由参数max_io_size设置。
sort_area_size:内存中sort area的大小,也决定了并发排序操作时的IO大小。
hash_area_size:内存中hash area的大小,也决定了哈希操作的IO大小。
         在OLTP系统中,会存在大量小的并发的IO请求。这时就需要考虑选择比较大的条带深度。使条带深度大于IO大小就称为粗粒度条带(Coarse Grain Striping)。在高并行度系统中,条带深度为(n * db_block_size),其中n为大于1的整数。
        通过粗粒度条带能实现最大的IO吞吐量(一次物理IO可以同时响应多个并发的逻辑IO)。大的条带深度能够使像全表扫描那样的多数据块读操作由一个磁盘驱动来响应,并提高多数据块读操作的性能。
        在低并发度的DSS系统中,由于IO请求比较序列化,为了避免出现热点磁盘,我们需要避免逻辑IO只有一块磁盘处理。这是,粗粒度条带就不适合了。 我们选择小的条带深度,使一个逻辑IO分布到多个磁盘上,从而实现IO的负载均衡。这就叫细粒度条带。条带深度的大小为(n * db_block_size),其中n为小于多数据块读参数(db_file_multiblock_read_count)大小的整数。
        可以简单的理解为并发程度高的IO采用粗粒度条带化,并发程度低的IO采用细粒度条带化。

ASM的条带化有两种:coarse和fine-gained。AU是最小分配单元,缺省是1M,每个AU缺省由8个128K条带空间组成。
        
         coarse条带化中一个extent映射为一个AU,缺省是1M大小,比如4个磁盘 
#0~#3,分配extent时候,第一个AU分配给disk0,第二个AU给disk1,依此顺推。所以该条带化适合连续的I/O读写,比如全表扫描表。

Fined-gained条带化,一个AU中的8个128K条带空间,平均打散在磁盘上,也就是说,4个磁盘,1个AU是平均分布在4个磁盘,每个磁盘2个128K。适合于对数据读写延迟比较敏感的文件。如redo日志,控制文件,spfile等。

10g版本AU和条带设置参数:_asm_ausize和_asm_stripesize,11g版本数据库在创建diskgroup时候,可以设置attribute ‘au_size‘ = ‘16M‘。
        IO过程中,你无法保证Oracle数据块的边界能和条带单元的大小对齐。如果条带深度大小和Oracle数据块大小完全相同,而它们的边界没有对齐的话,那么就会存在大量一个单独的IO请求被两块磁盘来完成。
        在OLTP系统中,为了避免一个逻辑IO请求被多个物理IO操作完成,条带宽度就需要设置为两倍或者两倍以上于Oracle数据块大小。例如,如果条带深度是IO大小的N倍,对于大量并发IO请求,我们可以保证最少有(N-1)/ N的请求是由一块磁盘来完成。

时间: 2024-08-28 08:06:31

什么是条带化(striping) ?(转载)的相关文章

【oracle11g,18】存储结构:临时表,手工条带化,表/索引迁移表空间,删除表,外部表

一. 临时表 临时表放在临时表空间,不生成redo,只有undo. 在临时表中可以创建索引.视图及触发器,还可以使用"Export and Import(导出和导入)"或"Data Pump(数据泵)"导出和导入临时表的定义.但是,即使使用了ROWS 选项,也不会导出数据. 有基于事务(默认)和基于session两种,其他的会话不能访问到. 在临时表中,DML锁永远不需要. 1.创建默认的(基于事务的)临时表:(on commit delete rows:提交时清空

【oracle11g,18】存储结构:暂时表,手工条带化,表/索引迁移表空间,删除表,外部表

一. 暂时表 暂时表放在暂时表空间,不生成redo,仅仅有undo. 在暂时表中能够创建索引.视图及触发器,还能够使用"Export and Import(导出和导入)"或"Data Pump(数据泵)"导出和导入暂时表的定义.可是.即使使用了ROWS 选项,也不会导出数据. 有基于事务(默认)和基于session两种.其它的会话不能訪问到. 在暂时表中.DML锁永远不须要. 1.创建默认的(基于事务的)暂时表:(on commit delete rows:提交时清

LV条带化

一.建立条带化的逻辑卷 假设有4块硬盘用来做条带化 /dev/sdb /dev/sdc /dev/sdd /dev/sde 1.分区 fdisk /dev/sdb fdisk /dev/sdc fdisk /dev/sdd fdisk /dev/sde 会产生/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 2.制作物理卷 pvcreate /dev/sd{b,c,d,e}1 3.制作卷组 vgcreate /dev/sd[b,c,d,e]1 4.制作条带化的逻辑卷

TCP Incast 问题TCP INCAST解决思路 应用场景:在集群文件系统内,客户端应用请求某个逻辑数据块(通常情况下一个读数据块大小是1MB),该数据块以条带化方式分别存储在几个存储服务器上,即采用更小的数据片存储(32KB,256KB等),这种小数据片称为服务器请求单元(SRU)。只有当客户端接收到所有的服务器返回的其所请求数据块的SRU后才继续发送出下一个数据块请求,即客户端同时向

TCP INCAST解决思路 应用场景:在集群文件系统内,客户端应用请求某个逻辑数据块(通常情况下一个读数据块大小是1MB),该数据块以条带化方式分别存储在几个存储服务器上,即采用更小的数据片存储(32KB,256KB等),这种小数据片称为服务器请求单元(SRU).只有当客户端接收到所有的服务器返回的其所请求数据块的SRU后才继续发送出下一个数据块请求,即客户端同时向多个存储服务器发起并发TCP请求,且所有服务器同时向客户端发送SRU. 出现的问题: 1)         这种多对一的服务器向客

条带化

磁盘冲突 大多数磁盘都会对访问次数(IPOS)和数据传输率(每秒传输的数据量,TPS)有限制,当达到这些限制时,后面需要访问磁盘的进程就需要等待,这时就是所谓的磁盘冲突 避免磁盘冲突时优化IO性能一个重要指标,而 I/O 性能的优化与其他资源(如CPU和内存)的优化有着很大的区别 ,I/O 优化最有效的手段是将 I/O 最大限度的进行平衡. 条带化技术 条带化技术就是一种自动将IO的负载均衡到多个物理盘上的技术,条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同的磁盘上去.这就能

优秀程序员的这些秘诀,你知道几条?【转载】

有国外网友在 Quora 上发帖提问:优秀程序员有哪些秘诀? 本文摘编了两个高分回复,一起来围观.欢迎大家在评论中补充你眼中优秀程序员的特点. Jens Rantil 的观点:2.9k 顶 大多数情况下,使用继承从长远看来是一个很糟糕的面向对象设计.它影响了代码的重用性和可测试性.推荐使用组件和接口的方式替代它. 避免过早引入接口,除非你能够完全控制它.“过早接口”同样会导致设计问题. 深度代码嵌套(both intra-function and inter-function) 1 ) 难于维护

30岁而立之前成功12条黄金法则【转载】

转自 :http://blog.csdn.net/ricohzhanglong/article/details/4066174#comments 为什么从20岁到30岁的时间,才可以跳两级,但是很多人却在30岁到40岁一下子积累身家,成倍数上涨.因为30岁很重要!譬如,李嘉诚.比尔·盖茨.杨元庆在30岁的时候,都抓住了转折.而他们做的,无非就是认清自己,解决现在和追逐未来.这看上去是人要持续一生解决的问题.但是30岁的人,因为现实的种种情况,面对的问题更突出一些,由此锻炼出的能力也更优异.你的3

yahoo34条军规(转载-备份)

雅虎团队经验:网站页面性能优化的34条黄金守则1.尽量减少HTTP请求次数 (Make fewer HTTP requests) 终端用户响应的时间中,有80%用于下载各项内容.这部分时间包括下载页面中的图像.样式表.脚本.Flash等.通过减少页面中的元素可以减少HTTP请求的次数.这是提高网页速度的关键步骤. 减少页面组件的方法其实就是简化页面设计.那么有没有一种方法既能保持页面内容的丰富性又能达到加快响应时间的目的呢?这里有几条减少HTTP请求次数同时又可能保持页面内容丰富的技术. 合并文

优化PHP代码的40条建议(转载)

[size=5][color=Red](译文)优化PHP代码的40条建议[/color][/size] 40 Tips for optimizing your php Code 原文地址:http://reinholdweber.com/?p=3 英文版权归Reinhold Weber所有,中译文作者yangyang(aka davidkoree).双语版可用于非商业传播,但须注明英文版作者.版权信息,以及中译文作者.翻译水平有限,请广大PHPer指正. 1.    If a method ca