存储相关基础知识

块存储
典型设备;磁盘阵列,硬盘
作用:主要是将裸磁盘空间映射给主机使用,磁盘阵列(内含多块硬盘)做RAID操作或者LVM操作,逻辑划分出N块Logic盘并映射给主机使用,操作系统会识别到N块硬盘,但是无法感知到底是逻辑盘还是物理盘,所以还是会对其进行分区和格式化(无法共享数据)。每块逻辑盘实际上是由多块硬盘共同组成,在读写数据的时候,几块物理硬盘可以并行寻址和操作,大大提高了IO效率。
优点:对块磁盘组成逻辑盘,读写效率增加
缺点:相当于自己主机的硬盘,无法进行数据共享
场景:虚拟机磁盘分配、数据库、在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
备注:常见的存储中 DAS、SAN 提供的也是块存储

文件存储
典型设备:FTP、NFS服务器
优点:客服了块存储文件无法共享的问题
缺点:读写、传输速率低
场景:日志、邮箱、目录结构文件存储
备注:常见的存储中 NFS、NAS也是属于文件系统存储

对象存储
优点:综合了块读写高速、文件共享特性
场景:k-v键值对,图片、视频

分布式存储相较于传统存储
1、高可用性
副本数灵活控制
支持故障域分割,数据强一致性
没有单点故障

2、高可扩展性

3、特性丰富

Journal盘
一般写数据到Ceph集群时,都是先将数据写入到Journal盘,然后每隔一段时间再将Journal盘中的数据刷新到文件系统中。一般为了使读写时延更小,Journal盘都是采用SSD,这给了文件系统足够的时间来合并写入磁盘,一般情况下使用SSD作为OSD的journal可以有效缓冲突发负载。

云存储容错机制
1、基于副本冗余的容错机制
原有数据复制成多份,副本存放在集群中不同节点上,官方推荐3副本,保证数据可靠性,弊处极大降低存储空间利用率

2、基于纠删码的容错机制
原有数据文件分成k个大小相等的数据块,按照纠删码编码,得到n个带有一定冗余编码数据,存储在不同的节点上,读取数据时,只要去任意k个数据块就能恢复原始数据。
例:(4+2),将文件分为4个大小相等的数据块,编码后生成另外2个校验块,从所有的6个码块中取任意4个就可恢复原始数据。可容错数为2;最多允许2个码块丢失。

原文地址:https://www.cnblogs.com/weichao01/p/9467899.html

时间: 2024-10-24 21:04:58

存储相关基础知识的相关文章

深入理解mysql之BDB系列(1)---BDB相关基础知识

    深入理解mysql之BDB系列(1) ---BDB相关基础知识 作者:杨万富 一:BDB体系结构 1.1.BDB体系结构 BDB总体的体系结构如图1.1所看到的,包括五个子系统(见图1.1中相关数).1)数据存取子系统,2)事务子系统,3)锁子系统,4)内存池管理子系统,5)日志子系统. 在一个应用程序中,并不一定须要全然具备这5大子系统. 假设程序仅仅使用了数据存取子系统,它的体系结构如图1.2.在图1.2中,我们仅仅使了两个子系统:数据存取以及内存池子系统.(备注:另外三个子系统在B

【RAC】RAC相关基础知识

[RAC]RAC相关基础知识 1.CRS简介    从Oracle 10G开始,oracle引进一套完整的集群管理解决方案—-Cluster-Ready Services,它包括集群连通性.消息和锁.负载管理等框架.从而使得RAC可以脱离第三方集群件,当然,CRS与第三方集群件可以共同使用. (1).CRS进程 CRS主要由三部分组成,三部分都作为守护进程出现 <1>CRSD:资源可用性维护的主要引擎.它用来执行高可用性恢复及管理操作,诸如维护OCR及管理应用资源,它保存着集群的信息状态和OC

网络连接相关基础知识笔记

一.常说的TCP/IP的含义 TCP/IP协议簇并不仅仅指TCP协议和IP协议,实际它包括了一系列协议组成的集合,如:TCP,IP,UDP,FTP,SMTP,DNS,ARP,PPP等 TCP与UDP协议都属于传输层协议,但有很大不同,TCP是面向连接的协议,提供的是可靠的数据流服务,TCP采用"带重传的肯定确认"机制来实现传输的可靠性,实现了一种"虚电路",因为从物理上来说,并不是真正在两台主机间建立了连接,这种连接只是存在于逻辑上的.最大的开销出现在通信前建立连接

图像增强相关基础知识

图像增强处理-1 图像增强是图像处理中一个重要的内容,在图像生成,传输或变换的过程中,由于多种因素的影响,造成图像质量下降,图像模糊,特征淹没,给分析和识别带来困难.因此,按特定的需要将图像中感兴趣的特征友选择地突出,衰减不需要的特征,提高图像的可懂度是图像增强的主要内容.图像增强不考虑图像降质的原因,而且改善后的图像也不一定逼近原图像,这是它与图像复原本质的区别.图像增强的主要目的有两个:一是改善图像的视觉效果,提高图像的清晰度:二是将图像转换成一种更适合人类或机器进行分析处理的形式,一边从图

iOS蓝牙开发(一)蓝牙相关基础知识

原文链接: http://liuyanwei.jumppo.com/2015/07/17/ios-BLE-1.html iOS蓝牙开发(一)蓝牙相关基础知识: 蓝牙常见名称和缩写 MFI ======= make for ipad ,iphone, itouch 专们为苹果设备制作的设备 BLE ==== buletouch low energy,蓝牙4.0设备因为低耗电,所以也叫做BLE peripheral,central == 外设和中心,发起连接的时central,被连接的设备为peri

SSD 相关基础知识

SDD 基础知识 SSD(Solid State Drives)是固态硬盘,使用闪存颗粒来存储数据,闪存又可分为NAND Flash和NOR Flash,通常所说的SSD硬盘都使用NAND Flash芯片来存放数据.NOR型存储内容以编码为主,其功能多与运算相关:NAND型主要功能是存储资料. Nor Flash:主要用来执行片上程序 优点:具有很好的读写性能和随机访问性能,因此它先得到广泛的应用: 缺点:单片容量较小且写入速度较慢,决定了其应用范围较窄. NAND Flash:主要用在大容量存

SQL学习(一)相关基础知识

RDBMS基础知识 1.数据库是按照数据结构来组织.存储和管理数据的仓库:数据库是一些关联表的集合. 2.数据表是数据的矩阵,在一个数据库中的表看起来像一个简单的电子表格. 3.列:一列包含了相同的数据. 4.行:一行是一组相关的数据. 5.冗余:存储两倍数据,冗余降低了性能,但是提高了数据的安全性. 6.主键:主键是唯一的.一个数据表中只能包含一个主键. 7.外键:外键是用于关联两个表. 8.复合键:复合键将多个列作为索引健,一般用于符合索引. 9.索引:使用索引可快速访问数据库表中的特定信息

iOS蓝牙开发(一)蓝牙相关基础知识(转)

转载自:http://www.cocoachina.com/ios/20150915/13454.html 原文作者:刘彦玮 蓝牙常见名称和缩写 MFI ======= make for ipad ,iphone, itouch 专们为苹果设备制作的设备 BLE ==== buletouch low energy,蓝牙4.0设备因为低耗电,所以也叫做BLE peripheral,central == 外设和中心,发起连接的时central,被连接的设备为perilheral service an

XML的相关基础知识分享(二)

前面我们讲了一下XML相关的基础知识(一),下面我们在加深一下,看一下XML高级方面. 一.命名空间 1.命名冲突 XML命名空间提供避免元素冲突的方法. 命名冲突:在XML中,元素名称是由开发者定义的,当两个不同的文档使用相同的原俗名时,就会发生命名冲突.例如:下面这个XML文档携带者某个表格中的信息: 1 <table> 2 <tr> 3 <td>Apples</td> 4 <td>Bananas</td> 5 </tr&g