浅析数据存储的“那些事儿”

写在前面

对于运维来说,数据读取、安全与存储,也是至关重要的一点,数据存储的技术点也是相当的多,面比较广,今天,民工哥来给各位小伙伴聊一聊有关于数据存储的“那些事儿”

存储的概念介绍

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名,这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据,表现出动态数据的特征;数据存储反映系统中静止的数据,表现出静态数据的特征,解释来源于百度百科。

民工哥用一句话总结:数据存储就是将一定量的数据通过不同的存储架构存储到不同的存储介质当中

存储介质介绍

磁盘和磁带都是常用的存储介质
磁盘又分机械式磁盘、SSD等类型

数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取;在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关,其关键在于建立记录的逻辑与物理顺序间对应关系,确定存储地址,以提高数据存取速度。

存储方式

DAS直接附加存储方式?

就与普通的PC机存储一样,将外部的存储设备直接加在服务器内部来存储数据

这种存储方式,比较适用于小型网络结构,数据量小,对数据的传输与读取速度要求不高的场景下

NAS网络存储方式?

它是采用独立于应用服务器,单独为网络数据存储而开发的一种文件服务来连接所有的存储设备,通过这种方式来存储数据,可单独为所有应用服务共享使用

这种存储方式安装布署比较简单,可以即插即用,而且不依赖于操作系统,缺点就是存储的性能不太好

SAN存储方式?

这种存储方式是1991年IBM公司推出的,基于光纤介质的一种存储方式,它的组成如下:

1)存储和备份设备:包括磁带、磁盘和光盘库等。

2)光纤通道网络连接部件:包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI间的桥接器

3)应用和管理软件:包括备份软件、存储资源管理软件和存储设备管理软件。

磁盘阵列系统介绍

由于数据存储量的增长,单块磁盘设备不能满足正常的存储量需求了,因此引入了磁盘阵列系统这个概念,常用的磁盘阵列有以下几个

RAID 0

RAID0是所有磁盘阵列中读写性能最好,也是最简单的实现方式

但它缺点是没有数据冗余及恢复机制,它至少需要两块盘进行组建,从而将两块磁盘的空量叠加在一起,形成一个新的大的存储容量磁盘,由于它的缺点,当其中一块磁盘损坏,就会造成数据丢失无法恢复,这种阵列可以存储一些大量的日志数据

RAID 1

RAID 1它被称为镜像阵列,因此结构中的磁盘是互为镜像互备的

此结构最少需要两块盘组成,当一块磁盘损坏可以即时恢复数据,它的读取性能比较好,存储的性能较差,因为同一份数据需要写入到两块磁盘中

RAID 10 01

RAID10需要四块盘进行组建,理论上两块盘也可以,不过没有任何实际可用的意义

这类结构要求最好磁盘的容量最好一致,否则整个阵列只能识别最小容量的磁盘设备,它是独立工作的两组RAID1,然后再组成RAID0这样的阵列结构

RAID01(或称之为RAID0+1)

它的结构是先将磁盘组成RAID0,然后再组成多个独立的RAID1

RAID5

这种结构至少需要三块磁盘组成

它是基于基偶校验的原理,它的算法核心是XOR,可以允许损坏一块磁盘,然后通过这种XOR算法,能很快的完成数据的恢复

?

原文地址:http://blog.51cto.com/mingongge/2069712

时间: 2024-10-30 20:33:29

浅析数据存储的“那些事儿”的相关文章

Android数据存储之SharedPreferences浅析

SharedPreferences 是 Android 数据存储方式中的一种,特别适合用来存储少量的.格式简单的数据,比如应用程序的各种配置信息,如是否打开音效,是否开启震动等等. SharedPreferences 存储数据的位置和格式 SharedPreferences 将数据以键值对的形式,存储在 /data/data/<package name>/shared_prefs 目录下面,以 XML 的格式保存,该 XML 文件的根元素是 <map.../>,该元素里每个子元素代

Apache Spark-1.0.0浅析(十):数据存储——读写操作

“RDD是由不同的partition组成的,transformation和action是在partition上面进行的:而在storage模块内部,RDD又被视为由不同的block组成,对于RDD的存取是以block为单位进行的,本质上partition和block是等价的,只是看待的角度不同.在Spark storage模块中中存取数据的最小单位是block,所有的操作都是以block为单位进行的.” BlockManager中定义了三种主要的存储类型(tackyonStore暂且不做分析)

使用文件进行数据存储四种模式

视频笔记: 1.应用包名:唯一标识一个应用 2.使用文件进行数据存储: (1)Context.MODE_PRIVATE: 默认操作模式,代表该文件是私有数据,只能被应用本身访问,在该模式下,写入的内容会覆盖原文件的内容,如果想把新写入的内容追加到原文件中,可以使用Context.MODE_APPEND (2)Context_APPEND:只能被应用本身访问:模式会检查文件是否存在,存在就往文件追加内容,否则就创建新文件. Context_WORLD_READABLE和Context_WORLD_

Android——数据存储(四种方式之一)SharedPrefereces

Android--数据存储(四种方式) 1.SharedPrefereces   轻量级.XML  存储文件名,数据保存在data/data/basepackage/shared_prefs/myopt.xml中   实例-收藏-记住密码自动登录 //一种轻量级的数据存储方式//通过KEY 存入数据--putxxxx(key,value) 取出数据--getxxxx(key  default)   2.读写SD卡  SD的根目录  适用于数据流读写 3.SQLite  轻量级.dp文件多用于手机

HBase介绍(2)---数据存储结构

在本文中的HBase术语:基于列:column-oriented行:row列组:column families列:column单元:cell 理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么?首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式. Google's BigTable论文 清楚地解释了什么是BigTable:Bigtable是一个疏松的分布式的

Google Earth数据存储、管理、表现及开发机制

一.    Google Earth(Map)介绍 1.1    Google Earth介绍 在众多的地理信息服务提供商中,Google是较早提供服务的一个,其他有如ESRI这样的巨头,也有中国的灵图.但凭借着提供优质.高效.高性价比服务的理念和Google自身的巨大影响力,Google推出的Google Earth和Google Map平台已经成为全球影响力最大的互联网空间信息服务平台. Google Earth具有十分突出的三个特点[1],一是可以显示矢量数据地标,包括点.线.面等几何类型

Redis数据存储解决方案

1.背景1.1 Redis简介 官方网站:http://redis.io/,Redis是REmote DIctionary Server的缩写. Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.从2010年3月15日起,Redis的开发工作由VMware主持.它跟 memcached 类似,不过数据可以持久化,而且支持的数据类型很丰富.它在保持键值数据库简单快捷特点的同时,又吸收了部分关系数据库的优点.从而

数据存储的常用结构 堆栈、队列、数组、链表

数据存储的常用结构有:堆栈.队列.数组.链表.我们分别来了解一下: 堆栈,采用该结构的集合,对元素的存取有如下的特点: 先进后出(即,存进去的元素,要在后它后面的元素依次取出后,才能取出该元素).例如,子弹压进弹夹,先压进去的子弹在下面,后压进去的子弹在上面,当开枪时,先弹出上面的子弹,然后才能弹出下面的子弹. 栈的入口.出口的都是栈的顶端位置 压栈:就是存元素.即,把元素存储到栈的顶端位置,栈中已有元素依次向栈底方向移动一个位置. 弹栈:就是取元素.即,把栈的顶端位置元素取出,栈中已有元素依次

性能优化之数据存储&DOM编程

数据存储 ·在javascript中,数据存储的位置会对代码整体性能产生重大的影响. ·数据存储共有4种方式:字面量.变量.数组.对象成员. ·要理解变量的访问速度,就要理解作用域.由于局部变量处于作用域的起始位置,因此访问速度比访问跨域作用域变量(即除起始位置之外的外层作用域变量)更快.即变量处在作用域的位置越深,访问速度越慢.这也就说明,访问全局变量的速度是最慢的. 总的来说,字面量和局部变量的访问速度快于数组和对象成员的访问速度. 因此,常见的一些提高数据访问速度的方法有: ①避免使用wi