多备份cloud 5技术:传统数据备份思路的完美移植

  多备份是专注于业务数据云端备份、恢复、迁移、存储和归档的云平台(SaaS)应用提供商。其中,为了实现数据的足够安全,我们采用了自主研发的cloud
5技术。

  问题的来源

  2014年2月份,一位用户匆匆打电话来。提到了他的网站每天有大量的订单产生,他也用多备份备份了他的网站到网盘,但他还是比较担心,万一云盘有问题或停用了(百度云出现过这种情况),是不是他的数据就丢了?他告诉多备份工作人员,他之前的做法是,这些数据他手动备份了好几个地方,但是管理起来很麻烦,容易搞错,有一次甚至直接删除了。

  这个用户并非空穴来风,基于网络环境复杂,会出现各种各样的情况,如何建立起数据的容错,纠正,关联机制,对多备份而言是一个重要的技术问题。如果没有一个很好的云端解决方案,用户的重要数据备份上来后,也无法给用户一个很好的可靠性保护承诺,备份也就失去了意义。

  这个问题立即得到了产品技术团队的快速响应,在短短的3天之内,就找出了好几套方案,其中从迅雷加盟的一位资深技术专家,提出了用Raid
5技术思想来增强云存储的可靠性,既可以大大提高云存储可靠性,同时还可以提高保存备份结果的速度。

  什么是RAID

  独立硬盘冗余阵列( RAID , R edundant A rray of I ndependent D isks),简称硬盘阵列。
磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。在数组中任一颗硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。

  RAID比单颗硬盘有以下几个好处:增强数据集成度,增强容错功能,增加处理量或容量。另外,磁盘阵列对于计算机来说,看起来就像一个单独的硬盘或逻辑存储单元。常见的有RAID-0,RAID-1,RAID-5,RAID-10。假设一块磁盘的故障率为1%,那么采用最简单的RAID5也可以使数据的故障率降低30倍以上。即故障率将低于0.033%。

  在这些技术中,RAID-5是一种储存性能、数据安全和存储成本兼顾的折衷方案。它使用的是Disk Striping(硬盘分区)技术。RAID
5至少需要三颗硬盘 ,RAID
5不是对存储的数据进行备份,而是把数据和相对应的parity(奇偶校验信息)存储到组成RAID5的各个磁盘上,并且parity和相对应的数据分别存储于不同的磁盘上。
当RAID5的一个磁盘数据发生损坏后,可以利用剩下的数据和相应的parity去恢复被损坏的数据。 (如下图)

  

  多备份cloud 5的诞生

  基于传统备份价格高昂,对技术人员精力有限,同时云端备份价格低廉,并且与站点云端主机天然的血脉相承。我们的存储研发专家组考核完技术的可行性后,立即着手于把RAID
5的思想移植到多备份智能代理模式上,实现原理图如下:

  

  把数据按块压缩,划分,加密后,往其中cloud A里写数据,同时会在其余的cloud B或cloud
C写入parity。一旦任何一个云设施数据遭遇不可抗力被毁灭时,我们可以从另外的云设施调用parity来重建数据。也就是只有在同时有两个及以上云端同时出现问题,才可能导致数据的不可用,这样的概率有多小,恐怕工业级的6个9(99.9999%)才足以形容。

  继raid 5的模式在多个云平台上应用后,更多的低成本、可靠的存储模式将陆续推出。

时间: 2024-10-25 22:35:03

多备份cloud 5技术:传统数据备份思路的完美移植的相关文章

什么是云容灾?它与传统数据备份有什么不同?

一.什么是云容灾?云容灾,也叫做云灾备(英文名:Cloud DRaaS)是以云服务的方式为企业提供提供数据容灾备份服务,企业无需投入大量时间.人力.资源成本,具有即开即用,按需付费,弹性扩容,方便管理等特点.二.而传统数据备份:指数据备份的介质从磁带发展到虚拟带库.备份一体机,或是利用传统备份软件,但备份数据的备份格式没有任何改变.传统方式的数据管理已经不能满足许多企业的数据恢复和保护的需要.从企业的角度,花在数据保护上的高昂费用,面对越来越高的行业数据存储规范标准,传统的保存模式已经显得越来越

网络数据备份系统结构的几种类型分析

目前最常见的网络数据备份系统结构按其架构不同可以分为四种:基于网络附加存储(DAS-Base)结构,基于局域网(LAN-Base)结构,基于 SAN 结构的 LAN-Free 和Server-Free结构. 网络数据备份系统结构之DAS-Base 结构 基于网络附加存储系统的网络数据备份系统结构是最简单的一种数据保护方案,在大多数情况下,这种备份大多是采用服务器上自带的磁带机或备份硬盘,而备份操作往往也是通过手工操作的方式进行的.如图1所示,红色虚线表示数据流,下同.它适合下面的应用环境: 图1

企业数据备份软件

现在市场上已经有越来越多的备份应用软件了,到底哪一款比较适合企业级别的呢? 这个对每个企业来说都是不一样的答案.那么小编就给大家推荐几款吧,大家可以用用看. 1.赛门铁克的Backup Exec和NetBackup Backup Exec适用于Windows.Linux.Mac和各种虚拟化平台,整合了重复数据删除和归档技术.NetBackup是赛门铁克旗下另一款得到用户广泛应用的备份产品.最新版NetBackup包括了Symantec V-Ray组件,支持虚拟文件系统和应用软件的备份. 2.EM

数据爆发式增长 数据备份成‘刚需’

4G时代来临的背景下,企业数据面临爆炸式增长,传统的企业数据备份业务由于存在备份方式落后.备份成本昂贵的问题,早已无法满足大多数企业的需求.同时,随着云备份应用在中小企业领域和个人消费市场的快速渗透,越来越多的个人站长和中小企业开始将各种数据转移到容量更大.安全性更高.操作更为简单的云平台进行备份,企业数据备份迁移已成为'刚需'. 许多企业认为数据备份就像买保险一样,所以都不太愿意投注一部份金钱在上面,所以也很明显的没有意识到数据备份并不只是为了预防一时故障,更是为了防止突如其来的导致数据部分丢

好的数据备份软件是什么样的

"惟事事,乃其有备,有备无患."这是古人说的.在互联网迅猛发展的当下,"备"显得更加的重要.数据已经成为企业的财富,在充分认识到数据备份重要性的同时,更要加强数据的备份工作,综合考虑更方面的因素,再根据实际情况正确选择适合企业需要的备份方案,以有效防止网站数据的丢失对企业的运作所造成的不必要的损失.一款好的备份软件是什么样的呢?以下是笔者这几天通过对多备份.帝国备份等软件的使用,所得到的几个观点: 1.简单易用 好的备份软件绝对不是万能的,而应该是一个操作简单.界面

MySQL数据备份

为了防止无良网站的爬虫抓取文章,特此标识,转载请注明文章出处.LaplaceDemon/SJQ. http://www.cnblogs.com/shijiaqi1066/p/3830007.html 1 mysqldump命令备份 mysqldump命令备份将数据库中的数据备份成一个文本文件.mysqldump命令备份的文件后缀名一般为".sql",其他后缀名也可以. mysqldump命令通过表结构生成create table语句:将表中数据生成insert语句. 注:mysqldu

为什么要进行网站数据备份

相信看这篇文章的你是一个拥有自己网站的人吧,网站对你重要吗?数据对你重要吗?答案是肯定的.不重要的话我们建站来干嘛呢,那么该如何备份网站数据你又知道多少呢? 备份如今已不是一件繁琐的事情,软.硬件产品的不断研究和推出,使得数据备份具有了速度快.可靠性高.自动化强等特点,完全解脱了系统管理员的负担.在投资上,与兴建网络相比,专用的存储设备和备份软件价格很低,根本不会成为用户的经济负担.如果每一台服务器或每一个局域网都配置了数据备份设备,并加以合理的利用,那么无论网络硬件还是软件出了问题,都能够轻松

数据备份的OSS接口

最近在做一个新的项目,从RDS备份到OSS,进行数据备份以及后续的还原.这边对阿里云的OSS数据上传接口进行说明,先做下笔记先简单介绍下OSS: ①Object 在OSS中,用户操作的基本数据单元是Object.单个Object最大允许存储5TB的数据.Object包含key.meta和data.其中,key是Object的名字:meta是用户对该object的描述,由一系列name-value对组成:data是Object的数据. 其中Object命名规范:使用UTF-8编码:长度必须在1-1

数据备份中容易出错的情况及解决方法

1.我有RAID,还需要做数据库备份吗?需要.有了RAID,万一部份磁盘损坏,可以修复数据库,有的情况下数据库甚至可以继续使用.但是,如果哪一天,你的同事不小心删除了一条重要的记录,怎么办?RAID是无能为力的.你需要合适的备份策略,把那条被误删的数据恢复出来.所以有了RAID,仍需要做备份集群,磁盘镜像同理. 2.如果你只做全备份,那么受限于全备份的大小和备份时间,不可能常做.而且只有全备份,不能将数据库恢复至某个时间点.所以,我们需要全备份+日志备份.比如每天一个全备份,每隔1小时或若干分钟