备份容灾数据 一致性问题

一致性问题一般是指数据前后之间的逻辑关系是否一致(正确和完整)。简单举例来说,比如A用户正在写数据N的时候,B用户开始读数据N,由于A用户刚写了一半,所以B用户读的数据就不是前后逻辑一致性的,这就是一致性问题的一种。

一致性问题在各个领域都存在,提的比较多的是分布式存储的一致性问题,数据库的一致性问题,以及崩溃一致性问题。

我们黑方主要涉及到的可以认为是数据备份中的一致性问题,上面说到的一致性问题有关联性,不完全相同。

数据备份中的一致性问题是指备份的文件及数据是否和待备份数据保持一致。主要两个因素导致:

1、由于各种cache的存在,导致实际存储在硬盘上的数据和用户实际看到的并不一致;

2、在备份过程中,数据又可能发生变化,导致前后备份的数据处于不一致状态。

对于备份中的一致性问题,黑方的解决方案按备份方式的不同而有变化:

1、对于定时备份来说:

(1)普通文件定时备份,windows系统,可以采用vss卷影的方式备份来解决一致性问题,VSS服务本身保证了在创建卷snapshot时数据是一致的。

(2)数据库文件备份,可以用数据库提供的备份接口来解决,由这些接口API来负责提供数据一致性保障;

对于没有提供接口API的,就以普通文件形式直接备份,此时是存在崩溃一致性问题的,就是备份过程中数据发生变化,但考虑到数据库自身的健壮性,一般会检查到数据不一致,从而触发回滚到上一个一致性的状态,在实际使用过程中,是可行的(不过理论上不完美)。

(3)OS系统备份,windows下也是用vss卷影的方式;linux用文件打包的方式,文件的粒度相对于整个卷来说比较小,这样可以认为是近似数据一致(理论上不完美,但实际可行)。

2、对于实时备份来说:

黑方的实时备份主要是两方面,文件cdp以及卷cdp。

两者对于一致性的处理基本方法一致,首先做完整备份,备份之前在驱动层做snapshot,然后开始备份,备份过程中如果发生数据更新,依据数据的不同会有两种处理方法:

(1)、文件cdp会将数据更新的部分先备份下来,然后更新到备份集里;

(2)、卷cdp会将数据更新的部分加上脏标志,在备份完毕后重新对脏标志的数据再次进行备份。

总结来说,黑方就是尽可能保证数据一致性,如果实在达不到,就要做到崩溃一致性。

崩溃一致性通常是指突然断电或死机崩溃时的数据所处的一致性状态,理论上任何app都应该能处理突然断电的情况,所以能做到崩溃一致性也可以满足需求。

时间: 2024-12-28 12:19:31

备份容灾数据 一致性问题的相关文章

备份容灾

备份容灾 在分布式存储系统中,系统可用性是最重要的指标之一,需要保证在机器发生故障时,系统可用性不受影响,为了做到这点,数据就需要保存多个副本,并且多个副本要分布在不同的机器上,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能提供服务.本文主要介绍数据备份的方式,以及如何保证多个数据副本的一致性,在系统出现机器或网络故障时,如何保持系统的高可用性. 数据备份 数据备份是指存储数据的多个副本,备份方式可以分为热备和冷备,热备是指直接提供服务的备副本,或者在主副本失效时能立即

基于AWS的云备份&容灾解决方案

通过AWS Direct Connect .×××.或Internet 让企业数据中心与 AWS 之间建立安全连接,采用多种解决方案组合,适用于各种混合环境的备份和容灾.备份解决方案中物理机采用安装备份代理:虚拟化环境采用无代理模式按照设定的时间间隔或持续的将数据备份或至本地存储(加快备份还原速度)或直接将数据传输至AWS S3存储桶或归档到AWS Glacier中.此方案完美覆盖物理和虚拟化环境,具有虚拟化环境整合度高.高速恢复.数据丢失避免.可用容量大.可验证保护,无代理可细粒度恢复应用数据

分布式存储系统设计(4)—— 备份容灾

在分布式存储系统中,系统可用性是最重要的指标之一,需要保证在机器发生故障时,系统可用性不受影响,为了做到这点,数据就需要保存多个副本,并且多个副本要分布在不同的机器上,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能提供服务.本文主要介绍数据备份的方式,以及如何保证多个数据副本的一致性,在系统出现机器或网络故障时,如何保持系统的高可用性. 数据备份 数据备份是指存储数据的多个副本,备份方式可以分为热备和冷备,热备是指直接提供服务的备副本,或者在主副本失效时能立即提供服务的

让Veritas数据高可用容灾释放你的双手

简介:在大数据以PB增长的时代,保证数据高可用的同时,确保数据安全已经成为企业IT领导者及数据管理人员所急迫需解决的问题,Veritas深入地了解用户的各种存储需求,从而实现了简单.高效.可扩展.高敏捷.高洞察力的全线存储备份容灾解决方案.而为保证产品的高度兼容性,为此Veritas不断提升与精进,从而汇集了得天独厚的优势,实现了统一的混合云平台管理.成熟的企业级数据可伸缩性.超乎想象的即时数据恢复与自动复制.全索引直观数据检索等等,为几乎所有的企业数据环境提供了端到端的数据可用性解决方案.下面

【大话存储】学习笔记(17章),数据容灾

数据容灾 数据备份系统只能保证实际上被安全复制了一份,如果生产系统故障,必须将备份数据尽快的恢复到生产系统中继续生产,就叫容灾. 容灾可以分为四个级别: 数据级容灾:只是将生产站点的数据同步到远端. 与应用结合的数据级容灾:保证对应应用数据一致性. 应用级容灾:需要保证灾难发生以后,需要保证原生成系统中的应用系统在灾备站点可用. 业务级容灾:除了保证数据.应用系统在灾备站点可用,还要保证整个企业的业务系统仍对外可用,是最终层次的容灾. 概述 如果要充分保证数据的安全,只是在本地做备份是不够的,所

联鼎容灾备份一体机---容灾鼎

容灾鼎是将虚拟化技术.数据同步技术.数据容灾技术.高可用集群技术和高性能硬件进行无缝集成,并在出厂前完成预安装.预配置.预测试,从而简化现场部署流程,加快应用上线的速度.用户选择容灾鼎,就是选择了一体化的交付模式,用户无需分别选择软件.硬件再进行集成,只需关注自己的核心业务系统即可,高可用容灾一体化是未来的发展方向. 容灾鼎作为一款国内领先的一体化容灾核心设备,突破了传统业务系统软硬件分离式部署的模式,大大减低了系统部署的难度和操作复杂度, 极大地提高了系统整体可靠性, 使用户真正体验到"数据安

K8S容灾方案的五个关键点

容灾恢复是绝大多数企业级应用的基本要求 在没有Kubernetes也没有容器的时候,备份和恢复解决方案通常在虚拟机(VM)级别上实现.当应用程序在单个VM上运行时,容灾系统适用于这样的传统应用程序.但是,当使用Kubernetes对应用程序进行容器化管理时,这样的容灾系统就无法使用了.有效的Kubernetes容灾恢复方案必须针对容器化架构进行重新设计,并按Kubernetes的原生方式来运行.传统的基于VM的备份和恢复解决方案,使用快照来收集数据,但这些数据对于某个具体容器化应用并不足够.因为

容灾方式

数据级容灾 数据级别容灾的关注点在于数据,即灾难发生后可以确保用户原有的数据不会丢失或者遭到破坏. 数据级容灾较为基础,其中,较低级别的数据容灾方案仅需利用磁带库和管理软件就能实现数据异地备份,达到容灾的功效:而较高级的数据容灾方案则是依靠数据复制工具,例如卷复制软件,或者存储系统的硬件控制器,实现数据的远程复制. 数据级别容灾是保障数据可用的最后底线,当数据丢失时能够保证应用系统可以重新得到所有数据.从这种意义上讲,数据备份属于该级别容灾,用户把重要的数据存放在磁带上,如果考虑到高级别的安全性

GaussDB 200集群容灾管理

GaussDB 200的高可用容灾目标是在任何故障场景,数据不丢失,业务不停机.为达到这样的目标,GaussDB 200设计了双集群容灾的方案:分别部署两套同构的集群,集群间通过容灾任务进行周期性的物理数据同步.其中主集群提供正常的业务,灾备集群(亦称"备集群")在恢复期间不可用,非恢复期间提供只读服务.当主集群不可用时,灾备集群可以代替主集群正常提供业务,从而实现数据库的高可用.双集群容灾的约束限制见下图: 1.环境信息 如下图所示,两个同构集群环境(Gauss1和Gauss2)都是