SSIS错误恢复利器:CheckPoint

??

大家对使用SSIS做数据接口应该不陌生了吧,没听过的同学得努力补补了。就开发体验和效率来看,SSIS是款非常酷的软件,学会它的基本使用方法还是很有必要的。既然是数据接口就免不了要考虑灾难恢复这样的事情了。还好SSIS为我们提供了OOB的Feature-- CheckPoint,关键时候还是可以抱抱它大腿的。

CheckPoint,SSIS的Failover组件。通过配置SSIS Package的CheckPoint,我们可以非常轻松的保证:不重复执行Control Flow,只在最后出错点继续执行。有这样的灾难恢复机制,我们还能不自信的去面对各种复杂的数据同步需求吗?CheckPoint另外一个难能可贵的地方就是,CheckPoint配置非常的简单,只需修改几个属性就能搞定,咱们也能体验一把甩手程序员的快乐了。

接下来我带大家去看看怎么配置这个CheckPoint,并在一个模拟的数据同步场景中使用CheckPoint去做灾难恢复。

1)开启Packge的CheckPoint机制,我们需要配置Package的如下属性:CheckPointFileName,CheckpointUsage,SaveCheckpoint。

CheckpointFileName是用来指定保存文件的路径,如果Packge在运行的时候出现了错误并中断,那么这个文件将会保持中断时的运行快照。CheckpointUsage用来执行Checkpoint的执行规则,是每次都开启,还是只在Checkpoint文件存在的情况下开启。SaveCheckpoint故名思意了,Checkpoint的关键属性,必须开启。

2)配置Control Flow的Checkpoint属性,它们分别是:FailPackageOnFail,FailParentOnFailure。

FailPackageOnFail是指如果该Control Flow异常了,中断运行,下次再该Control Flow上继续执行。FailParentOnFailure是指如果该Control Flow异常了,中断运行,下次重该Control Flow的parent次执行,如果这个parent里面包含多个control flow并且我们想每次异常都需要重新运行该容器下的所有control flow的话,我们就要设置这个熟悉啦。

我们来做两个小实验吧:1)在Package上开启CheckPoint。2)在开启Checkpoint的package上重复执行序列内的所有Control Flow。

Example 1

首次执行

在出现灾难后再次执行

Example 2

首次执行

在灾难后再次执行

??

SSIS错误恢复利器:CheckPoint,布布扣,bubuko.com

时间: 2025-01-14 06:09:35

SSIS错误恢复利器:CheckPoint的相关文章

webrtc如何进行错误恢复

视频的压缩方法:(三种帧) 为了视频尽可能的保持高效,视频数据通过不同的编码进行压缩.以帧为单位进行压缩,按照压缩中的不同作用可分类为:内帧(Intra-frames,I帧),预测帧(Predictive-frames,P帧),和双向预测帧(Bipredictive-frames,B帧).B帧利用过去的和将来的包进行编码,在实时交互的视频中不会使用. 一个I帧包含一个完整的图片(经过空间压缩),像传统的静态图片文件.因此,I帧是独立的帧,解码时不依赖其他的帧. P帧则是依赖性的帧,仅包含与之前一

SSIS错误信息解决1(字符串类型不匹配)

字符串类型不匹配 错误信息: [Local HR Data [2]] Error: There was an error with Local HR Data.Outputs[OLE DB Source Output].Columns[DivisionC] on Local HR Data.Outputs[OLE DB Source Output]. The column status returned was: "Text was truncated or one or more charac

【转】XenServer错误恢复:断电网卡丢失.虚拟机(VPS)不见

这次一朋友拖我帮忙.他的服务器因为机房断电,致使网卡丢失等一系列处理.在此小记一笔背景:机器位于美国. 32G内存+1T硬盘*4(硬RAID10阵列)+xenserver5.6系统 服务器支持kvm远程管理.机房断电,致使xenserver网卡丢失.在恢复网络连接后,其所有虚拟机(VPS)丢失.控制面板使用我的是我破解过的xensystem2.0版本.(维护和操作起来比较方便) 开始:起初我在网上找了很多方法,都不成,有说是因为xenserver有自我保护模式,有说是pool主从模式的,都试过了

SSIS错误汇总

[Excel 目标 [2]] 错误: SSIS 错误代码 DTS_E_CANNOTACQUIRECONNECTIONFROMCONNECTIONMANAGER.对连接管理器"未匹配用户名ID的工作流"的 AcquireConnection 方法调用失败,错误代码为 0xC0202009.可能在此之前已经发出错误消息,提供了有关 AcquireConnection 方法调用失败原因的详细信息. [SSIS.Pipeline] 错误: Excel 目标 未能通过验证,返回的错误代码为 0x

firebird 数据库恢复 firebird数据库修复 interbase数据库恢复 firebird blob错误恢复

数 据 类 型 firebird 2.1 数 据 大 小 134 GB 故 障 检测 由于数据库大多数表含有blob数据,断电导致系统表及大字段表异常 数据库无法启动. 客 户 要 求 恢复整个数据库,直接能使用 修 复 结 果  数据库发来后 手工处理系统表,启动数据库后 做备份 提示not found blob,(cannot find BLOB page (201)) gds_$get_segmen 等等错误,使用极佳firebird数据库数据提取工具 测试发现 有5个含有blob字段的表

PostgreSQL启动恢复读取checkpoint记录失败的条件

1.首先读取ControlFile->checkPoint指向的checkpoint 2.如果读取失败,slave直接abort退出,master再次读取ControlFile->prevCheckPoint指向的checkpoint StartupXLOG-> |--checkPointLoc = ControlFile->checkPoint; |--record = ReadCheckpointRecord(xlogreader, checkPointLoc, 1, true

PostgreSQL启动恢复通过checkpoint open wal文件

StartupLOG:: ->record = ReadCheckpointRecord(xlogreader, ControlFile->checkPoint, 1, true) ->record = ReadRecord(xlogreader, ControlFile->checkPoint, LOG, true) ->record = XLogReadRecord(xlogreader, ControlFile->checkPoint, &errormsg

Flink CheckPoint奇技淫巧 | 原理和在生产中的应用

简介 Flink本身为了保证其高可用的特性,以及保证作用的Exactly Once的快速恢复,进而提供了一套强大的Checkpoint机制. Checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保 证应用流图状态的一致性.Flink的Checkpoint机制原理来自"Chandy-Lamport algorithm"算法 (分布式快照算法). Checkpoint的执行

检查点Checkpoint的工作原理

大多数关系型数据库都采用"在提交时并不强迫针对数据块的修改完成"而是"提交时保证修改记录(以重做日志的形式)写入日志文件"的机制,来获得性能的优势.即:当用户提交事务,写数据文件是"异步"的,写日志文件是"同步"的. 这就可能导致数据库实例崩溃时,内存中的DB_Buffer 中的修改过的数据,可能没有写入到数据块中.数据库在重新打开时,需要进行恢复,来恢复DB Buffer 中的数据状态,并确保已经提交的数据被写入到数据块中.