Transactional replication-如何跳过一个事务

在transactional replication, 经常会遇到数据同步延迟的情况。有时候这些延迟是由于在publication中执行了一个更新,例如update ta set col=? Where ?,这个更新包含巨大的数据量。在subscription端,这个更新会分解成多条命令(默认情况下每个数据行一个命令),应用到subscription上。 不得已的情况下,我们需要跳过这个大的事务,让replication继续运行下去。

现在介绍一下transactional replication的一些原理和具体的方法

当publication database的article发生更新时, 会产生相应的日志,Log reader会读取这些日志信息,将他们写入到Distribution 数据库的msrepl_transactions和msrepl_commands中。

Msrepl_transactions中的每一条记录都有一个唯一标识xact_seqno,xact_seqno对应日志中的LSN。 所以可以通过xact_seqno推断出他们在publication database中的生成顺序,编号大的生成时间就晚,编号小的生成时间就早。

Distributionagent包含两个子进程,reader和writer。 Reader负责从Distribution 数据库中读取数据,Writer负责将reader读取的数据写入到订阅数据库.

reader是通过sp_MSget_repl_commands来读取Distribution数据库中(读取Msrepl_transactions表和Msrepl_Commands表)的数据

下面是sp_MSget_repl_commands的参数定义

CREATE PROCEDURE sys.sp_MSget_repl_commands

(

@agent_id int,

@last_xact_seqno varbinary(16),

@get_count tinyint = 0,  -- 0 = no count, 1 = cmd and tran (legacy), 2 = cmd only

@compatibility_level int = 7000000,

@subdb_version int = 0,

@read_query_size int = -1

)

这个存储过程有6个参数,在Transactional replication 中,只会使用前4个(并且第三个参数和第四个参数的值是固定不变的.分别为0和10000000)。下面是一个例子:

execsp_MSget_repl_commands 46,0x0010630F000002A900EA00000000,0,10000000

@agent_id表示Distributionagentid,每个订阅都会有一个单独的Distributionagent来处理数据。 带入@agent_id后,就可以找到订阅对应的publication 和所有的article。

@last_xact_seqno 表示上一次传递到订阅的LSN。

大致逻辑是:Reader读取subscription database的MSreplication_subscriptions表的transaction_timestamp列,获得更新的上一次LSN编号,然后读取分发数据库中LSN大于这个编号的数据。 Writer将读取到的数据写入订阅,并更新MSreplication_subscriptions表的transaction_timestamp列。然后Reader会继续用新的LSN来读取后续的数据,再传递给Writer,如此往复。

如果我们手工更新transaction_timestamp列,将这个值设置为当前正在执行的大事务的LSN,那么distribution agent就会不读取这个大事务,而是将其跳过了。

下面以一个实例演示一下

环境如下

Publisher: SQL108W2K8R21

Distributor: SQL108W2K8R22

Subscriber: SQL108W2K8R23

图中高亮的publication中包含3个aritcles,ta,tb,tc

其中ta包含18,218,200万数据,然后我们进行了一下操作

  1. 在11:00进行了更新语句,

update ta set c=-11

  1. 后续陆续对表ta,tb,tc执行一些插入操作

    insert tb values(0,0)

    insert tc values(0,0)

之后我们启动replication monitor ,发现有很大的延迟,distribution agent一直在传递a)操作产生的数据

在subscription database中执行下面的语句,得到当前最新记录的事务编号

declare @publisher sysname

declare @publicationDB sysname

declare @publication sysname

set @publisher=‘SQL108W2K8R22‘

set @publicationDB=‘pubdb‘

set @publication=‘pubdbtest2‘

select transaction_timestamp From MSreplication_subscriptions

where

publisher=@publisher and

publisher_db=@publicationDB and

publication=@publication

在我的环境中,事务编号为0x0000014900004E9A0004000000000000

返回到distribution database,执行下面的语句,得到紧跟在大事务后面的事务编号. 请将参数替换成您实际环境中的数据。(请注意,如果执行下列语句遇到性能问题,请将参数直接替换成值)

declare @publisher sysname

declare @publicationDB sysname

declare @publication sysname

declare @transaction_timestamp [varbinary](16)

set @publisher=‘SQL108W2K8R21‘

set @publicationDB=‘publicationdb2‘

set @publication=‘pubtest‘

set @transaction_timestamp= 0x0000014900004E9A0004000000000000

select top 1 xact_seqno from MSrepl_commands with (nolock) where xact_seqno>@transaction_timestamp and

article_id in (

select article_id From MSarticles a inner join MSpublications p on a.publication_id=p.publication_id and a.publisher_id=p.publisher_id and a.publisher_db=p.publisher_db

inner join sys.servers s on s.server_id=p.publisher_id

where p.publication=@publication and p.publisher_db=@publicationDB and s.name=@publisher

)

and publisher_database_id =(

select id From MSpublisher_databases pd inner join MSpublications p on pd.publisher_id=p.publisher_id

inner join sys.servers s on pd.publisher_id=s.server_id and pd.publisher_db=p.publisher_db

where s.name=@publisher and [email protected] and pd.publisher_db=@publicationDB

)

Order by xact_seqno

在我的环境中,事务编号为0x0000018C000001000171

在subscription database中执行下面的语句,跳过大的事务。请将参数替换成您实际环境中的数据

declare @publisher sysname

declare @publicationDB sysname

declare @publication sysname

declare @transaction_timestamp [varbinary](16)

set @publisher=‘SQL108W2K8R22‘

set @publicationDB=‘pubdb‘

set @publication=‘pubdbtest2‘

set @transaction_timestamp= 0x0000018C000001000171

update MSreplication_subscriptions set transaction_timestamp=@transaction_timestamp

where publisher=@publisher and publisher_db=@publicationDB and publication=@publication

执行完成后开启distribution agent job即可。

接下来您就会发现,事务已经成功跳过,ta在订阅端不会被更新,后续的更新会逐步传递到订阅,延迟消失。

Transactional replication-如何跳过一个事务

时间: 2024-10-18 19:32:56

Transactional replication-如何跳过一个事务的相关文章

Transactional Replication

事务复制的原理是复制publisher的事务日志,通过distributor,传送到subscriber,在subscirber端重做事务日志,要求事务日志是连续和完整的. distributor有两个Agent:一个是Log Reader Agent,一个是Distribution Agent.Log Reader Agent负责将Publisher中的transaction log读取到Distribution database,Distribution负责将Distribution dat

Spring中的事物管理,用 @Transactional 注解声明式地管理事务

事物: 事务管理是企业级应用程序开发中必不可少的技术,  用来确保数据的 完整性和 一致性. 事务就是一系列的动作, 它们被当做一个单独的工作单元. 这些动作要么全部完成, 要么全部不起作用 事务的四个关键属性: 原子性:事务是一个原子操作, 由一系列动作组成. 事务的原子性确保动作要么全部完成要么完全不起作用. 一致性:一旦所有事务动作完成, 事务就被提交. 数据和资源就处于一种满足业务规则的一致性状态中. 隔离性:可能有许多事务会同时处理相同的数据, 因此每个事物都应该与其他事务隔离开来,

Publishing Stored Procedure Execution in Transactional Replication

Replication 不仅可以将Table Article 或 SP Article 推送到subscription,而且还能将sp的execution推送到subscription.推送sp的execution是指将执行sp的command 推送到subscriber去执行, 而不是将sp执行之后产生的大量transaction推送到subscriber上.Transaction是逐个更新Table Article中的数据行. 推送sp的execution来同步subscription的数据

c语言:一只青蛙一次可以跳上1级台阶,也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法?

一只青蛙一次可以跳上1级台阶,也可以跳上2级.求该青蛙跳上一个n级的台阶总共有多少种跳法? 解:把n级台阶时的跳法记为f(n),当n>2时,第一次跳的时候有两种不同的选择:一是第一次只跳1级,此时跳法数目等于后面剩下的n-1级台阶的跳法数目,即为f(n-1);另外一种是第一次跳2级,此时跳法数目等于后面剩下的n-2级台阶的跳法数目,即为f(n-2);因此n级台阶时的跳法为f(n)=f(n-1)+f(n-2).不难看出这实际是斐波拉契数列的变形应用,把斐波拉契数列的每一项向前移动了1位. 程序:

解决php支付宝接口支付时会跳到一个确定按钮页

php支付宝接口成功接入后,发现支付时,中间会跳到一个带有确定按钮的页面,这个很影响用户体验,该怎么解决呢? 检查代码发现 alipayapi.php 有这么一段代码: $alipaySubmit = new AlipaySubmit($alipay_config); $html_text = $alipaySubmit->buildRequestForm($parameter,"post", "确认"); echo $html_text; 其中'确定'按钮就

JAVA web编程经验之: 一个请求一个事务

对于一个web请求,你会开启几个事务呢? 或许你没注意过吧. 又或许你不会对代码,性能要求太高,所以.... 一个请求一个事务, 因为一个事务往往和一个数据库连接关联, 如果开启了多个事务的话,也就意味着多个数据库连接, 性能不高吧? 前提 1.项目的代码结构分层如下: web层 ->  service层 -> infrastructure层(或DAO层) 2.所有事务都添加在 service层, 通过AOP(或其他类似的技术)实现 先看代码(一个Spring Controller 的调用代码

Oracle一个事务中的Insert和Update执行顺序

今天碰到了一个奇怪的问题,是关于Oracle一个事务中的Insert和Update语句的执行顺序的问题. 首先详细说明下整个过程: 有三张表:A,B,C,Java代码中有一段代码是先在表A中插入一条数据,然后再更新表B的两个字段,更新的两个字段是特定值.并且插入和更新在一个事务中. 有个需求需要在表A添加一个Insert的行级触发器,在触发器里,插入表A一行记录后去表B查看更新的两个字段是否满足特定条件, 如果表B的两个字段同时等于特定值,则把表A和表B的数据整合下放到表C.触发器的初衷就是这样

一只青蛙一次可以跳上1级台阶,也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。

import java.util.HashMap; //一只青蛙一次可以跳上1级台阶,也可以跳上2级.求该青蛙跳上一个n级的台阶总共有多少种跳法. public class Solution { //方法一:递归求解 public static int JumpFloor1(int n) { if(n<1){ return 0; } if(n==1){ return 1; } if(n==2){ return 2; } return JumpFloor1(n-1)+JumpFloor1(n-2)

方法中开启一个事务之后,能否调用另一个通过事务实现的函数?

领悟:一个事务开启,不能再开启另一个事务来源:导入用户时开启一个事务,在此事务中我试图调用曾经写好的Insert添加用户的函 数,Insert中数据库操作在一个事务中,结果系统提 示:SqlMap could not invoke BeginTransaction(). A Transaction is already started. Call CommitTransaction() or RollbackTransaction first.   SqlMap 不能调用BeginTransac