【故障处理】分布式事务ORA-01591错误解决

【故障处理】分布式事务ORA-01591错误解决

1  BLOG文档结构图

2  前言部分

2.1  导读和注意事项

各位技术爱好者，看完本文后，你可以掌握如下的技能，也可以学到一些其它你所不知道的知识，~O(∩_∩)O~：

① 分布式事务的简单概念

        ② ORA-01591错误解决

  Tips：

① 本文在ITpub（http://blog.itpub.net/26736162）、博客园(http://www.cnblogs.com/lhrbest)和微信公众号（xiaomaimiaolhr）有同步更新

② 文章中用到的所有代码，相关软件，相关资料请前往小麦苗的云盘下载（http://blog.itpub.net/26736162/viewspace-1624453/）

③ 若文章代码格式有错乱，推荐使用搜狗、360或QQ浏览器，也可以下载pdf格式的文档来查看，pdf文档下载地址：http://blog.itpub.net/26736162/viewspace-1624453/，另外itpub格式显示有问题，可以去博客园地址阅读

④ 本篇BLOG中命令的输出部分需要特别关注的地方我都用灰色背景和粉红色字体来表示，比如下边的例子中，thread 1的最大归档日志号为33，thread 2的最大归档日志号为43是需要特别关注的地方；而命令一般使用黄色背景和红色字体标注；对代码或代码输出部分的注释一般采用蓝色字体表示。

  List of Archived Logs in backup set 11

  Thrd Seq     Low SCN    Low Time            Next SCN   Next Time

  ---- ------- ---------- ------------------- ---------- ---------

  1    32      1621589    2015-05-29 11:09:52 1625242    2015-05-29 11:15:48

  1    33      1625242    2015-05-29 11:15:48 1625293    2015-05-29 11:15:58

  2    42      1613951    2015-05-29 10:41:18 1625245    2015-05-29 11:15:49

  2    43      1625245    2015-05-29 11:15:49 1625253    2015-05-29 11:15:53

[ZHLHRDB1:root]:/>lsvg -o

T_XDESK_APP1_vg

rootvg

[ZHLHRDB1:root]:/>

00:27:22 SQL> alter tablespace idxtbs read write;

====》2097152*512/1024/1024/1024=1G 

本文如有错误或不完善的地方请大家多多指正，ITPUB留言或QQ皆可，您的批评指正是我写作的最大动力。

3  故障分析及解决过程

3.1  故障环境介绍

3.2  故障发生现象及报错信息

有同事发来错误：

执行一个update语句的时候报错ORA-01591的错误。

3.3  故障分析及解决过程

这个错误是由于分布式事务引起，而不是普通的锁引起的，检查一般对象数据表锁定，只需要检查v$locked_object和v$transaction视图，就可以定位到具体的SQL语句和操作人等信息，但是检查之后的结果如下：

[email protected]LHR12>  select * from gv$locked_object;

no rows selected

[email protected]LHR12> select * from gv$transaction;

no rows selected

两个关键视图中，没有锁定的对象，也没有正在进行没有提交的事务。那是不是没有锁定呢？或者锁已经释放了，我们尝试对数据表加锁：

[email protected]LHR12> select * from LHR.LHRBOKBAL for update;

select * from LHR.LHRBOKBAL for update

                   *

ERROR at line 1:

ORA-01591: lock held by in-doubt distributed transaction 20.13.14721

[email protected]LHR12> select count(1) from LHR.LHRBOKBAL;

  COUNT(1)

----------

  30998411

系统没有像一般阻塞那样等待，而是报错ORA-01591的错误，并且提示锁被一个分布式事务持有，不能实现加锁操作,那么ORA-01591错误究竟是什么呢？我们使用oerr工具查看该错误编号，看看有没有值得关注的信息。

[email protected]LHRRSP:/# oerr ora 1591

01591, 00000, "lock held by in-doubt distributed transaction %s"

// *Cause:  Trying to access resource that is locked by a dead two-phase commit

//          transaction that is in prepared state.

// *Action: DBA should query the pending_trans$ and related tables, and attempt

//          to repair network connection(s) to coordinator and commit point.

//          If timely repair is not possible, DBA should contact DBA at commit

//          point if known or end user for correct outcome, or use heuristic

//          default if given to issue a heuristic commit or abort command to

//          finalize the local portion of the distributed transaction.

简单的说，01591错误的原因是该对象被一个处在“in-doubt”状态的分布式事务锁定。分布式事务使用的是“two-phase commit”二阶段提交技术。解决该问题的方法就是查看内部表pending_trans$，确定分布式事务信息。这种状态的事务主要是由于在进行分布式事务时候，发生网络突发中断的情况，引起分布式事务无法正常结束，等待中断节点的事务响应。于是，各节点的事务所锁定的表就不会被释放掉。

此时，我们检查视图DBA_2PC_PENDING（或者基表pending_trans$），查看是否存在这种情况。

果然，当前存在一个阻塞分布式事务，处在prepared状态。当前问题，主要是源于在进入prepared阶段之后，发生了网络中断的现象，引起commit的阶段不能等待到事务信息。所以，才会一直处在Prepared状态，数据表也就不会进行释放。

对于这个事务，只能通过连接网络或者强制提交回退事务来结束。我们可以使用commit force或者rollback force来进行处理，这里我们进行回滚操作：

[email protected]LHR12> rollback force ‘20.13.14721‘;

Rollback complete.

[email protected]LHR12>

Rollback force的参数是DBA_2PC_PENDING中记录本地事务信息的编号即LOCAL_TRAN_ID。

此时，再次查看数据。

此时，该事务状态已经变化为forced rollback表示已经强制回退,我们再次尝试锁定表操作：

16:25:31 SQL> select CURRENCY from tpcc.TPCCBOKBAL WHERE ROWNUM=1  for update;

CURRENCY

--------

001

Executed in 0.025 seconds

可以看出已经不报错了，可以正常执行。

4  分布式事务相关知识点

分布式事务，简单来说，是指一个事务在本地和远程执行，本地需要等待确认远程的事务结束后，进行下一步本地的操作。如通过dblink update远程数据库的一行记录，如果在执行过程中网络异常，或者其他事件导致本地数据库无法得知远程数据库的执行情况，此时就会发生in doublt的报错。此时需要dba介入，且需要分多种情况进行处理。

Oracle会自动处理分布事务，保证分布事务的一致性，所有站点全部提交或全部回滚。一般情况下，处理过程在很短的时间内完成，根本无法察觉到。

但是，如果在commit或rollback的时候，出现了连接中断或某个数据库 站点CRASH的情况，则提交操作可能会无法继续，此时DBA_2PC_PENDING和DBA_2PC_NEIGHBORS中会包含尚未解决的分布事务。 对于绝大多数情况，当恢复连接或CRASH的数据库重新启动后，会自动解决分布式事务，不需要人工干预。只有分布事务锁住的对象急需被访问，锁住的回滚段阻止了其他事务的使用，网络故障或CRASH的数据库的恢复需要很长的时间等情况出现时，才使用人工操作的方式来维护分布式事务。 手工强制提交或回滚将失去二层提交的特性，Oracle无法继续保证事务的一致性，事务的一致性应由手工操作者保证

使用ALTER SYSTEM DISABLE DISTRIBUTED RECOVERY，可以使Oracle不再自动解决分布事务，即使网络恢复连接或者CRASH的数据库重新启动。

ALTER SYSTEM ENABLE DISTRIBUTED RECOVERY恢复自动解决分布事务。

5  两个重要的视图

5.1  DBA_2PC_PENDING

DBA_2PC_PENDING:列出所有的悬而未决的事务﹐此视图在末填入悬而未决的事务之前是空的﹐解决这后也被清空。

DBA_2PC_PENDING的STATE列的说明

SELECT * FROM DBA_2PC_PENDING;

5.2  DBA_2PC_NEIGHBORS

DBA_2PC_NEIGHBORS:列出所有获得的(从远程客户)和送出的(给远程服务器)悬而未决的事务﹐也表示该本地节点是不是事务的提交点站点。

  About Me

..........................................................................................................................................................................................................                        

v 本文作者：小麦苗，只专注于数据库的技术，更注重技术的运用

v 本文在ITpub（http://blog.itpub.net/26736162）、博客园(http://www.cnblogs.com/lhrbest)和个人微信公众号（xiaomaimiaolhr）上有同步更新，推荐pdf文件阅读或博客园地址阅读

v QQ群：230161599 微信群：私聊

v 本文itpub地址： http://blog.itpub.net/26736162/viewspace-2122999/   博客园地址：http://www.cnblogs.com/lhrbest/p/5738544.html

v 本文pdf版：http://yunpan.cn/cdEQedhCs2kFz （提取码：ed9b）

v 小麦苗分享的其它资料：http://blog.itpub.net/26736162/viewspace-1624453/

v 联系我请加QQ好友(642808185)，注明添加缘由

v 于 2016-08-02 09:00~2016-08-03 19:00 在中行完成

v 【版权所有，文章允许转载，但须以链接方式注明源地址，否则追究法律责任】

..........................................................................................................................................................................................................

长按识别二维码或微信客户端扫描下边的二维码来关注小麦苗的微信公众号：xiaomaimiaolhr,学习最实用的数据库技术。