中亦科技黄远邦技术人生(16) ——红色警报--Oracle宕机潮来临,快快行动起来!

1

前言

2月14日,情人节前夕,某数据中心一套Oracle 11.2.0.4 RAC宕了!

隔了几天,又有一套RAC宕了!

几天后,紧接着又有一套RAC宕了...

作为运维的你,听到其他客户出现这样的宕机潮时,是不是心底会泛起一阵莫名的恐慌?

那么问题来了,贵司的数据中心到会不会也将出现类似的宕机潮呢?

这些故障是什么原因引起的呢?

这股宕机潮会继续疯狂延续下去么…

如果不能及时找到问题真相,那么小y相信,这股宕机潮还会继续延续下去!

贵中心的Oracle数据库也许正在越来越接近宕机了!可怕的是,你可能还没有察觉到…

这绝对不是危言耸听!

这是在一家超大型数据中心发生的真实故障,在不到两周的时间里,三套不同Oracle数据库先后出现了实例异常终止的情况!

无独有偶,小y服务的其他客户那也陆续出现了宕机的前兆!好在及时发现并处理。

眼看宕机潮来临,看小y如何化繁为简,帮助客户一起解开问题的真相。

真相揭开后,您也许不难发现,这是一个共性的问题!

因此小y不敢怠慢,赶紧拿出来与大家分享,拉响了这次红色警报!

十六期,小y将带领大家一起去经历一场数据中心Oracle数据库宕机潮的分析之旅。

文章的最后,提供具体的警报和核查方法,还在犹豫什么呢?赶紧查一查吧!

2

问题来啦

小y,出事了,今天有个系统,早上RAC宕了一个节点,晚上又宕了一个节点,操作系统没有重启,只是数据库实例crash掉了!目前已经开了SR,但现在原因还没确定,领导很重视这个问题,明天你能过来一趟一起查下么?领导希望明天就能查清问题原因。

对了,这是一套11.2.0.4 RAC,打了最新的PSU的!

接到电话,小y来了精神。

来电的是国内一家超大型的国有银行,本身就拥有一批水准很高的ORACLE DBA。

通常找到小y的问题,都是些奇奇怪怪的复杂问题,如果只懂数据库,而对操作系统/中间件/存储等方面缺乏足够的了解的话,很多时候是无法解决他们的复杂问题的。

看来,一场硬仗,在所难免...

3

开始分析

先看看数据库alert日志:

第二天早上,到了客户现场,首先客户向我介绍了昨天发生故障的情况:2月12日早上9点左右,11.2.0.4的RAC节点1宕了,晚上22点,节点2 宕了。

客户帮助登陆到系统后,小y首先检查了数据库的alert日志,如下图所示:

不难看到:

2017/2/128:53:49,由于数据库的后台进程ASMB与ASM实例通讯失败,ASMB进程终止了数据库实例,因此,小y需要继续检查ASM的alert日志,以便查看asm实例是否先出现了问题,才导致数据库crash了。

紧接着查看ASM alert日志:

不难看到:

在数据库crash前的几十秒之前, 8:53:15,ASM实例的rbal后台进程,遇到了ORA-07445的错误,rbal进程core dump,因此pmon进程终止了ASM实例。

也就是说,ASM实例rbal进程出现ORA-7445错误,导致ASM实例终止,由于数据库实例依赖ASM实例,因此数据库实例被终止。ASM实例具体的ORA-7445错误是:


ORA-07445:  exception encountered: core dump [__lwp_kill()+48] [SIGIOT]

小y刚一开始看到这个错误的时候,无奈的摇了摇头,遇上麻烦了!

为什么小y会有如此感慨呢?资深的DBA,也许看到这个错误时,可能会同样的感慨!

因为这个错误出错的调用lwp_kill是一个太普通不过的调用了,在该函数core Dump的原因可能有一万种,甚至都不止,metalink上不会记录所有的可能…..

不过,小y还是很有信心的,只要调整到修正学院派模式,未知问题也可以很快查清。

不错,只要集中精力分析出这个ORA-7445 [__lwp_kill()+48] [SIGIOT]错误的原因,也就解开了宕机潮系列问题的真相。

4

不妙的开始

看到这里,小y和之前看过该问题的几个工程师做了一下简单的沟通。

沟通的结果是两个字,不妙。

之前他们几个比较资深的工程师已经看过该问题,也在metalink上找过是否有类似的问题,结果显示,通过call stack匹配,一样的case有过一些,但case没有直接的结论,客户已经开了一个SR到gcs,目前正在分析中..

客户希望今天出一个大概的结果,时间紧急。

客户他们了解小y的习惯,再紧急,也会先抽空去抽上一根烟…

小y和客户打了个招呼后,便下楼抽烟去了。

5

正经的科普一下

趁着抽烟的缝隙,小y缕了一下思路。

也许有些同学对上面的有些术语比较困惑,什么是call stack,什么是ora-600和ora-7445错误。小y发现,很多DBA都是人云亦云,这里,小y稍微给大家科普下:

知识点大普及

知识点1:什么是ORA-600错误?

有同学会说,ORA-7445错误和ORA-600错误一样,属于ORACLE内部错误。依小y来看,这么理解其实并不准确!ORA-600错误是内部错误,但7445错误则不尽然!

ORA-600是ORACLE源码中捕获的异常,通常发生在某个特定的函数,相对比较具体,通常是ORACLE BUG。

知识点2:什么是ORA-7445错误?

ORA-7445错误和ORA-600错误就不一样了。

当 ORACLE进程在运行过程中收到来自操作系统一个严重的信号signal,则会报ORA-7445错误。操作系统自身会捕获进程的一些非法的操作,例如当一个进程尝试往无效的内存位置去写,出于保护操作系统的目的,操作系统将会向进程发送一个严重的信号,常见的例如SIGBUS和SIGSEGV信号,所以会看到进程core Dump现象的出现。

ORA-7445错误可以发生在代码的任意位置,出错的精确位置需要通过core文件来定位 。

从这段话不难看出,ORA-7445错误的可能性较多,本质是操作系统向进程发送一个严重的信号,那么原因既可能是数据库的BUG,也有很大可能是来自操作系统的某些异常。

这也就是ORA-7445错误的分析比ORA-600错误更难的原因。

知识点3:什么是call stack?

我们在谈论bug或缺陷defect的时候,都会有一个疑问,这个BUG的触发条件是什么呢?

BUG通常都是某一种特殊的场景下触发的,call stack就是函数的调用轨迹,这个调用轨迹就表示了BUG的具体触发场景。

这就是小y前面提到的,在小y之前,他们已经通过核对call stack去匹配BUG了。

只不过可惜的是,MOS上出现过相同call stack的case没有最后下结论,因此无法参考…

6

从call stack开始查找真相

小y接下来打开出现ORA-7445错误的rbal进程的trace文件,找到call stack部分,如下所示

首先找到ORA-7445错误的第一个中括号出现的函数,即lwp_kill

也就是说rbal进程core dump是在__lwp_kill这个系统调用中发生的。

Lwp就是Light Weight process即轻量级进程,kill就是终止。

细心的同学,可以看到,lwp_kill前面带了两个下划线,说明不是oracle代码中自己调用的函数,而是函数内部调用的函数,属于递归的函数了。

那么小y是如何知道这些调用是什么意思的呢?

其实很简单,这些都是来自操作系统的标准调用,度娘或者google一下就好了。

Trace文件中,call stack的调用是从下往上看,下面的函数先执行,上面的函数后执行。这个错误太普遍了!是一个广义的错误!很多地方异常,都可能调用lwp_kill来终止进程。因此分析这个函数,没有什么意义,我们需要继续往下看,如下图所示

1) 调起lwp_kill的函数是pthread_kill,这个函数的作用向某个线程传递一个信号,也是一个递归函数,继续往下看

2) _raise,向正在执行的程序发送一个信号,raise调起了pthread_kill

3)abort()函数,从名字看就是终止, abort()函数会导致进程的异常终止,除非来自操作系统的进程终止信号即SIGABRT信号被捕捉并且信号处理句柄没有返回 _assert(),其作用是如果它的条件返回错误,则终止程序执行,简单来说就是程序做某件事情,遇到了错误,需要终止程序执行。

到这里,不难看到,函数的调用轨迹是


__lwp_kill <-- __pthread_kill <-- _raise <-- abort  <-- _assert

这段call stack,用大白话来说,就是:

rbal进程在执行过程中遇到了错误,因此终止了rbal进程。

那么到底遇到了什么错误呢?为什么需要继续往下看其他call stack

不难看到:

_Assert()是一个递归的调用,将其调起来的函数是clsuassertmsg。

这个函数不带下划线,是oracle代码中自己的函数名,显然在度娘或google就查不到了..

那么不妨就跟着小y来猜一猜吧。

拆开来看,即clsu+assertMsg,也就是遇到了某个错误,assert表示遇到了某个错误。

再往下看,是clsgpnp_oramemAlloc,不难看出,oramemAlloc就是分配内存,和gpnp相关模块分配内存有关系。

结合前面的call stack,我们来总结一下:

Rbal进程在执行clsgpnp_oramemAlloc函数来进行分配内存的时候遇到了某个错误,因此发生了coreDump,也就是ORA-7445错误,继而导致ASM和数据库实例先后crash。

7

为什么内存无法分配呢?

到这里,我们实际上已经知道了,oracle在执行到clsgpnp_oramemAlloc这处代码的时候,出现了错误,具体是什么错误呢?这个才是关键啊!但是,有办法知道是什么错误么?

oracle为我们抛出了一个lwp_kill的ORA-7445错误,但是我们真正关心的是clsgpnp_oramemAlloc这个函数到底遇到了什么错误!

如果trace里要告诉我们是什么错误,那有多好啊!太可惜了!?

很多人也许分析到了这里,就陷入僵局了!

实际上小y只读了几分钟的trace文件,就找到问题的真相了。

大家不防也可以停下来思考下一两分钟,如果是你,你会怎么往下查…

---------------------

思考时间....别着急往下翻哦..

-------------------------

8

慢慢接近真相

小y的方法很简单,用正常人的思维/生活化的语言来分析就可以。

表面上,出现core dump时的调用是lwp_kill,但真正出现问题的oracle函数是clsgpnp_oramemAlloc。显然,我们需要知道这个函数去分配内存的时候到底报了什么错误!!记住,需要证据,而不是猜!

有人会说,我们在trace中以clsgpnp_oramemAlloc关键字查找不就可以了么…

可惜的是,那你也许这么查找,最终会发现一无所获…

是你错了么?

不是的!是你方法不对!

小y采用的方法是将clsgpnp_oramemAlloc关键字截取前半截(一会您就知道为什么了),

这里查找clsgpnp_oram关键字,结果如下

可以看到:

真正出现问题的oracle函数是clsgpnp_oramemAlloc,

这个函数去分配内存的时候报了无法分配120K内存的错误!failed to allocate 120024 bytes.

看到这张图,大家理解为什么需要截断真正错误的函数名来作为查找的关键字了吧!

因为函数名字换行了,如果以整个函数作为关键字,则可能查找不到!

这算是小y为大家贡献的一点小技巧和经验提示吧。

这里,也许也有人说:

为什么不能直接猜clsgpnp_oramemAlloc这个函数去分配内存的时候报的错误呢?

最可能的不就是无法分配内存么?确实如此,但也不仅如此。

因为分配内存出错,可能性太多了,绝不是你想象的无法分配内存的那几种可能!

还记得小y以前文章中曾经提到过的修正学院派模式么?

如果采用猜的方法,结果是无法说服客户和自己,无法形成完整的证据链,是“野路子”的典型表现之一。小y这些年面试过不少人,结果不理想,绝大部分人其实都是野路子,野路子的解决问题,典型的就是在解决问题时东一榔头,西一棒子,靠运气。而不是学院派的步步为营。面对复杂问题时,野路子就会抓襟见肘了。

9

真相浮出水面

Oracle的函数clsgpnp_oramemAlloc,去分配内存的时候报了无法分配120K内存的错误!failedto allocate 120024 bytes.

到这里,相信大家一定跃跃欲试了!想试试自己的身手,毕竟看到了这个错误后,问题被进一步缩小范围了!

1) 是不是机器内存不足导致clsgpnp_oramemAlloc函数无法分配内存?

答案是NO,首先从监控数据/oswatcher中可以看到,机器内存还很富余。

2)是不是操作系统ulimit内存方面设置的比较小呢?

答案是NO,ulimit配置正常

难道我们方向错了?

有时候,看上去,我们快接近了事情的真相,但又可能与真相插肩而过?为什么呢

在这里,小y卖个关子,答案就在下方的空白后,读者可自行选择什么时候往下翻…

小y说过,如果只懂数据库,而对操作系统/中间件/存储等方面缺乏足够的了解的话,很多时候是无法解决大型数据中心那些复杂问题的。

查看宕机前的RBAL进程的内存消耗,如下图所示

这是一个HPUX 11.31 ia64的操作系统(实际上该问题与操作系统无关),

我们调出glance的历史,不难看到,Res Mem达到了4209480K,即4G左右。

听到4G这个词,是不是想到了些什么呢?没错,像是一个限制!

从上图可以看到,操作系统的maxdsize_64bit参数设置的正是4G,即单个进程的data最大只能到4G!

为什么RBAL进程内存用那么多内存?

显然,RBAL进程存在内存泄露的情况。正常而言,rbal进程的内存在100M以上。

我们通过检查历史数据,确认了rbal进程存在内存该情况!

是什么触发rbal进程内存泄露呢?

通过分析和比对,发现该库数据库有一个和其他数据库不一样的地方:

ASMalert日志中频繁的发生voting File relocation的情况,如下所示。

最终,在解决了voting File relocation的情况后,rbal进程的内存不再继续增加,问题得到了根本解决。之后,客户自己也申请到了一个patch.。

10

宕机潮事件还原

通过阅读ORA-7445的call stack,小y化繁为简,还原了事件的发生过程。

1、为什么ASM rbal进程出现 ORA-7445[lwp_kill]错误后进程core Dump?

因此ASM实例 rbal后台进程存在内存泄露,当内存泄露到OS对单个进程的限制之后,进程无法分配内存而crash,继而先后导致asm实例和数据库实例crash

2、为什么会导致宕机潮

因为rbal进程内存泄露的速度差不多,在一个维护日中启动的多套数据库,经过小一年的时间后,也就差不多同时到了OS对单个进程的限制,因此先后发生了“宕机潮”

事实上,在第一套出现宕机的时候,小y已经协助客户查明了ASM rbal进程内存泄露的问题,只是没来得及全面梳理和整改所有系统,在此期间又先后发生了另外两套RAC的宕机。

3、一定会出现宕机么?

不一定,如果操作系统对单个系统的使用没有上限,则不会出现宕机,但会出现rbal进程将整个系统内存耗尽的情况,如果不及时监控,可能导致性能和无法telnet/ssh的情况。

简而言之,同一个问题,但在不同的OS配置下会表现出不同的故障现象!

4、rbal进程core dump一定是出现在clsgpnp_oramemAlloc整个函数么?

显然,如果内存泄露到了OS单个进程的限制,无论哪个需要分配内存的函数,都可能遇到无法分配内存继而coreDump的情况!因此,答案是不一定。这就是一个故障,可能有多个不同故障现象,但本质都是一回事!

5、rbal进程内存泄露只发生在HPUX么?

NO!我们不仅在HPUX上发现了该问题,其他客户的AIX环境下,RBAL进程的内存已经使用了8G,并且还在持续上升。这个问题不区分平台,目前确认受到影响的版本是11.2.0.4!其他版本我们还在陆续确认。

11

红色警报响起!


11.2.0.4,一套Oracle RAC宕了!

隔了几天,另外一套RAC也宕了!

没过几天,紧接着又有一套其他RAC宕了!

详细原因见上文“宕机潮事件还原”章节的分析

1、小y在这里代表中亦科技向大家郑重提示一个较大的风险:

Oracle 11.2.0.4版本的RAC,ASM的rbal后台进程存在内存泄露的情况,将可能导致宕机潮,目前已经有多个客户出现该情况,影响了包括HPUX/AIX/LINUX等在内的操作系统。

2、建议

建议按照下列方法全面梳理是否存在该情况,并增加进程一级内存使用情况的监控。


1) ps –elf|grep –i  asm_rbal或者ps aux,正常而言在100M以上,通过比对ASM的其他后台进程即可知晓

2) select * from  v$version

3) 查看asm alert 日志中是否出现下列信息

3、解决问题的方法:

如果检查有类似问题,欲了解问题的解决方法,

可以添加小y的微信,shadow-huang-bj

注明:加入中亦科技Oracle微信群

小y将在后续分享中第一时间在微信群以及”中亦安图”公众号中揭晓

时间: 2024-10-11 15:28:01

中亦科技黄远邦技术人生(16) ——红色警报--Oracle宕机潮来临,快快行动起来!的相关文章

20145311王亦徐 《网络对抗技术》 MSF基础应用

20145311王亦徐 <网络对抗技术> MSF基础应用 实验内容 掌握metasploit的基本应用方式以及常用的三种攻击方式的思路 主动攻击,即对系统的攻击,不需要被攻击方配合,以ms08_067渗透为例 针对浏览器的攻击,以漏洞10_046为例 针对客户端的攻击,对具体应用的攻击,以对Adobe阅读器的漏洞攻击为例 最后是一个auxiliary模块的例子的应用 基础问题回答 1.解释exploit,payload,encode是什么 exploit是渗透攻击模块,利用系统服务应用中的漏洞

山东中扬科技专业APP软件开发者

山东中扬信息技术有限公司,是一家2009年成立至今的本土公司,主营APP手机客户端专业订制,微信公共平台订制,致力于打造临沂最创意最前沿最专业的网络公司. 公司作为创新互联3G运营技术服务中心,专业为大中小企业提供最新的营销模式,专业的团队制作和设计.推出企业版.行业版.电商版.订制版等不同版本的手机客户端产品.公司专注于开发手机app应用软件,移动app应用,企业app应用等,包括IOS app开发,android app开发,html5 app开发等,是国内最有实力的一家app制作开发公司.

20145311 王亦徐 《网络对抗技术》 Web基础

20145311 王亦徐 <网络对抗技术> Web基础 实验内容 简单的web前端页面(HTML.CSS等) 简单的web后台数据处理(PHP) Mysql数据库 一个简单的web登陆页面例子 SQL注入.XSS攻击 基础问题回答 (1)什么是表单 表单我觉得主要是用来在网页中采集数据用的,提供了填写数据.选择数据,收集数据并提交给后台的功能,包括很多种表单元素,例如文本框.下拉框.单选复选框等 百度上说一个表单有三个基本组成部分:表单标签(form).表单域(填写数据).表单按钮(提交) (

20145311王亦徐 《网络对抗技术》 信息收集与漏洞扫描

20145311王亦徐 <网络对抗技术> 信息收集与漏洞扫描 实验内容 利用whois.nslookup.dig进行域名注册信息.ip信息查询 使用tracert进行路由信息查询 使用在线网站查询ip地理位置 使用nmap查询存活主机.目标主机开放的端口等 利用openvas扫描目标主机的漏洞 基础问题回答 1.哪些组织负责DNS,IP的管理 ICANN负责协调管理DNS各技术要素以确保普遍可解析性,使所有的互联网用户都能够找到有效的地址 地址支持组织(ASO)负责IP地址系统的管理 域名支持

20145311王亦徐《网络对抗技术》后门原理与实践

20145311王亦徐<网络对抗技术>后门原理与实践 实验内容 使用netcat.socat获取主机操作Shell,并分别设置cron启动与任务计划启动 使用MSF meterpreter生成后门的可执行文件,并利用ncat或socat传送给主机,接着运行文件获取目标主机的音频.摄像头.击键记录.提权等内容 基础问题回答 (1)例举你能想到的一个后门进入到你系统中的可能方式? 类似于摆渡木马的方式,将移动存储设备插入目标主机,backdoor自动拷贝到目标主机中(2)例举你知道的后门如何启动起

20145311王亦徐《网络对抗技术》MAL_逆向与Bof基础

20145311王亦徐<网络对抗技术>MAL_逆向与Bof基础 实践目标 运行一个可执行文件,通过逆向或者Bof技术执行原本不应该执行的代码片段采用的两种方法: 1.利用foo函数的Bof漏洞,构造一个攻击输入字符串,覆盖返回地址,触发getShell函数. 2.手工修改可执行文件,改变程序执行流程,直接跳转到getShell函数. 3.注入一个自己制作的shellcode并运行这段shellcode等等 这几种思路,基本代表现实情况中的攻击目标(1)运行原本不可访问的代码片段(2)强行修改程

20145311王亦徐 《网络对抗技术》 Web安全基础实践

2014531王亦徐 <网络对抗技术> Web安全基础实践 实验内容 利用WebGoat平台尝试了一些XSS.CSRF.SQL注入攻击 基础问题回答 1.SQL注入攻击原理,如何防御原理: SQL注入是指攻击者可以在web应用程序中事先定义好的查询语句的结尾上添加额外的SQL语句,以此来实现欺骗数据库服务器执行非授权的任意查询,从而进一步得到相应的数据信息.简单地认为是将sql语句作为输入交给表单或者通过域名等将sql交给后台,从而欺骗服务器执行sql语句 防范: 过滤字符串,对一些数据库敏感

智慧抄表系统对LORA无线远传技术的三点要求

基于目前智慧抄表的趋势判断,自动化远传抄表是LoRa无线远传技术的未来发展方向,即只部署1个基站抄收整个小区内的LoRa水表,再通过运营商的2G/4G网络,水司/水务公司在办公室就能远程抄收水表数据,全自动远传抄表.       故而水表无线抄表,或者说无线抄表就有了以下3点核心需求:可抄到.功耗(使电池长时间待机).双向交互畅通.       一.可抄到:虽然LoRa在传输距离和穿透力比传统的FSK.GFSK更加优良,但仍然很难实现一个集中器对整个小区的无死角信号接收,这是因为很多厂家在使用l

人造卫星为什么会绕着地球转而不是停在太空中或者越飞越远.掉进地球的卫星为什么烧不完.

人造卫星为什么会绕着地球转而不是停在太空中或者越飞越远.掉进地球的卫星为什么烧不完.卫星被火箭推到太空中之后失去火箭的推动不就停在太空中或者因为惯性越飞越远了吗,为什么会绕着地球在椭圆形的轨道上飞?报废的卫星为什么又会掉下来?掉下来的卫星有的为什么会在大气层中没烧尽,那些卫星不是都不能耐高温的吗,应该一进大气层就熔了啊. 答: 第一点:卫星绕着地球轨道运行,不会飞出去也不会掉下来,归根到底都是万有引力的作用.可以这样类比,我们拿着绳子一头绑着石头用力做绕圈运动,绳子的拉力提供石头运行的向心力,石