使用Crash工具分析 Linux dump文件【转】

转自：https://blog.csdn.net/bytxl/article/details/45025183

前言

Linux 内核（以下简称内核）是一个不与特定进程相关的功能集合，内核的代码很难轻易的在调试器中执行和跟踪。开发者认为，内核如果发生了错误，就不应该继续运 行。因此内核发生错误时，它的行为通常被设定为系统崩溃，机器重启。基于动态存储器的电气特性，机器重启后，上次错误发生时的现场会遭到破坏，这使得查找 内核的错误变得异常困难。

内核社区和一些商业公司为此开发了很多种调试技术和工具，希望可以让内核的调试变得简单。其中一种是单步跟踪调试方法，即使用代码调试器，一 步步的跟踪执行的代码，通过查看变量和寄存器的值来分析错误发生的原因。这一类的调试器有 gdb，kdb， kgdb。另一种方法是在系统崩溃时，将内存保存起来，供事后进行分析。多数情况下，单步调式跟踪可以满足需求，但是单步跟踪调试也有缺点。如遇到如下几 种情况时：

  • 错误发生在客户的机器上。
  • 错误发生在很关键的生产机器上。
  • 错误很难重现。

单步调试跟踪方法将无能为力。对于这几种情况，在内核发生错误并崩溃的时候，将内存转储起来供事后分析就显得尤为重要。本文接下来将介绍内核 的内存转储机制以及如何对其进行分析。

回页首

内核的内存转储机制

由于 Linux 的开放性的缘故，在 Linux 下有好几种内存转储机制。下面将对它们分别做简要的介绍。

LKCD

LKCD(Linux Kernel Crash Dump) 是 Linux 下第一个内核崩溃内存转储项目，它最初由 SGI 的工程师开发和维护。它提供了一种可靠的方法来发现、保存和检查系统的崩溃。LKCD 作为 Linux 内核的一个补丁，它一直以来都没有被接收进入内核的主线。目前该项目已经完全停止开发。

Diskdump

Diskdump 是另外一个内核崩溃内存转储的内核补丁，它由塔高 (Takao Indoh) 在 2004 年开发出来。与 LKCD 相比，Diskdump 更加简单。当系统崩溃时，Diskdump 对系统有完全的控制。为避免混乱，它首先关闭所有的中断；在 SMP 系统上，它还会把其他的 CPU 停掉。然后它校验它自己的代码，如果代码与初始化时不一样。它会认为它已经被破坏，并拒绝继续运行。然后 Diskdump 选择一个位置来存放内存转储。Diskdump 作为一个内核的补丁，也没有被接收进入内核的主线。在众多的发行版中，它也只得到了 RedHat 的支持。

Netdump

RedHat 在它的 Linux 高级服务器 2.1 的版本中，提供了它自己的第一个内核崩溃内存转储机制：Netdump。 与 LKCD 和 Diskdump 将内存转储保存在本地磁盘不同，当系统崩溃时，Netdump 将内存转储文件通过网络保存到远程机器中。RedHat 认为采用网络方式比采用磁盘保的方式要简单，因为当系统崩溃时，可以在没有中断的情况下使用网卡的论询模式来进行网络数据传送。同时，网络方式对内存转储 文件提供了更好的管理支持。与 Diskdump 一样，Netdump 没有被接收进入内核的主线，目前也只有 RedHat 的发行版对 Netdump 提供支持。

Kdump

Kdump 是一种基于 kexec 的内存转储工具，目前它已经被内核主线接收，成为了内核的一部分，它也由此获得了绝大多数 Linux 发行版的支持。与传统的内存转储机制不同不同，基于 Kdump 的系统工作的时候需要两个内核，一个称为系统内核，即系统正常工作时运行的内核；另外一个称为捕获内核，即正常内核崩溃时，用来进行内存转储的内核。 在本文稍后的内容中，将会介绍如何设置 kump。

MKdump

MKdump(mini kernel dump) 是 NTT 数据和 VA Linux 开发另一个内核内存转储工具，它与 Kdump 类似，都是基于 kexec，都需要使用两个内核来工作。其中一个是系统内核；另外一个是 mini 内核，用来进行内存转储。与 Kdump 相比，它有以下特点：

  • 将内存保存到磁盘。
  • 可以将内存转储镜像转换到 lcrash 支持格式。
  • 通过 kexec 启动时，mini 内核覆盖第一个内核。

回页首

各种内存转储分析工具

与具有众多的内存转储机制一样，Linux 下也有众多的内存转储分析工具，下面将会逐一做简单介绍。

Lcrash

Lcrash 是随 LKCD 一起发布的一个内内存储分析工具。随着 LKCD 开发的停止，lcrash 的开发也同时停止了。目前它的代码已经被合并进入 Crash 工具中。

Alicia

Alicia (Advanced Linux Crash-dump Interactive Analyzer，高级 Linux 崩溃内存转储交互分析器 ) 是一个建立在 lcrash 和 Crash 工具之上的一个内存转储分析工具。它使用 Perl 语言封装了 Lcrash 和 Crash 的底层命令，向用户提供了一个更加友好的交互方式和界面。Alicia 目前的开发也已经停滞。

Crash

Crash 是由 Dave Anderson 开发和维护的一个内存转储分析工具，目前它的最新版本是 5.0.0。 在没有统一标准的内存转储文件的格式的情况下，Crash 工具支持众多的内存转储文件格式，包括：

  • Live linux 系统
  • kdump 产生的正常的和压缩的内存转储文件
  • 由 makedumpfile 命令生成的压缩的内存转储文件
  • 由 Netdump 生成的内存转储文件
  • 由 Diskdump 生成的内存转储文件
  • 由 Kdump 生成的 Xen 的内存转储文件
  • IBM 的 390/390x 的内存转储文件
  • LKCD 生成的内存转储文件
  • Mcore 生成的内存转储文件

回页首

使用 Crash 分析内存转储文件的例子

通过前面的学习，你现在可能已经跃跃欲试了。本文接下来的部分，将以 kdump 为例子，向大家演示如何设置系统、如何产生内存转储文件以及如何对内存转储文件进行分析。

kdump 的安装设置

如前面所述，支持 kdump 的系统使用两个内核进行工作。目前一些发行版，如 RedHat 和 SUSE 的 Linux 都已经编译并设置好这两个内核。如果你使用其他发行版的 Linux 或者想自己编译内核支持 kdump，那么可以根据如下介绍进行。

安装 kexec

  1. 使用 root 用户登录系统。
  2. 使用 wget 从 Internet 上下载 kexec。

    wget http://www.kernel.org/pub/linux/kernel/people/horms/kexec-tools/\ kexec-tools.tar.gz
  3. 解压并安装 kexec 到系统中。

     # tar xvpzf kexec-tools.tar.gz  # cd kexec-tools-VERSION  # ./configure  # make && make install

配置系统内核和捕捉内核都需要的内核选项：

  • 在 "Processor type and features."选项中启用"kexec system call"。

     CONFIG_KEXEC=y
  • 在"Filesystem" -> "Pseudo filesystems." 中启用"sysfs file system support"。

     CONFIG_SYSFS=y
  • 在"Kernel hacking."中启用"Compile the kernel with debug info"。

     CONFIG_DEBUG_INFO=Y

配置捕捉内核的与架构无关的选项：

  • 在"Processor type and features"中启用"kernel crash dumps"。

     CONFIG_CRASH_DUMP=y
  • 在"Filesystems" -> "Pseudo filesystems"中启用"/proc/vmcore support"。

     CONFIG_PROC_VMCORE=y

配置捕捉内核的与架构相关的选项：

Linux 内核支持多种 CPU 架构，这里只介绍捕捉内核在 i386 下的配置

  • 在"Processor type and features"中启用高端内存支持。

     CONFIG_HIGHMEM64G=y
  • 在"Processor type and features"中关闭多处理器支持。

     CONFIG_SMP=n
  • 在"Processor type and features"中启用"Build a relocatable kernel"。

     CONFIG_RELOCATABLE=y
  • 在"Processor type and features"->"Physical address where the kernel is loaded"中，为内核设置一个加载起始地址。在大多数的机器上，16M 是一个合适的值。

     CONFIG_PHYSICAL_START=0x1000000

加载新的系统内核

  1. 编译系统内核和捕捉内核。
  2. 将重新编译好的内核添加到启动引导中，注意不要将捕捉内核添加到启动引导菜单中。
  3. 给系统内核添加启动参数"crashkernel=Y@X"，这里，Y 是为 dump 捕捉内核保留的内存，X 是保留部分内存的开始位置。在 i386 的机器上，设置"crashkernel=64M@16M"。
  4. 重启机器，在启动菜单中选择新添加的启动项，启动新的系统内核。

加载捕捉内核

在系统内核引导完成后，需要将捕捉内核加载到内存中。使用 kexec 工具将捕捉内核加载到内存：

 # kexec -p <dump-capture-kernel-bzImage> \   --initrd=<initrd-for-dump-capture-kernel> \   --append="root=<root-dev> <arch-specific-options>"

触发内核崩溃

在捕捉内核被加载进入内存后，如果系统崩溃开关被触发，则系统会自动切换进入捕捉内核。触发系统崩溃的开关有 panic()，die()，die_nmi() 内核函数和 sysrq 触发事件，可以使用其中任意的一个来触发内核崩溃。不过，在让内核崩溃之前，我们还需要做一些安装设置。

Crash 工具的安装设置

Crash 目前的最新的版本是 5.0.0, 你可以从它的官方网站下载最新的版本。下载完成后对其进行解压安装。

 # tar -zvxf crash-5.0.0.tar.gz  # cd crash-5.0.0  # ./configure  # make &&make install

生成内存转储文件

现在已经设置好 Kdump 和 crash，现在可以使用前面介绍的系统崩溃开关中的任意一个来引发系统崩溃来生成一个内存转储文件，并可以使用 crash 对其进行分析。

首先，触发系统崩溃，这里使用 sysrq 触发事件。

 # echo c > /proc/sysrq-trigger

紧接着，系统会自动启动捕捉内核。待完全启动进入捕捉内核后，通过以下命令保存内存转储文件。

 # cp /proc/vmcore mydumpfile

将在当前目录生成一个 mydumpfile 文件。

分析内存转储文件

现在有了一个内存转储文件，接下来使用 crash 对其进行分析

 # crash vmlinux mydumpfile

这里 vmlinux 是带调试信息的内核。如果一切正常，将会进入到 crash 中，如图 1 所示。

图 1. crash 命令提示符

在该提示符下，可以执行 crash 的内部命令。通过 crash 的内部命令，可以查看寄存器的值、函数的调用堆栈等信息。在图 2 中，显示了执行 bt命令后得到的函数调用的堆栈信息。

图 2. 函数调用堆栈信息

crash 使用 gdb 作为它的内部引擎，crash 中的很多命令和语法都与 gdb 相同。如果你曾经使用过 gdb，就会发现 crash 并不是很陌生。如果想获得 crash 更多的命令和相关命令的详细说明，可以使用 crash 的内部命令 help来 获取。

http://blog.chinaunix.net/uid-20618535-id-70901.html

原文地址：https://www.cnblogs.com/sky-heaven/p/10415962.html

时间： 2024-11-12 21:02:23

使用Crash工具分析 Linux dump文件【转】的相关文章

extundelete工具恢复Linux删除文件

下载相应软件包 wget http://jaist.dl.sourceforge.net/project/e2fsprogs/e2fsprogs/1.41.14/e2fsprogs-1.41.14.tar.gz wget http://jaist.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2 wget http://jaist.dl.sourceforge.net/projec

使用jdk自带工具jvisualvm 分析内存dump文件

1.获取dump文件 使用 以下命令 创建 进程PID = 16231的 dump文件,命名为 order.hprof jmap -dump:format=b,file=order.hprof 16231 将文件下载到本地. 2.使用jdk bin目录下的jvisualvm.exe 装入 order.hprof 分析对应对象的占用内存 原文地址:https://www.cnblogs.com/wangzun/p/11613051.html

windbg分析BSOD dump文件实战

今天刚好手边有一个系统蓝屏的dump文件,下面一步一步来找到出错的地方. 1.用windbg打开dump文件,设置好符号路径等. 如下图所示 已经基本确定了是哪个驱动引起的问题. 2.执行analyze -v命令,如下图所示 这时候会把出问题的地方指出来,并且会把栈信息也列出来,并指出是哪一行的代码有问题. 3.确认一下,可以先用kp命令查看一下函数的输入参数,再用dv /t /v命令查看一下局部变量,确认了就是那一行指针为空导致的问题. 如图所示

Unix 用gdb分析core dump文件

产生core文件条件 用ulimit -c 指定core文件大小来开启core文件的生成,如:ulimit -c unlimited 用gdb分析core文件的条件 可执行程序在编译时,需加入-g参数,否则gdb无法找到symbol信息,从而无法定位问题. 例如,如下两个cpp文件中,test.cpp会导致crash. // test.cpp void testCrash() { int *p = 0; *p = 3; } // main.cpp #include <stdio.h> void

linux kernel crash问题分析解决

一,问题场景和环境 系统环境: redhat6.4 kernel:2.6.32-358 问题: 使用iptables给mangle表添加了一条规则,使用nfqueue做为target.当一个http请求命中这个规则之后,机器直接重启了.偶发性的出了两次问题,但是却在重启的机器上重现不了这个问题. 二,排查 1,查看messages,kernel和dmesg相关日志,未发现有任何异常 2,查看重启前机器的负载,cpu,内存,磁盘io,网络io都正常 3,由于是使用了nfqueue做为target才

蓝屏 Dump文件分析方法

WinDbg使用有点麻烦,还要符号表什么的.试了下,感觉显示很乱,分析的也不够全面... 试试其他的吧!今天电脑蓝屏了,就使用其dump文件测试,如下: 1.首先,最详细的,要属Osr Online这个在线分析网站了: 打开其分析地址:http://www.osronline.com/page.cfm?name=analyze 下拉,找到上传按钮(上图),将需要分析的dump文件浏览上传即可...dump文件一般在C:\www\minidump下 分析完成后生成的内容非常多: 主要看第一个Pri

Windows下获取Dump文件以及进程下各线程调用栈的方法总结（转）

1. Dump文件的用途 Dump文件, 主要用于诊断一个进程的运行状态,尤其是碰到崩溃(Crash)或者挂起(hang)不响应时,需要分析它的工作状态.  除了平时常见的attach到这个进程, 分析Dump文件就成了一个重要的手段了. 相信一些做软件维护和支持的工程师在这方面深有体会, 比如某天某时,客户说, 呀, 糟糕, 服务器进程挂掉了, 怎么回事? 然后,看看了日志文件,也没有什么可用的信息.  技术支持告诉他, 按某步骤生成一个dump文件来看看...... 2. 如何生成Dump文

Crash工具实战-变量解析【转】

转自:http://blog.chinaunix.net/uid-14528823-id-4358785.html Crash工具实战-变量解析 Crash工具用于解析Vmcore文件,Vmcore文件为通过kdump等手段收集的操作系统core dump信息,在不采用压缩的情况下,其相当于整个物理内存的镜像,所以其中包括了最全面.最完整的信息,对于分析定位各种疑难问题有极大的帮助.配置kdump后,在内核panic后,会自动进入kump流程,搜集Vmcore.Crash工具即为专门用于分析vm

WinDbg抓取程序报错dump文件的方法

程序崩溃的两种主要现象: a. 程序在运行中的时候,突然弹出错误窗口,然后点错误窗口的确定时,程序直接关闭 例如: “应用程序错误” “C++错误之类的窗口” “程序无响应” “假死”等 此种崩溃特点:程序已异常,在你未点出错窗口的确定或其他按,所有错误信息都还保留在PC的内存中,可以直接抓取Dump文件.当然,如果你知道 怎么样操作可以让程序崩溃,也可以用守株待兔的抓取方法抓Dump文件. b.程序在运行中的时候,窗口和进程突然消失,没有任何错误窗体 典型的现象:程序自动关闭 或者玩游戏时,游