CHAPTER 18 调试

18.1 准备开始

需要的是准备是： - 一个bug - 一个藏匿bug的内核版本 - 相关内核代码的知识和运气

重点： 想要成功的进行调试，就取决于是否能让这些错误重现。如若不能，消灭bug就只能通过抽象出问题，再从代码中寻找蛛丝马迹来进行了。

18.2 内核中的bug

1. bug出现时可能的症状：
   • 错误代码。（如没把正确的值存放在恰当的位置）
   • 同步时发生的错误。（如共享变量锁定不当）
   • 错误的管理硬件。（如给错误的控制寄存器发送错误的指令）
   • ......
2. 内核bug发作时可能的症状：
   • 降低所有程序的运行性能
   • 毁坏数据
   • 使得系统处于死锁状态

   - .......

   概述：

3. 内核中的bug表现得不像用户级程序中那么清晰——因为内核、用户以及硬件之间的交互会很微妙
4. 从隐藏在源代码中的错误到展现在目击者面前的bug，往往是经历一系列连锁反应的事件才可能触发的

18.3 通过打印来调试

18.3.1 健壮性

1. 健壮性是printk()函数最容易让人们接受的一个特质，在任何时候，任何地方都能调用它。
   • 在中断上下文和进程上下文中被调用
   • 在任何持有锁时被调用
   • 在多处理器上同时被调用，并且不必使用锁。
2. printk()函数变体——early-printk()函数，区别仅在于可以更早（甚至在启动初期，终端还没有初始化之前）地工作
3. 弹性极佳。

18.3.2 日志等级

• printk() 与printf()主要的的区别：前者可以指定一个日志级别，内核根据这个级别来判断是否打印消息。内核把级别比某个特定值低的所有消息显示在终端上。
• 终端默认的记录等级是KERN_WARNING
• 内核将最重要的记录等级KERNEMERG定为<0>；将无关紧要的记录等级KERNDEBUG定义为<7>
• 0 KERNEMERG 最重要 …… 7 KERNDEBUG 最不重要
• 对于调试信息， 有两种赋予记录等级的方法：
  • 保持终端的默认记录等级不变，给所有调试信息KERN_CRIT或更低的等级。
  • 给所有调试信息KERN_DEBUG等级，调整终端的默认记录等级。
  • 

18.3.3 记录缓冲区

1. 内核消息都被记录在环形队列中，以队列方式进行读写；大小可以通过设置CONFIGLOGBUF_SHIFT进行调整
2. 在单处理器上，该缓冲区大小默认为16KB，也就是说，超过的消息将覆盖旧消息
3. 优势：
   • 读写同步问题容易解决
   • 记录的维护更加方便
4. 缺点：可能会丢失信息。

18.3.4 syslogd和klogd ###

这是两个用户空间的守护进程，klogd从记录缓冲区中获取内核消息，再通过syslogd守护进程将他们保存在系统日志文件中。 - klogd

- 既可以从/proc/kmsg文件中，也可以通过syslog()系统调用读取这些消息。
- 默认是/proc方式。
- 两种情况klogd都会阻塞，知道有新的内核消息可供读出，唤醒之后默认处理是将消息传给syslogd。
- 可以通过-c标志来改变终端的记录等级

• syslogd
  • 将它接收到的所有消息添加到一个文件中，默认是/var/log/messages。

18.4 oops

• • oops是内核告知用户有不幸发生的最常用方式（因为内核是整个系统的管理者，不能将自己杀死，也很难自行修复）
• • 通常，发送了oops之后，内核会处于不稳定的状态；如果oops在其他进程（除了0号idle和1号init进程）运行的时候发生，内核会杀死这些进程并尝试继续执行
• 过程包括：
  • 向终端上输出错误消息
  • 输出寄存器中保存的信息
  • 输出可供跟踪的回溯线索
• 关于oops发生的时机：

1.发生在中断上下文：内核无法继续，会陷入混乱，导致系统死机

2.发生在idle进程或init进程（0号进程和1号进程），同上

3.发生在其他进程运行时，内核会杀死该进程并尝试着继续执行

• oops发生的可能原因：

  内存访问越界

  非法的指令

  ……

• oops中包含的重要信息：寄存器上下文和回溯线索回溯线索：显示了导致错误发生的函数调用链。

  寄存器上下文信息也很有用，比如帮助冲进引发问题的现场

18.4.1 ksymoops

• 将回溯线索中的地址转换成有意义的符号名称：

           •    ksymoops saved_oops.txt

18.4.2 kallsyms

• 通过定义CONFIG_KALLSYMS配置选项启用，该选项中存放内核镜像中相应函数地址的符号名称，内核可以打印解码好的跟踪线索

18.5 内核调试配置选项

• 位于内核配置编辑器的内核开发菜单项中，都依赖于CONFIGDEBUGKERNEL。

  slab layer debugging slab层调试选项 high-memory debugging 高端内存调试选项 I/O mapping debugging I/O映射调试选项 spin-lock debugging 自旋锁调试选项 stack-overflow debugging 栈溢出检查选项 sleep-inside-spinlock checking 自旋锁内睡眠选项 ……

- 原子操作：指那些能够不分隔执行的东西；在执行时不能中断否则就是完不成的代码。

 例如；正在使用一个自旋锁或禁止抢占的代码。
      使用锁时睡眠是引发死锁的元凶。

18.6 引发bug并打印信息

1. 利用BUG()以及BUG_ON（）（因为大多数体系结构都把这两个函数定义成某种非法操作，可以触发oops）
   • 当做断言或者条件语句
2. 调用panic()函数会在打印错误信息的同时挂起系统
   • panic("terrible thing"，terrible_thing)
3. 调用dump_stack()，只在终端上打印寄存器上下文及函数的跟踪线索

18.7 神奇的系统请求键

• 这个功能可以通过定义CONFIGMAGICSYSRQ配置选项来启用。SysRq（系统请求）键在大多数键盘上都是标准键。
• 该功能被启用时，无论内核出于什么状态，都可以通过特殊的组合键和内核进行通信。
• 除了配置选项以外，还要通过一个sysctl用来标记该特性的开或关，启动命令如下：

   echo 1 > /proc/sys/kernel/sysrq
  

• Sysrq的几个命令：

   SysRq-s：将“脏”缓冲区跟硬盘交换分区同步
   SysRq-u：卸载所有的文件系统
   SysRq-b：重启设备

18.8 内和调试的传奇

18.8.1 gdb

- 启动内核调试器

    gdb vmlinux（未经压缩的内核映像）-

• 可以使用gdb的所有命令来获取信息。例如：

       打印一个变量的值：
           p global_variable
  
       反汇编一个函数：
           disassemble function
  
          -g参数还可以提供更多的信息。
  

• 局限性：

  没有办法修改内核数据

  不能单步执行内核代码

18.8.2 kgdb

• 是一个补丁 ，可以让我们在远程主机上通过串口利用gdb的所有功能对内核进行调试。
• 需要两台计算机：仪态运行带有kgdb补丁的内核，第二胎通过串行线使用gdb对第一台进行调试。

- 通过kgdb，gdb的所有功能都能使用:

     - 读取和修改变量值
     - 设置断点
     - 设置关注变量
     -  单步执行

18.9 探测系统

18.9.1 使用uid作为选择条件

1. if(current->uid != 7777)
2. {
3. /老算法/
4. else
5. {
6. /新算法/
7. }

18.9.2 使用条件变量

• 如果代码与进程无关，或者希望有一个针对所有情况都能使用的机制来控制某个特性，可以使用条件变量。
• 这种方式比使用UID更简单，只需要创建一个全局变量作为一个条件选择开关：

    如果该变量为0，就使用某一个分支上的代码；
    否则，选择另外一个分支。
  

• 操控方式：某种接口，或者调试器。

18.9.3 使用统计量

• 这种方法常用于使用者需要掌握某个特定事件的发生规律的时候。
• 方法是创建统计量，并提供某种机制访问其统计结果。

定义全局变量

        在/proc目录中创建一个文件
       or新建一个系统调用
       or通过调试器直接访问（最直接）

18.9.4.重复频率限制

（1）重复频率限制 （2）发生次数限制

18.10 用二分查找法找出引发罪恶的变更

18.11 使用Git进行二分搜索

总结

本章主要讲内核的调试，调试过程就是一种寻求实现与目标偏差的行为，通过学习各种调试技巧，，发现困难重重，但相信有一天努力会有成果的。

参考资料

《linux内核设计与实现》原书第三版