Linux网络包收发过程
就TCP/IP而言，IP和TCP的报文结构并不是最重要的，但是很多文章都在讨论他们，就体系而言，最重要的应该是各栈的流转流程。如果应用的话，重点应该在4次挥手（tcp的三次握手与四次挥手及为什么面试官喜欢问这个问题）及粘包和拆包及滑动窗口等。下面简单看下整体的收发过程。
注：Socket是提供给用户访问的TCP层接口
网卡到内存
网卡需要有驱动才能工作，驱动是加载到内核中的模块，负责衔接网卡和内核的网络模块，驱动在加载的时候将自己注册进网络模块，当相应的网卡收到数据包时，网络模块会调用相应的驱动程序处理数据。
下图展示了数据包（packet）如何进入内存，并被内核的网络模块开始处理：
- 1： 数据包从外面的网络进入物理网卡。如果目的地址不是该网卡，且该网卡没有开启混杂模式，该包会被网卡丢弃。
- 2： 网卡将数据包通过DMA（或DMA）的方式写入到指定的内存地址，该地址由网卡驱动分配并初始化。注： 老的网卡可能不支持DMA，不过新的网卡一般都支持，具体多少划给DMA使用，不同的计算机体系有所不同，很多体系全部内存都可用。
- 3： 网卡通过硬件中断（IRQ）通知CPU，告诉它有数据来了
- 4： CPU根据中断表，调用已经注册的中断函数，这个中断函数会调到驱动程序（NIC Driver）中相应的函数
- 5： 驱动先禁用网卡的中断，表示驱动程序已经知道内存中有数据了，告诉网卡下次再收到数据包直接写内存就可以了，不要再通知CPU了，这样可以提高效率，避免CPU不停的被中断。
- 6： 启动软中断。这步结束后，硬件中断处理函数就结束返回了。由于硬中断处理程序执行的过程中不能被中断，所以如果它执行时间过长，会导致CPU没法响应其它硬件的中断，于是内核引入软中断，这样可以将硬中断处理函数中耗时的部分移到软中断处理函数里面来慢慢处理。
内核的网络模块（驱动到IP栈处理前）
软中断会触发内核网络模块中的软中断处理函数，后续流程如下：
- 7： 内核中的ksoftirqd进程专门负责软中断的处理，当它收到软中断后，就会调用相应软中断所对应的处理函数，对于上面第6步中是网卡驱动模块抛出的软中断，ksoftirqd会调用网络模块的net_rx_action函数
- 8： net_rx_action调用网卡驱动里的poll函数来一个一个的处理数据包
- 9： 在pool函数中，驱动会一个接一个的读取网卡写到内存中的数据包，内存中数据包的格式只有驱动知道
- 10： 驱动程序将内存中的数据包转换成内核网络模块能识别的skb格式，然后调用napi_gro_receive函数
- 11： napi_gro_receive会处理GRO相关的内容，也就是将可以合并的数据包进行合并，这样就只需要调用一次协议栈。然后判断是否开启了RPS，如果开启了，将会调用enqueue_to_backlog
- 12： 在enqueue_to_backlog函数中，会将数据包放入CPU的softnet_data结构体的input_pkt_queue中，然后返回，如果input_pkt_queue满了的话，该数据包将会被丢弃，queue的大小可以通过net.core.netdev_max_backlog来配置
- 13： CPU会接着在自己的软中断上下文中处理自己input_pkt_queue里的网络数据（调用__netif_receive_skb_core）
- 14： 如果没开启RPS，napi_gro_receive会直接调用__netif_receive_skb_core
- 15： 看是不是有AF_PACKET类型的socket（也就是我们常说的原始套接字），如果有的话，拷贝一份数据给它。tcpdump抓包就是抓的这里的包。
- 16： 调用协议栈相应的函数，将数据包交给协议栈处理，通常即IP协议栈。
- 17： 待内存中的所有数据包被处理完成后（即poll函数执行完成），启用网卡的硬中断，这样下次网卡再收到数据的时候就会通知CPU
enqueue_to_backlog函数也会被netif_rx函数调用，而netif_rx正是lo设备发送数据包时调用的函数
参见：https://segmentfault.com/a/1190000008836467
http://www.ece.virginia.edu/mv/research/DOE09/publications/TCPlinux.pdf
原文地址：https://www.cnblogs.com/zhjh256/p/12227883.html
时间： 2024-10-09 07:53:33