SylixOS 网络零拷贝技术

SylixOS 网络零拷贝技术


1.   网络零拷贝介绍

网络零拷贝技术指的是在数据报文从网络设备到用户程序传递的过程中,一种减少数据拷贝次数,减少系统调用,实现CPU的零参与,从而减轻 CPU负载的技术。

1.1 SylixOS网络现状

SylixOS网络使用的是Lwip协议栈,其数据报文从网络设备到用户程序只需要一次拷贝即可实现。产生这次拷贝的原因是数据报文从网络设备往协议栈传输时,数据格式不一样。网络协议栈需要专门的数据结构(pbuf)来管理报文,而设备层只会将数据本身存放在一块内存缓冲区中。

1.2   SylixOS零拷贝技术使用前提

SylixOS目前版本已经支持网络零拷贝,但这只适用于x86架构的CPU。主要原因是使用零拷贝技术后,网络协议栈对报文数据的管理并不会使用cache。这种方式在ARM等架构上使用时,协议栈需要对报文不停的访问,但由于没有cache,因此访问效率反而会降低。

2.    网络零拷贝技术实现

2.1   不使用零拷贝的报文接收流程

  不使用零拷贝的数据接收流程如图 21 所示。

                  图 21 不使用零拷贝接收

不使用零拷贝时,报文从网络设备到用户应用程序,只会进行一次拷贝操作,这一次拷贝操作位于网卡驱动中,即网络设备在接收到DMA搬运的数据报文时,会将报文的内容拷贝到协议栈支持的数据管理结构(pbuf)中。如图 21 ,拷贝后的报文位于Lwip协议栈管理的内存区内。

拷贝完成后,协议栈会对pbuf管理的报文做各种分析,最后,通过IPC(进程通信方式)与用户程序进行交互。使用IPC就可以不进行数据拷贝,应用程序通过信号量、消息邮箱等机制去通知协议栈,让协议栈进行对应的处理。

2.2   使用零拷贝的报文接收流程

   使用零拷贝接收流程如图 22 所示。

                  图 22 使用零拷贝接收

SylixOS里零拷贝是将报文从驱动往协议栈传送的一次拷贝也省去。实现的思路是让协议栈可以直接使用驱动收到的网络数据。因此,驱动代码需要将用于接收网络报文的数据结构换成协议栈数据管理的结构,即换成pbuf类型。实现的方式是将原本驱动中描述符指向的buf地址换成pbuf结构里payload指针指向的内容即可。

主要实现流程如下:
- 驱动需要创建一块大的零拷贝pbuf内存池(zc_pool),后续的报文接收的pbuf都从零拷贝pbuf池子里分配;
- 驱动初始化描述符时,不调用DMAmalloc去分配一块物理地址,而是从上一步分配的零拷贝池子里获取一个零拷贝的pbuf,然后将pbuf所指向的内存地址赋值给DMA接收描述符;
- 此后,网卡接收处理函数不需要再做拷贝,而是直接将收到报文的描述符对应的pbuf传到协议栈,同时按照上一步的方法,给这个完成接收的描述符分配一个新的零拷贝pbuf。

由于上述申请的零拷贝pbuf类型是custom_pbuf类型,因此经过上述操作后,协议栈对接收到的pbuf进行释放操作时,会调用零拷贝对应的释放函数。

时间: 2024-10-19 01:26:27

SylixOS 网络零拷贝技术的相关文章

Linux 中的零拷贝技术,第 2 部分

技术实现 本系列由两篇文章组成,介绍了当前用于 Linux 操作系统上的几种零拷贝技术,简单描述了各种零拷贝技术的实现,以及它们的特点和适用场景.第一部分主要介绍了一些零拷贝技术的相关背景知识,简要概述了 Linux 为什么需要零拷贝技术以及 Linux 中都有哪几种零拷贝技术.本文是本系列文章的第二部分,针对第一部分内容中提到的几种零拷贝技术分别进行更详细的介绍,并对这些零拷贝技术的优缺点进行分析. 0 评论: 黄 晓晨, 软件工程师, IBM 冯 瑞, 软件工程师, IBM 2011 年 1

Linux 中的零拷贝技术,第 1 部分

概述 本系列由两篇文章组成,介绍了当前用于 Linux 操作系统上的几种零拷贝技术,简单描述了各种零拷贝技术的实现,以及它们的特点和适用场景.本文是本系列文章的第一部分,主要是介绍一些零拷贝技术的相关背景知识,简要概述了 Linux 为什么需要零拷贝技术以及 Linux 中都有哪几种零拷贝技术. 1 评论: 黄 晓晨, 软件工程师, IBM 冯 瑞, 软件工程师, IBM 2011 年 1 月 27 日 内容 在 IBM Bluemix 云平台上开发并部署您的下一个应用. 现在就开始免费试用 引

Linux学习之零拷贝技术详解

本文探讨Linux系统中主要的几种零拷贝技术 以及零拷贝技术适用的场景 .为了迅速建立起零拷贝的概念,我们拿一个常用的场景进行引入: 引文 在写一个服务端程序时(Web Server或者文件服务器),文件下载是一个基本功能.这时候服务端的任务是: 将服务端主机磁盘中的文件不做修改地从已连接的socket发出去 ,我们通常用下面的代码完成: while((n = read(diskfd, buf, BUF_SIZE)) > 0) write(sockfd, buf , n); 基本操作就是循环的从

传统IO拷贝与零拷贝技术比较

1. 传统IO 由上面图知,传统io需要经过4次copy, 3次状态切换 第一次: 从硬盘 经过 DMA 拷贝 到 kernel buffer (内核buferr) 第二次: 从kernel buffer 经过cpu 拷贝到 user buffer ,比如拷贝到应用程序 第三次: 从user buffer 拷贝到 socket buffer 第四次: 从socket buffer 拷贝到 protocol engine 协议栈 第一次状态切换: 用户态---> 内核状 (或者叫着 用户上下文--

Linux网络编程——sendfile和splice零拷贝

sendfile和splice零拷贝 sendfile: ? 原始:首先将文件读到内核态的文件描述符中,然后再拷贝给用户态buf,再重新拷贝给内核态中网络缓冲区发给客户端.拷贝2次 ? sendfile是一个接口能直接让文件从内核态的文件描述符送到网络缓冲区从而实现零拷贝 ? 函数原型:ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count); ? out_fd为文件描述符,in_fd为网络缓冲区描述符,offset

零拷贝概念 -- linux内核

零拷贝(zero-copy) 实现主机或路由器等设备高速网络接口的主要技术.零拷贝技术通过减少或消除关键通信路径影响速率的操作,降低数据传输的操作系统开销和协议处理开销,从而有效提高通信性能,实现高速数据传输. 零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除通信数据在存储器之间不必要的中间拷贝过程,有效地提高通信效率,是设计高速接口通道.实现高速服务器和路由器的关键技术之一.数据拷贝受制于传统的操作系统或通信协议,限制了通信性能.采用零拷贝技术,通过减少数据拷贝次数,简化协议处理的层次,在

深入剖析Linux IO原理和几种零拷贝机制的实现

深入剖析Linux IO原理和几种零拷贝机制的实现 来源 https://zhuanlan.zhihu.com/p/83398714 零壹技术栈      公众号[零壹技术栈] 前言 零拷贝(Zero-copy)技术指在计算机执行操作时,CPU 不需要先将数据从一个内存区域复制到另一个内存区域,从而可以减少上下文切换以及 CPU 的拷贝时间.它的作用是在数据报从网络设备到用户程序空间传递的过程中,减少数据拷贝次数,减少系统调用,实现 CPU 的零参与,彻底消除 CPU 在这方面的负载.实现零拷贝

7. NIO与零拷贝

一.零拷贝 1.介绍 零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务,这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽. 优点: 减少甚至完全避免不必要的CPU拷贝,从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 2.传统copy机制 Java 传统 IO 和 网络编程的一段代码: 1 File file = new File("test.txt"); 2 RandomAcc

[转]零拷贝的实现原理

"先从简单开始,实现下这个场景:从一个文件中读出数据并将数据传到另一台服务器上?" "为啥写这个?" "你先写" "行..." 1分钟后 "我写了伪代码" File.read(file, buf, len); Socket.send(socket, buf, len); "这里涉及到了几次数据拷贝?" "2次?磁盘拷贝到内存,内存拷贝到Socket?" "e