传统IO拷贝与零拷贝技术比较

1. 传统IO

由上面图知,传统io需要经过4次copy, 3次状态切换

第一次: 从硬盘 经过 DMA 拷贝 到 kernel buffer (内核buferr)

第二次: 从kernel buffer 经过cpu 拷贝到 user buffer ,比如拷贝到应用程序

第三次: 从user buffer 拷贝到 socket buffer

第四次: 从socket buffer 拷贝到 protocol engine 协议栈

第一次状态切换: 用户态---》 内核状 (或者叫着 用户上下文----》 内核上下文)

第二次状态切换: 内核状---》 用户状

第三次状态切换: 用户状---》 内核状

DMA : direct memory access  直接内存拷贝

2. mmap优化

mmap : 通过内存映射 ,将文件映射到内核缓冲区,同时用户空间可以共享内核空间的数据。这样在网络传输时就减少了内核空间到用户空间的拷贝次数

第一次拷贝: DMA拷贝,从硬件拷贝到内核空间

因为user buffer 与kernel buffer共享数据 ,所以不需要将数据从kernel buffer 拷贝到 user buffer , 数据可以直接在内核空间修改

第二次拷贝: kernel buffer 中的数据经过 cpu 拷贝到 socket buffer

第三次拷贝: socket buffer 过DMA拷贝到protocol engine

所以 mmp优化之后,拷贝共需要3次, 但是状态 切换还是3次

3. sendFile优化

Linux2.4 提供的sendFile实现了真正的零拷贝

第一次拷贝: DMA拷贝,将数据从硬盘拷贝到kernel buffer

第二次拷贝: DMA拷贝,将数据从kernel buffer拷贝到protocol engine

没有经过cpu拷贝,也就是操作系统级别的拷贝,实现了真正的零拷贝

注意: sendFile技术还是有少量的数据(例如数据的大小,偏移量等)使用了cpu拷贝,从kernel buffer 拷贝到 socket buffer ,但是数据量很少,可忽略

原文地址:https://www.cnblogs.com/z-qinfeng/p/11964551.html

时间: 2024-10-12 14:25:30

传统IO拷贝与零拷贝技术比较的相关文章

Linux 中的零拷贝技术,第 1 部分

概述 本系列由两篇文章组成,介绍了当前用于 Linux 操作系统上的几种零拷贝技术,简单描述了各种零拷贝技术的实现,以及它们的特点和适用场景.本文是本系列文章的第一部分,主要是介绍一些零拷贝技术的相关背景知识,简要概述了 Linux 为什么需要零拷贝技术以及 Linux 中都有哪几种零拷贝技术. 1 评论: 黄 晓晨, 软件工程师, IBM 冯 瑞, 软件工程师, IBM 2011 年 1 月 27 日 内容 在 IBM Bluemix 云平台上开发并部署您的下一个应用. 现在就开始免费试用 引

零拷贝

正常拷贝:  磁盘  -> 内核空间  - > user空间 -> 内核空间 -> 目的缓冲区 零拷贝方式  :  磁盘  -> 内核空间  - >目的缓冲区 原来的拷贝方式 零拷贝方式    磁盘  -> 内核空间  - >目的缓冲区 原文地址:https://www.cnblogs.com/star521/p/9253213.html

深入剖析Linux IO原理和几种零拷贝机制的实现

深入剖析Linux IO原理和几种零拷贝机制的实现 来源 https://zhuanlan.zhihu.com/p/83398714 零壹技术栈      公众号[零壹技术栈] 前言 零拷贝(Zero-copy)技术指在计算机执行操作时,CPU 不需要先将数据从一个内存区域复制到另一个内存区域,从而可以减少上下文切换以及 CPU 的拷贝时间.它的作用是在数据报从网络设备到用户程序空间传递的过程中,减少数据拷贝次数,减少系统调用,实现 CPU 的零参与,彻底消除 CPU 在这方面的负载.实现零拷贝

Linux 中的零拷贝技术,第 2 部分

技术实现 本系列由两篇文章组成,介绍了当前用于 Linux 操作系统上的几种零拷贝技术,简单描述了各种零拷贝技术的实现,以及它们的特点和适用场景.第一部分主要介绍了一些零拷贝技术的相关背景知识,简要概述了 Linux 为什么需要零拷贝技术以及 Linux 中都有哪几种零拷贝技术.本文是本系列文章的第二部分,针对第一部分内容中提到的几种零拷贝技术分别进行更详细的介绍,并对这些零拷贝技术的优缺点进行分析. 0 评论: 黄 晓晨, 软件工程师, IBM 冯 瑞, 软件工程师, IBM 2011 年 1

Linux学习之零拷贝技术详解

本文探讨Linux系统中主要的几种零拷贝技术 以及零拷贝技术适用的场景 .为了迅速建立起零拷贝的概念,我们拿一个常用的场景进行引入: 引文 在写一个服务端程序时(Web Server或者文件服务器),文件下载是一个基本功能.这时候服务端的任务是: 将服务端主机磁盘中的文件不做修改地从已连接的socket发出去 ,我们通常用下面的代码完成: while((n = read(diskfd, buf, BUF_SIZE)) > 0) write(sockfd, buf , n); 基本操作就是循环的从

SylixOS 网络零拷贝技术

SylixOS 网络零拷贝技术 1.   网络零拷贝介绍 网络零拷贝技术指的是在数据报文从网络设备到用户程序传递的过程中,一种减少数据拷贝次数,减少系统调用,实现CPU的零参与,从而减轻 CPU负载的技术. 1.1 SylixOS网络现状 SylixOS网络使用的是Lwip协议栈,其数据报文从网络设备到用户程序只需要一次拷贝即可实现.产生这次拷贝的原因是数据报文从网络设备往协议栈传输时,数据格式不一样.网络协议栈需要专门的数据结构(pbuf)来管理报文,而设备层只会将数据本身存放在一块内存缓冲区

7. NIO与零拷贝

一.零拷贝 1.介绍 零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务,这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽. 优点: 减少甚至完全避免不必要的CPU拷贝,从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 2.传统copy机制 Java 传统 IO 和 网络编程的一段代码: 1 File file = new File("test.txt"); 2 RandomAcc

Java零拷贝

1.摘要 java 的zero copy多在网络应用程序中使用.Java的libaries在linux和unix中支持zero copy,关键的api是java.nio.channel.FileChannel的transferTo(),transferFrom()方法.我们可以用这两个方法来把bytes直接从调用它的channel传输到另一个writable byte channel,中间不会使data经过应用程序,以便提高数据转移的效率. 2.介绍 java 的zero copy多在网络应用程

零拷贝概念 -- linux内核

零拷贝(zero-copy) 实现主机或路由器等设备高速网络接口的主要技术.零拷贝技术通过减少或消除关键通信路径影响速率的操作,降低数据传输的操作系统开销和协议处理开销,从而有效提高通信性能,实现高速数据传输. 零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除通信数据在存储器之间不必要的中间拷贝过程,有效地提高通信效率,是设计高速接口通道.实现高速服务器和路由器的关键技术之一.数据拷贝受制于传统的操作系统或通信协议,限制了通信性能.采用零拷贝技术,通过减少数据拷贝次数,简化协议处理的层次,在