【windows核心编程】IO完成端口(IOCP)复制文件小例前简单说明

1、关于IOCP

IOCP即IO完成端口,是一种高伸缩高效率的异步IO方式,一个设备或文件与一个IO完成端口相关联,当文件或设备的异步IO操作完成的时候,去IO完成端口的【完成队列】取一项,根据完成键(Complete Key)来判断是哪个设备或文件的操作完成,然后再根据实际情况进行处理。

2、相关API 和 数据结构

  将一个已完成的IO通知追加到IOCP的【完成队列】中

BOOL   PostQueuedCompletionStatus(

HANDLE    hCompletionPort,     //IO完成端口

DWORD    dwNumBytes,          //传输的字节数

ULONG_PTR  completionKey,    //完成键

OVERLAPPED*   pOverlapped    //设备或文件发送异步IO请求时的关联OVERLAPPED结构指针

)

 从【完成队列】中取一项

BOOL    GetWQueuedCompletionStatus(

HANDLE       hCompletionPort,    //IOCP

PWORD       pdwNumberOfBytesTransferred, //已传输字节数

PULONG_PTR   pCompletionKey,    //完成键

OVERLAPPED**  ppOverlapped,     //与文件或设备关联的OVERLAPPED结构,指针的指针,[out]

DWORD    dwMilliseconds               //等待时间

)

  创建IOCP 或 将一个文件/设备与一个IOCP关联起来

HANDLE WINAPI CreateIoCompletionPort(
  __in      HANDLE FileHandle,               //文件 设备句柄
  __in_opt  HANDLE ExistingCompletionPort,   //一个IOCP句柄
  __in      ULONG_PTR CompletionKey,         //完成键
  __in      DWORD NumberOfConcurrentThreads  //允许运行的最大线程数量
);

新建HANDLE  hIOCP = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 一个数量);

关联CreateIoCompletionPort(hFile, hIOCP, CK_XXX, 一个数量);

OVERLAPPED结构
typedef struct _OVERLAPPED {
  ULONG_PTR Internal;       //错误代码,系统管理
  ULONG_PTR InternalHigh;  //传输自字节数 系统管理
  union {
    struct {
      DWORD Offset;         //起始偏移 地位, 需要特别注意:大文件时这个值容易溢出
      DWORD OffsetHigh;    //起始偏移 高位
    } ;
    PVOID  Pointer;
  } ;
  HANDLE    hEvent;         //事件内核对象
} OVERLAPPED, *LPOVERLAPPED;
 

 IOCP的五个数据结构

①设备列表

表示与该端口相关联的一个或多个设备

②IO完成队列  FIFO

包含已传输字节数、完成键、OVERLAPPED结构、错误代码等

当IO请求完成 或 调用PostQueuedCompletionStatus时 会往该队列中添加项

③等待线程队列  FILO

当线程池中每个线程调用GetQueuedCompletionStatus时,调用线程的线程标示符会被添加到这个等待线程队列,这使得IOCP始终都能够知道有哪些线程正在等待对已完成的IO请求进行处理。

④已释放线程列表

对IO请求后进行处理的线程由于某种原因被挂起后,又被唤醒,就进入以释放线程列表

⑤已暂停线程列表

对IO请求后进行处理的线程由于某种原因被挂起后进入已暂停线程列表

3、说明

IOCP中运行运行的最大线程数一般是CPU个数

线程池中的最大线程数一般是CPU个数的2倍

下一篇用一个复制文件的例子来演示一下IOCP的使用

【windows核心编程】IO完成端口(IOCP)复制文件小例前简单说明

时间: 2024-08-05 20:21:40

【windows核心编程】IO完成端口(IOCP)复制文件小例前简单说明的相关文章

【windows核心编程】IO完成端口(IOCP)复制文件小例

1.演示内容 文件复制 2.提要 复制大文件时,使用FILE_FLAG_NO_BUFFERING标志 同时需要注意: 读写文件的偏移地址为 磁盘扇区 的整数倍 读写文件的字节数为 磁盘扇区 的整数倍 读文件到的缓冲区在进程地址空间中的地址为 磁盘扇区 的整数倍 3.JUST CODING #include "stdafx.h" #include <Windows.h> #include <process.h> #include <iostream>

《windows核心编程系列》十八谈谈windows钩子

windows应用程序是基于消息驱动的.各种应用程序对各种消息作出响应从而实现各种功能. windows钩子是windows消息处理机制的一个监视点,通过安装钩子能够达到监视指定窗体某种类型的消息的功能.所谓的指定窗体并不局限于当前进程的窗体,也能够是其它进程的窗体.当监视的某一消息到达指定的窗体时,在指定的窗体处理消息之前,钩子函数将截获此消息,钩子函数既能够加工处理该消息,也能够不作不论什么处理继续传递该消息.使用钩子是实现dll注入的方法之中的一个.其它经常使用的方法有:注冊表注入,远程线

【转】《windows核心编程》读书笔记

这篇笔记是我在读<Windows核心编程>第5版时做的记录和总结(部分章节是第4版的书),没有摘抄原句,包含了很多我个人的思考和对实现的推断,因此不少条款和Windows实际机制可能有出入,但应该是合理的.开头几章由于我追求简洁,往往是很多单独的字句,后面的内容更为连贯. 海量细节. 第1章    错误处理 1.         GetLastError返回的是最后的错误码,即更早的错误码可能被覆盖. 2.         GetLastError可能用于描述成功的原因(CreatEvent)

《Windows核心编程》读书笔记 上

[C++]<Windows核心编程>读书笔记 这篇笔记是我在读<Windows核心编程>第5版时做的记录和总结(部分章节是第4版的书),没有摘抄原句,包含了很多我个人的思考和对实现的推断,因此不少条款和Windows实际机制可能有出入,但应该是合理的.开头几章由于我追求简洁,往往是很多单独的字句,后面的内容更为连贯. 海量细节. 第1章    错误处理 1.         GetLastError返回的是最后的错误码,即更早的错误码可能被覆盖. 2.         GetLas

C++Windows核心编程读书笔记

转自:http://www.makaidong.com/%E5%8D%9A%E5%AE%A2%E5%9B%AD%E6%96%87/71405.shtml "C++Windows核心编程读书笔记": 关键词:c++windows 核心 编程 读书笔记 这篇笔记是我在读<windows核心编程>第5版时做的记录和总结(部分章节是第4版的书),没有摘抄原句,包含了很多我个人的思考和对实现的推断,因此不少条款和windows实际机制可能有出入,但应该是合理的.开头几章由于我追求简洁

读书笔记----《windows核心编程》第三章 内核对象1(句柄与安全性)

最近一直没有更新博客,因为一直在想一个问题,内核对象这一章内容很多很重要,自己没有掌握好也没有把握写好这一章,最后还是决定能写多少写多少,一面写一面学,后续学到新的再更新吧; <windows核心编程>提了几种内核对象: 访问令牌对象:与windows的安全性有关,目前不是很懂,了解后再写; 事件对象: Event对象,可跨进程同步; 由CreateEvent创建; 文件对象: File对象,比较常见; 由CreateFile创建; 文件映射对象: 通过文件映射可以方便的操作文件(如同文件数据

【windows核心编程】DLL相关(3)

DLL重定向 因为DLL的搜索路径有先后次序,假设有这样的场景:App1.exe使用MyDll1.0.dll, App2.exe使用MyDll2.0.dll, MyDll1.0 和 MyDll2.0是同一个DLL的两个版本,1.0为旧版本,2.0为新版本. 而如果MyDll2.0.dll的存放路径的优先次序比较靠前时,那么App1.exe就会去加载MyDll2.0.dll,这就可能引发 DLL地狱问题,因此DLL重定向可解决这个问题. 加载程序总是先检查应用程序目录,我们所要做的就是如下: ①在

【windows核心编程】一个API拦截的例子

API拦截 修改PE文件导入段中的导入函数地址 为 新的函数地址 这涉及PE文件格式中的导入表和IAT,PE文件中每个隐式链接的DLL对应一个IMAGE_IMPORT_DESCRIPTOR描述符结构,而每个IMAGE_IMPORT_DESCRIPTOR结构中的FirstThunk指向一个IMAGE_THUNK_DATA结构数组的首地址. 在这个IAMGE_THUNK_DATA数组中,每一项对应一个该DLL模块的导入函数(对使用该DLL模块的PE文件来说是 导入).  结构大致如下 拦截某DLL模

Windows核心编程---动态链接库(XX.dll)与静态库(XX.lib)

最近细读了Windows核心编程的内存管理与动态链接库部分,虽然有些人对Windows未来说三道四,但不得不承认微软windows系统的强大功能,以及其深邃的架构设计思想,令人钦佩.通过这次阅读对库文件有了更深刻的认识,总结于此! 动态链接库(Dynamic Linked Library): Windows为应用程序提供了丰富的函数调用,这些函数调用都包含在动态链接库中.其中有3个最重要的三个库为:Kernel32.dll.Use32.dll.GDI32.dll,介绍如下: Kernel32.d