Java 网络 IO 模型

在进入主题之前先看个 Java 网络编程的一个简单例子:代码很简单,客户端和服务端进行通信,对于客户端的每次输入,服务端回复 get。注意,服务端可以同时允许多个客户端连接。

服务端端代码:

// 创建服务端 socket
ServerSocket serverSocket = new ServerSocket(20000);
client = serverSocket.accept();

// 客户端连接成功,输出提示
System.out.println("客户端连接成功");
// 启动一个新的线程处理客户端请求
new Thread(new ServerThread(client)).start();

// 子线程中处理客户端的输入
class ServerThread implements Runnable {
    .....
    @Override
    public void run() {
        boolean flag = true;
        while (flag) {

            // 读取客户端发送来的数据
            String str = buf.readLine();

            // 回复给客户端 get 表示收到数据
            out.println("get");
        }
    }
}

客户端代码 :

Socket client = new Socket("127.0.0.1", 20000);
boolean flag = true;
while (flag) {

    // 读取用户从键盘的输入
    String str = input.readLine();
    // 把用户的输入发送给服务端
    out.println(str);

    // 接受到服务端回传的 get 字符串
    String echo = buf.readLine();
    System.out.println(echo);
    }
}

考虑到完整的 Java 示例代码太过庞大影响阅读,所以这里不完整贴出,如果需要在 github 直接下载,这里是下载地址

可以看到,server 为了能够同时处理多个 client 的请求,需要为每个 client 开启一个 thread,这种 one-thread-per-client 的模式对于 server 而言压力是很大的。假设有 1k 个 client,对应的 server 应该启动 1k 个 thread,那么 server 所耗费的内存,以及 thread 切换时候占用的时间等等都是致命伤。即使使用线程池的技术来限制线程个数,这种 blocking-IO 的模型还是没办法支撑大量连接。

每个 client 都需要一个 thread 来请求处理。

NIO

上面这种 one-thread-per-client 的模式无法支撑大量连接的主要原因在于 readLine 会 阻塞 IO,即在 readLine 没能够读取到数据的时候,会一直阻塞线程,使得线程无法继续执行,那么 server 为了可以同时处理多个 client,只能同时开启多个线程。

所以,Java 1.4 之后引入了一套 NIO 接口。NIO 中最主要的一个功能就是可以进行非阻塞 IO 操作:如果没能够读取到数据,非阻塞 IO 不会阻塞线程,而是直接返回 0。这种情况下,线程通过返回值判断数据还没有准备好,就可以处理其他事情,而不会被阻塞。

上图是阻塞 IO 和非阻塞 IO 的区别,可以看出虽然 非阻塞 IO 并不会被阻塞,但是它仍然不断的调用函数检查数据是否已经可读,这种现象在代码中是以这种形式展现:

while((str = read()) == 0) {

}
 // 继续读取到数据之后的逻辑。

可以明白,虽然非阻塞 IO 不会阻塞线程,但是由于没有数据可读,线程也没有办法继续执行下面的逻辑,只能不断的调用判断,等待数据到来。这种情况下称为同步 IO。所以综上,NIO 本质上是一个非阻塞同步 IO。

IO 复用

由于 NIO 不会因为数据还没有到达而被阻塞,那么就没有必要每一个 client 都分配一个 thread 不断去轮询判断是否有数据可读。可以使用一个 thread 监听所有的 client 连接,由这个 thread 循环判断是否有某个 client 的数据可读,如果有就告知其他 thread 某个 client 连接由数据可读。这种行为就被称之为 IO 复用。 在 NIO 中提供了 Selector 类来监听所有 client 连接是否有数据可读。

使用 Selector 来实现 IO 复用,只有一个 thread 需要关心数据是否到来,其他线程等待通知就好。如此一来,只有监听线程会一直循环判断,并不会占据太多 CPU 资源。提到 NIO 中的 Selector,不得不说一下 Linux 编程中的 IO 复用,因为 NIO 中的 Selector 底层就是使用系统级的 IO 复用方案。

Linux 系统的 IO 复用实现方案有 2 种:

  • select
  • epoll

在 Linux 2.6+ 的版本上 NIO 底层使用的是 epoll,在 2.4.x 的版本使用的是 select 函数。epoll 函数在性能方面比 select好很多,这里可以不关心 Linux 编程具体细节。值得一提的是,Java 的 netty 网络框架底层就是使用 NIO 技术。

AIO

回顾一下 NIO 中:使用监听线程调用 select 函数来监听所有请求是否有数据到达,如果有数据则通知其他线程来读取数据。这里在线程读取数据的过程中,线程在数据没有读取完毕之前是处于阻塞状态,只有数据读取完毕之后线程才可以继续执行逻辑。之前说过,这种称之为同步 IO。JDK 7 中新增了一套新接口 AIO(Asynchronous IO)。

AIO 有一个神奇的特性:当发起 IO 操作之后,线程不用等待 IO 读取完毕,而是可以直接返回,继续执行其他操作。等到数据读取完毕之后,系统会通知线程数据已经读取完毕。这种发起 IO 操作,但是不必等待数据读取完毕的 IO 操作称之为异步 IO。如果使用 AIO,一个线程可以同时发起多个 IO 操作,这就意味着,一个线程可以同时处理多个请求。著名的 web 服务器 Nginx 就是用了异步 IO。关于更多的细节,可以参考下我的另一篇文章 <Apache--MPMs && Nginx事件驱动>。

End

到目前为止,文章解释了阻塞/非阻塞 IO,同步/异步 IO 的区别,谈起 IO 模型,不可避免会涉及 Linux 的 5 种 IO 模型

  • 阻塞 IO
  • 非阻塞 IO
  • IO 复用
  • 信号驱动 IO
  • 异步 IO

除去信号驱动 IO没有提及,其他 4 种主要的 IO 模型都有所解释,理解了这些 IO 模型的概念对于编写代码有很大的帮助。

Java学习交流QQ群:589809992  禁止闲聊,非喜勿进!

时间: 2024-10-10 13:50:28

Java 网络 IO 模型的相关文章

通过实例理解Java网络IO模型

网络IO模型及分类 网络IO模型是一个经常被提到的问题,不同的书或者博客说法可能都不一样,所以没必要死抠字眼,关键在于理解. Socket连接 不管是什么模型,所使用的socket连接都是一样的.以下是一个典型的应用服务器上的连接情况.客户的各种设备通过Http协议与Tomcat进程交互,Tomcat需要访问Redis服务器,它与Redis服务器也建了好几个连接.虽然客户端与Tomcat建的是短连接,很快就会断开,Tomcat与Redis是长连接,但是它们本质上都是一样的.建立一个Socket后

Java网络编程和NIO详解3:IO模型与Java网络编程模型

Java网络编程和NIO详解3:IO模型与Java网络编程模型 基本概念说明 用户空间与内核空间 现在操作系统都是采用虚拟存储器,那么对32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方).操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限.为了保证用户进程不能直接操作内核(kernel),保证内核的安全,操作系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空间.针对linux操作系统而言,将最高的1G字节(从虚拟地址

网络IO模型

切记:IO特性不是由接口决定,而是由描述符(fd)的属性决定 本文内容目录: 一:网络IO模型的分类,各个模型的定义和特点 二:每个模型的原理和比较 三:每个模型的编程步骤.编程实例,以及注意细节. 一:网络IO模型的分类,各个模型的定义和特点 在网络IO模型中,有五种模型: * blocking IO              阻塞IO * nonblocking IO        非阻塞IO * IO multiplexing         IO多路复用 * signal driven

linux网络IO模型——阻塞、非阻塞和同步、异步

最近几天在学习nginx的时候了解了一下linux网络IO模型,在此谈谈我自己的理解,如有错误请多多指教.本文参考书籍Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”,6.2节“I/O Models ”. Linux网络IO请求数据分为两段: 1.数据准备 2.将数据从内核拷贝到进程空间 其实,阻塞.非阻塞和同步.异步的不同就在于这两个阶段的不同. 同步和异步关

python学习四十三天(网络IO模型)

阅读目录 一 IO模型介绍 二 阻塞IO(blocking IO) 三 非阻塞IO(non-blocking IO) 四 多路复用IO(IO multiplexing) 五 异步IO(Asynchronous I/O) 六 IO模型比较分析 七 selectors模块 IO模型介绍 为了更好地了解IO模型,我们需要事先回顾下:同步.异步.阻塞.非阻塞 同步(synchronous) IO和异步(asynchronous) IO,阻塞(blocking) IO和非阻塞(non-blocking)I

五种网络IO模型以及多路复用IO中select/epoll对比

下面都是以网络读数据为例 [2阶段网络IO] 第一阶段:等待数据 wait for data 第二阶段:从内核复制数据到用户 copy data from kernel to user 下面是5种网络IO模型 [阻塞blocking IO] 两阶段全程阻塞 recvfrom -> [syscall -> wait -> copy ->] return OK [非阻塞nonblocking IO] 第一阶段是非阻塞的不断检查是否数据准备好,第二阶段阻塞读取数据 recvfrom -&

五种网络IO模型

一:概述 在网络编程中,阻塞.非阻塞.同步.异步经常被提到,下面谈一下I/O在生活中的钓鱼场景(纯属虚构,如有雷同,纯属巧合). 1.阻塞式I/O:开始钓鱼,眼睛一直盯着,鱼儿上钩拉杆. 2.非阻塞式I/O:开始钓鱼,你一直怀疑鱼儿在偷吃鱼饵,一直拉杆,没有鱼,然后重复放杆拉杆,直到有钓上鱼. 3.I/O复用:开始钓鱼,但是你同时放了多条鱼竿,然后开始眼睛不断查看多条鱼竿,直到叼上鱼. 4.信号驱动:开始钓鱼,但是你的鱼竿很特殊,鱼儿上钩会发出声音通知你,你可以同时干别的事. 5.异步I/O:姜

5种网络IO模型(有图,很清楚)

同步(synchronous) IO和异步(asynchronous) IO,阻塞(blocking) IO和非阻塞(non-blocking)IO分别是什么,到底有什么区别?这个问题其实不同的人给出的答案都可能不同,比如wiki,就认为asynchronous IO和non-blocking IO是一个东西.这其实是因为不同的人的知识背景不同,并且在讨论这个问题的时候上下文(context)也不相同.所以,为了更好的回答这个问题,我先限定一下本文的上下文. 本文讨论的背景是Linux环境下的n

Linux 环境下 网络IO模型

本文讨论的背景是Linux环境下的network IO. IO发生时涉及的对象和步骤: 对于一个network IO (这里我们以read举例),它会涉及到两个系统对象,一个是调用这个IO的process (or thread),另一个就是系统内核(kernel).当一个read操作发生时,它会等待内核经历两个阶段: 1  内核数据准备 (Waiting for the data to be ready) 2  内核把数据从内核空间,拷贝到用户空间中 (Copying the data from