Java aio(异步网络IO)初探

按照《Unix网络编程》的划分，IO模型可以分为：阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO，按照POSIX标准来划分只分为两类：同步IO和异步IO。如何区分呢？首先一个IO操作其实分成了两个步骤：发起IO请求和实际的IO操作，同步IO和异步IO的区别就在于第二个步骤是否阻塞，如果实际的IO读写阻塞请求进程，那么就是同步IO，因此阻塞IO、非阻塞IO、IO服用、信号驱动IO都是同步IO，如果不阻塞，而是操作系统帮你做完IO操作再将结果返回给你，那么就是异步IO。阻塞IO和非阻塞IO的区别在于第一步，发起IO请求是否会被阻塞，如果阻塞直到完成那么就是传统的阻塞IO，如果不阻塞，那么就是非阻塞IO。

Java nio 2.0的主要改进就是引入了异步IO（包括文件和网络），这里主要介绍下异步网络IO API的使用以及框架的设计，以TCP服务端为例。首先看下为了支持AIO引入的新的类和接口：

java.nio.channels.AsynchronousChannel
       标记一个channel支持异步IO操作。

 java.nio.channels.AsynchronousServerSocketChannel
       ServerSocket的aio版本，创建TCP服务端，绑定地址，监听端口等。

 java.nio.channels.AsynchronousSocketChannel
       面向流的异步socket channel，表示一个连接。

 java.nio.channels.AsynchronousChannelGroup
       异步channel的分组管理，目的是为了资源共享。一个AsynchronousChannelGroup绑定一个线程池，这个线程池执行两个任务：处理IO事件和派发CompletionHandler。AsynchronousServerSocketChannel创建的时候可以传入一个 AsynchronousChannelGroup，那么通过AsynchronousServerSocketChannel创建的 AsynchronousSocketChannel将同属于一个组，共享资源。

 java.nio.channels.CompletionHandler
       异步IO操作结果的回调接口，用于定义在IO操作完成后所作的回调工作。AIO的API允许两种方式来处理异步操作的结果：返回的Future模式或者注册CompletionHandler，我更推荐用CompletionHandler的方式，这些handler的调用是由 AsynchronousChannelGroup的线程池派发的。显然，线程池的大小是性能的关键因素。AsynchronousChannelGroup允许绑定不同的线程池，通过三个静态方法来创建：

Java代码  

  1. public static AsynchronousChannelGroup withFixedThreadPool(int nThreads,
  2. ThreadFactory threadFactory)
  3. throws IOException
  4. public static AsynchronousChannelGroup withCachedThreadPool(ExecutorService executor,
  5. int initialSize)
  6. public static AsynchronousChannelGroup withThreadPool(ExecutorService executor)
  7. throws IOException

需要根据具体应用相应调整，从框架角度出发，需要暴露这样的配置选项给用户。

在介绍完了aio引入的TCP的主要接口和类之后，我们来设想下一个aio框架应该怎么设计。参考非阻塞nio框架的设计，一般都是采用Reactor模式，Reacot负责事件的注册、select、事件的派发；相应地，异步IO有个Proactor模式，Proactor负责 CompletionHandler的派发，查看一个典型的IO写操作的流程来看两者的区别：

Reactor:  send(msg) -> 消息队列是否为空，如果为空  -> 向Reactor注册OP_WRITE，然后返回 -> Reactor select -> 触发Writable，通知用户线程去处理 ->先注销Writable(很多人遇到的cpu 100%的问题就在于没有注销）,处理Writeable，如果没有完全写入，继续注册OP_WRITE。注意到，写入的工作还是用户线程在处理。
     Proactor: send(msg) -> 消息队列是否为空，如果为空,发起read异步调用，并注册CompletionHandler，然后返回。 -> 操作系统负责将你的消息写入，并返回结果（写入的字节数）给Proactor -> Proactor派发CompletionHandler。可见，写入的工作是操作系统在处理，无需用户线程参与。事实上在aio的API 中,AsynchronousChannelGroup就扮演了Proactor的角色。

CompletionHandler有三个方法，分别对应于处理成功、失败、被取消（通过返回的Future)情况下的回调处理：

Java代码  

  1. public interface CompletionHandler<V,A> {
  2. void completed(V result, A attachment);
  3. void failed(Throwable exc, A attachment);
  4. void cancelled(A attachment);
  5. }

其中的泛型参数V表示IO调用的结果，而A是发起调用时传入的attchment。

在初步介绍完aio引入的类和接口后，我们看看一个典型的tcp服务端是怎么启动的，怎么接受连接并处理读和写，这里引用的代码都是yanf4j 的aio分支中的代码，可以从svn checkout，svn地址: http://yanf4j.googlecode.com/svn/branches/yanf4j-aio

第一步，创建一个AsynchronousServerSocketChannel，创建之前先创建一个 AsynchronousChannelGroup，上文提到AsynchronousServerSocketChannel可以绑定一个 AsynchronousChannelGroup，那么通过这个AsynchronousServerSocketChannel建立的连接都将同属于一个AsynchronousChannelGroup并共享资源：

Java代码  

  1. this.asynchronousChannelGroup = AsynchronousChannelGroup
  2. .withCachedThreadPool(Executors.newCachedThreadPool(),
  3. this.threadPoolSize);

然后初始化一个AsynchronousServerSocketChannel，通过open方法：

Java代码  

  1. this.serverSocketChannel = AsynchronousServerSocketChannel
  2. .open(this.asynchronousChannelGroup);

通过nio 2.0引入的SocketOption类设置一些TCP选项：

Java代码  

  1. this.serverSocketChannel
  2. .setOption(
  3. StandardSocketOption.SO_REUSEADDR,true);
  4. this.serverSocketChannel
  5. .setOption(
  6. StandardSocketOption.SO_RCVBUF,16*1024);

绑定本地地址：

Java代码  

  1. this.serverSocketChannel
  2. .bind(new InetSocketAddress("localhost",8080), 100);

其中的100用于指定等待连接的队列大小(backlog)。完了吗？还没有，最重要的监听工作还没开始，监听端口是为了等待连接上来以便accept产生一个AsynchronousSocketChannel来表示一个新建立的连接，因此需要发起一个accept调用，调用是异步的，操作系统将在连接建立后，将最后的结果——AsynchronousSocketChannel返回给你：

Java代码  

  1. public void pendingAccept() {
  2. if (this.started && this.serverSocketChannel.isOpen()) {
  3. this.acceptFuture = this.serverSocketChannel.accept(null,
  4. new AcceptCompletionHandler());
  5. } else {
  6. throw new IllegalStateException("Controller has been closed");
  7. }
  8. }

注意，重复的accept调用将会抛出PendingAcceptException，后文提到的read和write也是如此。accept方法的第一个参数是你想传给CompletionHandler的attchment，第二个参数就是注册的用于回调的CompletionHandler，最后返回结果Future<AsynchronousSocketChannel>。你可以对future做处理，这里采用更推荐的方式就是注册一个CompletionHandler。那么accept的CompletionHandler中做些什么工作呢？显然一个赤裸裸的 AsynchronousSocketChannel是不够的，我们需要将它封装成session，一个session表示一个连接（mina里就叫 IoSession了），里面带了一个缓冲的消息队列以及一些其他资源等。在连接建立后，除非你的服务器只准备接受一个连接，不然你需要在后面继续调用pendingAccept来发起另一个accept请求：

Java代码  

  1. private final class AcceptCompletionHandler implements
  2. CompletionHandler<AsynchronousSocketChannel, Object> {
  3. @Override
  4. public void cancelled(Object attachment) {
  5. logger.warn("Accept operation was canceled");
  6. }
  7. @Override
  8. public void completed(AsynchronousSocketChannel socketChannel,
  9. Object attachment) {
  10. try {
  11. logger.debug("Accept connection from "
  12. + socketChannel.getRemoteAddress());
  13. configureChannel(socketChannel);
  14. AioSessionConfig sessionConfig = buildSessionConfig(socketChannel);
  15. Session session = new AioTCPSession(sessionConfig,
  16. AioTCPController.this.configuration
  17. .getSessionReadBufferSize(),
  18. AioTCPController.this.sessionTimeout);
  19. session.start();
  20. registerSession(session);
  21. } catch (Exception e) {
  22. e.printStackTrace();
  23. logger.error("Accept error", e);
  24. notifyException(e);
  25. } finally {
  26. <strong>pendingAccept</strong>();
  27. }
  28. }
  29. @Override
  30. public void failed(Throwable exc, Object attachment) {
  31. logger.error("Accept error", exc);
  32. try {
  33. notifyException(exc);
  34. } finally {
  35. <strong>pendingAccept</strong>();
  36. }
  37. }
  38. }

注意到了吧，我们在failed和completed方法中在最后都调用了pendingAccept来继续发起accept调用，等待新的连接上来。有的同学可能要说了，这样搞是不是递归调用，会不会堆栈溢出？实际上不会，因为发起accept调用的线程与CompletionHandler回调的线程并非同一个，不是一个上下文中，两者之间没有耦合关系。要注意到，CompletionHandler的回调共用的是 AsynchronousChannelGroup绑定的线程池，因此千万别在CompletionHandler回调方法中调用阻塞或者长时间的操作，例如sleep，回调方法最好能支持超时，防止线程池耗尽。

连接建立后，怎么读和写呢？回忆下在nonblocking nio框架中，连接建立后的第一件事是干什么？注册OP_READ事件等待socket可读。异步IO也同样如此，连接建立后马上发起一个异步read调用，等待socket可读，这个是Session.start方法中所做的事情：

Java代码  

  1. public class AioTCPSession {
  2. protected void start0() {
  3. pendingRead();
  4. }
  5. protected final void pendingRead() {
  6. if (!isClosed() && this.asynchronousSocketChannel.isOpen()) {
  7. if (!this.readBuffer.hasRemaining()) {
  8. this.readBuffer = ByteBufferUtils
  9. .increaseBufferCapatity(this.readBuffer);
  10. }
  11. this.readFuture = this.asynchronousSocketChannel.read(
  12. this.readBuffer, this, this.readCompletionHandler);
  13. } else {
  14. throw new IllegalStateException(
  15. "Session Or Channel has been closed");
  16. }
  17. }
  18. }

AsynchronousSocketChannel的read调用与AsynchronousServerSocketChannel的accept调用类似，同样是非阻塞的，返回结果也是一个Future，但是写的结果是整数，表示写入了多少字节，因此read调用返回的是 Future<Integer>，方法的第一个参数是读的缓冲区，操作系统将IO读到数据拷贝到这个缓冲区，第二个参数是传递给 CompletionHandler的attchment，第三个参数就是注册的用于回调的CompletionHandler。这里保存了read的结果Future，这是为了在关闭连接的时候能够主动取消调用，accept也是如此。现在可以看看read的CompletionHandler的实现：

Java代码  

  1. public final class ReadCompletionHandler implements
  2. CompletionHandler<Integer, AbstractAioSession> {
  3. private static final Logger log = LoggerFactory
  4. .getLogger(ReadCompletionHandler.class);
  5. protected final AioTCPController controller;
  6. public ReadCompletionHandler(AioTCPController controller) {
  7. this.controller = controller;
  8. }
  9. @Override
  10. public void cancelled(AbstractAioSession session) {
  11. log.warn("Session(" + session.getRemoteSocketAddress()
  12. + ") read operation was canceled");
  13. }
  14. @Override
  15. public void completed(Integer result, AbstractAioSession session) {
  16. if (log.isDebugEnabled())
  17. log.debug("Session(" + session.getRemoteSocketAddress()
  18. + ") read +" + result + " bytes");
  19. if (result < 0) {
  20. session.close();
  21. return;
  22. }
  23. try {
  24. if (result > 0) {
  25. session.updateTimeStamp();
  26. session.getReadBuffer().flip();
  27. session.decode();
  28. session.getReadBuffer().compact();
  29. }
  30. } finally {
  31. try {
  32. session.pendingRead();
  33. } catch (IOException e) {
  34. session.onException(e);
  35. session.close();
  36. }
  37. }
  38. controller.checkSessionTimeout();
  39. }
  40. @Override
  41. public void failed(Throwable exc, AbstractAioSession session) {
  42. log.error("Session read error", exc);
  43. session.onException(exc);
  44. session.close();
  45. }
  46. }

如果IO读失败，会返回失败产生的异常，这种情况下我们就主动关闭连接，通过session.close()方法，这个方法干了两件事情：关闭channel和取消read调用：

Java代码  

  1. if (null != this.readFuture) {
  2. this.readFuture.cancel(true);
  3. }
  4. this.asynchronousSocketChannel.close();

在读成功的情况下，我们还需要判断结果result是否小于0，如果小于0就表示对端关闭了，这种情况下我们也主动关闭连接并返回。如果读到一定字节，也就是result大于0的情况下，我们就尝试从读缓冲区中decode出消息，并派发给业务处理器的回调方法，最终通过pendingRead继续发起read调用等待socket的下一次可读。可见，我们并不需要自己去调用channel来进行IO读，而是操作系统帮你直接读到了缓冲区，然后给你一个结果表示读入了多少字节，你处理这个结果即可。而nonblocking IO框架中，是reactor通知用户线程socket可读了，然后用户线程自己去调用read进行实际读操作。这里还有个需要注意的地方，就是decode出来的消息的派发给业务处理器工作最好交给一个线程池来处理，避免阻塞group绑定的线程池。
  
   IO写的操作与此类似，不过通常写的话我们会在session中关联一个缓冲队列来处理，没有完全写入或者等待写入的消息都存放在队列中，队列为空的情况下发起write调用：

Java代码  

  1. protected void write0(WriteMessage message) {
  2. boolean needWrite = false;
  3. synchronized (this.writeQueue) {
  4. needWrite = this.writeQueue.isEmpty();
  5. this.writeQueue.offer(message);
  6. }
  7. if (needWrite) {
  8. pendingWrite(message);
  9. }
  10. }
  11. protected final void pendingWrite(WriteMessage message) {
  12. message = preprocessWriteMessage(message);
  13. if (!isClosed() && this.asynchronousSocketChannel.isOpen()) {
  14. this.asynchronousSocketChannel.write(message.getWriteBuffer(),
  15. this, this.writeCompletionHandler);
  16. } else {
  17. throw new IllegalStateException(
  18. "Session Or Channel has been closed");
  19. }
  20. }

write调用返回的结果与read一样是一个Future<Integer>，而write的CompletionHandler处理的核心逻辑大概是这样：

Java代码  

  1. @Override
  2. public void completed(Integer result, AbstractAioSession session) {
  3. if (log.isDebugEnabled())
  4. log.debug("Session(" + session.getRemoteSocketAddress()
  5. + ") writen " + result + " bytes");
  6. WriteMessage writeMessage;
  7. Queue<WriteMessage> writeQueue = session.getWriteQueue();
  8. synchronized (writeQueue) {
  9. writeMessage = writeQueue.peek();
  10. if (writeMessage.getWriteBuffer() == null
  11. || !writeMessage.getWriteBuffer().hasRemaining()) {
  12. writeQueue.remove();
  13. if (writeMessage.getWriteFuture() != null) {
  14. writeMessage.getWriteFuture().setResult(Boolean.TRUE);
  15. }
  16. try {
  17. session.getHandler().onMessageSent(session,
  18. writeMessage.getMessage());
  19. } catch (Exception e) {
  20. session.onException(e);
  21. }
  22. writeMessage = writeQueue.peek();
  23. }
  24. }
  25. if (writeMessage != null) {
  26. try {
  27. session.pendingWrite(writeMessage);
  28. } catch (IOException e) {
  29. session.onException(e);
  30. session.close();
  31. }
  32. }
  33. }

compete方法中的result就是实际写入的字节数，然后我们判断消息的缓冲区是否还有剩余，如果没有就将消息从队列中移除，如果队列中还有消息，那么继续发起write调用。

重复一下，这里引用的代码都是yanf4j aio分支中的源码，感兴趣的朋友可以直接check out出来看看:http://yanf4j.googlecode.com/svn/branches/yanf4j-aio。
   在引入了aio之后，java对于网络层的支持已经非常完善，该有的都有了，java也已经成为服务器开发的首选语言之一。java的弱项在于对内存的管理上，由于这一切都交给了GC，因此在高性能的网络服务器上还是Cpp的天下。java这种单一堆模型比之erlang的进程内堆模型还是有差距，很难做到高效的垃圾回收和细粒度的内存管理。

这里仅仅是介绍了aio开发的核心流程，对于一个网络框架来说，还需要考虑超时的处理、缓冲buffer的处理、业务层和网络层的切分、可扩展性、性能的可调性以及一定的通用性要求。

转载：http://www.iteye.com/topic/472333

时间： 2024-10-06 12:40:33

Java aio(异步网络IO)初探的相关文章

Java Web 减少网络 IO、静态资源磁盘 IO 有效的办法--响应使用 GZIP( 压缩http请求与响应gzip压缩)

(转载http://blog.csdn.net/hylclxy/article/details/7779662) 出于节约流量考虑, 客户端在向服务端发送request的时候对post数据进行gzip压缩, 同时服务端把返回的数据也进行gzip压缩. 为防止遗忘, 记录在此.   编写工具类GzipUtil.java, 开始没考虑好, 方法实现得较乱: public static String METHOD_POST = "POST"; public static final Stri

Java 网络IO编程中AIO、BIO、NIO的简介

AIO(Asynchronous blocking IO)异步阻塞IO NIO是同步的IO,是因为程序需要IO操作时,必须获得了IO权限后亲自进行IO操作才能进行下一步操作.AIO是对NIO的改进(所以AIO又叫NIO.2),它是基于Proactor模型的.每个socket连接在事件分离器注册 IO完成事件 和 IO完成事件处理器.程序需要进行IO时,向分离器发出IO请求并把所用的Buffer区域告知分离器,分离器通知操作系统进行IO操作,操作系统自己不断尝试获取IO权限并进行IO操作(数据保存

Java 网络 IO 模型

在进入主题之前先看个 Java 网络编程的一个简单例子:代码很简单,客户端和服务端进行通信,对于客户端的每次输入,服务端回复 get.注意,服务端可以同时允许多个客户端连接. 服务端端代码: // 创建服务端 socket ServerSocket serverSocket = new ServerSocket(20000); client = serverSocket.accept(); // 客户端连接成功,输出提示 System.out.println("客户端连接成功"); /

网络IO之阻塞、非阻塞、同步、异步总结

1.前言 在网络编程中,阻塞.非阻塞.同步.异步经常被提到.unix网络编程第一卷第六章专门讨论五种不同的IO模型,Stevens讲的非常详细,我记得去年看第一遍时候,似懂非懂,没有深入理解.网上有详细的分析:http://blog.csdn.net/historyasamirror/article/details/5778378.我结合网上博客和书总结一下,加以区别,加深理解. 2.数据流向 网络IO操作实际过程涉及到内核和调用这个IO操作的进程.以read为例,read的具体操作分为以下两个

通过实例理解Java网络IO模型

网络IO模型及分类 网络IO模型是一个经常被提到的问题,不同的书或者博客说法可能都不一样,所以没必要死抠字眼,关键在于理解. Socket连接 不管是什么模型,所使用的socket连接都是一样的.以下是一个典型的应用服务器上的连接情况.客户的各种设备通过Http协议与Tomcat进程交互,Tomcat需要访问Redis服务器,它与Redis服务器也建了好几个连接.虽然客户端与Tomcat建的是短连接,很快就会断开,Tomcat与Redis是长连接,但是它们本质上都是一样的.建立一个Socket后

linux网络IO模型——阻塞、非阻塞和同步、异步

最近几天在学习nginx的时候了解了一下linux网络IO模型,在此谈谈我自己的理解,如有错误请多多指教.本文参考书籍Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”,6.2节“I/O Models ”. Linux网络IO请求数据分为两段: 1.数据准备 2.将数据从内核拷贝到进程空间 其实,阻塞.非阻塞和同步.异步的不同就在于这两个阶段的不同. 同步和异步关

java.nio异步线程安全的IO

BIO 方式使得整个处理过程和连接是绑定的,只要连接建立,无论客户端是否有消息发送,都要进行等待处理,一定程度上浪费了服务器端的硬件资源,因此就有了 NIO 方式.Java 对于 NIO 方式的支持是通过 Channel和 Selector 方式来实现,采用的方法为向 Channel注册感兴趣的事件,然后通过 Selector 来获取到发生了事件的 key,如发生了相应的事件,则进行相应的处理,否则则不做任何处理,是典型的Reactor 模式,按照这样的方式,就不用像 BIO 方式一样,即使在没

Java 网络编程初探

Java 网络编程 网络编程 网络编程:进行服务器端与客户端编程的开发操作实现. java.net:网络操作包 B/S结构: 浏览器/服务器模式(Browser/Server) 不在开发客户端代码 开发一套服务器端的程序代码 客户端利用浏览器进行访问 维护方便,安全性能低(使用公共的HTTP协议和80端口) C/S结构: 客户端/服务器模式(Client / Server) 需要编写两套程序: 客户端程序代码 服务器程序代码 C/S的开发非常的繁琐,因为开发人员需要维护两套程序.(运维哭) 优点

Voovan 是一个高性能异步网络框架和 HTTP（Java）

Voovan 是一个高性能异步网络框架和 HTTP 服务器框架,同时支持 HTTP 客户端抓取.动态编译支持.数据库访问封装以及 DateTime.String.Log.反射.对象工具.流操作.文件操作.异步双向通道等功能.旨在提供可靠.方便.可单元测试的代码.它是一个无任何依赖的独立工具包,希望能够方便广大开发者快速的实现应用. 作者:@愚民日记 地址:http://git.oschina.net/helyho/Voovan http://www.oschina.net/news/80909/