NIO原理剖析与Netty初步----浅谈高性能服务器开发(一)

除特别注明外,本站所有文章均为原创,转载请注明地址

在博主不长的工作经历中,NIO用的并不多,由于使用原生的Java NIO编程的复杂性,大多数时候我们会选择Netty,mina等开源框架,但理解NIO的原理就不重要了吗?恰恰相反,理解NIO底层机制是理解这一切的基础,由此我总结一下当初学习NIO时的笔记,以便后续复习。

以下是我理解的Java原生NIO开发大致流程:

上图大致描述的是服务端的NIO操作。

第一步,绑定一个服务的端口

这与传统阻塞IO中的ServerSocket类似,没什么好说的

第二步,打开通道管理器Selector并在Selector上注册一个事件

当注册的事件发生时,Selector.select()会返回,否则一直阻塞。这一步很有意思,也是NIO第一个与传统IO不同的地方,NIO通过一个Selector线程可以管理大量客户端连接,反之传统IO一个客户端连接进来必须创建一个新的线程为它服务(当然你可以使用连接池),我们知道线程对服务端来说是十分宝贵的资源,一个服务端进程所包含的线程是有   限的;此外,每个线程会占用一定的内存空间,过多的线程可能导致内存溢出,这种情况下你可能会到想对虚拟机进行调优,比如通过修改参数-Xss限制单个线程大小,但这又可   能导致StackOverFlow;另外,线程调度需要切换上下文,对于操作系统,它需要通过TCB(线程控制块)来对线程进行调度,过多的上下文切换浪费了CPU时间,降低了系统效     率。

第三步,轮循访问Selector,当注册的事件到达时,方法返回

下面的代码可以看到,方法整体是一个死循环,轮询访问Selector,发生某些已经注册在Selector上的事件时,该方法返回。可以通过selector.selectedKeys获取发生的事件,

该方法返回的是一个泛型集合Set<SelectionKey>,遍历这个集合与遍历普通集合没有什么不同,这里我们通过迭代器迭代的原因是我们需要删除已经处理的Key,避免重复处理:

public void listen() throws IOException {// 轮询访问selector
        while (true) {
            // 当注册的事件到达时,方法返回;否则,该方法会一直阻塞
            selector.select();
            // 获得selector中选中的项的迭代器,选中的项为注册的事件
            Iterator<?> ite = this.selector.selectedKeys().iterator();
            while (ite.hasNext()) {
                SelectionKey key = (SelectionKey) ite.next();
                //删除已选的key,以防重复处理
                ite.remove();
         //这里可以写我们自己的处理逻辑
                handle(key);
            }
        }
}

在第二步时,已经在Selector上注册了Accept事件,当这里的selector.select()返回时,代表客户端已经可以连接了,在handle方法里可以处理这个事件:

public void handle(SelectionKey key) throws IOException {
    // 客户端请求连接事件
    if (key.isAcceptable()){      //从Key里可以很方便的取到注册这个事件的Channel

ServerSocketChannel server = (ServerSocketChannel) key.channel();
        // 获得和客户端连接的通道
        SocketChannel channel = server.accept();
        // 设置成非阻塞
        channel.configureBlocking(false);

logger.info("客户端已经连接!");

//客户端连接在通道管理器Selector上注册读事件

channel.register(this.selector, SelectionKey.OP_READ);

    }
}

上面的代码很简单,我们通过key获取到注册它的那个Channel,在这里是ServerSocketChannel,通过server.accept()获取客户端连接,这里同样可以类比到传统的阻塞

IO,在阻塞IO中我们可以通过ServerSocket.accept获取到socket,唯一不同的是,阻塞IO中的accept方法是阻塞操作,而NIO中是非阻塞的。

当然,仅仅是连接到客户端并没有什么用处,服务端需要有读写数据的能力,比如你可以用NIO实现一个Http服务器(当然最佳实践使用Netty等框架)。所以我们需要在Selector

上注册读事件,同样,当读事件发生时,执行我们自己的业务逻辑。下面是修改后的代码:

public void handle(SelectionKey key) throws IOException {
    if (key.isAcceptable()){
        ServerSocketChannel server = (ServerSocketChannel) key.channel();
        SocketChannel channel = server.accept();
        channel.configureBlocking(false);
        logger.info("客户端已经连接!");
        channel.register(this.selector, SelectionKey.OP_READ);
    } else if(key.isReadable()){
        SocketChannel channel = (SocketChannel) key.channel();
        // 创建读取缓冲
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        //读取到Buffer中
        int read = channel.read(buffer);
        if(read > 0){
            byte[] data = buffer.array();
            String msg = new String(data).trim();
            logger.info("receive msg: {}",msg)

            //回写数据
            ByteBuffer outBuffer = ByteBuffer.wrap("OK".getBytes());
            channel.write(outBuffer);
        }else{
            logger.info("client closed!!!");
            key.cancel();
        }
    }
} 

总结

本文大致讲述了使用NIO进行服务器端开发的大致流程,但代码显然仍然存在问题,其一是我们只使用了一个线程执行所有操作,包括接收客户端连接,读取数据,返回数据,对于这个简单的Demo来说已经足够了,但在实际的服务器开发中,例如你想使用NIO开发自己的HTTP服务器,服务器本地需要做大量操作,包括解析用户请求,根据请求路由到某一个Action执行业务逻辑,这其中又很可能某些数据从数据库读取,渲染模板等操作,十分耗时,这无疑又称为系统的瓶颈,再者,使用单一线程不能充分利用多核CPU提供的计算能力。下一篇中会看到,在基于Reactor模型的Netty中,会使用一个Boss线程接收客户端请求,使用多个Worker线程执行具体的业务逻辑。

时间: 2024-11-05 10:10:04

NIO原理剖析与Netty初步----浅谈高性能服务器开发(一)的相关文章

浅谈敏捷软件开发与传统软件开发

本文将介绍传统软件开发与敏捷软件开发,并简单分析二者的优缺. 首先我查阅相关资料大致了解了下为什么会爆发"软件危机"和什么是"软件危机".由于在早期的软件开发活动中有明显的个体化特征,开发流程不规范,人们没有将软件与程序加以详细的区别,对程序之外的数据和相关文档资料没有给予重视,对编写程序之外的软件活动也没有给予重视,因此出现了"软件危机"."软件危机"的特点有:开发成本急剧上升.不能按时交付软件.软件难以维护.无法保证软件质

浅谈图片服务器的架构演进

浅谈图片服务器的架构演进 现在几乎任何一个网站.Web App以及移动APP等应用都需要有图片展示的功能,对于图片功能从下至上都是很重要的.必须要具有前瞻性的规划好图片服务器,图片的上传和下载速度至关重要,当然这并不是说一上来就搞很NB的架构,至少具备一定扩展性和稳定性.虽然各种架构设计都有,在这里我只是谈谈我的一些个人想法. 对于图片服务器来说IO无疑是消耗资源最为严重的,对于web应用来说需要将图片服务器做一定的分离,否则很可能因为图片服务器的IO负载导致应用 崩溃.因此尤其对于大型网站和应

浅谈QMVC APP开发

 自从吾修主页上发布了QMVC源码,非常感兴趣,用了半月的时间学习,真的感觉收益非浅,在此声明非常感谢吾修大哥的分享! 1.轻快简单,框架就几个类,简单,当然代码少也就运行快!单纯的MVC,使的如果你想扩展框架,可以轻易的在QMVC上增加和减少功能,也就是说更容易的去修改和读懂源码. 2.可以与webform框架融合,也就是说你用webform和mvc共同在同一个项目中运行. 3.QMVC APP开发,QMVC APP可以轻易实现多个QMVC项目合并到一个项目中运行,也可以轻易将其分离开独立

浅谈web前端开发

有部分同学和朋友问到过我相关问题.利用周末我就浅浅地谈谈我对web前端开发的理解和体会,仅仅能浅浅谈谈,高手请自己主动跳过本篇文章. 毕竟我如今经验并非非常足,连project师都算不上,更不用说大牛了.今天也不谈技术.技术非常多人比我掌握得更好,也大同小异.可是每一个人的理解体会是不一样的. 对前端开发的三个整体理解和体会 我对前端开发的整体体会有三: 第一:杂而难,难度甚至超过了一般的后台开发,假设有人认为前端开发简单仅仅能说明他还没有入门. 第二:web前端开发正在向响应式和移动端方向大步

剖析源码:浅谈react-infinite的机制与原理

最近又读了一个轮子的源码,react-infinite,虽然star数量不是特别多,1.5k,不过还是个非常实用的轮子,今天给大家讲的是它的原理和实现,并不是如何去使用它,如何使用官方文档上都有.了解了它的原理,你就不一定要全盘使用它,你可以自己剥离一部分实际要用的东西出来,自己写一个合适的轮子用到项目中去(不要为了一个功能去使用一整个框架或者插件). 说了那么多废话,它是用来干嘛的? 官方解释:A browser-ready efficient scrolling container base

JAVA NIO原理剖析

本文不打算讲解BIO怎么用?NIO如何用?本文重点是NIO底层原理. 本文打算从以下几个方面讲解: 1.BIO通讯模型(网络方面)是什么? 2.NIO通讯模型(网络方面)是什么?解决了什么问题? 1. BIO通讯模型 模型解释: BIO场景下,客户端(Client)发起连接请求,服务端接收到请求后,会分配一个业务线程处理这次访问,执行业务处理,写入响应流. 无论是服务端还是客户端,数据的读写都是阻塞的.比如,服务端收到客户端的请求,想要获取客户端传过来的请求参数,就会执行读操作,此时,如果由于网

网络(最大)流初步+二分图初步 (浅谈EK,Dinic, Hungarian method:]

本文中  N为点数,M为边数: EK: (brute_force) : 每次bfs暴力找到一条增广路,更新流量,代码如下 : 时间复杂度:O(NM2): 1 #include<bits/stdc++.h> 2 using namespace std; 3 4 struct node{ 5 int next,to,len; 6 }edge[200005]; 7 8 int val[10005],head[200005],vis[10005],from[100005]; 9 int n,m,s,t

mysql原理~binlog系列之~event浅谈

一 将具体分析binlog中的常用event 二 Row格式事件核心 ROW_LOG_EVENT+TABLE_MAP_EVENT+GTID_EVENT 三 event生效机制 在binlog cache中生效,然后刷新纪录写入binlog中 四 具体event 内容 0  FORMAT_DESCRIPTION_EVENT 1 PREVIOUS_GTIDS_LOG_EVENT 2  GTID_LOG_EVENT 3  TABLE_MAP_EVENT 4  ROW_LOG_EVENT 5  QUER

浅谈移动Web开发(上):深入概念

PPI 什么是PPI PPI的复杂之处在于如果他所属的上下文环境不同,意义也会完全不一样. 当我们在谈论显示设备的PPI时,它代指的屏幕的像素密度:当我们在谈论和图片相关时,我们谈论的是打印时的分辨率或者打印机的打印精度.这里我们主要描述的前一种情况. PPI全称为Pixel Per Inch,译为每英寸像素取值,更确切的说法应该是像素密度,也就是衡量单位物理面积内拥有像素值的情况. 如上图所示,在1英寸单位内面积内拥有的像素越多,密度越大,PPI值就越高.但像素密度的实际意义是什么?它表达的是