小编带你了解Netty 系列七(那些开箱即用的 ChannelHandler).

一、前言
Netty 为许多通用协议提供了编×××和处理器,几乎可以开箱即用, 这减少了你在那些相当繁琐的事务上本来会花费的时间与精力。另外,这篇文章中,就不涉及 Netty 对 WebSocket协议 的支持了,因为涉及的篇幅有点大,会在下一篇文章做一个具体的介绍。

回到顶部
二、SSL 协议
SSL 协议是安全协议,层叠在其他协议之上。为了支持 SSL/TLS, Java 提供了 javax.net.ssl 包,它的 SSLContext 和 SSLEngine 类使得实现解密和加密相当简单直接。 Netty 通过一个名为 SslHandler 的 ChannelHandler 实现利用了这个 API, 其中 SslHandler 在内部使用 SSLEngine 来完成实际的工作。下图描述的是 SslHandler 的数据流。

复制代码br/>@Override
protected void initChannel(Channel ch) throws Exception {
ByteBufAllocator byteBufAllocator = ch.alloc();
//对于每个 SslHandler 实例,都使用 Channel 的 ByteBufAllocator 从 SslContext 获取一个新的 SSLEngine
SSLEngine sslEngine = context.newEngine(byteBufAllocator);
//服务器端模式,客户端模式设置为true
sslEngine.setUseClientMode(false);
//不需要验证客户端,客户端不设置该项
sslEngine.setNeedClientAuth(false);
//要将 SslHandler 设置为第一个 ChannelHandler。这确保了只有在所有其他的 ChannelHandler 将他们的逻辑应用到数据之后,才会进行加密。
//startTls 如果为true,第一个写入的消息将不会被加密(客户端应该设置为true)
ch.pipeline().addFirst("ssl",new SslHandler(sslEngine, startTls));
}
复制代码
tips:对于 ChannelPipeline 链中 ChannelHandler 执行的顺序 —— 入站事件顺序执行、出站事件逆序执行。

回到顶部
三、HTTP 协议
HTTP 是基于请求/响应模式的:客户端向服务器发送一个 HTTP 请求,然后服务器将会返回一个 HTTP 响应。 下图展示了 Netty 中 HTTP请求和响应的组成部分:

Netty 对 HTTP 协议的支持主要提供了以下 ChannelHandler:

HttpResponseDecoder:×××,用于客户端,解码来自服务端的响应。
HttpRequestEncoder:编码器,用户客户端,编码向服务端发送的请求。
HttpRequestDecoder:×××,用于服务端,解码来自客户端的请求。
HttpResponseEncoder:编码器,用于服务端,编码向客户端的响应。
HttpClientCodec:编×××,用户客户端,效果等于 HttpResponseDecoder + HttpRequestEncoder。
HttpServerCodec:编×××,用户服务端,效果等于 HttpRequestDecoder + HttpResponseEncoder。
HttpObjectAggregator:聚合器,由于 HTTP 的请求和响应可能由许多部分组成,需要聚合它们以形成完整的消息,HttpObjectAggregator 可以将多个消息部分合并为 FullHttpRequest 或者 FullHttpResponse 消息。
HttpContentCompressor:压缩,用户服务端,压缩要传输的数据,支持 gzip 和 deflate 压缩格式。
HttpContentDecompressor:解压缩,用于客户端,解压缩服务端传输的数据。

复制代码br/>@Override
protected void initChannel(Channel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline();
SSLEngine sslEngine = sslContext.newEngine(ch.alloc());
if (isClient) {
//使用 HTTPS,添加 SSL 认证
pipeline.addFirst("ssl", new SslHandler(sslEngine, true));
pipeline.addLast("codec", new HttpClientCodec());
//1、建议开启压缩功能以尽可能多地减少传输数据的大小
//2、客户端处理来自服务器的压缩内容
pipeline.addLast("decompressor", new HttpContentDecompressor());
}else {
pipeline.addFirst("ssl", new SslHandler(sslEngine));
//HttpServerCodec:将HTTP客户端请求转成HttpRequest对象,将HttpResponse对象编码成HTTP响应发送给客户端。
pipeline.addLast("codec", new HttpServerCodec());
//服务端,压缩数据
pipeline.addLast("compressor", new HttpContentCompressor());
}
//目的多个消息转换为一个单一的FullHttpRequest或是FullHttpResponse
//将最大的消息为 512KB 的HttpObjectAggregator 添加到 ChannelPipeline
//在消息大于这个之后会抛出一个 TooLongFrameException 异常。
pipeline.addLast("aggregator", new HttpObjectAggregator(512 * 1024));
}
复制代码
tips:当使用 HTTP 时,建议开启压缩功能以尽可能多地减小传输数据的大小。虽然压缩会带来一些 CPU 时钟周期上的开销。

回到顶部
四、拆包和粘包的解决方案
TCP 传输过程中,客户端发送了两个数据包,而服务端却只收到一个数据包,客户端的两个数据包粘连在一起,称为粘包;

TCP 传输过程中,客户端发送了两个数据包,服务端虽然收到了两个数据包,但是两个数据包都是不完整的,或多了数据,或少了数据,称为拆包;

发生TCP粘包、拆包主要是由于下面一些原因:

1、应用程序写入的数据大于套接字缓冲区大小,这将会发生拆包。
2、应用程序写入数据小于套接字缓冲区大小,网卡将应用多次写入的数据发送到网络上,这将会发生粘包。
3、进行MSS(最大报文长度)大小的TCP分段,当TCP报文长度-TCP头部长度>MSS的时候将发生拆包。
4、接收方法不及时读取套接字缓冲区数据,这将发生粘包。

Netty 预定义了一些×××用于解决粘包和拆包现象,其中大体分为两类:

基于分隔符的协议:在数据包之间使用定义的字符来标记消息或者消息段的开头或者结尾。这样,接收端通过这个字符就可以将不同的数据包拆分开。
基于长度的协议:发送端给每个数据包添加包头部,头部中应该至少包含数据包的长度,这样接收端在接收到数据后,通过读取包头部的长度字段,便知道每一个数据包的实际长度了。

基于分隔符的协议

复制代码
public class LineBasedHandlerInitializer extends ChannelInitializer<Channel> {

@Override
protected void initChannel(Channel ch) throws Exception {
    ch.pipeline().addLast(
            // 将提取到的桢转发给下一个Channelhandler
            new LineBasedFrameDecoder(64 * 1024),
            // 添加 FrameHandler 以接收帧
            new FrameHandler()
    );
}

public static final class FrameHandler extends SimpleChannelInboundHandler<ByteBuf> {

    @Override
    protected void messageReceived(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
        //Do something with the data extracted from the frame
    }
}

}
复制代码
基于长度的协议

LengthFieldBasedFrameDecoder 是 Netty 基于长度协议解决拆包粘包问题的一个重要的类,主要结构就是 header+body 结构。我们只需要传入正确的参数就可以发送和接收正确的数据,那吗重点就在于这几个参数的意义。下面我们就具体了解一下这几个参数的意义。先来看一下LengthFieldBasedFrameDecoder主要的构造方法:

public LengthFieldBasedFrameDecoder(
int maxFrameLength,
int lengthFieldOffset, int lengthFieldLength,
int lengthAdjustment, int initialBytesToStrip)
maxFrameLength:最大帧长度。也就是可以接收的数据的最大长度。如果超过,此次数据会被丢弃。
lengthFieldOffset:长度域偏移。就是说数据开始的几个字节可能不是表示数据长度,需要后移几个字节才是长度域。
lengthFieldLength:长度域字节数。用几个字节来表示数据长度。
lengthAdjustment:数据长度修正。因为长度域指定的长度可以使 header+body 的整个长度,也可以只是body的长度。如果表示header+body的整个长度,那么我们需要修正数据长度。
initialBytesToStrip:跳过的字节数。如果你需要接收 header+body 的所有数据,此值就是0,如果你只想接收body数据,那么需要跳过header所占用的字节数。

复制代码
public class LengthBasedInitializer extends ChannelInitializer<Channel> {

@Override
protected void initChannel(Channel ch) throws Exception {
    ch.pipeline().addLast(
            new LengthFieldBasedFrameDecoder(64 * 1024, 0, 8),
            new FrameHandler()
    );
}

public static final class FrameHandler extends SimpleChannelInboundHandler<ByteBuf> {

    @Override
    protected void messageReceived(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
        //处理桢的数据
    }
}

}
复制代码
tips:UDP协议不会发生沾包或拆包现象, 因为UDP是基于报文发送的,在UDP首部采用了16bit来指示UDP数据报文的长度,因此在应用层能很好的将不同的数据报文区分开。

回到顶部
五、其他
由于网络饱和的可能性,如何在异步框架中高效地写大块的数据是一个特殊的问题。Netty 通过一个 FileRegion 接口来实现,其在 Netty 的API 文档中的定义是:"通过支持零拷贝的文件传输的 Channel 来发送的文件区域"。但是该接口只适用于文件内容的直接传输,不包括应用程序对文件数据的任何处理。


如果大块的数据要从文件系统复制到用户内存中时,可以安装一个 ChunkedWriteHandler,并用 ChunkedInput 实现写入文件数据。 它支持异步写大型数据流,而又不会导致大量的内存消耗。

ChunkedWriteHandlerInitializer.java

Netty提供的用于和JDK进行互操作的序列化类 :

Netty提供的用于和 JBoss Marshalling 进行互操作的序列化类 :

MarshallingInitializer.java
Netty提供的用于和 Protocol Buffers 进行互操作的序列化类 :

小编带你了解Netty 系列七(那些开箱即用的 ChannelHandler).

原文地址:http://blog.51cto.com/13954634/2171386

时间: 2024-10-06 00:16:46

小编带你了解Netty 系列七(那些开箱即用的 ChannelHandler).的相关文章

小编带您Volatile的详解

volatile关键字修饰的共享变量主要有两个特点:1.保证了不同线程访问的内存可见性 2.禁止重排序在说内存可见性和有序性之前,我们有必要看一下Java的内存模型(注意和JVM内存模型的区分)为什么要有java内存模型?首先我们知道内存访问和CPU指令在执行速度上相差非常大,完全不是一个数量级,为了使得java在各个平台上运行的差距减少,哪些搞处理器的大佬就在CPU上加了各种高速缓存,来减少内存操作和CPU指令的执行速度差距.而Java在java层面又进行了一波抽象,java内存模型将内存分为

小编带您进入SpringBoot (1) idea下的环境搭建及demo

1.Spring Boot简介wiki上的介绍: Spring Boot是Spring的常规配置解决方案,用于创建可以"运行"的独立的,生产级的基于Spring的应用程序.[22]它预先配置了Spring对Spring平台和第三方库的最佳配置和使用的"见解视图",因此您可以尽量少开始.大多数Spring Boot应用程序只需要很少的Spring配置.特征: 创建独立的Spring应用程序直接嵌入Tomcat或Jetty(无需部署WAR文件)提供自以为是的"

没有基础小编带你,用python画机器猫(有代码)

小编带你玩python 没有基础小编带你,用python画机器猫.只需要python3和小编的代码即可.python3小编送,代码文章有,现在就差个你了. 运行不了的找小编,小编包教会你. 重要的事情说三遍: python3小编送,代码文章有. python3小编送,代码文章有. python3小编送,代码文章有. 运行不了的找小编,加Q君羊 八八三四四四一零六. 君羊里的小伙伴和管理员的会这个运行这个源代码.需要学习视频的直接找管理员要,就说是小编让的,烦死她.欢迎小伙伴的加入. 原文地址:h

小编带你简单了解一下加密技术原理:AES加密标准

随着因特网的发展,信息传输及存储的安全问题成为影响因特网应用发展的重要因素.信息安全技术也就成为了人们研究因特网应用的新热点. 信息安全的研究包括密码理论与技术.安全协议与技术.安全体系结构理论.信息对抗理论与技术.网络安全与安全产品等领域,其中密码算法的理论与实现研究是信息安全研究的基础. AES加密标准1977年1月公布的数据加密标准DES(Data Encrption Standard)经过20年的实践应用后,现在已被认为是不可靠的.1997年1月美国国家标准和技术研究所(NIST)发布了

小编带您学习springboot

一般而言,写个Javaweb应用搭建环境都可能要几十分钟,下载个tomcat服务器,再加上各种xml配置等等,很烦躁,而且每个web应用的配置还差不多,都是什么web.xml,application.xml等等(注解版就是各种配置类@Configuration),既然每个web应用很多配置都一样,那为什么还要每次都动手写或者copy一份呢?假如有什么框架能够帮我们把常用的东西都配置好,有默认值,然后我们只需要关注一些逻辑的编写,那不就大大简化了编程效率吗? 所以就有了springboot,这里s

小编带你进入强如 Disruptor 也发生内存溢出?

前言OutOfMemoryError 问题相信很多朋友都遇到过,相对于常见的业务异常(数组越界.空指针等)来说这类问题是很难定位和解决的. 本文以最近碰到的一次线上内存溢出的定位.解决问题的方式展开:希望能对碰到类似问题的同学带来思路和帮助. 主要从表现-->排查-->定位-->解决 四个步骤来分析和解决问题. 表象最近我们生产上的一个应用不断的爆出内存溢出,并且随着业务量的增长出现的频次越来越高. 该程序的业务逻辑非常简单,就是从 Kafka 中将数据消费下来然后批量的做持久化操作.

小编带你了解Spring Cloud 微服务

Spring Cloud 简介 Spring Cloud是一系列框架的有序集合.它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册.配置中心.消息总线.负载均衡.断路器.数据监控等,都可以用Spring Boot的开发风格做到一键启动和部署.Spring Cloud并没有重复制造轮子,它只是将目前各家公司开发的比较成熟.经得起实际考验的服务框架组合起来,通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理,最终给开发者留出了一套简单易懂.

小编带你了解SimpleDateFormat-多线程问题

SimpleDateFormat-多线程问题: SimpleDateFormat类在多线程环境下中处理日期,极易出现日期转换错误的情况import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date; /** 线程类*/public class MyThread extends Thread { private SimpleDateFormat sdf;private String da

小编带着小白看springboot源码7

上一节在springboot中配置了servlet三大组件以及嵌入式servlet容器,并且还简单的说了如何切换不同的容器. 这一节就来说说如何改变servlet容器的配置参数,一般有两种常见的方式,第一种:配置文件(properties和yml):第二种:往容器里添加组件的方式 注意注意:我这里说的容器和嵌入式容器不一样的,容器指的是ioc容器,嵌入式servlet容器值得是servlet容器,不要混淆了 1.通过配置文件的方式配置 yml为例,下图所示,这是配置容器启动的端口而且我们可以点开