闪电侠 Netty 小册里的骚操作

前言

即使这是一本小册,但基于“不提笔不读书”的理念,仍然有必要总结一下。此小册对于那些“硬杠 Netty 源码 却不曾在千万级生产环境上使用实操”的用户非常有用。当然,对那些没有 Netty 编程经验的人来说,更为有用。

放个小册地址:[Netty 入门与实战:仿写微信 IM 即时通讯系统](https://juejin.im/book/5b4bc28bf265da0f60130116)

再次强烈推荐,一碗黄焖鸡/半杯 Luckin coffee/一包炫赫门 的价钱,可以让你学会使用 Java 界的 epoll 进行多路复用网络编程,不能说是不划算的 :)

本文标题含有“骚操作”,为什么这么说呢?

作者是某团某评基础架构部技术专家,长期负责后台千万级别的推送系统,而这些推送系统自然是长连接实现的。可以想象,作者的这些实践经验不可谓不好用,纵然看过源码,提过 issue,本人也觉得这些操作非常好用,非常骚气。

开始

我们挑重点讲,虽然对于强迫症来讲,每一节都有笔记才是最吼的!

1 服务端启动流程

1. 通过给 bind 方法添加监听器,用以自动绑定递增端口。算骚操作吧?
2. attr 方法,为每条连接增加属性,能够实现全单例模式哟
3. childOption 方法,关于 TCP连接的优化,SO_KEEPALIVE 底层心跳,TCP_NODELAY 延迟发送,SO_BACKLOG 等待队列

2 客户端启动流程

1. 还是通过监听器实现重试,但是是 connect 返回的 future,且重实间隔时间左移 1 位增加(性能优化,不使用乘二 ,优秀)。
2. 重试不在主线程,而是使用 bootstrap.config().group().schedule 搞定时任务,和我想的不一样。优秀
3. 客户端需要 CONNECT_TIMEOUT_MILLIS 属性

3 客户端与服务端双向通信

1.客户端在 channelActive 立刻搞事情,嗯,rpc 通信通常也会做一些处理,例如打印客户端ip之类的。

4 客户端与服务端通信协议编解码(扩展较多)

emm,这个其实就是自定义应用层协议。
1. 4 字节魔数校验,例如 dubbo 就使用0xdabb进行校验,Java 字节码也使用 0xcafebabe 校验字节码。
2.  版本号肯定需要的
3. 序列化算法,肯定也需要的
4. 指令,肯定也是需要的,不过,也可以使用别的方式。
5. 后面的数据长度,也是需要的,方便拆包。

其实这里可以参照 RPC 协议来看,这里更像一个简化的 RPC 协议。
一般 RPC 框架首先获取协议类型,根据这个协议类型得到协议处理器,然后再处理(一个端口处理多个协议的场景)。
生产级别的 RPC 通常较为复杂,以 SOFABolt 为例,需要以下字段:
1. 协议版本
2. 请求类型,即指令(Request,Response, oneway)
3. 指令版本
4. RequestID 负责数据对应
5. 序列号器
6. 协议开关(例如 CRC 校验,安全校验)
7. 响应码,约定异常,简化异常
8. 类名长度,Java rpc 框架必备
9. 请求头长度(参照 http header)
10. 请求体长度(参照http body)
11. 类名
12. 业务请求头内容(一般是 Map,SOFABolt 支持自定义,SOFARPC 里面藏着是否泛化调用等信息)
13. 业务请求体内容(一般就是个Request对象或 Response对象,里面包含约定的属性,例如参数,返回值,超级多,SOFARPC 有个属性类 RemotingConstants,这里都有)
14. CRC 校验码(金融场景必备)

5 实现客户端与服务端收发消息

1. 使用 hannel.attr(Attributes.LOGIN).set(true) 绑定登录标识方便哟

6 构建客户端与服务端 pipeline

1. 常用的 ChannelInboundHandlerAdapter 和 ChannelOutboundHandlerAdapter 但是需要强转哦,麻烦,
   建议使用 SimpleChannelInboundHandler (还帮你释放内存哟)。
2. 不使用 MessageToByteEncoder ,可以自己编解码哦,虽然麻烦点

7 拆包粘包理论与解决方案

1. 常用拆包:固定长度,行拆包(有bug,我写过文章分析),分隔符,基于长度
2. 最通用的就是基于长度,只要你的自定义协议中包含长度域字段,就可以使用
3. LengthFieldBasedFrameDecoder 代替自己继承 ByteToMessageDecoder 哟。
4. 对 LengthFieldBasedFrameDecoder 扩展一下,校验魔数关闭错误连接美滋滋。

8 channelHandler 的生命周期

1. 在 channelReadComplete 方法里执行 flush,批量刷新,性能提升美滋滋。
2. channelActive 和 channelInActive 增减连接,RPC 都这么干

9 使用 channelHandler 的热插拔实现客户端身份校验

1. ctx.pipeline().remove(this) 删除没有必要的 handler 美滋滋
2. handlerRemoved 回调美滋滋

10 客户端互聊原理与实现

1. Session 通过 channel.attr(Attributes.SESSION).set(session) 绑定连接美滋滋。
2. channel.attr(Attributes.SESSION).set(null) 删除 session 美滋滋
3. channel.attr(Attributes.SESSION).get() 美滋滋

11 群聊的发起与通知

1. ChannelGroup c = ChannelGroup channelGroup = new DefaultChannelGroup(ctx.executor()) 批量处理连接美滋滋
2. channelGroup.writeAndFlush 批量写连接美滋滋

高能预警!!!!

12 牛逼的性能优化

1. 共享 handler
2. 压缩 handler - 合并编解码器 —— MessageToMessageCodec
3. 虽然有状态的 handler 不能搞单例,但是你可以绑定到 channel 属性上,强行单例
4. 缩短事件传播路径—— 放 Map 里,在第一个 handler 里根据指令来找具体 handler。
5. 更改事件传播源—— 用 ctx.writeAndFlush() 不要用 ctx.channel().writeAndFlush()
6. 减少阻塞主线程的操作—— 使用业务线程池,RPC 优化重点
7. 计算耗时,使用回调 Future

13 心跳和空闲检测

1. 空闲检测 IdleStateHandler 用起来很爽, channelIdle 和 userEventTriggered 都可以处理
2. 定时心跳 ctx.executor().scheduleAtFixedRate 很优秀
3. 通常空闲检测时间要比发送心跳的时间的两倍要长一些(3倍),这也是为了排除偶发的公网抖动,防止误判。美滋滋

总结

小小短文,无法尽数 Netty 精华,但对于新手来说,已经足够使用了。而我这里仅仅是做简单的阅读总结,更多的内容,还需要读者自己去研究小册,研究源码,研究 Netty 在 RPC 里的运用,方能成为 Netty 多路复用网络编程高手。

关于 RPC 里使用 Netty 的最佳范例,推荐蚂蚁金服开源框架 SOFABolt,可以说是对 Netty 编程最佳实践的提炼,和此文相辅相成进行学习,可助汝纵横 Java 各种面试。

good luck!!!

原文地址:https://www.cnblogs.com/stateis0/p/9784323.html

时间: 2024-11-07 14:09:23

闪电侠 Netty 小册里的骚操作的相关文章

装在匣子里的雪(一个流浪作者的自费小册)

<在路上> 当秋雨敲打我孤苦的心怀 当别人的热情化为我的无奈 也许只须伫立在雨中 一切都随风飘散 当心里堆起了天空的阴霾 当我挣脱不了那孤独的悲哀 也许只须轻轻地一呵 一切都重头再来 当我向秋天索要美丽的花环 编织纯净的梦幻 当我向自己渴求大雁的自在 也许只须在内心里寻找 一切都已存在 2005年9月3日 作者 北河浜 (www.561.cn) 2009年1月11日的下午,在莲坂外文书店的一侧,有一个面目清秀的男孩,局促自然的在角落里,地板上是一小叠他自己写的结集自印的有着牛皮纸封面的薄薄的小

MySQL之B+树索引(转自掘金小册 MySQL是怎样运行的,版权归作者所有!)

每个索引都对应一棵B+树,B+树分为好多层,最下边一层是叶子节点,其余的是内节点.所有用户记录都存储在B+树的叶子节点,所有目录项记录都存储在内节点. InnoDB存储引擎会自动为主键(如果没有它会自动帮我们添加)建立聚簇索引,聚簇索引的叶子节点包含完整的用户记录. 我们可以为自己感兴趣的列建立二级索引,二级索引的叶子节点包含的用户记录由索引列 + 主键组成,所以如果想通过二级索引来查找完整的用户记录的话,需要通过回表操作,也就是在通过二级索引找到主键值之后再到聚簇索引中查找完整的用户记录. B

你没玩过的全新版本!Win10这些骚操作你知多少

你没玩过的全新版本!Win10这些骚操作你知多少 [PConline技巧]不知不觉,Win10与我们相伴已经整整四个年头了,从最开始的组团抗拒到现在的默默接受,个中滋味相信谁心里都有个数.近日微软开始推送"Win10更新五月版",那么Win10中到底都有哪些"骚"操作?一起来看看吧. 1. 夜间模式 都9102年了,我发现竟然还有小伙伴在使用第三方去蓝光软件."夜间模式"是Win10自带的一款去蓝光功能,能够快速去除屏幕蓝光.除了自定义去蓝光强度

spring boot 自动装配的实现原理和骚操作,不同版本实现细节调整,debug 到裂开......

开篇说明: 注解本身并没有什么实际的功能(非要说标记也是一个“实际”的功能的话,也可以算吧),隐藏在背后的注解处理器才是实现注解机制的核心.本篇将从这两个层面出发探索 spring boot 自动装配的秘密,并使用 spring boot 的自动装配机制来实现自动装配. 本次代码已经放到 github:https://github.com/christmad/code-share/tree/master/spring-boot-config-practice 代码中主要是做了 @Configur

开源项目在闲鱼、b 站上被倒卖?这是什么骚操作?

起因 - 又是一封邮件 2020 年 3 月 2 日,收到了一封邮件,对,这次故事的起因又是一封邮件,和上次写个bug被国家信息安全漏洞共享平台抓到了一样. 这是一条评论通知邮件,一开始我以为只是正常的评论内容,后来看到内容才发现事情并不简单,邮件内容如下: 通过截图,大家应该也能够清楚大致的情况,b 站上有 up 主用我的开源项目做了视频并且进行源码的贩卖和宣传. 我之前写过一个开源的商城项目,代码和所有的资源文件都是免费给大家用的,名称叫"新蜂商城",开源仓库的地址是https:/

Python 小程序,对文件操作及其它

以下是自己写的几个对文件操作的小程序,里面涉及到文件操作,列表(集合,字典)的运用等.比方说,从文件里读取一行数据.分别存放于列表中,再对列表进行操作.如去掉里面的反复项.排序等操作. 常见对文件里行进行操作: #这里列出两个经常使用的方法 方法01: 一次性读取全部行 >>> f = file('1.txt') >>> while 1: lines = f.readlines() if not lines: break for line in lines: print

各种骚操作线段树

线段树是世界上最美的数据结构(主要记录一些有意义的线段树.....特别是骚操作 1.uestc1425 Another LCIS  http://acm.uestc.edu.cn/#/problem/show/360 题意:两种操作 对于一段区间的数加上c 查询最长连续上升序列 题解:彻底弄清楚区间更新lazy的含义 就是切水题 直接区间更新然后区间合并用点小技巧即可 #include <iostream> #include <algorithm> #include <cst

如何在命令长度受限的情况下成功get到webshell(函数参数受限突破、mysql的骚操作)

0x01 问题提出 还记得上篇文章记一次拿webshell踩过的坑(如何用PHP编写一个不包含数字和字母的后门),我们讲到了一些PHP的一些如何巧妙地绕过数字和字母受限的技巧,今天我要给大家分享的是如何在命令长度受限的情况下成功get到webshell,以及关于函数参数受限的突破,mysql的一些骚操作技巧~~~ 0x02 问题分析 我们先看个例子: <?php $param = $_REGUEST['param']; if(strlen($param) < 17){ eval($param)

于南邮平台游荡关于宽字节注入——骚操作

脚本名:unmagicquotes.py 作用:宽字符绕过 GPC addslashes12345 Example:* Input: 1′ AND 1=1* Output: 1%bf%27 AND 1=1–%20 今天早上在南邮平台游荡的时候,做了一题关于宽字节注入的题目,虽然宽字节注入属于很常见的题目 但是,大多数人使用的都是手工注入,我作为一个小萌新(手工注入太难了QAQ) 今天get到一个新的骚操作: 题目分析: . 首先:进行简单的手工注入操作: 可以看出这个属于典型的宽字节注入:关于宽