【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决

从以上截图信息，就可以看出问题了，服务端和客户端连接信息对不上，服务端有很多ESTABLISHED的连接，其实是无用的。这种情况，起初，我也很奇怪，没有发现原因，只能查看日志了。

通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpc sink {} closing Rpc client: {}

这里destroyConnection了，摧毁了一个连接，好端端的为什么会摧毁连接呢，从flume源码来看，flume自身不会出现这种低端的BUG吧，好端端，摧毁自己的连接干啥，所以从flume自身原因查了几天，也查不到所以然。

最终问了运维的同事，有防火墙时间限制，2小时

2小时，连接空闲，就断开连接

通过日志分析，发现基本出现异常的时候，距离上一次发送数据都是大于2小时，果然问题在这啊。

所以大家要注意，虽然这个问题，短时间可能对flume传送数据没什么影响，因为有数据来，发现没连接，会自动创建连接的，但是如果时间长了，连接会越来越多，对系统性能影响较大，所以延长防火墙的时间即可，不可能你的应用再24小时内还没有日志过来吧！

时间： 2024-10-07 18:45:53

【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决的相关文章

【Flume】自定义sink kafka，并编译打包jar，unapproval license的问题解决

如图所示,新建一个JAVA工程,编辑pom文件,pom文件内容如下[这里取出了parent]: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca

org.apache.http.client.CircularRedirectException: Circular redirect to &quot;http://xxx&quot;问题解决

org.apache.http.client.CircularRedirectException: Circular redirect to "http://xxx"问题解决 用HttpClient的时候遇到一个问题:org.apache.http.client.CircularRedirectException: Circular redirect to...解决方法如下: HttpParams params = new BasicHttpParams();  HttpGet get

解决Cisco VPN Client Reason 442: Failed to Enable Virtual Adapter

解决Cisco VPN Client Reason 442: Failed to Enable Virtual Adapter 我发现最近在家里通过Cisco VPN Client 连接到VPN服务器的时候,客户端经常报错. 点连接后,过一会儿出现一个对话框:Secure VPN connection terminated locally by the client.Reason 442: Failed to Enable Virtual Adapter.Connection terminate

小程序视图层（xx.xml)和逻辑层(xx.js)

整个系统分为两块视图层(View)和逻辑层(App Service) 框架可以让数据与视图非常简单地保持同步.当做数据修改的时候,只需要在逻辑层修改数据,视图层就会做相应的更新. 通过这个简单的例子来看: <!-- This is our View --> <view> Hello {{name}}! </view> <button bindtap="changeName"> Click me! </button> // Th

简单说一下printf(&quot;%*s%s&quot;,xx,xx,xx);或printf(&quot;%*s\n&quot;,xx,xx);

大家还记得这个例子吗 1 #include "public.h" 2 3 int main() 4 { 5 int a=4; 6 printf("%4d\n",a); 7 return 0; 8 } 这个输出结果为:     4 前面有三个空格 这里的printf("%*s",1,2)和它类似 "*"表示的是占多少位置 第一个s表示的是字符串 第一个参数是占多少位,第二个参数为字符串,两个结合起来的意思就是字符串占多少位,如果

关于判断语句中如：while not xx: 或者：if not xx: 的含义及用法解析

关于判断语句中如:while not xx: 或者:if not xx: 的含义及用法解析 name='' while not name: name=raw_input(u'请输入姓名:') print name python中的not具体表示是什么: 在python中not是逻辑判断词,用于布尔型True和False,not True为False,not False为True,以下是几个常用的not的用法: (1) not与逻辑判断句if连用,代表not后面的表达式为False的时候,执行冒号

【Flume】flume中sink到source的性能测试，以Avro为例来测试

从官方下载的flume-ng的源码里有单元测试的代码,本文就通过单元测试来体验下flume中avro的性能如何 本文中的一个event的body内容大小是1KB,读者可自行组织文本,达到1KB即可,方便测试时,性能的计算 for (int i = 0; i < client.getBatchSize(); i++) { Event event = channel.take(); if (event == null) { break; } batch.add(event); } flume中avr

RPC原来就是socket——RPC框架到dubbo的服务动态注册，服务路由，负载均衡演化

序:RPC就是使用socket告诉服务端我要调你的哪一个类的哪一个方法然后获得处理的结果.服务注册和路由就是借助第三方存储介质存储服务信息让服务消费者调用. RPC即远程过程调用,它的实现方式有很多,比如webservice等.框架调多了,烦了,没激情了,我们就该问自己,这些框架的作用到底是什么,来找回当初的激情. 一般来说,我们写的系统就是一个单机系统,一个web服务器一个数据库服务,但是当这单台服务器的处理能力受硬件成本的限制,是不能无限的提升处理性能的.这个时候我们使用RPC将原来的本地调

.NET轻量级RPC框架：Rabbit.Rpc

最近准备写一个.NET的管理平台应用在公司,由于存在大量的Client => Server,Server => Client的请求需求在加上之前一直接触了解过RpcClient组件的开发,所以就造了个新轮子Rabbit.Rpc.这篇文章也用于介绍这个新组件. 什么是RPC? RPC全称为:Remote Procedure Call Protocol,远程过程调用协议. 用.NET的技术可以理解为:Remoting.WCF.主要目的就是:实现服务的远程调用.远程执行,当然既然有协议那么其它语言(