【异常】The channel is full or unexpected failure. The source will try again after 1000 ms

Flume采集的控制台提示:
The channel is full or unexpected failure. The source will try again after 1000 ms

这个是因为当前被采集的文件过大,深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大keep-alive的值解决:
#channel中最多缓存多少
a1.channels.c1.capacity = 5000
#channel一次最多吐给sink多少
a1.channels.c1.transactionCapacity = 2000
#event的活跃时间
a1.channels.c1.keep-alive = 10

或者写到HDFS使用压缩,可以通过压缩来节省空间和网络流量,但是会增加cpu的消耗。

原文地址:https://www.cnblogs.com/huomei/p/12113223.html

时间: 2024-08-30 15:22:34

【异常】The channel is full or unexpected failure. The source will try again after 1000 ms的相关文章

XenServer 6.5 mdadm 创建软 raid5 失败的解决方案 unexpected failure opening /dev/md0

之前在 XenServer 6.2 下用的挺好的软 raid5,重装了系统到 XenServer 6.5 版,不认 raid5 了,用 mdadm 重新创建,错误提示如下: [[email protected]67 ~]# mdadm --create --verbose /dev/md0 -l 5 -n 3 -x 0 /dev/sdb1 /dev/sdc1 /dev/sdd1 mdadm: layout defaults to left-symmetric mdadm: layout defa

org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Unexpected failure during bean definition parsing Offending resource: class path resource [applicationC

这个错误是 org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Unexpected failure during bean definition parsing Offending resource: class path resource [applicationContext.xml] Bean 'stu'; nested exception is

记一次Jenkins 打包异常 ERROR: Exception when publishing, exception message [Failure]

今天早上打包一直都没有问题,突然有一次打包突然出现异常现象,如下: ERROR: Exception when publishing, exception message [Failure] Build step 'Send files or execute commands over SSH' changed build result to UNSTABLE 我很好奇,服务器启动日志没有报错,Jenkins上的配置信息也没有去动它,为什么会出现这种异常呢,于是,我看了下那台机器上的磁盘存储情况

hive异常:创建MySQL时Specified key was too long; max key length is 1000 bytes

2015-11-13 14:44:44,681 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 1000 bytescom.mysql.jdbc.exceptions.jdbc4.MySQLSynta

LoadRunner中InvokeMethod failure: 外部组件发生异常解决办法

-82801 abnormal termination,caused by mdrv process termination -29996 error:process mmdrv.exe was not created .reason:系统资源不足,无法完成请求的服务. -29994 error:one thread was not created.reason:句柄无效 -27727 Acttion.c [29]:step download timeout[600 seconds] has e

C++研究学习之异常

一.什么是异常处理 一句话:异常处理就是处理程序中的错误. 二.为什么需要异常处理,以及异常处理的基本思想 C++之父Bjarne Stroustrup在<The C++ Programming Language>中讲到:一个库的作者可以检测出发生了运行时错误,但一般不知道怎样去处理它们(因为和用户具体的应用有关):另一方面,库的用户知道怎样处理这些错误,但却无法检查它们何时发生(如果能检测,就可以再用户的代码里处理了,不用留给库去发现). Bjarne Stroustrup说:提供异常的基本

C++学习笔记(十五):异常

C++之父Bjarne Stroustrup在<The C++ Programming Language>中讲到:一个库的作者可以检测出发生了运行时错误,但一般不知道怎样去处理它们(因为和用户具体的应用有关):另一方面,库的用户知道怎样处理这些错误,但却无法检查它们何时发生(如果能检测,就可以再用户的代码里处理了,不用留给库去发现).Bjarne Stroustrup说:提供异常的基本目的就是为了处理上面的问题.基本思想是:让一个函数在发现了自己无法处理的错误时抛出(throw)一个异常,然后

C++异常相关

使用异常处理,程序中独立开发的各部分能够就程序执行期间出现的问题相互通信,并处理这些问题.C++ 的异常处理中,需要由问题检测部分抛出一个对象给处理代码,通过这个对象的类型和内容,两个部分能够就出现了什么错误进行通信. 一:概述 1:在C++中的异常处理语句包括: try:try语句块以try关键字开始,并且以一个或者多个catch子句结束.try语句块中执行正常的代码,并且可以抛出异常,在try块后面catch子句捕获异常,并处理之. throw表达式:用来抛出异常. try块的通用语法形式是

More Effective C++----(14)审慎使用异常规格(exception specifications)

Item M14:审慎使用异常规格(exception specifications) 毫无疑问,异常规格是一个引人注目的特性.它使得代码更容易理解,因为它明确地描述了一个函数可以抛出什么样的异常.但是它不只是一个有趣的注释.编译器在编译时有时能够检测到异常规格的不一致.而且如果一个函数抛出一个不在异常规格范围里的异常,系统在运行时能够检测出这个错误,然后一个特殊函数unexpected将被自动地调用.异常规格既可以做为一个指导性文档同时也是异常使用的强制约束机制,它好像有着很诱人的外表. 不过