flume配置参考

1 redis source,memory channel,json intercepter and file_roll sink配置例子

agent.sources = redis redis1

agent.channels = memory

agent.sinks = fileSink

agent.sources.redis.type = com.flumeng.plugins.source.RedisLPopSource

agent.sources.redis.host = 192.168.121.128

agent.sources.redis.port = 6379

agent.sources.redis.eventNamePrefix = event

agent.sources.redis.timeout = 3000

agent.sources.redis.charset = utf-8

agent.sources.redis.interceptors = i1

agent.sources.redis.interceptors.i1.type = com.flumeng.plugins.source.JSONInterceptor$Builder

agent.sources.redis1.type = com.flumeng.plugins.source.RedisLRangeSource

agent.sources.redis1.host = 192.168.121.128

agent.sources.redis1.port = 6379

agent.sources.redis1.eventNamePrefix = event

agent.sources.redis1.timeout = 3000

agent.sources.redis1.charset = utf-8

agent.sources.redis1.eventbatchSize = 2000

agent.sources.redis1.interceptors = i2

agent.sources.redis1.interceptors.i2.type = com.flumeng.plugins.source.JSONInterceptor$Builder

agent.channels.memory.type = memory

agent.channels.memory.capacity = 1000000

agent.channels.memory.transactionCapacity = 100000

agent.sinks.fileSink.type = file_roll

agent.sinks.fileSink.channel = memory

agent.sinks.fileSink.sink.directory = /mnt/hgfs/share/result/

agent.sinks.fileSink.sink.rollInterval = 0

agent.sinks.fileSink.batchSize=500

agent.sources.redis.channels = memory

agent.sources.redis1.channels = memory

2 redis source,memory channel,json intercepter and avro sink配置例子

agent.sources = redis redis1

agent.channels = memory

agent.sinks = fileSink

agent.sources.redis.type = com.flumeng.plugins.source.RedisLPopSource

agent.sources.redis.host = 192.168.121.128

agent.sources.redis.port = 6379

agent.sources.redis.eventNamePrefix = event

agent.sources.redis.timeout = 3000

agent.sources.redis.charset = utf-8

agent.sources.redis.interceptors = i1

agent.sources.redis.interceptors.i1.type = com.flumeng.plugins.source.JSONInterceptor$Builder

agent.sources.redis1.type = com.flumeng.plugins.source.RedisLRangeSource

agent.sources.redis1.host = 192.168.121.128

agent.sources.redis1.port = 6379

agent.sources.redis1.eventNamePrefix = event

agent.sources.redis1.timeout = 3000

agent.sources.redis1.charset = utf-8

agent.sources.redis1.eventbatchSize = 2000

agent.sources.redis1.interceptors = i2

agent.sources.redis1.interceptors.i2.type = com.flumeng.plugins.source.JSONInterceptor$Builder

agent.channels.memory.type = memory

agent.channels.memory.capacity = 1000000

agent.channels.memory.transactionCapacity = 100000

agent.sinks.fileSink.type = file_roll

agent.sinks.fileSink.channel = memory

agent.sinks.fileSink.sink.directory = /mnt/hgfs/share/result/

agent.sinks.fileSink.sink.rollInterval = 0

agent.sinks.fileSink.batchSize=500

agent.sources.redis.channels = memory

agent.sources.redis1.channels = memory

时间： 2024-10-13 05:41:56

flume配置参考的相关文章

日志收集系统Flume调研笔记第2篇 - Flume配置及使用实例

上篇笔记对Flume的使用场景和系统架构做了介绍,本篇笔记以实例说明Flume的配置方法.下面开始正文. 1. Flume使用实例 1.1 配置 Flume agent的3个组件及其拓扑关系是在配置文件中指定的,总的原则是必须列出source/channel/sink的name/type等重要的配置项,并通过channel将source(s)和sink(s)连接起来,此外,1个source可以指定多个channel,而1个sink只能接收来自1个channel的数据. 这里给出的是部署1套含1个

Dubbo -- 系统学习笔记 -- 配置参考手册

配置参考手册 <dubbo:service/> <dubbo:reference/> <dubbo:protocol/> <dubbo:registry/> <dubbo:monitor/> <dubbo:application/> <dubbo:module/> <dubbo:provider/> <dubbo:consumer/> <dubbo:method/> <dubbo:

jmeter中通过jdbc方式连接mysql数据库的配置参考

jmeter中通过jdbc方式连接mysql数据库的配置参考: Database URL=jdbc:mysql://ip:port/dbname?useUnicode=true&characterEncoding=UTF-8 JDBC Driver class=com.mysql.jdbc.Driver jmeter中配置截图:

Flume NG 学习笔记（二）单机与集群Flume 配置

下面的内容基本来自官网:http://flume.apache.org/FlumeUserGuide.html 本文使用的是最新版本的apache flume 1.5,安装完Flume然后测试下Flume是否可以用,在Flume目录下用以下语句测试: bin/flume-ng agent -n$agent_name -c conf -f conf/flume-conf.properties.template 结果如图显示: Ok,我们接下去看下面常用架构.功能配置示例一.最简单的单一代理Flu

Sftp搭建与配置参考

Sftp搭建与配置参考 1. 介绍 sftp是Secure File Transfer Protocol的缩写,安全文件传送协议.可以为传输文件提供一种安全的加密方法.sftp 与 ftp 有着几乎一样的语法和功能.SFTP 为 SSH的一部分,是一种传输档案至 Blogger 伺服器的安全方式.其实在SSH软件包中,已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件传输子系统,SFTP本身没有单独的守护进程,它必须使用sshd守护进程(端口号默认

关于flume配置加载（二）

为什么翻flume的代码,一方面是确实遇到了问题,另一方面是想翻一下flume的源码,看看有什么收获,现在收获还谈不上,因为要继续总结.不够已经够解决问题了,而且确实有好的代码,后续会继续慢慢分享,这里先把启动的流程分析一下,这也是找到问题症结的关键. 至于遇到的问题如下: Caused by: org.apache.flume.ChannelException: Put queue for MemoryTransaction of capacity 100 full, consider com

MySQL5.5 my.cnf配置参考

MySQL5.5 my.cnf配置参考主要配置参数转载自: http://www.linuxyw.com/a/shujuku/20130506/216.html 并稍微做了修改MyISAM部分以适应当前的环境此配置是老男孩生产线上使用的配置,在培训的时候,他给的,我在这里,对各参数添加了中文说明这配置已经优化的不错了,如果你的mysql没有什么特殊情况的话,可以直接使用该配置参数 MYSQL服务器my.cnf配置文档详解硬件:内存16G [client]port = 3306socket =

solr配置参考

配置参考solrConfig.xml  <?xml version="1.0" encoding="UTF-8" ?> <config> <luceneMatchVersion>4.7</luceneMatchVersion> <schemaFactory class="ClassicIndexSchem

Caddy环境下一些Web应用程序的配置参考

Caddy一个的英文轻量级的Web服务器,部署和配置很快,伏笔VPS也喜爱用,以来的使用范畴估量会越来越广,而就是目前一些Web应用程序的配置文件难找,信任许多人都有体验,这里伏笔VPS就罗列常用的一些程序的配置供参考. 配置参数以下都需要填入配置文件Caddyfile里,且仅作参考. 1,Chevereto图床 example.com { root /var/www/chevereto fastcgi / /var/run/php/php7.0-fpm.sock php rewrite {