ELK - 简谈 logstash flume

现主流的日志分析系统有 logstash 和 flume，结合好多网上前辈的说法，汇总了一下，希望和大家分享与探讨，有不同的想法欢迎留言。

Flume 

Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统；

支持定制各类数据发送方，便于收集数据，一般和 kafka 订阅消息系统搭配较多；

目前有两个版本，OG和NG，区别很大，感兴趣的可以去研究一下；

特点：

1、侧重数据传输，有内部机制确保不会丢数据，用于重要日志场景；

2、由java开发，没有丰富的插件，主要靠二次开发；

3、配置繁琐，对外暴露监控端口有数据。

logstash 

elastic.co的一个开源的数据收集引擎，可动态的统一不同的数据源的数据至目的地；

目的处理并收集日志格式，搭配elasticsearch进行分析，kibana进行页面展示；

目前最新版本5.3，集成了上述两个搭档，参考官网详解。

特点：

1、内部没有一个persist queue，异常情况可能会丢失部分数据；

2、由ruby编写，需要ruby环境，插件很多；

3、偏重数据前期处理，分析方便。