Logstash的插件：
input插件：
File：从指定的文件中读取事件流；
使用FileWatch（Ruby Gem库）监听文件的变化。
.sincedb：记录了每个被监听的文件的inode, major number, minor nubmer, pos;
一下是一个收集日志简单的示例：
input {
file {
path => ["/var/log/messages"]
type => "system"
start_position => "beginning"
}
}
output {
stdout {
codec => rubydebug
}
}
["/var/log/messages"]中可以包含多个文件[item1, item2,...] start_position => "beginning"表示从第一行开始读
udp：通过udp协议从网络连接来读取Message，其必备参数为port，用于指明自己监听的端口，host则用指明自己监听的地址
collectd：性能监控程序，基于c语言开发，以守护进程方式运行，能够收集系统性能各方面的数据，并将收集的结果存储下来，能够通
过network插件，把自己在本机收集到的数据发送给其他主机
collectd的包在epel源中，yum -y install epel-release;yum -y install collectd, collecctd的配置文件为/etc/collectd.conf
vim /etc/collectd.conf,将Global settings for the daemon下的Hostname设置一个名字:Hostname "node1"
找到LoadPlugin section，将LoadPlugin df去掉注释，LoadPlugin network启动
在<Plugin network> </Plugin> 的下面再定义一段：
<Plugin network>
<Server "192.168.204.135" "25826">
</Server>
</Plugin>
表示将数据传给192.168.204.135主机，此主机监听的端口为25826
service collectd start
192.168.204.135安装了lostash，下面是一个UDP的配置文件示例
input {
udp {
port => 25826
codec => collectd {}
type => "collectd"
}
}
output {
stdout {
codec => rubydebug
}
}
codec => collectd {} 将collectd发送过来的信息做专门的编码
type => "collectd" 类型可以随意取名
logstash -f /etc/logstash/conf.d/udp.conf --configtest logstash -f /etc/logstash/conf.d/udp.conf
这是就可以收到来之collectd的信息了
redis插件:
从redis读取数据，支持redis channel和lists两种方式
filter插件：
用于在将event通过output发出之前对其实现某些处理功能
grok：用于分析并结构化文本数据；目前 是logstash中将非结构化日志数据转化为结构化的可查询数据的不二之选。
syslog, apache, nginx
模式定义位置：/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/grok-patterns
语法格式：
%{SYNTAX:SEMANTIC}
SYNTAX：预定义模式名称；
SEMANTIC：匹配到的文本的自定义标识符；
例如：1.1.1.1 GET /index.html 30 0.23
{ "message" => "%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %
{NUMBER:duration}" }
vim groksample.conf 一个配置示例
input {
stdin {}
}
filter {
grok {
match => { "message" => "%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %
{NUMBER:duration}" }
}
}
output {
stdout {
codec => rubydebug
}
}
logstash -f /etc/logstash/conf.d/groksample.conf --configtest
logstash -f /etc/logstash/conf.d/groksample.conf
输入1.1.1.1 GET /index.html 30 0.23， 得出结果
1.1.1.1 GET /index.html 30 0.23
{
"message" => "1.1.1.1 GET /index.html 30 0.231.1.1.1 GET /index.html 30 0.23",
"@version" => "1",
"@timestamp" => "2016-07-20T11:55:31.944Z",
"host" => "centos7",
"clientip" => "1.1.1.1",
"method" => "GET",
"request" => "/index.html",
"bytes" => "30",
"duration" => "0.231"
}
自定义grok的模式：grok的模式是基于正则表达式编写，其元字符与其它用到正则表达式的工具awk/sed/grep/pcre差别不大
自定义的机会一般不大
匹配apache log示例 vim apachesample.conf
input {
file {
path => ["/var/log/httpd/access_log"]
type => "apachelog"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
}
output {
stdout {
codec => rubydebug
}
}
nginx log的匹配方式：
将如下信息添加至 /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/grok-patterns文
件的尾部
#Nginx log
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%
{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %
{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NOTSPACE:http_x_forwarded_for}
yum -y install epel-release;yum -y install nginx;systemctl start nginx
vim nginxsample.conf
input {
file {
path => ["/var/log/nginx/access.log"]
type => "nginxlog"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{NGINXACCESS}" }
}
}
output {
stdout {
codec => rubydebug
}
}
logstash -f /etc/logstash/conf.d/nginxsample.conf