日志分析(五)日志处理

1.http请求参数分离

请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。

kv {

source => "request"

field_split => "?"

}

2.垃圾日志清理

静态页面里面包含了大量的js，css，png等资源文件，做日志分析的时候，并不关心这些资源文件的日志。因此，需要在存储到ES之前，在filter中进行过滤。避免垃圾数据积压存储空间.

if ([request] =~ "^.+(\.js|\.jpg|\.css|\.map|\.gif|\.ico|\.eot|\.svg|\.ttf|\.woff|\.swf)\?*.*") {
    drop{}
}
if([request] =~ "^(?!.*?welcomePage.*(1080_1920|1242_2208|640_1136|640_960|720_1280|750_1334)\.(png|jpg)).*$") {
    drop{}

}