elasticsearch(官网)的发展历程省略。。总所周知,它是目前主流的,最受欢迎的搜索引擎之一,可用于数据搜集分析,文档检索等等方面。而logstash是Elastic 公司旗下的一款日志搜索收集产品。一步一个脚印,楼主正在摸索着es+logstash+kibana的关系及运用(后续会引入docker和集群)。为什么把logstash作为初识搜索方向的第一步呢?其实是基于这样考虑:logstash作为一款数据处理输出产品,用途广泛,不仅限于es方面。也可以和mysql,app,http,MongoDB等等结合运用,其集成了很多插件。
一、logstash(学习版本为6.7.0)的下载,安装非常简单,上手即用。
下载解压后,进入bin文件夹,cmd输入指令 : logstash-plugin list ,可以看到其集成的插件列表。
二、尝试运用一个demo,输出hello world!
-e 是 以命令行运行logstash, -f 以配置文件运行运行logstash,codes 为指定输出数据格式。
在bin目录下,cmd输入指令:logstash -e ‘input {stdin {}} output {stdout {codec => "json"}}‘
启动完毕之后,在控制台输入 hello world
三、尝试使用把控制台输入的信息输入到app上(http)
接收api:
在config目录创建一个logstash-http.conf文件,写一个最简单的配置,指定输入编码为GB2312(用utf8 encode时,也可在filter中加
urldecode {all_fields => true}),不然会乱码。url地址指向应用上面的log接口,省略filter。。
cmd指令:logstash -f ..\config\logstash-http.conf 启动成功后,控制台输入hello ,笨猪!ide日志输入可以看到,logstash把接收到的数据,进行处理后,输出到我的应用接口了。
四、其他,使用es作为接收数据或etc。。。:
五、总结
logstash是java开发,内存占用比较高(网上说的,比较filebeat确实有一定道理。。但胜在功能多啊)。
待续。。
原文地址:https://www.cnblogs.com/Htian2016/p/11237143.html