ELK日志分析系统（转）

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://467754239.blog.51cto.com/4878013/1700828

大纲：

一、简介

二、Logstash

三、Redis

四、Elasticsearch

五、Kinaba

一、简介

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用

kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志；

Elasticsearch: 存储各类日志；

Kibana: web化接口用作查寻和可视化日志；

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server；

3、ELK工作流程

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

4、ELK的帮助手册

ELK官网：https://www.elastic.co/

ELK官网文档：https://www.elastic.co/guide/index.html

ELK中文手册：http://kibana.logstash.es/content/elasticsearch/monitor/logging.html

注释

ELK有两种安装方式

(1)集成环境：Logstash有一个集成包，里面包括了其全套的三个组件；也就是安装一个集成包。

(2)独立环境：三个组件分别单独安装、运行、各司其职。(比较常用)

本实验也以第二种方式独立环境来进行演示；单机版主机地址为：192.168.1.104

二、Logstash

1、安装jdk


1

2

3

4

5

6

Logstash的运行依赖于Java运行环境。

# yum -y install java-1.8.0

# java -version

openjdk version "1.8.0_51"

OpenJDK Runtime Environment (build 1.8.0_51-b16)

OpenJDK 64-Bit Server VM (build 25.51-b03, mixed mode)

2、安装logstash


1

2

3

4

5

6

# wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

# tar zxf logstash-1.5.4.tar.gz -C /usr/local/

配置logstash的环境变量

# echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh

# . /etc/profile

3、logstash常用参数


1

2

-e :指定logstash的配置信息，可以用于快速测试;

-f :指定logstash的配置文件；可以用于生产环境;

4、启动logstash

4.1 通过-e参数指定logstash的配置信息，用于快速测试，直接输出到屏幕。


1

2

3

4

5

# logstash -e "input {stdin{}} output {stdout{}}"            

my name is zhengyansheng.    //手动输入后回车，等待10秒后会有返回结果

Logstash startup completed

2015-10-08T13:55:50.660Z 0.0.0.0 my name is zhengyansheng.

这种输出是直接原封不动的返回...

4.2 通过-e参数指定logstash的配置信息，用于快速测试，以json格式输出到屏幕。


1

2

3

4

5

6

7

8

9

10

# logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘

my name is zhengyansheng.    //手动输入后回车，等待10秒后会有返回结果

Logstash startup completed

{

       "message" => "my name is zhengyansheng.",

      "@version" => "1",

    "@timestamp" => "2015-10-08T13:57:31.851Z",

          "host" => "0.0.0.0"

}

这种输出是以json格式的返回...

5、logstash以配置文件方式启动

5.1 输出信息到屏幕


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

# vim logstash-simple.conf 

input { stdin {} }

output {

   stdout { codec=> rubydebug }

}

# logstash -f logstash-simple.conf    //普通方式启动

Logstash startup completed

# logstash agent -f logstash-simple.conf --verbose //开启debug模式

Pipeline started {:level=>:info}

Logstash startup completed

hello world.    //手动输入hello world.

{

       "message" => "hello world.",

      "@version" => "1",

    "@timestamp" => "2015-10-08T14:01:43.724Z",

          "host" => "0.0.0.0"

}

效果同命令行配置参数一样...

5.2 logstash输出信息存储到redis数据库中

刚才我们是将信息直接显示在屏幕上了，现在我们将logstash的输出信息保存到redis数据库中,如下


1

2

3

4

5

6

7

8

9

10

11

12

13

前提是本地(192.168.1.104)有redis数据库，那么下一步我们就是安装redis数据库.

# cat logstash_to_redis.conf

input { stdin { } }

output {

    stdout { codec => rubydebug }

    redis {

        host => ‘192.168.1.104‘

        data_type => ‘list‘

        key => ‘logstash:redis‘

    }

}

如果提示Failed to send event to Redis，表示连接Redis失败或者没有安装，请检查...

6、 查看logstash的监听端口号


1

2

3

# logstash agent -f logstash_to_redis.conf --verbose

# netstat -tnlp |grep java

tcp        0      0 :::9301                     :::*                        LISTEN      1326/java

三、Redis

1、安装Redis


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

wget http://download.redis.io/releases/redis-2.8.19.tar.gz

yum install tcl -y

tar zxf redis-2.8.19.tar.gz

cd redis-2.8.19

make MALLOC=libc

make test    //这一步时间会稍久点...

make install

cd utils/

./install_server.sh     //脚本执行后，所有选项都以默认参数为准即可

Welcome to the redis service installer

This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379] 

Selecting default: 6379

Please select the redis config file name [/etc/redis/6379.conf] 

Selected default - /etc/redis/6379.conf

Please select the redis log file name [/var/log/redis_6379.log] 

Selected default - /var/log/redis_6379.log

Please select the data directory for this instance [/var/lib/redis/6379] 

Selected default - /var/lib/redis/6379

Please select the redis executable path [/usr/local/bin/redis-server] 

Selected config:

Port           : 6379

Config file    : /etc/redis/6379.conf

Log file       : /var/log/redis_6379.log

Data dir       : /var/lib/redis/6379

Executable     : /usr/local/bin/redis-server

Cli Executable : /usr/local/bin/redis-cli

Is this ok? Then press ENTER to go on or Ctrl-C to abort.

Copied /tmp/6379.conf => /etc/init.d/redis_6379

Installing service...

Successfully added to chkconfig!

Successfully added to runlevels 345!

Starting Redis server...

Installation successful!

2、查看redis的监控端口


1

2

3

4

# netstat -tnlp |grep redis

tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843/redis-server * 

tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290/src/redis-serv

tcp        0      0 :::6379                     :::*                        LISTEN      3843/redis-server *

3、测试redis是否正常工作


1

2

3

4

5

6

7

8

9

# cd redis-2.8.19/src/

# ./redis-cli -h 192.168.1.104 -p 6379 //连接redis

192.168.1.104:6379> ping

PONG

192.168.1.104:6379> set name zhengyansheng

OK

192.168.1.104:6379> get name

"zhengyansheng"

192.168.1.104:6379> quit

4、redis服务启动命令


1

2

# ps -ef |grep redis

root      3963     1  0 08:42 ?        00:00:00 /usr/local/bin/redis-server *:6379

5、redis的动态监控


1

2

# cd redis-2.8.19/src/

# ./redis-cli monitor     //reids动态监控

6、logstash结合redis工作

6.1 首先确认redis服务是启动的


1

2

3

4

# netstat -tnlp |grep redis

tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843/redis-server * 

tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290/src/redis-serv

tcp        0      0 :::6379                     :::*                        LISTEN      3843/redis-server *

6.2 启动redis动态监控


1

2

3

# cd redis-2.8.19/src/

# ./redis-cli monitor

OK

6.3 基于入口redis启动logstash


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

# cat logstash_to_redis.conf

input { stdin { } }

output {

    stdout { codec => rubydebug }

    redis {

        host => ‘192.168.1.104‘

        data_type => ‘list‘

        key => ‘logstash:redis‘

    }

}

# logstash agent -f logstash_to_redis.conf --verbose

Pipeline started {:level=>:info}

Logstash startup completed

dajihao linux

{

       "message" => "dajihao linux",

      "@version" => "1",

    "@timestamp" => "2015-10-08T14:42:07.550Z",

          "host" => "0.0.0.0"

}

6.4 查看redis的监控接口上的输出


1

2

3

4

5

# ./redis-cli monitor

OK

1444315328.103928 [0 192.168.1.104:56211] "rpush" "logstash:redis" "{\"message\":\"dajihao linux\",\"@version\":\"1\",\"@timestamp\":\"2015-10-08T14:42:07.550Z\",\"host\":\"0.0.0.0\"}"

如果redis的监控上也有以上信息输出，表明logstash和redis的结合是正常的。

四、Elasticsearch

1、安装Elasticsearch


1

2

# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

# tar zxf elasticsearch-1.7.2.tar.gz -C /usr/local/

2、修改elasticsearch配置文件elasticsearch.yml并且做以下修改.


1

2

3

4

5

# vim /usr/local/elasticsearch-1.7.2/config/elasticsearch.yml

discovery.zen.ping.multicast.enabled: false        #关闭广播，如果局域网有机器开9300 端口，服务会启动不了

network.host: 192.168.1.104    #指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200）

http.cors.allow-origin: "/.*/"

http.cors.enabled: true        #这2项都是解决跟kibana集成的问题，错误体现是 你的 elasticsearch 版本过低，其实不是

3、启动elasticsearch服务


1

2

3

# /usr/local/elasticsearch-1.7.2/bin/elasticsearch     #日志会输出到stdout

# /usr/local/elasticsearch-1.7.2/bin/elasticsearch -d #表示以daemon的方式启动

# nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &

4、查看elasticsearch的监听端口


1

2

3

# netstat -tnlp |grep java

tcp        0      0 :::9200                     :::*                        LISTEN      7407/java

tcp        0      0 :::9300                     :::*                        LISTEN      7407/java

5、elasticsearch和logstash结合


1

2

3

4

5

6

7

将logstash的信息输出到elasticsearch中

# cat logstash-elasticsearch.conf 

input { stdin {} }

output {

    elasticsearch { host => "192.168.1.104" }    

    stdout { codec=> rubydebug }

}

6、基于配置文件启动logstash


1

2

3

4

5

6

7

8

9

10

# /usr/local/logstash-1.5.4/bin/logstash agent -f logstash-elasticsearch.conf

Pipeline started {:level=>:info}

Logstash startup completed

python linux java c++    //手动输入

{

       "message" => "python linux java c++",

      "@version" => "1",

    "@timestamp" => "2015-10-08T14:51:56.899Z",

          "host" => "0.0.0.0"

}

7、curl命令发送请求来查看elasticsearch是否接收到了数据


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# curl http://localhost:9200/_search?pretty

{

  "took" : 28,

  "timed_out" : false,

  "_shards" : {

    "total" : 5,

    "successful" : 5,

    "failed" : 0

  },

  "hits" : {

    "total" : 1,

    "max_score" : 1.0,

    "hits" : [ {

      "_index" : "logstash-2015.10.08",

      "_type" : "logs",

      "_id" : "AVBH7-6MOwimSJSPcXjb",

      "_score" : 1.0,

      "_source":{"message":"python linux java c++","@version":"1","@timestamp":"2015-10-08T14:51:56.899Z","host":"0.0.0.0"}

    } ]

  }

}

8、安装elasticsearch插件


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

#Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：

# cd /usr/local/elasticsearch-1.7.2/bin/

# ./plugin install lmenezes/elasticsearch-kopf

-> Installing lmenezes/elasticsearch-kopf...

Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...

Downloading .............................................................................................

Installed lmenezes/elasticsearch-kopf into /usr/local/elasticsearch-1.7.2/plugins/kopf

执行插件安装后会提示失败，很有可能是网络等情况...

-> Installing lmenezes/elasticsearch-kopf...

Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...

Failed to install lmenezes/elasticsearch-kopf, reason: failed to download out of all possible locations..., use --verbose to get detailed information

解决办法就是手动下载该软件，不通过插件安装命令...

cd /usr/local/elasticsearch-1.7.2/plugins

wget https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip

unzip master.zip

mv elasticsearch-kopf-master kopf

以上操作就完全等价于插件的安装命令

9、浏览器访问kopf页面访问elasticsearch保存的数据


1

2

3

4

# netstat -tnlp |grep java

tcp        0      0 :::9200                     :::*                        LISTEN      7969/java

tcp        0      0 :::9300                     :::*                        LISTEN      7969/java

tcp        0      0 :::9301                     :::*                        LISTEN      8015/java

10、从redis数据库中读取然后输出到elasticsearch中


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

# cat logstash-redis.conf

input {

    redis {

        host => ‘192.168.1.104‘  # 我方便测试没有指定password，最好指定password

        data_type => ‘list‘

        port => "6379"

        key => ‘logstash:redis‘ #自定义

        type => ‘redis-input‘   #自定义

    }

}

output {

    elasticsearch {

        host => "192.168.1.104"

        codec => "json"

        protocol => "http"  #版本1.0+ 必须指定协议http

    }

}

五、Kinaba

1、安装Kinaba


1

2

# wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

# tar zxf kibana-4.1.2-linux-x64.tar.gz -C /usr/local

2、修改kinaba配置文件kinaba.yml


1

2

# vim /usr/local/kibana-4.1.2-linux-x64/config/kibana.yml

elasticsearch_url: "http://192.168.1.104:9200"

3、启动kinaba


1

2

3

4

5

6

/usr/local/kibana-4.1.2-linux-x64/bin/kibana

输出以下信息，表明kinaba成功.

{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"No existing kibana index found","time":"2015-10-08T00:39:21.617Z","v":0}

{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"Listening on 0.0.0.0:5601","time":"2015-10-08T00:39:21.637Z","v":0}

kinaba默认监听在本地的5601端口上

4、浏览器访问kinaba

4.1 使用默认的logstash-*的索引名称，并且是基于时间的，点击“Create”即可。

4.2 看到如下界面说明索引创建完成。

4.3 点击“Discover”，可以搜索和浏览Elasticsearch中的数据。

>>>结束<<<


1

2

3

4

5

6

7

8

9

10

11

12

13

1、ELK默认端口号

elasticsearch：9200 9300

logstash     : 9301

kinaba       : 5601

2、错误汇总

(1)java版本过低

[2015-10-07 18:39:18.071]  WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.

(2)Kibana提示Elasticsearch版本过低...

This version of Kibana requires Elasticsearch 2.0.0 or higher on all nodes. I found the following incompatible nodes in your cluster: 

Elasticsearch v1.7.2 @ inet[/192.168.1.104:9200] (127.0.0.1)

解决办法：

软件包以打包上传：http://pan.baidu.com/s/1hqfeFvY

本文出自 “郑彦生” 博客，请务必保留此出处http://467754239.blog.51cto.com/4878013/1700828

时间： 2024-08-03 17:20:37

ELK日志分析系统（转）的相关文章

ELK日志分析系统 介绍 安装配置

ELK日志分析系统 一.ELK介绍 ELK顾名思义:是由Elasticsearch,Logstash 和 Kibana三部分组成的. 其中Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析.它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写.目前,最新的版本是 5.4. 主要特点 实时分析 分布式实时文件存储,并将每一个字段都编入索引 文档导向,所有的对象全部是文档 高可用性,易扩展,支持集群(Cl

ELK日志分析系统搭建配置

我们主要用ELK日志分析系统来分析Nginx访问日志,mysql慢查询日志,tomcat运行日志以及系统日志等. 介绍:ELK:ElasticSearch+LogStash+Kibana=ElkStackElasticSearch:存储.收索.分析(可以用solr替代)LogStash:收集器,输入,处理分析,存储到ESKibana:展示备注:ElasticSearch支持集群功能,日志收集后会在每个节点存放一份(可以选择) 1.安装jdkwget http://sg-new.oss-cn-ha

elk 日志分析系统Logstash+ElasticSearch+Kibana4

elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示客户端 redis 缓存 安装包 logstash-1.4.2-1_2c0f5a1.noarch.rpm elasticsearch-1.4.4.noarch.rpm logstash-contrib-1.4.2-1_efd53ef.noarch.rpm kibana-4.0.1-linux-x64.tar

十分钟搭建和使用ELK日志分析系统

前言 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为"十分钟搭建和使用ELK日志分析系统"听起来有点唬人,其实如果单纯满足可视化要求,并且各软件都已经下载到本地,十分钟是可以搭建一个ELK系统的.本文介绍如何快速安装.配置.使用EK+FILEBEAT去实现日志搜集.本文中没有使用LOGSTASH做日志搜集过滤,但为了后期需要先进行了安装. 工作原理 ElasticSearch:是

在CentOS7中部署ELK日志分析系统

在CentOS7中部署ELK日志分析系统 ELK原理介绍 什么是ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具. Elasticsearch是实时全文搜索和分析引擎,提供搜集.分析.存储数据三大功能:是一套开放REST和JAVA API等

基于Docker容器部署ELK日志分析系统

部署ELK日志分析系统,比较消耗计算机硬件,如果使用虚拟机进行测试部署,建议分配较多的硬件资源,否则,当elk容器运行后,会使其无法正常运行.我这里将分配给docker主机5G内存,四个CPU. 一.环境准备 我这里使用一台docker主机(如需要部署docker服务,可以参考博文:Docker的安装详细配置),其IP地址为192.168.20.6,在其之上运行elk容器. 二.配置docker主机运行elk容器 [[email protected] ~]# echo "vm.max_map_c

ELK日志分析系统(实例!!!)

ELK日志分析系统概述 ELK是Elasticsearch.Logstash.Kibana的简称 Elasticsearch是实时全文搜索和分析引擎 Logstash是一个用来搜集.分析.过滤日志的工具 Kibana是一个基于Web的图形界面,用于搜索.分析和可视化存储在 Elasticsearch指标中的日志数据 日志服务器 提高安全性 集中存放日志 缺陷:对日志的分析困难 ELK日志分析系统 收集数据:LogstashAgent 建立索引:ElasticSearchCluster 数据可视化

ELK日志分析系统（理论+部署）

ELK日志分析系统简介 日志服务器 提高安全性 集中存放日志 缺陷 对日志的分析困难 ELK日志分析系统 Elasticsearch Logstash Kibana 日志处理步骤 将日志进行集中化管理 将日志格式化( Logstash )并输出到Elasticsearch 对格式化后的数据进行索弓|和存储( Elasticsearch ) 前端数据的展示( Kibana ) Elasticsearch介绍 Elasticsearch的概述 提供了一个分布式多用户能力的全文搜索弓|擎 Elasti

ELK日志分析系统(实战！)

简介 日志服务器 提高安全性集中存放日志缺陷:对日志的分析困难 ELK日志分析系统 Elasticsearch:存储,索引池 Logstash:日志收集器Kibana:数据可视化 日志处理步骤 1,将日志进行集中化管理2,将日志格式化(Logstash)并输出到Elasticsearch3,对格式化后的数据进行索引和存储(Elasticsearch)4,前端数据的展示(Kibana) Elasticsearch的概述 提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch的概念 接

Rsyslog+ELK日志分析系统搭建总结1.0（测试环境）

因为工作需求,最近在搭建日志分析系统,这里主要搭建的是系统日志分析系统,即rsyslog+elk. 因为目前仍为测试环境,这里说一下搭建的基础架构,后期上生产线再来更新最后的架构图,大佬们如果有什么见解欢迎指导. 这里主要总结一下搭建过程. 一.rsyslog rsyslog是如今大多数linux自带的日志收集,这里主要说一下rsyslog的简单配置. client端配置它只需要更改准备发送的日志以及在末尾加上Server端使用的协议和IP即可,例如: #加入以下即可 *.* @10.144.1