elasticsearch kibana logstash(ELK)的安装集成应用

官网关于kibana的学习指导网址是:https://www.elastic.co/guide/en/kibana/current/index.html

  Kibana是一个开源的分析和可视化平台,设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。您可以轻松地执行高级数据分析并在各种图表、表和映射中可视化数据。

  Kibana使理解大量数据变得容易。它简单的、基于浏览器的界面使您能够快速创建和共享动态仪表板,实时显示对Elasticsearch查询的更改。

kibana的安装需要依赖elasticsearch,所以需要先安装它,

rpm -ivh elasticsearch-6.4.1.rpm

然后查看状态及安装情况

修改配置文件

在在 Linux 环境中,elasticsearch 不允许以 root 权限来运行!所以需要创建一个非root用户,以非root用户来起es

rpm安装包位于、usr/share/elasticsearch/下,应采用下列授权

刚开始访问还是不行,然后一顿乱捣鼓,感觉也没有增加什么,最后突然刷新一下,好了,先用着,后面再整理一下

然后在test用户上查看一下运行状态

然后在通过test用户起来停止服务测试外网连接,都有爆红,但是都正常了

然后停掉test用户的服务,切回到root下开启服务,再次尝试外网连接,多次刷新后,也是OK的,说明这一版本不需要通过用户启动服务也可以,只是连接虚拟机的时候网络较差,所以,多刷新几次。

外网访问:

结论:这一版本不需要通过用户启动服务也可以,只是连接虚拟机的时候网络较差,所以,多刷新几次。

kibana的安装(安装需要Elasticsearch的支持,所以要先安装Elasticsearch)

  我们直接根据官网来安装,采用rpm的方式,简单直接,https://www.elastic.co/guide/en/kibana/current/rpm.html

下载后,安装,启动,停止等

启动,直接输入网址192.168.135.129:5601不能访问,关闭防火墙也不行,需要设置/etc/kibana/kibana.yml。如下放开一些配置,修改一些配置

然后登陆外网,多刷新几次,本博主网络比较慢,输入网址http://192.168.135.129:5601

OK!

最后安装logstash

创建配置文件

内容格式如下主要有输入,过滤和输出三部分:

 1 input {
 2
 3     stdin {}
 4 }
 5
 6 filter {
 7
 8     grok {
 9
10         patterns_dir => ["/home/keepgostudio/download/logstash-5.2.0/patterns"]
11
12         match => {
13
14             "message" => ["%{PARAMS_APACHELOG}", "%{NO_PARAMS_APACHELOG}"]
15
16         }
17
18         remove_field => ["host", "timestamp", "httpversion", "@version"]
19
20     }
21
22
23     kv {
24
25         source => "params"
26
27         field_split => "&?"
28
29     }
30
31
32     geoip {
33
34         source => "ip"
35
36         fields => ["country_name", "region_name", "city_name", "latitude", "longitude"]
37
38         target => "location"
39 }
40
41 output {
42
43     elasticsearch {
44
45         hosts => ["192.168.135.129:9200"]
46
47         index => "logstash-test-%{type}-%{host}"
48
49     }
50
51
52 }

运行

运行时采用的配置文件:input { stdin { } } output { stdout {} }

===========================================================分割线==========================================================================

用tar包的方式安装并进行总结

一、依赖jdk8,下载安装不多述

二、分别下载elasticsearch,logstash,kibana的相关tar包,直接复制地址wget 方式下载直接方便,没有wget命令则需要先yum -y install wget,比如(地址在网络资源的tar包上右键复制的链接)

  wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz

  wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-linux-x86_64.tar.gz

  wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.1.tar.gz

三、先安装elasticsearch,直接解压tar即可,其他两个一样,解压即可用,非常简单。

  解压命令 tar -zxvf tar包名字

  修改配置文件端口号和address

  直接在解压包bin下root运行会报错,然后根据网上创建test的用户组,及test的用户,然后授权,在运行,又是各种报错,大概是内存不行什么的,参考网上的进行排错,

https://blog.csdn.net/liangzhao_jay/article/details/56840941

https://blog.csdn.net/seasion_pu/article/details/82262651

https://blog.csdn.net/feng12345zi/article/details/80367907

最终配置如下:

vi  /etc/security/limits.conf

/etc/sysctl.conf

然后执行sysctl -p

在用户下重启elasticsearch

最后运行成功

打开另一个终端验证

关闭防火墙,在外网验证,OK!

四、解压kibana后修改完配置的端口,address和elasticsearch地址后

直接运行 /bin/kibana即可

五、解压logstash

在bin目录下创建一个conf文件

示例的文件如下:

启动:./logstash -f logstash.conf后

原文地址:https://www.cnblogs.com/xiaoyao-001/p/9680735.html

时间: 2024-10-06 23:20:08

elasticsearch kibana logstash(ELK)的安装集成应用的相关文章

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 Elasticsearch 官方网站 Elasticsearch文档 NLog.Targets.ElasticSearch   package Elasticsearch - 简介 Elasticsearch 作为核心的部分,是一个具有强大索引功能的文档存储库,并且可以通过 REST API 来搜索数据. 它使用 Java 编写,基于 Apache Lucene,尽管这些细节隐藏在

ELK elasticsearch+kibana+logstash 躲坑指南 安装步骤

记录下从安装到正常使用过程中跳过的坑 1.java环境的问题,可以装高版本但一定不能低于它的要求 例: 2.版本兼容性的问题,3个软件都可以从官网上下载,而且下面都会有注释要求其他软件的版本 官网下载地址: https://www.elastic.co/downloads 例: 3.针对elasticsearch,有很多插件haed.marvel.kopf.bigdesk等等,根据实际情况进行下载 正确安装插件:是在elasticsearch的bin/plugin   install    XX

ELK(elasticsearch+kibana+logstash)搜索引擎(二): elasticsearch基础教程

1.elasticsearch的结构 首先elasticsearch目前的结构为 /index/type/id  id对应的就是存储的文档ID,elasticsearch一般将数据以JSON格式存储.我们可以将elasticsearch和关系型数据库进行比较,index相当于关系型数据库中的database,type相当于table,而id就相当于表中的主键,elasticsearch中一个文档存储的一个json则能视为是关系型数据库中一张表的一行数据,而ID就是他的主键,在理解了es的存储结构

Elasticsearch+Kibana+Logstash 搭建日志平台

大型日志平台搭建 Java 环境部署 网上很多教程,此处只做出测试 java -version java version "1.7.0_45" Java(TM) SE Runtime Environment (build 1.7.0_45-b18) Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode) Elasticsearch 搭建 curl -O https://download.elasticsearch.

安装logstash,elasticsearch,kibana三件套

原文地址:http://www.cnblogs.com/yjf512/p/4194012.html logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用.推荐直接使用官网的这一套:elkdownloads. 比如我这里下载的一套是logstash 1.4

ELK学习记录二 :elasticsearch、logstash及kibana的安装与配置

注意事项: 1.ELK版本要求5.X以上,本人使用版本:elasticsearch-6.0.0.kibana-6.0.0-linux-x86_64.logstash-6.0.0.tar 2.Elasticsearch5.x版本必须基于jdk1.8,安装环境必须使用jdk1.8 3.本人使用linux操作系统的centos6.5版本作为测试环境,其他环境命令有差异,请注意 4.本教程适合完全离线安装 5.ELK及jdk安装包下载路径:https://pan.baidu.com/s/1KAPtSt4

(转)如何在CentOS / RHEL 7上安装Elasticsearch,Logstash和Kibana(ELK)

原文:https://www.howtoing.com/install-elasticsearch-logstash-and-kibana-elk-stack-on-centos-rhel-7 如果你是一个曾经或过去负责检查和分析Linux系统日志的人,那么你知道如果同时监视多个服务,这个任务可能会成为一个噩梦. 在过去的几天中,该任务必须大多数手动完成,每个日志类型单独处理. 幸运的是,Elasticsearch,Logstash和Kibana的在服务器端的结合,Filebeat在客户端一起,

Ubuntu 16.04安装Elasticsearch,Logstash和Kibana(ELK)Filebeat

https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04 在本教程中,我们将在安装Elasticsearch ELK在Ubuntu 16.04(即,Elasticsearch 2.3.x版本,Logstash 2.3.x版本,并Kibana 4.5.x).我们也将告诉你如何配置它收集和可视化你的系统的系统日志进行集中... 分类:UbuntuUbuntu

部署 elk 日志系统 elasticsearch、logstash、 kibana

安装elk         安装Java 1.8环境         解压源码安装包:         tar xf jdk-8u121-linux-x64.tar.gz          ll         mkdir /work/opt -p         mv  jdk1.8.0_121  /work/opt/jdk         ll /work/opt/jdk/         chown -R root.root  /work/opt                   vim