centos7 安装ELK

一、介绍

ELK是三款开源软件的缩写，即：ElasticSearch + Logstash + Kibana。这三个工具组合形成了一套实用、易用的监控架构，可抓取系统日志、apache日志、nginx日志、mysql日志等多种日志类型，目前很多公司用它来搭建可视化的集中式日志分析平台。
ElasticSearch：是一个分布式的RESTful风格的搜索和数据分析引擎，同时还提供了集中存储功能，它主要负责将logstash抓取来的日志数据进行检索、查询、分析等。
Logstash：日志处理工具，负责日志收集、转换、解析等，并将解析后的日志推送给ElasticSearch进行检索。
Kibana：Web前端，可以将ElasticSearch检索后的日志转化为各种图表，为用户提供数据可视化支持。
Filebeat：轻量型日志采集器，负责采集文件形式的日志，并将采集来的日志推送给logstash进行处理。
Winlogbeat：轻量型windows事件日志采集器，负责采集wondows的事件日志，并将采集来的日志推送给logstash进行处理。

二、安装环境

由于我这边是测试环境，所以ElasticSearch + Logstash + Kibana这三个软件我都是装在一台机器上面，如果是生产环境，建议分开部署，并且ElasticSearch可配置成集群方式。
IP:192.168.175.152（ELK服务器，CentOS 7.5）

IP:192.168.175.153（filebeat，nginx服务器，apache服务器，CentOS 7.5）

三、准备工作

禁用selinux、关闭防火墙

 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

 sed -i ‘s/SELINUXTYPE=targeted/#&/‘ /etc/selinux/config

 setenforce 0 # 可以设置配置文件永久关闭

 systemctl stop firewalld.service

四、安装jdk，因为安装ELK需要依赖java环境

 yum -y install java-1.8.0-openjdk

查看java版本

 java -version

五、安装elasticsearch、logstash、kibana

下载并安装公共签名密钥：rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

创建yum的repo文件：vim /etc/yum.repos.d/elasticsearch.repo

添加容易如下：

 [elasticsearch-6.x]

name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

1、安装Elasticsearch

 yum -y install elasticsearch

2、安装Logstash

yum -y install logstash

3、安装Kibana

yum -y install kibana

六、修改ELK配置文件

vim /etc/elasticsearch/elasticsearch.yml
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
vim /etc/logstash/logstash.yml
path.data: /data/logstash/data
path.logs: /data/logstash/logs

 

vim /etc/logstash/conf.d/logstash.conf  # 添加如下内容
input {
  beats {
    port => 5044
    codec => plain {
          charset => "UTF-8"
    }
  }
}

output {
  elasticsearch {
    hosts => "127.0.0.1:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}


vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.2.207"
elasticsearch.url: "http://localhost:9200"

安装配置nginx

 yum -y install epel-release

 yum -y install nginx httpd-tools

修改nginx配置

 cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak

 vim /etc/nginx/nginx.conf

把下图中这一段注释掉

vim /etc/nginx/conf.d/kibana.conf  # 添加如下内容
server {
    listen 80;

    server_name kibana;

    auth_basic "Restricted Access";
    auth_basic_user_file /etc/nginx/kibana-user;  //http认证文件

    location / {
        proxy_pass http://192.168.175.152:5601;  //代理的kibana地址
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection ‘upgrade‘;
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}
 
 

生成http用户认证文件，生成文件kibana-user，并添加用户adminhtpasswd -cm /etc/nginx/kibana-user admin此处需要输入两遍密码

启动ELK和nginx
systemctl daemon-reload  # 重新加载所有配置文件
systemctl start elasticsearch logstash kibana nginx  # 启动ELK和nginx
systemctl enable elasticsearch logstash kibana nginx  # 将ELK和nginx加入开机启动
systemctl status elasticsearch logstash kibana nginx  #查看ELK和nginx启动状态

查看端口信息ss -tnl

查看elasticsearch状态

curl -XGET ‘http://192.168.2.207:9200/_cluster/state/nodes?pretty‘

查看elasticsearch的master

curl -XGET ‘http://192.168.175.152:9200/_cluster/state/master_node?pretty‘

curl -XGET ‘http://192.168.175.152:9200/_cat/master?v‘

查看健康状态

curl -XGET ‘http://192.168.175.152:9200/_cat/health?v‘

curl -XGET ‘http://192.168.175.152:9200/_cluster/health?pretty‘

对于这个健康状态green（绿色）为最好

七、配置节点服务器filedeat

安装filebeat，进入到之前下载安装包的目录，执行yum方式安装
yum localinstall -y filebeat-6.2.4-x86_64.rpm
修改filebeat配置

vim /etc/filebeat/filebeat.yml
- type: log
  enabled: true
    - /var/log/*.log
    - /var/log/messages
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
  host: "192.168.175.152:5601"
#output.elasticsearch:    //我们输出到logstash，把这行注释掉
  #hosts: ["localhost:9200"]   //这行也注释掉
output.logstash:
  hosts: ["192.168.175.152:5044"]
 
 

启用nginx模块filebeat modules enable nginx修改nginx模块配置
vim /etc/filebeat/modules.d/nginx.yml
- module: nginx
  access:
enabled: true
var.paths: ["/var/log/nginx/access.log*"]
  error:
enabled: true
var.paths: ["/var/log/nginx/error.log*"]
 

启用apache模块filebeat modules enable apache2修改apache模块配置

vim /etc/filebeat/modules.d/apache2.yml
- module: apache2
  access:
enabled: true
var.paths: ["/var/log/httpd/access_log*"]
  error:
enabled: true
var.paths: ["/var/log/httpd/error_log*"]
 

启动filebeat
systemctl start filebeat
systemctl enable filebeat
systemctl status filebeat

浏览器访问http://192.168.175.152，输入之前通过htpasswd认证的用户名和密码登陆kibana。

到这里ELK安装已经成功了！！！ 击个掌吧小帅哥，小美女吧～～～

 

原文地址：https://www.cnblogs.com/king-LL/p/10045870.html

时间： 2024-11-03 07:57:49

centos7 安装ELK的相关文章

基于centos7安装ELK

一.安装jdk 上传安装包并解压:tar -zxvf ... 配置环境变量: 在配置文件中添加如下配置信息:vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_191 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 让配置文件生效:source /etc/profile 二.安装elasticsea

centos7使用yum安装elk

elk是一个开源的日志分析系统.由Elasticsearch.Logstash.Kibana三部分组成 Elasticsearch:是一个基于Lucene的搜索服务器, 特点就是分布式,开源,实时搜索,稳定快速,安装使用方便 java Logstash:将对日志进行收集,分析并存储的工具 ruby kibana:为logstash和ElasticSearch提供日志搜索.分析的web界面.更好的展示出来. 安装:: (根据官网提示安装) https://www.elastic.co/guide/

ELK学习笔记(一)---安装ELK 5.x版

ELK日志平台是一个完整的日志分析系统,有三个开源工具构建组成,分别是:Elasticsearch.Logstash和Kibana.Elasticsearch用于数据分析和深度搜索:Logstash作用是从其他服务器上传输和转发日志,对其集中管理,进行分析:Kibana则是提供了强大的UI展示,将数据可视化. 安装ELK日志平台 ELK基础环境需要java环境,官网要求5.x版本要大于java8.而且安装方式多样化,支持zip.tar.gz.rpm包.deb包.window环境还有docker环

centos7搭建ELK Cluster集群日志分析平台（三）

续  centos7搭建ELK Cluster集群日志分析平台(一) 续  centos7搭建ELK Cluster集群日志分析平台(二) 已经安装好elasticsearch 5.4集群和logstash 5.4 安装kibana步骤 1.下载安装Kibana  ~]#wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-x86_64.rpm 如果链接失效,官网下载:https://www.elastic.co/down

centos7搭建ELK Cluster集群日志分析平台（二）

续  centos7搭建ELK Cluster集群日志分析平台(一) 已经安装完Elasticsearch 5.4 集群. 安装Logstash步骤 1. 安装Java 8 官方说明:需要安装Java 8 ,不支持Java 9... //自行安装,略过 2. 安装Logstash 可以同elasticsearch一样建立repo文件通过yum安装,也可以去官网直接下载rpm包进行本地安装:   ~]# rpm -ivh logstash-5.4.0.rpm  //这里直接下载好进行本地安装 3.

CentOS 7.x安装ELK(Elasticsearch+Logstash+Kibana)

第一次听到ELK,是新浪的@ARGV 介绍内部使用ELK的情况和场景,当时触动很大,原来有那么方便的方式来收集日志和展现,有了这样的工具,你干完坏事,删除日志,就已经没啥作用了. 很多企业都表示出他们很关心安全,不过他们压根就没看过和关注过自己服务器的日志,这是有点讽刺的.先把日志管理好,然后我们再去深入讨论安全. Mirantis的Fuel,已经引入ELK作为OpenStack的监控工具,所以我们也需要重点去学习一下ELK. 刚好看到一个老外的视频,介绍CentOS 7安装ELK,讲的很实在,

centos7 搭建elk

CentOS 7.x安装ELK(Elasticsearch+Logstash+Kibana) 云计算 Aug 162015 第一次听到ELK,是新浪的@ARGV 介绍内部使用ELK的情况和场景,当时触动很大,原来有那么方便的方式来收集日志和展现,有了这样的工具,你干完坏事,删除日志,就已经没啥作用了. 很多企业都表示出他们很关心安全,不过他们压根就没看过和关注过自己服务器的日志,这是有点讽刺的.先把日志管理好,然后我们再去深入讨论安全. Mirantis的Fuel,已经引入ELK作为OpenSt

Centos7 安装配置OpenLdap服务及OpenLdap管理工具

我们上一篇文章中介绍了,Centos7+Openvpn使用Windows AD(LDAP)验证登录的配置介绍.说到LDAP服务,我们知道不止windows有,linux下也有,比如openldap,sambaLDAP服务,具体就不多介绍了,我们今天主要介绍一下Centos7 安装配置OpenLdap及Ldap管理工具等操作,为后面的Centos7+Openvpn+openldap验证登录做好基础. 我们首先配置一个指定源,我们源地址指向了阿里云的仓库源 cd /etc/yum.repos.d v

CentOS7安装python-pip

python中的一个十分好用的包管理工具python-pip是我们使用python必不可少的一件工具.但是在CentOS7安装时候却遇到了一些小问题: [[email protected] magic]# yum install python-pip 已加载插件:fastestmirror, langpacks Loading mirror speeds from cached hostfile * base: mirrors.btte.net * extras: mirrors.btte.ne