elk搭建

elk系统全部采用5.0版本

1、elk是依赖于java环境,所以要先安装jdk,主意elk5.0版本所需要的jdk必须在1.8以上

2、安装elasticsearch

yum -y install elasticsearch-5.0.1.rpm

mkdir -pv /elk/{data,logs}        //创建es存储的数据和日志文件

chown -R elasticsearch.elasticsearch /elk/*        //修改属主属组

修改es配置文件:

vim /etc/elasticsearch/elasticsearch.yml

1cluster.name: my-application

2node.name: node-1

3path.data: /elk/data

4path.logs: /elk/logs

5network.host: 0.0.0.0

6http.port: 9200

修改文件限制

vim /etc/security/limits.d/90-nproc.conf

* 改为2048即可

修改jvm参数

]# vim /etc/elasticsearch/jvm.options

-Xms512m

-Xmx512m

此参数根据实际内存调整

启动elasticsearch,查看9200,9300端口是否启用

3、安装kibana

[[email protected] ~]# yum -y install kibana-5.0.1-x86_64.rpm

修改kibana配置文件

[[email protected] ~]# vim /etc/kibana/kibana.yml

1server.port: 5601

2server.host: "0.0.0.0"

3elasticsearch.url: "http://localhost:9200"

4kibana.index: ".kibana"

启动kibana,查看端口5601是否开启

4、安装logstash

[[email protected] ~]# yum -y install logstash-5.0.1.rpm

编辑第一个测试文档

[[email protected]~]# cat /etc/logstash/conf.d/test.conf

input {

stdin {}

}

output {

stdout {

codec =>"rubydebug"

}

}

测试:

[[email protected] ~]# /usr/share/logstash/bin/logstash -t  -f /etc/logstash/conf.d/test.conf

-t:标识测试配置文件但并不启动

-f:表示用哪一个测试文件

WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults

Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs to console

Configuration OK

14:08:51.310 [LogStash::Runner] INFO  logstash.runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

出现警告信息:因为在/usr/share/logstash的目录下没有找到config文件

解决方法:创建一个软连接

[[email protected] ~]# ln -sv /etc/logstash /usr/share/logstash/config

修改配置文件:

[[email protected]~]# cat /etc/logstash/conf.d/test.conf

input {

redis {

host =>"192.168.0.224"

port => 6379

key => "syslog"

type =>"message1"

data_type =>"list"

}

}

output {

stdout {

codec =>"rubydebug"

}

elasticsearch  {

hosts =>["localhost:9200"]

}

}

4、编译安装redis

先安装gcc

[[email protected] ~]# yum -y install gcc

[[email protected] ~]# tar xf redis-3.0.7.tar.gz -C /app/tools/

[[email protected] ~]# cd /app/tools/redis-3.0.7/

[[email protected] ~]# make

启动redis-server

[[email protected] redis-3.0.7]# /app/tools/redis-3.0.7/src/redis-server &

查看6379端口是否打开

5、安装filebeat

[[email protected] ~]# yum -y install filebeat-5.0.1-x86_64.rpm

[[email protected] ~]# vim /etc/filebeat/filebeat.yml

paths:

#- /var/log/*.log

- /var/log/messages

output.redis:

hosts: ["192.168.0.224"]        //redis的地址

port: 6379                            //redis的端口

key: "syslog"                        //redis的索引名

6、测试

[[email protected] ~]# service filebeat start

进入redis,查看是否有数据压入

[[email protected] ~]# /app/tools/redis-3.0.7/src/redis-cli

127.0.0.1:6379> llen syslog

(integer) 1255

启动logstash

[[email protected] ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

如果定义的配置文件有问题,查看logstash日志

[[email protected] ~]# tail /var/log/logstash/logstash-plain.log

配置正确后可以查看redis的syslog索引

[[email protected] ~]# /app/tools/redis-3.0.7/src/redis-cli

127.0.0.1:6379> llen syslog

(integer) 0

127.0.0.1:6379>

就此elk+redis+filebeat搭建完毕

时间: 2024-09-30 09:51:03

elk搭建的相关文章

ELK搭建实时日志分析平台之二Logstash和Kibana搭建

本文书接前回<ELK搭建实时日志分析平台之一ElasticSearch> 文:铁乐与猫 四.安装Logstash logstash是一个数据分析软件,主要目的是分析log日志. 1)下载和解压logstash 下载地址: https://www.elastic.co/cn/downloads/logstash 上传到服务器/usr/ELK目录后,解压:sudo tar -zxvf logstash-6.1.3.tar.gz 我下的这个6.1.3版本的logstash tar包大小有110多M了

利用 ELK 搭建 Docker 容器化应用日志中心

利用 ELK 搭建 Docker 容器化应用日志中心 概述 应用一旦容器化以后,需要考虑的就是如何采集位于 Docker 容器中的应用程序的打印日志供运维分析.典型的比如SpringBoot应用的日志收集. 本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对日志进行查询与分析,其架构如下图所示: 架构图 镜像准备 ElasticSearch镜像 Logstash镜像 Kibana镜像 Nginx镜像(作为容器化应用来生产日志) 开启Linux系统Rsys

ELK搭建踩过的坑

ELK搭建踩过的坑学习博客:http://blog.51cto.com/zero01/2082794 日志多而杂,搜索慢--->集中式管理分布式系统--->快速定位服务器和模块 收集-传输-存储-分析-警告 ELK:elasticsearch 搜索引擎logstash 日志的收集.分析.过滤kibana 日志分析界面beats 日志采集器 收集网络数据.指标.日志.window实践.审计.运行时间 x-pack?https://blog.csdn.net/gamer_gyt/article/d

2018年ElasticSearch6.2.2教程ELK搭建日志采集分析系统(教程详情)

章节一 2018年 ELK课程计划和效果演示1.课程安排和效果演示简介:课程介绍和主要知识点说明,ES搜索接口演示,部署的ELK项目演示es: localhost:9200kibana http://localhost:5601/ 章节二 elasticSearch 6.2版本基础讲解到阿里云部署实战 2.搜索引擎知识介绍和相关框架简介:介绍搜索的基本概念,市面上主流的搜索框架elasticSearch和solr等对比什么是搜索:在海量信息中获取我们想要的信息传统做法:1.文档中使用系统的Fin

使用ELK搭建社工库

https://mp.weixin.qq.com/s?__biz=MjM5MDkwNjA2Nw==&mid=2650373776&idx=1&sn=e823e0d8d64e6e31d22e89b3d23cb759&scene=1&srcid=0720BzuzPl916oZWVGfiwduR&key=77421cf58af4a65382fb69927245941b4402702be12a0f1de18b1536ac87135d4763eab4e820987f0

ELK搭建实时日志分析平台(elk+kafka+metricbeat)-KAFKA搭建

一.kafka搭建 建立elk目录:mkdir /usr/loca/elk 安装zookeeper: 192.168.30.121: 192.168.30.122: 192.168.30.123: 3. kafka安装: a. 192.168.30.121 b. 192.168.30.122: c. 192.168.30.123: 4.启动: 在三台服务器上执行下面命令:

基于Kafka+ELK搭建海量日志平台

早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail.如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一个从APP或H5发起的请求除了需要登陆服务器去排查日志,往往还会经过MQ和RPC调用远程到了别的主机继续处理,开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志,基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工人一样困难,线上服务器几十上百之多,出了问题难以

ELK搭建过程中出现的问题与解决方法汇总

搭建过程中出现的问题 elasticsearch启动过程中报错[1] ERROR: [1] bootstrap checks failed [1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, d iscovery.seed_providers, cluster.initial_master_nodes] must be confi

elk搭建完整搭建【篇1】

[参考] 官网: https://www.elastic.co/downloads 参考: http://517sou.net/archives/centos%E4%B8%8B%E4%BD%BF%E7%94%A8elk%E5%A5%97%E4%BB%B6%E6%90%AD%E5%BB%BA%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%92%8C%E7%9B%91%E6%8E%A7%E5%B9%B3%E5%8F%B0/ http://my.oschina.net/