ELK日志分析平台部署实录

[[email protected] ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

[[email protected] ~]# vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-5.x]

name=Elasticsearch repository for 5.x packages

baseurl=https://artifacts.elastic.co/packages/5.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

[[email protected] ~]# cd /usr/local/src

[[email protected] src]# tar zxvf jdk-8u161-linux-x64.tar.gz

[[email protected] src]# mv jdk1.8.0_161 /usr/local

[[email protected] src]# vi /etc/profile

JAVA_HOME=/usr/local/jdk1.8.0_161

JAVA_BIN=/usr/local/jdk1.8.0_161/bin

PATH=$PATH:$JAVA_BIN

CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

export LD_LIBRARY_PATH=/usr/local/apr/lib

[[email protected] ~]# java -version

java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

[[email protected] ~]# yum install -y elasticsearch

[[email protected] ~]# mkdir /usr/local/es-data

[[email protected] ~]# chown -R elasticsearch:elasticsearch /usr/local/es-data

[[email protected] ~]# mkdir -p /var/log/elasticsearch/

[[email protected] ~]# chown -R elasticsearch:elasticsearch /var/log/elasticsearch/

[[email protected] ~]# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: elk-cluster

node.name: king01

path.data: /usr/local/es-data

path.logs: /var/log/elasticsearch/

bootstrap.memory_lock: true

bootstrap.system_call_filter: false

network.host: 192.168.1.201

http.port: 9200

discovery.zen.ping.unicast.hosts: ["king01"]

http.cors.enabled: true

http.cors.allow-origin: "*"

[[email protected] ~]# vi /etc/security/limits.conf

*                soft    nofile          65536

*                hard    nofile          131072

*                soft    nproc           2048

*                hard    nproc           4096

*                soft    memlock         unlimited

*                hard    memlock         unlimited

[[email protected] ~]# vim /etc/security/limits.d/90-nproc.conf

*          soft    nproc     2048

root       soft    nproc     unlimited

[[email protected] ~]# /etc/init.d/elasticsearch start

[[email protected] ~]# /etc/init.d/elasticsearch status

elasticsearch (pid  18338) is running...

[[email protected] ~]# cat /var/log/elasticsearch/elk-cluster.log

[[email protected] ~]# curl http://192.168.1.201:9200/

{

"name" : "king01",

"cluster_name" : "elk-cluster",

"cluster_uuid" : "oGuBJsi3SZyYnCT4PvuNgA",

"version" : {

"number" : "5.6.8",

"build_hash" : "688ecce",

"build_date" : "2018-02-16T16:46:30.010Z",

"build_snapshot" : false,

"lucene_version" : "6.6.1"

},

"tagline" : "You Know, for Search"

}

[[email protected] ~]# yum install -y logstash

[[email protected] ~]# ln -s /usr/share/logstash/bin/logstash /bin/

[[email protected] ~]# mkdir -p /usr/share/logstash/config/

[[email protected] ~]# chown -R logstash:logstash /usr/share/logstash/config/

[[email protected] ~]# ln -s /etc/logstash/* /usr/share/logstash/config

[[email protected] ~]# vim /etc/logstash/conf.d/elk.conf

input {

syslog {

port => "514"

}

}

output {

elasticsearch {

hosts => ["192.168.1.201:9200"]

index => "syslog-%{+YYYY.MM.dd}"

}

}

[[email protected] ~]# logstash -f /etc/logstash/conf.d/elk.conf&

[[email protected] ~]# cat /var/log/logstash/logstash-plain.log

[[email protected] ~]# netstat -tunlp | grep 514

tcp        0      0 :::514                      :::*                        LISTEN      18713/java

udp        0      0 :::514                      :::*                                    18713/java

[[email protected] ~]# yum install -y kibana

[[email protected] ~]# vim /etc/kibana/kibana.yml

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.url: "http://192.168.1.201:9200"

[[email protected] ~]# /etc/init.d/kibana start

kibana started

[[email protected] ~]# /etc/init.d/kibana status

kibana is running

[[email protected] ~]# netstat -tunlp | grep 5601

[[email protected] ~]# vi /etc/rsyslog.conf

*.* @192.168.1.201:514

[[email protected] ~]# vi /etc/bashrc

export PROMPT_COMMAND='{ msg=$(history 1 | { read x y; echo $y; });logger "[euid=$(whoami)]":$(who am i):[`pwd`]"$msg"; }'

[[email protected] ~]# service rsyslog restart

原文地址:http://blog.51cto.com/13598811/2074326

时间: 2024-11-09 01:13:12

ELK日志分析平台部署实录的相关文章

浅谈ELK日志分析平台

作者:珂珂链接:https://zhuanlan.zhihu.com/p/22104361来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 小编的话 "技术干货"系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞! 2016年7月20日,本期品高云公开课由叶春草带来"可视化案发现场--浅谈ELK日志分析平台"的分享. 分享嘉宾 叶春草现就职于品高云软件技术支持工程师.就职

极速赛车平台出租与ELK日志分析平台

什么是ELK呢?极速赛车平台出租 Q2152876294 论坛:diguaym.com ELK是三个组件的缩写, 分别是elasticsearch, logstash, kibana. ELK平台可以用于实现日志收集.日志搜索和日志分析 1.elasticsearch(es): 它是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. 2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据,

CentOS 8 部署 ELK日志分析 平台

需求 1.开发人员不能登录线上服务器查看日志2.各个系统都有日志,日志分散难以查找3.日志数据量大,查找慢,数据不够实时 解决办法:部署ELK平台 ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash . ELK架构图 Elasticsearch简介: El

ELK日志管理平台部署简介

ELK是对Elasticsearch.Logstash.Kibana整合平台的简称.在日常的运维工作中,要实时监控服务器的业务.系统和硬件状态,除了使用监控之外,还需要搜集大量的日志来进行分析.但是在面对海量的服务器和集群时,通过单台登录查询的方式显然是不可能的,对于不同时间段和集群日志的分析仅仅通过简单的脚本来统计也是难以实现.ELK日志平台通过日志搜集,查询检索和前端展示的方式帮我们实现了这样的功能. Elasticsearch是个开源分布式搜索引擎,具有分布式,零配置,自动发现,索引自动分

在Windows系统下搭建ELK日志分析平台

再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,他可以对你的日志进行收集.过

ELK日志分析平台搭建

ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样

ELK日志收集平台部署

需求背景 一位朋友的公司研发最近有一些苦恼.由于他们公司的后台服务有三台,每当后台服务运行异常,需要看日志排查错误的时候,都必须开启3个ssh端口进行查看,研发们觉得很不方便,于是便有了统一日志收集与查看的需求. 这里,我用ELK集群,通过收集三台后台服务的日志,再统一进行日志展示,实现了这一需求. 当然,当前只是进行了简单的日志采集,如果后期相对某些日志字段进行分析,则可以通过logstash以及Kibana来实现. 部署环境 系统:CentOS 7 软件: elasticsearch-6.1

ELK日志分析平台搭建----ELASTICSEARCH

介绍:ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成 1.Elasticsearch是一个开源分布式的搜索引擎,特点是:分布式.零配置.自动发现.索引自动分片.索引副本机制.restful风格接口,多数据源,自动搜索负载等. 2.Logstash是一个完全开源的工具,它可以对你的日志进行收集.过滤,并将其存储供以后使用(比如:搜索) 3.Kibana也是一个开源免费的工具,它可以为Logstash和ElasticSearch提供的日志分析友好的WEB界面,可

ELK日志分析平台

ELKstack是Elasticsearch.Logstash.Kibana三个开源软件的组合.目前都在Elastic.co公司名下. ELK是一套常用的开源日志监控和分析系统,包括一个分布式索引与搜索服务Elasticsearch, 一个管理日志和事件的工具logstash,和一个数据可视化服务Kibana logstash_1.5.3                 负责日志的收集,处理和储存 elasticsearch-1.7.2            负责日志检索和分析 kibana-4