ELK日志分析平台搭建----ELASTICSEARCH

介绍:ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成

1、Elasticsearch是一个开源分布式的搜索引擎,特点是:分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口,多数据源,自动搜索负载等。

2、Logstash是一个完全开源的工具,它可以对你的日志进行收集、过滤,并将其存储供以后使用(比如:搜索)

3、Kibana也是一个开源免费的工具,它可以为Logstash和ElasticSearch提供的日志分析友好的WEB界面,可以帮助汇总、分析和搜索重要的数据日志

原理:

Logstash收集过滤到日志之后存放在Elasticsearch集群中,然后Elasticsearch将获取的日志提供给Kibana在前端页面进行展示

一、下载所需要的安装包

1.wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.2.0/elasticsearch-2.2.0.tar.gz

2.wget https://download.elastic.co/logstash/logstash/logstash-2.2.0.tar.gz

3.wget https://download.elastic.co/kibana/kibana/kibana-4.4.0-linux-x64.tar.gz

4.wget -O jdk-8u77-linux-x64.rpm  "http://dl.download.csdn.net/down11/20160330/abf9ea0cb9d3c350f0de43fe41a80782.rpm?response-content-disposition=attachment%3Bfilename%3D%22jdk-8u77-linux-x64.rpm%22&OSSAccessKeyId=9q6nvzoJGowBj4q1&Expires=1499158963&Signature=APx%2BymivcfG2F19nYGx6WOO%2Bl5k%3D"

5.yum -y install git

ELK平台搭建

环境描述:

System:centos 6.5 64位

Elasticsearc:2.2.0

Logstash:2.2.0

Kibana:4.4.0

Jdk:1.8.0_77

一、Elasticsearch的安装搭建,并测试访问

1、jdk安装

安装方式:rpm安装

[[email protected] package]# rpm -ivh jdk-8u77-linux-x64.rpm

Preparing...                ########################################### [100%]

1:jdk1.8.0_77            ########################################### [100%]

Unpacking JAR files...

tools.jar...

plugin.jar...

javaws.jar...

deploy.jar...

rt.jar...

jsse.jar...

charsets.jar...

localedata.jar...

jfxrt.jar...

[[email protected] package]# java -version

java version "1.8.0_77"

Java(TM) SE Runtime Environment (build 1.8.0_77-b03)

Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

[[email protected] package]#

2、Elasticsearch安装

(1)解压安装包

[[email protected] package]# tar -xvzf elasticsearch-2.2.0.tar.gz

[[email protected] package]# cd elasticsearch-2.2.0

(2)安装HEAD插件

[[email protected] elasticsearch-2.2.0]# ./bin/plugin install mobz/elasticsearch-head

-> Installing mobz/elasticsearch-head...

Plugins directory [/package/elasticsearch-2.2.0/plugins] does not exist. Creating...

Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...

Downloading .............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE

Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...

NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)

Installed head into /package/elasticsearch-2.2.0/plugins/head

[[email protected] elasticsearch-2.2.0]#

(3)优化目录

[[email protected] elasticsearch-2.2.0]# cd ..

[[email protected] package]# pwd

/package

[[email protected] package]# mv elasticsearch-2.2.0 elastics

[[email protected] package]# mv elastics /usr/local/

(4)编辑ES配置文件

[[email protected] package]#cd /usr/local/elastics/config/

[[email protected] config]# vim elasticsearch.yml

修改以下配置:

cluster.name=my-elk #es集群名称可自定义

node.name=node-1 #节点名,默认随机指定一个name列表中名字,该列表在es的jar包中config文件夹里name.txt

path.data: /usr/local/elastics/data/  #设置索引数据的存储路径

path.logs: /usr/local/elastics/logs/   #设置日志文件的存储路径

network.host=192.168.179.129     #本地机器的ip地址

network.port=9200               #设置对外服务的http端口,默认为9200

配置修改完毕保存退出即可

(5)创建目录并赋予权限

[[email protected] local]# mkdir /usr/local/elastics/data

[[email protected] local]# mkdir /usr/local/elastics/logs

[[email protected] local]# cd /usr/local/elastics/

[[email protected] elastics]# chmod -R 777 data/

[[email protected] elastics]# chmod -R 777 logs/

(6)创建启动Elasticsearch的普通用户

创建组:

[[email protected] config]# groupadd zc-elk

创建普通用户并将用户加入到组:

[[email protected] config]# useradd -g  zc-elk zc-elk

修改Elasticsearch的目录属主属组:

[[email protected] local]# chown -R zc-elk.zc-elk elastics/

(7)切换到普通用户zc-elk启动Elasticsearch

[[email protected] ~]# su - zc-elk

[[email protected] ~]$ cd /usr/local/elastics/

[[email protected] elastics]$ ./bin/elasticsearch -d(-d选项是后台运行)

(8)查看9200端口是否正常监听

9200端口为接受HTTP请求的端口

9300是与其他节点的传输端口

(9)访问测试

http://192.168.179.129:9200

正确的返回是:

在访问测试时有的浏览器会直接显示以下下载页面

该页面下载下来里面的内容和我在谷歌浏览器访问到的内容是一样的,没有问题,返回展示了配置的cluster_name和name,以及安装的ES的版本等信息。

(10)HEAD访问测试

刚刚安装的head插件,它是一个用浏览器跟ES集群交互的插件,可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。现在也可以使用它打开localhost:9200/_plugin/head页面来查看ES集群状态:

(11)安装elasticsearch的web管理工具

[[email protected] bin]# cd /usr/local/elastics/bin/

[[email protected] bin]#./plugin  install lmenezes/elasticsearch-kopf

浏览器测试访问

http://192.168.179.128:9200/_plugin/kopf

原文地址:https://www.cnblogs.com/bazingafraser/p/8491034.html

时间: 2024-10-13 03:59:43

ELK日志分析平台搭建----ELASTICSEARCH的相关文章

ELK日志分析平台搭建

ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样

ELK日志分析平台搭建全过程

一.使用背景 当生产环境有很多服务器.很多业务模块的日志需要每时每刻查看时 二.环境 系统:centos 6.5 JDK:1.8 Elasticsearch-5.0.0 Logstash-5.0.0 kibana-5.0.0 三.安装 1.安装JDK 下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 本环境下载的是64位tar.gz包,将安装包拷贝至安装服务器/usr

浅谈ELK日志分析平台

作者:珂珂链接:https://zhuanlan.zhihu.com/p/22104361来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 小编的话 "技术干货"系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞! 2016年7月20日,本期品高云公开课由叶春草带来"可视化案发现场--浅谈ELK日志分析平台"的分享. 分享嘉宾 叶春草现就职于品高云软件技术支持工程师.就职

极速赛车平台出租与ELK日志分析平台

什么是ELK呢?极速赛车平台出租 Q2152876294 论坛:diguaym.com ELK是三个组件的缩写, 分别是elasticsearch, logstash, kibana. ELK平台可以用于实现日志收集.日志搜索和日志分析 1.elasticsearch(es): 它是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. 2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据,

FILEBEAT+ELK日志收集平台搭建流程

filebeat+elk日志收集平台搭建流程 1.         整体简介: 模式:单机 平台:Linux - centos - 7 ELK:elasticsearch.logstash.kibana三款开源软件的集合. FILEBEAT:代替logstash的采集功能,轻量.耗用小. 目前收集的有nginx日志.java日志[单行|多行]. 都是通过在客户端的生成日志配置文件中定义好初步json格式,然后利用filebeat采集到logstash,存储到elasticsearch,最后通过k

elk 日志分析系统Logstash+ElasticSearch+Kibana4

elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示客户端 redis 缓存 安装包 logstash-1.4.2-1_2c0f5a1.noarch.rpm elasticsearch-1.4.4.noarch.rpm logstash-contrib-1.4.2-1_efd53ef.noarch.rpm kibana-4.0.1-linux-x64.tar

ELK日志分析系统搭建配置

我们主要用ELK日志分析系统来分析Nginx访问日志,mysql慢查询日志,tomcat运行日志以及系统日志等. 介绍:ELK:ElasticSearch+LogStash+Kibana=ElkStackElasticSearch:存储.收索.分析(可以用solr替代)LogStash:收集器,输入,处理分析,存储到ESKibana:展示备注:ElasticSearch支持集群功能,日志收集后会在每个节点存放一份(可以选择) 1.安装jdkwget http://sg-new.oss-cn-ha

在Windows系统下搭建ELK日志分析平台

再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,他可以对你的日志进行收集.过

Rsyslog+ELK日志分析系统搭建总结1.0(测试环境)

因为工作需求,最近在搭建日志分析系统,这里主要搭建的是系统日志分析系统,即rsyslog+elk. 因为目前仍为测试环境,这里说一下搭建的基础架构,后期上生产线再来更新最后的架构图,大佬们如果有什么见解欢迎指导. 这里主要总结一下搭建过程. 一.rsyslog rsyslog是如今大多数linux自带的日志收集,这里主要说一下rsyslog的简单配置. client端配置它只需要更改准备发送的日志以及在末尾加上Server端使用的协议和IP即可,例如: #加入以下即可 *.* @10.144.1