elk日志收集平台搭建记录

ELK是指Elasticsearch + Logstash + Kibaba三个组件的组合。

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

搭建前准备:

1、创建一个本地帐号elasticsearch和elasticsearch组;

2、#vi /proc/sys/fs/file-max,添加797934

3、#vi /etc/security/limits.d/90-nproc.conf

root       soft    nproc     unlimited

4、vi /etc/sysctl.conf

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 68719476736

kernel.shmall = 4294967296

步骤2-4是开启最大文件限制等操作

搭建过程:

由于没有集群,本次实验是在一台centos 6.5系统上搭建的,elk版本为5.4.0。

elk安装

1、机器的JAVA版本最低要求为1.8.0,centos 7自带JAVA1.8.0,centos 6.5的可在百度或者谷歌查找安装过程,并不难;

2、在官网https://www.elastic.co/downloads下载Elasticsearch、Logstash、Kibana。我下载的是tar包。

3、解压至/usr/loacl,如

#tar -xf elasticsearch-5.4.0.tar.gz

#cp -r /home/cnc/elasticsearch-5.4.0/* /usr/local/elastisearch

X-PACK安装

#/usr/local/elastisearch/bin/elasticsearch-plugin install x-pack

Kibaba的X-PACK安装方法同上

elasticsearch配置文件修改:

#vi /usr/local/elasticsearch-5.4.0/config/elasticsearch.yml

添加如下项:

http.cors.enabled: true

http.cors.allow-origin: "*"

bootstrap.system_call_filter: false

xpack.security.enabled: false  ##关闭elasticsearch安全机制,不关闭会导致head插件连接不上集群

network.host: 你的公网IP地址或127.0.0.1

logstash配置文件修改:

#vi /usr/local/logstash/config/logstash.yml

添加如下:

path.data: /usr/local/logstash-5.4.2/data/   ##数据存放位置,可随意指定也可默认

path.config: /usr/local/logstash-5.4.2/conf.d  ##配置存放位置,可随意指定

xpack.monitoring.enabled: true

xpack.monitoring.elasticsearch.url: 公网IP地址(或127.0.0.1):9200

http.host: "(公网IP或127.0.0.1)"

kibana配置文件修改:

#vi /usr/local/kibana/config/kibana.yml

添加如下:

http.host: "IP地址"

elasticsearch.url: "http://IP地址:9200"

elastisearch-head插件安装

所需要的软件:git gcc gcc-c++ node grunt,其中grunt需要用node来安装。centos 6.5安装node建议安装老版本,新版本要求gcc的版本要到最新。cenots 7可以无视。我的系统是centos 6.5所以安装的是nodev6.9.2,下载地址https://nodejs.org/dist/v6.9.2/node-v6.9.2-linux-x64.tar.gz

#yum install -y git

#git clone git://github.com/mobz/elasticsearch-head.git  ##下载head插件

#tar -xf node-v6.9.2-linux-x64.tar.gz

#ln -s node-v6.9.2-linux-x64/bin/node /usr/local/bin/node

#ln -s node-v6.9.2-linux-x64/bin/npm /usr/local/bin/npm

#cd elasticsearch-head-master   ##解压head插件包得到的文件

#npm install -g cnpm --registry=https://registry.npm.taobao.org

#vi Gruntfile.js

修改如下选项:

#npm isntall grunt-cli  ##head插件需要用grunt启动

#grunt server           ##启动head插件

时间: 2024-10-12 19:04:05

elk日志收集平台搭建记录的相关文章

FILEBEAT+ELK日志收集平台搭建流程

filebeat+elk日志收集平台搭建流程 1.         整体简介: 模式:单机 平台:Linux - centos - 7 ELK:elasticsearch.logstash.kibana三款开源软件的集合. FILEBEAT:代替logstash的采集功能,轻量.耗用小. 目前收集的有nginx日志.java日志[单行|多行]. 都是通过在客户端的生成日志配置文件中定义好初步json格式,然后利用filebeat采集到logstash,存储到elasticsearch,最后通过k

ELK日志分析平台搭建----ELASTICSEARCH

介绍:ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成 1.Elasticsearch是一个开源分布式的搜索引擎,特点是:分布式.零配置.自动发现.索引自动分片.索引副本机制.restful风格接口,多数据源,自动搜索负载等. 2.Logstash是一个完全开源的工具,它可以对你的日志进行收集.过滤,并将其存储供以后使用(比如:搜索) 3.Kibana也是一个开源免费的工具,它可以为Logstash和ElasticSearch提供的日志分析友好的WEB界面,可

ELK日志分析平台搭建

ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样

ELK日志收集平台部署

需求背景 一位朋友的公司研发最近有一些苦恼.由于他们公司的后台服务有三台,每当后台服务运行异常,需要看日志排查错误的时候,都必须开启3个ssh端口进行查看,研发们觉得很不方便,于是便有了统一日志收集与查看的需求. 这里,我用ELK集群,通过收集三台后台服务的日志,再统一进行日志展示,实现了这一需求. 当然,当前只是进行了简单的日志采集,如果后期相对某些日志字段进行分析,则可以通过logstash以及Kibana来实现. 部署环境 系统:CentOS 7 软件: elasticsearch-6.1

ELK日志分析平台搭建全过程

一.使用背景 当生产环境有很多服务器.很多业务模块的日志需要每时每刻查看时 二.环境 系统:centos 6.5 JDK:1.8 Elasticsearch-5.0.0 Logstash-5.0.0 kibana-5.0.0 三.安装 1.安装JDK 下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 本环境下载的是64位tar.gz包,将安装包拷贝至安装服务器/usr

ELK日志收集系统搭建

 架构图 ELK  架构图:其中es 是集群,logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发),kibana是单机(用不着做成集群). 1.拓扑图 2.logstash 收集日志示意图.   3.带有redis的流程图.  ELK部署 1.三种组件下载地址:https://www.elastic.co/downloads 当然所有的资料都已经有中文翻译,去这里吧. http://kibana.logstash.es/content/kibana/v3/configu

结合Docker快速搭建ELK日志收集分析平台

结合Docker快速搭建ELK日志收集分析平台 2017-03-27 09:39 阅读 172 评论 0 作者:马哥Linux运维-Eason ELK Stack ELK (Elasticsearch + Logstash + Kibana),是一个开源的日志收集平台,用于收集各种客户端日志文件在同一个平台上面做数据分析. Introduction Elasticsearch, 基于json分析搜索引擎Logstash, 动态数据收集管道Kibana, 可视化视图将elasticsearh所收集

ELK+Kafka 企业日志收集平台(一)

背景: 最近线上上了ELK,但是只用了一台Redis在中间作为消息队列,以减轻前端es集群的压力,Redis的集群解决方案暂时没有接触过,并且Redis作为消息队列并不是它的强项:所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里:传送门  ,关于ELK的知识网上有很多的哦, 此篇博客主要是总结一下目前线上这个平台的实施步骤,ELK是怎么跟Kafka结合起来的.好吧,动手! ELK架构拓扑: 然而我这里的整个日志收集平台就是这样的拓扑: 1,使用

极速赛车平台出租与ELK日志分析平台

什么是ELK呢?极速赛车平台出租 Q2152876294 论坛:diguaym.com ELK是三个组件的缩写, 分别是elasticsearch, logstash, kibana. ELK平台可以用于实现日志收集.日志搜索和日志分析 1.elasticsearch(es): 它是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. 2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据,