Rsyslog+ELK日志分析系统搭建总结1.0(测试环境)

  因为工作需求,最近在搭建日志分析系统,这里主要搭建的是系统日志分析系统,即rsyslog+elk。

  因为目前仍为测试环境,这里说一下搭建的基础架构,后期上生产线再来更新最后的架构图,大佬们如果有什么见解欢迎指导。

这里主要总结一下搭建过程。

一.rsyslog

  rsyslog是如今大多数linux自带的日志收集,这里主要说一下rsyslog的简单配置。

  client端配置它只需要更改准备发送的日志以及在末尾加上Server端使用的协议和IP即可,例如:

#加入以下即可
*.* @10.144.100.32:514

二.logstash配置

  logstash只需要将rsyslog收集起来并转发至elasticsearch即可,配置如下:

vi /etc/logstash.conf
input{
    syslog{
        type => "system-syslog"
        port => 514
    host => "10.144.100.32"
    }
}

filter {
    date {
        match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
        locale => "cn"
  }

}

output{
 elasticsearch {
        hosts => ["10.24.180.19:9200"]
    user => "elastic"
    password=> "123456"
        index => "blockchain-%{type}-%{+YYYY.MM.dd}"
    codec => "json"
    }
stdout { codec => json }
}
cd logstash-5.5.1/bin/
./logstash -f /etc/logstash.conf

三.Elasticsearch搭建

   elasticsearch搭建起来比较简单,直接在https://www.elastic.co/downloads/elasticsearch下载elasticsearch压缩包,解压下来。  

cd elasticsearch-5.5.1/bin/./elasticsearch &

  本地浏览器访问http://localhost:9200

  注意:安装elasticsearch尽量先改一下内核参数和资源参数,我在阿里云上搭建的,默认的内核参数和资源参数可能会导致启动失败。

vim /etc/sysctl.conf
#修改或添加以下参数
fs.file-max=65536
vm.max_map_count = 262144

vim /etc/security/limits.conf
#修改或添加以下参数
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

  elasticsearch有几个比较推荐的插件,这里介绍一下head插件安装,并通过head插件介绍一下elasticsrach的一些基本概念。

  首先介绍一下head的安装,ES5.0之前head插件是直接可以通过elasticsearch-plugin install安装,5.0之后不可以直接插件安装,但依然是可以安装使用的。

  这里简单介绍下安装过程。

  首先,设置下ES同源访问策略:

vim elasticsearch-5.5.0/conf/elasticsearch.yml
#在末尾添加如下内容:
http.cors.enabled: true
http.cors.allow-origin: "*"

  然后,通过npm进行安装:

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start

  当然,elasticsearch如果直接暴露在外网上是非常危险的,这里安装一款x-pack插件,可将此端口设置账户密码。

cd elasticsearch-5.5.0/bin/
./ealsticseearch-plugin intsall x-pack

  安装完x-pack后,直接访问9200端口会提示输入账号和密码,这增加了elasticsearch的一些安全性,默认的账号密码是elastic:changeme,更改账号密码课通过调用restful

API

curl -XPUT -u elastic ‘localhost:9200/_xpack/security/user/elastic/_password‘ -d ‘{
  "password" : "elastic"
}‘

四.Kibana搭建

  kibana是配合Elasticsearch一起使用的可视化分析平台,说白了就是更形象的表示Elasticsearch的结果。

vim kibana/config/kibana.yml
server.port: 5601
server.host: 0.0.0.0
elasticsearch.url: "http://localhost:9200"
elasticsearch.username: "elastic"
elasticsearch.password: "changeme"

  本地浏览器输入localhost:5601即可

时间: 2024-10-11 17:50:44

Rsyslog+ELK日志分析系统搭建总结1.0(测试环境)的相关文章

ELK日志分析系统搭建配置

我们主要用ELK日志分析系统来分析Nginx访问日志,mysql慢查询日志,tomcat运行日志以及系统日志等. 介绍:ELK:ElasticSearch+LogStash+Kibana=ElkStackElasticSearch:存储.收索.分析(可以用solr替代)LogStash:收集器,输入,处理分析,存储到ESKibana:展示备注:ElasticSearch支持集群功能,日志收集后会在每个节点存放一份(可以选择) 1.安装jdkwget http://sg-new.oss-cn-ha

ELK日志分析系统搭建部署

Logstash+ElasticSearch+Kibana3架构日志系统   一,分析系统简介 日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在各个生产服务器,且开发人员无法登陆生产服务器,这时候就需要一个集中式的日志收集装置,对日志中的关键字进行监控,触发异常时进行报警,并且开发人员能够查看相关日志.logstash+elasticsearch+kibana3就是实现这样功能的一套系统,并且功能更强大. logstash是一个管理日志和事件的工具,你可以收集它

最新ELK日志分析系统搭建

环境:centos6.8 准备好ELK三个安装包,到官网下 官网 https://www.elastic.co/ 1.安装elasticsearch 这里安装1.8版本的 2.安装elasticsearch     下载安装包(tar)https://www.elastic.co/downloads/elasticsearch 直接解压到/usr/local下面 tar -xzf elasticsearch-5.2.0.tar.gz -C /usr/local/ 这个版本的elasticsear

十分钟搭建和使用ELK日志分析系统

前言 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为"十分钟搭建和使用ELK日志分析系统"听起来有点唬人,其实如果单纯满足可视化要求,并且各软件都已经下载到本地,十分钟是可以搭建一个ELK系统的.本文介绍如何快速安装.配置.使用EK+FILEBEAT去实现日志搜集.本文中没有使用LOGSTASH做日志搜集过滤,但为了后期需要先进行了安装. 工作原理 ElasticSearch:是

CentOS7下Elastic Stack 5.0日志分析系统搭建

一.概述 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个开源的用于收集,分析和存储日志的工具. Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以汇总.分析和搜索重要数据日志. Beats是elasticsearch公司开源的一款采集系统监控数据的代理ag

在CentOS7中部署ELK日志分析系统

在CentOS7中部署ELK日志分析系统 ELK原理介绍 什么是ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具. Elasticsearch是实时全文搜索和分析引擎,提供搜集.分析.存储数据三大功能:是一套开放REST和JAVA API等

ELK日志分析系统 介绍 安装配置

ELK日志分析系统 一.ELK介绍 ELK顾名思义:是由Elasticsearch,Logstash 和 Kibana三部分组成的. 其中Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析.它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写.目前,最新的版本是 5.4. 主要特点 实时分析 分布式实时文件存储,并将每一个字段都编入索引 文档导向,所有的对象全部是文档 高可用性,易扩展,支持集群(Cl

elk 日志分析系统Logstash+ElasticSearch+Kibana4

elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示客户端 redis 缓存 安装包 logstash-1.4.2-1_2c0f5a1.noarch.rpm elasticsearch-1.4.4.noarch.rpm logstash-contrib-1.4.2-1_efd53ef.noarch.rpm kibana-4.0.1-linux-x64.tar

基于Docker容器部署ELK日志分析系统

部署ELK日志分析系统,比较消耗计算机硬件,如果使用虚拟机进行测试部署,建议分配较多的硬件资源,否则,当elk容器运行后,会使其无法正常运行.我这里将分配给docker主机5G内存,四个CPU. 一.环境准备 我这里使用一台docker主机(如需要部署docker服务,可以参考博文:Docker的安装详细配置),其IP地址为192.168.20.6,在其之上运行elk容器. 二.配置docker主机运行elk容器 [[email protected] ~]# echo "vm.max_map_c