ELK平台搭建 ES

系统环境:

System: Centos 6.5

ElasticSearch: 2.3.3

Logstash: 2.3.3

Kibana: 4.5.1

Java: jdk_1.8.0_71

新建用户:

ELK不允许root用户启动

#useradd elk

JDK或JRE下载安装:

java也可到这个地址下载https://www.reucon.com/cdn/java/

# mkdir /usr/java/ 
# cd /usr/java
# tar -zxvf jdk-8u71-linux-x64.tar.gz
# 修改文件夹名,防止异常,养成好习惯
# mv jdk1.8.0_71 jdk18071
# 配置环境变量
# vi /etc/profile
    export JAVA_HOME=/usr/java/jdk18071
    export JAVA_BIN=$JAVA_HOME/bin
    export JRE_HOME=$JAVA_HOME/jre
    export JRE_bin=$JRE_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
    export PATH=$JAVA_BIN:$PATH
# 配置生效
# source /etc/profile

Redis安装

# yum install epel-release –y
# yum install redis –y

修改redis配置文件使redis监听所有ip,默认情况下只监听127.0.0.01

# vi /etc/redis.conf
   bind 0.0.0.0

启动Redis

CentOS 6

# service redis start

CentOS 7

# systemctl restart redis.service

下载:

ELK下载:https://www.elastic.co/downloads/

ElasticSearch安装:

建立存放目录:

切记:涉及ElasticSearch的目录和文件,一定要全修改权限,否则启动会报错。

# mkdir -p /elk/{data,logs,work,plugins,scripts}
# chown -R elk:elk /elk

配置ElasticSearch:

# tar -zxvf elasticsearch-2.3.3.tar.gz
#  chown -R elk:elk elasticsearch-2.3.3
# cd elasticsearch-2.3.3

安装Head插件(Optional):

# ./bin/plugin install mobz/elasticsearch-head

然后编辑ES的配置文件:

# vi config/elasticsearch.yml

修改以下配置项:

cluster.name:cluster(集群名称)
node.name:"test-node1"(集群结点名称)
path.data:/elk/data(数据)
path.logs:/elk/logs(日志路径)
node.master: true(是否可被选为主结点,默认true)
node.data: true(结点是否存储数据,默认true)
index.number_of_shards:5(索引分片数)
index.number_of_replicas:1(索引副本数)
transport.tcp.port:9300(数据传输IP)
network.host:192.168.1.100(当前hostname或IP,我这里是IP)
http.port: 9200(对外访问监听IP)

启动ES:

使用ctrl+C停止,参数-d 或& 为后台启动

$ ./bin/elasticsearch -d
$ ./bin/elasticsearch &

测试:

curl -X GET http://IP:9200

返回展示了配置的cluster_name和name,以及安装的ES的版本等信息。

刚刚安装的head插件,它是一个用浏览器跟ES集群交互的插件,可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。

现在也可以使用它打开http://IP:9200/_plugin/head页面来查看ES集群状态。

可以看到,现在,ES集群中没有index,也没有type,因此这两条是空的。

Logstash安装:

配置Logstash:

tar -zxvf logstash-2.1.1.tar.gz
cd logstash-2.1.1

编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log4j_to_es.conf):

mkdir config
vi config/log4j_to_es.conf

输入以下内容:

# For detail structure of this file
# Set: https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html
input {
  # For detail config for log4j as input, 
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
  log4j {
    mode => "server"
    host => "192.168.1.100" #IP or HostName
    port => 4567
  }
}
filter {
  #Only matched data are send to output.
}
output {
  # For detail config for elasticsearch as output, 
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  elasticsearch {
    action => "index"          #The operation on ES
    hosts  => "192.168.1.100:9200" #IP or HostName,ElasticSearch host, can be array.
    index  => "applog"         #The index to write data to.
  }
}

启动:

使用agent来启动它(使用-f指定配置文件):

./bin/logstash agent -f config/log4j_to_es.conf

启动成功

参考文章:

http://my.oschina.net/itblog/blog/547250

http://blog.csdn.net/gongzi2311/article/details/51699958

http://blog.csdn.net/laoyang360/article/details/51417097

时间: 2024-12-22 23:58:18

ELK平台搭建 ES的相关文章

开源日志分析系统ELK平台搭建部署

开源日志分析系统ELK平台搭建部署 一.前言 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总. 集中化管理

elk平台搭建

很多时候我们需要对日志做一个集中式的处理,但是通常情况下这些日志都分布到n台机器上面,导致一个结果就是效率比较低,而ELK平台可以帮助我们解决这么一件事情: ELK下载:https://www.elastic.co/downloads/ 组件说明: 1)Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. 2)Logstash是一个完全开源的工具,他可以对你的日志进行收集.过滤,并将

日志分析ELK平台搭建

当服务器数量以及应用达到一定的数量后,操作系统日志以及应用软件日志数量庞大,遇到问题时日志是第一手资料.平时用的sed.grep.awk已经难以满足我们的需求.随着互联网技术的发展,好多大型互联网公司研发了不同的日志分析产品,例如开源的Graylog.ELK还有Splunk等,同时Splunk也是一个商业产品,功能很强大,但是在目前的互联网领域里ELK的使用应该是更广泛.接下来会根据官网资料搭建ELK平台. 环境介绍: 操作系统  CentOS 7.4 Java版本:openjdk 1.8.0_

五十七.分布式ELK平台、ES安装 、 扩展插件 、Kibana安装

1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台,不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分析.处理 Kibana:负责日志的可视化 ELK组件在海量日志系统的运维中,可用于解决分布式日志数据集中式查询和管理系统监控等,故障排查,安全信息和事件管理,报表功能 部署Elasticsearch分

五、分布式elk平台、ES安装、kibanaanz

1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台,不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分析.处理 Kibana:负责日志的可视化 ELK组件在海量日志系统的运维中,可用于解决分布式日志数据集中式查询和管理系统监控等,故障排查,安全信息和事件管理,报表功能 部署Elasticsearch分

ELK平台搭建及日志监控

一.使用背景 当生产环境有很多服务器.很多业务模块的日志需要每时每刻查看时 二.环境 系统:centos 6.5 JDK:1.8 Elasticsearch-5.0.0 Logstash-5.0.0 kibana-5.0.0 三.安装 1.安装JDK 下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 本环境下载的是64位tar.gz包,将安装包拷贝至安装服务器/usr

ELK平台搭建部署

1.获取软件: 2.安装elasticsearch 修改几个文件: 2.1./etc/security/limits.conf: * soft nproc 2048 * hard nproc 4096 * soft nofile 65536 * hard nofile 131072 2.2./etc/sysctl.conf,添加如下: vm.max_map_count = 655360 2.3./etc/security/limits.d/20-nproc.conf: * soft nproc

Windows环境下ELK平台的搭建

.背景 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果需要管理数十上百台服务器,必须依次登录每台机器的传统方法查阅日志,这样很繁琐和效率低下.当务之急是使用集中化的日志管理,开源实时日志分析ELK平台能够完美的解决上述所提到的问题. 2.工具 ELK由ElasticSearch(ES).Logs

ELK日志分析平台搭建----ELASTICSEARCH

介绍:ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成 1.Elasticsearch是一个开源分布式的搜索引擎,特点是:分布式.零配置.自动发现.索引自动分片.索引副本机制.restful风格接口,多数据源,自动搜索负载等. 2.Logstash是一个完全开源的工具,它可以对你的日志进行收集.过滤,并将其存储供以后使用(比如:搜索) 3.Kibana也是一个开源免费的工具,它可以为Logstash和ElasticSearch提供的日志分析友好的WEB界面,可