ELK简单安装

ELK日志分析平台

一、ELK介绍

ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana,都是开源软件,新增一个beats,(轻量级日志处理工具Agent)

Elasticsearch是开源分布式搜索引擎,提供搜索、分析、存储数据三大功能,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等

Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

Beats在这里是一个轻量级日志采集器,其实Beats家族有6个成员,早期的ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash,Beats所占系统的CPU和内存几乎可以忽略不计。

二、elasticsearch搭建

环境介绍:

centos 6.8

JDK 1.8

1.下载ELK的三大组件

Elasticsearc下载地址: https://www.elastic.co/downloads/elasticsearch

Logstash下载地址: https://www.elastic.co/downloads/logstash

Kibana下载地址: https://www.elastic.co/downloads/kibana

2.创建运行elk用户

groupadd elk

useradd -g elk elk

创建运行目录:

mkdir elk

chown -R elk:elk /elk

◆关闭防火墙

3.修改配置参数

配置limit相关参数:

vim /etc/security/limits.conf

添加以下内容

* soft nproc 65536

* hard nproc 65536

* soft nofile 65536

* hard nofile 65536

以上均是由root用户完成

4.安装ELK

由elk用户来操作

tar -xvf elasticsearch-6.5.2.tar.gz

vi config/elasticsearch.yml

修改以下内容

cluster.name: my-application

node.name: node-1

bootstrap.system_call_filter: false(手动添加)

network.host: 192.168.19.95

http.port: 9200

保存退出

5.启动elasticsearch

启动Elasticsearch

./bin/elasticsearch

nohup ./elasticsearch &  ##后台启动

查看是否启动:

netstat -an |grep 9200

6.启动验证

在浏览器中输入http://192.168.19.95:9200/

{

"name" : "node-1",

"cluster_name" : "my-application",

"cluster_uuid" : "O-cNGXEsScSns8Catgq4wg",

"version" : {

"number" : "6.5.2",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "9434bed",

"build_date" : "2018-11-29T23:58:20.891072Z",

"build_snapshot" : false,

"lucene_version" : "7.5.0",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

},

"tagline" : "You Know, for Search"

}

7.启动报错处理

◆max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

解决:切换到root用户,进入limits.d目录下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf

修改如下内容:

* soft nproc 1024

#修改为

* soft nproc 2048

◆max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解决:切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令:

sysctl -p

◆max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

解决:修改切换到root用户修改配置limits.conf 添加下面两行

命令:vi /etc/security/limits.conf

*        hard    nofile           65536

*        soft    nofile           65536

三、logstash搭建

1、解压文件

tar -xvf logstash-6.5.2.tar.gz

2、新建索引配置文件

cd /elk/logstash-6.5.2/bin

mkdir conf

vi conf/logstash-indexer.conf

内容如下:

input {

file {

path=>["/elk/logstash-6.5.2/logs/a.log","/elk/logstash-6.5.2/logs/b.log"]

}

}

output {

elasticsearch { hosts => ["192.168.19.95:9200"] }

stdout { codec => rubydebug }

}

◆◆◆◆◆

input{file{...}}部分指定的是日志文件的位置(可以多个文件)

output部分则是表示将日志文件的内容保存到elasticsearch,这里hosts对应的是一个数组,可以设置多个elasticsearch主机,相当于一份日志文件的内容,可以保存到多个elasticsearch中

3、启动

在logstash /bin 目录下

./logstash -f conf/logstash-indexer.conf

等待片刻,打开另一个窗口,向/elk/logstash-6.5.2/logs/a.log 中写入  hello world 保存退出,然后观察logstash的运行窗口,是否有东西输出

{

"message" => "hello world",

"@version" => "1",

"@timestamp" => "2016-01-08T14:35:16.834Z",

"host" => "yangjunmingdeMacBook-Pro.local",

"path" => "/var/opt/log/a.log"

}

此时浏览http://localhost:9200/_search?pretty 也应该能看到一堆输出,表明elasticsearch接收到logstash的数据了

四、kibana的配置启动

1、修改配置文件

vi /elk/kibana-6.5.2-linux-x86_64/config/kibana.yml

修改第12行:

elasticsearch.url: "http://192.168.19.95:9200"

##指定访问位置

2、启动服务

/elk/kibana-6.5.2-linux-x86_64/bin

./kibana

启动完成后,在浏览器里输入http://localhost:5601/ 即可看到kibana界面,首次运行,会提示创建index,直接点击Create按钮即可。

原文地址:https://www.cnblogs.com/weizhixu/p/10111460.html

时间: 2024-10-31 21:05:46

ELK简单安装的相关文章

ELK简单安装与配置

Elasticsearch是一个分布式可扩展的实时搜索和分析引擎,它能帮助你搜索.分析和浏览数据:它是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎,可以说Lucene是当今最先进,最高效的全功能开源搜索引擎框架. 一.环境介绍 1.架构介绍 ELK是C/S架构的,所以这里列出server和client server : centos 6.6 x86_64 IP: 10.0.90.24 client : centos 6.6 x86_64 IP: 10.0.90.2

ELK简单安装测试

1 介绍组件 Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读). Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. ElasticSearch它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch 中的 Index 是一组具有相似特征的文档集合,类似于关系数据库模型中的数据库实例,Inde

11.ELk部署安装

(1) 安装Logstash依赖包JDK Logstash的运行依赖于Java运行环境, Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java.由于我们只是运行Java程序,而不是开发,下载JRE即可. 下载linux-64的版本.如果使用Linux下载执行如下命令下载即可. 1 #wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz JDK的安装方式比较简单

Centos6.5 x64简单安装MongoDB

Centos6.4 x64简单安装MongoDB 一.下载MongoDB2.4.9版 下载MongoDB wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz 解压MongoDB tar -zxvf mongodb-linux-x86_64-2.4.9.tgz -C /usr/src 移动MongoDB目录 mv /usr/src/mongodb-linux-x86_64-2.4.9 /usr/local/mong

vsftp简单安装

我安装过数次vsftp,但是每次安装完之后就忘记了.下面是最简单安装方法(故不涉及虚拟用户及使用数据库验证用户名密码的问题,只用系统建立的帐号登录. ): rpm -ivh vsftpd-2.0.5-16.el5_4.1.x86_64.rpm 编辑/etc/vsftpd/vsftpd.conf,注意在等号前的部分大小写是敏感的,一定要全部小写,最后所有产生效用 的设置调如下. anonymous_enable=NO   不允许匿名登录(默认为YES,需要修改) local_enable=YES

JBoss AS 7之简单安装(The Return Of The King)

1.3 JBoss As 7安装 安装JBoss As 7分为下面几个步骤: 1.     下载JBoss 下载地址: <span style="font-size:18px;">http://www.jboss.org/jbossas/downloads</span> 选择JBoss As 7 的7.1.1的社区版. 2. 解压: <span style="font-size:18px;">#mkdir –p /usr/loca

ELK的安装配置使用

ELK的安装配置 一.ES集群的安装: 搭建ElasticSearch集群: 使用三台服务器搭建集群 node-1(主节点) 10.170.13.1 node-2(从节点) 10.116.35.133 node-3(从节点) 10.44.79.57 下载安装包 地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.rpm 在三台服务器上分别下载安装elasticsearch-5.4.3.rpm 安装

Windows下简单安装Redis

Windows下简单安装Redis 最新下载地址:https://raw.github.com/mythz/redis-windows/master/downloads/redis64-latest.zip 2. 解压到本地任一目录 (例如 D:/Redis) 3. 命令行进入解压目录,启动(Redis Server): redis-server.exe redis.windows.conf 4. 重新启动一个命令行窗口,启动(Redis client): redis-cli.exe 5. 测试

LAMP环境的yum简单安装

LAMP是Linux+Apache+Mysql+Php的平台环境. 它包括: Linux操作系统. Apache网站运行软件. Mysql数据库. Php网站编辑软件. ---------------------------------------------------------------------- 一般来说,LAMP的安装分为RPM安装和源代码编译安装. 而RPM安装可以使用前端yum忽略依赖关系,进行简单化安装. 而源代码编译安装则需要事先安装编译环境和手动指定安装路径和选项. 下