Centos7_ELK5.4.1配置部署

一、概念

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成;

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志

2.下载

官网下载地址:https://www.elastic.co/downloads

从中获取最新版软件包软件包列表:

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz

https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz

https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz

3.注意事项

a、所有节点操作系统版本最好保持一致,centos6.5测试最新版本内核不支持,尽可能使用目前centos7.3稳定版本。Elk服务器配置需要,如果条件运行使用为2C4G,

b、本文档为单机版,即将Elasticsearch、Logstash和Kibana安装在一台服务器上,生产环境建议将其在docker中分开安装,以便快速迁移至物理服务器。

c、关闭selinux,关闭firewalld或添加端口例外.修改主机名称。

二、安装部署

1.安装jdk

yum install -y java-1.8.0-openjdk
hostnamectl set-hostname elk-1            #修改主机名
systemctl stop firewalld                  #关闭firewalld
setenforce 0

2.下载软件包

3.安装elasticsearch

cd /usr/local/tools
tar zxf elasticsearch-5.4.1.tar.gz
mv elasticsearch-5.4.1 /usr/local/elasticsearch
cd /usr/local/elasticsearch/config/

编辑elasticsearch.yml

mkdir -p /usr/local/elasticsearch/data /usr/local/elasticsearch/logs
useradd elasticsearch
chown -R elasticsearch:elasticsearch /usr/local/elasticsearch
echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl -p

elasticsearch不可用root用户启动,新建elasticsearch运行用户

编辑/etc/security/limits.conf文件,新增以下内容

* soft nofile 65536 
* hard nofile 65536 
* soft nproc 65536 
* hard nproc 65536

启动elasticsearch

su - elasticsearch 
cd /usr/local/elasticsearch 
bin/elasticsearch &

查看端口监听信息

curl测试

4.安装logstash

cd /usr/local/tools
tar -zxvf logstash-5.4.1.tar.gz
mv logstash-5.4.1 /usr/local/logstash
cd /usr/local/logstash/config
vim 01-syslog.conf

安装filebeat

cd /usr/local/tools/
tar -zxvf filebeat-5.4.1-linux-x86_64.tar.gz
mv filebeat-5.4.1-linux-x86_64 /usr/local/filebeat
vim /usr/local/filebeat/filebeat.yml

启动filebeat

/usr/local/filebeat
./filebeat &

启动logstash(加载配置文件启动)

cd /usr/local/logstash/
bin/logstash -f config/01-syslog.conf &

查看监听端口

稍等以后屏幕会输出返回的结果

可以用名称测试:curl http://172.17.10.198:9200/_search?pretty

我们想以web形式展现数据,就需要安装kibana

5.安装kibana

cd /usr/local/tools/
tar -zxf kibana-5.4.1-linux-x86_64.tar.gz
mv kibana-5.4.1-linux-x86_64 /usr/local/kibana
cd /usr/local/kibana/config
vim /usr/local/kibana/config/kibana.yml

启动

/bin/kibana &

查看端口监听情况

三、测试

通过web界面访问,创建index patterns

查看创建对应的日志

本文为个人测试ELK最新版本最基础的搭建,可以将其在docker中各应用拆分开部署,后期学习elk的高级用法。

时间: 2024-08-08 22:01:25

Centos7_ELK5.4.1配置部署的相关文章

【WCF全析(二)】--服务配置部署详解

上篇文章主要讨论了WCF的基本内容,其中包括WCF的术语.创建方法及WCF在开发过程中使用的意义,它不仅能够提供程序之间的通信,而且还能提供程序和数据间的通信,WCF提供了多样化的程序之间的通信,不仅支持App的通信而且还支持web与应用程序之间的通信,可谓是功能强大.虽然上文讨论了WCF的基本使用方法,并做了很多Demo,但是都只是关于WCF的创建和调用的,今天来看看WCF的配置方法. WCF 配置导图 上图整理了服务配置过程中所用到的基本的元素,大致的步骤主要是首先要在调用服务的程序集中添加

Hadoop2.7的配置部署及测试

1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7版本的软件 wget http://124.205.69.132/files/224400000162626A/mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.1.tar.gz 下载jdk1.87版本的软件 wget http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-x6

Hive运行架构及配置部署

Hive 运行架构 由Facebook开源,最初用于解决海量结构化的日志数据统计问题:ETL工具: 构建于Hadoop的HDFS和MapReduce智商,用于管理和查询结构化/非结构化数据的数据仓库: 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据: 使用HQL作为查询接口: 使用HDFS作为存储底层: 使用MapReduce作为执行层: 2008年facebook把Hive项目贡献给Apache: 1.Hive的缺点 Hive的HQL表达能力有限:有些复杂运算用HQL不

Project Server 2003配置部署指南_百度文库

Project Server 2003配置部署指南_百度文库 Project server 2003配置部署指南 - 网管地带 - IT博客

aways on 配置部署(二)——配置域

前一篇中我们基本了解了配置aways on的三个步骤,本篇就具体讲解如何配置域. DNS的配置 上篇可以看到三台服务器的ip地址,网关,DNS等配置,其中sqlDNS服务器的dns为自己的ip地址,sql01,sql02的dns为sqldns服务器的ip地址.我们的配置部署就是将sqldns作为dns服务器,域控制服务器,以及群集管理服务器.而三台机器的网关则是局域网交换机的ip地址. 配置域服务器(图片是网络找的,请注意文字说明) 1.添加AD和DNS角色 2.勾选 Active Direct

3-2 Hadoop伪分布模式配置部署

Hadoop伪分布模式配置部署 一.实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 hadoop2.7.6 CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有hadoop基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA

3-3 Hadoop集群完全分布式配置部署

Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息: hostname IP mask gateway DNS 备注 master 172.17.138.82 255.255.255.0 172.17.138.1 202.203.85.88 服务器1 slave1 172.17.138.83 255.255.255.0 172.

jenkins 安装及配置部署操作

jenkins 安装及配置部署操作 jenkins+svn+tomcat and jenkins+git+maven+tomcat jenkins rpm软件包地址: https://pkg.jenkins.io/redhat/jenkins 地址: https://jenkins.io/download/jenkins 地址: http://ftp.icm.edu.pl/packages/jenkins/plugins/文档相关软件下载链接链接:https://pan.baidu.com/s/

Roller5.0.3安装配置部署 step by step

一.下载roller 下载地址:http://roller.apache.org/downloads/downloads.html下载下来之后,解压包含两部份doc.webapps 二.准备环境 1.JDK1.5以上 2.Tomcat 6 and 7 本人采用Tomcat6 3.database 本人采用mysql 5.1.73 4.jar包 1)数据库对应驱动,本人采用mysql-connector-java-5.1.29.jar 2)邮件服务器需要用的,必须加.mail.jar和activa