CentOS7搭建ELK6.0.1

CentOS7搭建ELK6.0.1
1.准备工作:
源码包路径:/usr/local/src/
elasticsearch: elasticsearch-6.0.1.tar.gz
kibana: kibana-6.0.1-linux-x86_64.tar.gz
logstash: logstash-6.0.1.tar.gz
jdk: jdk-8u65-linux-x64.gz

2.安装java环境

cd /usr/local/src
tar zxf jdk-8u65-linux-x64.gz -C /usr/local/
ln -s jdk1.8.0_65 jdk
echo "PATH=/usr/local/jdk/bin:$PATH" >> /etc/profile
source /etc/profile

3.ELK环境配置
#修改系统文件
vi /etc/security/limits.conf
#增加的内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 2048
* hard nproc 4096

#修改系统文件
vi /etc/security/limits.d/20-nproc.conf
#调整成以下配置

*          soft    nproc     4096
root       soft    nproc     unlimited

#修改系统文件
vi /etc/sysctl.conf

#增加的内容
vm.max_map_count=655360
fs.file-max=655360
sysctl -p

#创建ELK用户
useradd elk

4.Elasticsearch 部署

mkdir /usr/local/elk6.0.1
cd /usr/local/src/
tar zxf elasticsearch-6.0.1.tar.gz -C /usr/local/elk6.0.1/
cd /usr/local/
ln -s elk6.0.1/elasticsearch-6.0.1 elasticsearch

修改配置文件:

vim kibana/config/kibana.yml
vi elasticsearch/config/elasticsearch.yml
    cluster.name: es-cluster               # 集群名称
    node.name: node-master                 # master节点名称
    node.master: true                      # 是否为master
    node.data: true                        # 是否为数据节点
    path.data: /home/apps/elasticsearch    # 数据保存路径
    path.logs: /home/logs/elasticsearch    # 日志路径
    network.host: 172.16.8.8               # 监听IP,若为0.0.0.0 表示监听全网IP
    http.port: 9200                        # 端口
    discovery.zen.ping.unicast.hosts: ["172.16.8.8:9200"]   # 配置自动发现的主机
    discovery.zen.minimum_master_nodes: 1                   # 配置只有一个master

创建数据目录:
mkdir -p /home/apps/elasticsearch /home/logs/elasticsearch
修改权限,开放端口访问

chown -R elk:elk /usr/local/elk6.0.1 elasticsearch /home/apps/elasticsearch /home/logs/elasticsearch
firewall-cmd --add-port=9200/tcp --permanent
firewall-cmd --add-port=9300/tcp --permanent
firewall-cmd --reload

启动服务:

su - elk;
/usr/local/elasticsearch/bin/elasticsearch -d

查看健康状态(如果返回status=green表示正常):
curl http://172.16.8.8:9200/_cluster/health?pretty

5.Logstash 部署

cd /usr/local/src/
tar zxf logstash-6.0.1.tar.gz -C /usr/local/elk6.0.1/
cd /usr/local/
ln -s elk6.0.1/logstash-6.0.1 logstash

修改配置文件:

vi logstash/config/logstash.yml
    path.logs: /home/logs/logstash   # 日志路径

创建数据目录 && 授权:

mkdir -p /home/logs/logstash
chown -R elk:elk elk6.0.1/logstash-6.0.1 logstash /home/logs/logstash

6.Logstash 安装JDBC插件
/usr/local/logstash/bin/logstash-plugin install logstash-input-jdbc
编写配置文件:

vi /usr/local/logstash/config/mysqsl-jdbc.conf
input {
   stdin {}
   jdbc {
      jdbc_driver_library => "/usr/local/logstash/mysql-connector-java-5.1.3.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_connection_string => "jdbc:mysql://192.168.0.211:3306/main"
      jdbc_user => "ops"
      jdbc_password => "123"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      #statement_filepath => "jdbc.sql"
      statement => "SELECT * from qp_inquiry"
      schedule => "* * * * *"
      type => "jdbc"
   }
}

filter {
   json {
      source => "message"
      remove_field => ["message"]
   }
}

output {
   elasticsearch {
      hosts => "172.16.8.8:9200"
      index => "mysql_query"
      document_id => "%{id}"
   }
   stdout {
      codec => json_lines
   }
}

检查配置 && 启动logstash服务

/usr/local/bin/logstash -f config/mysqsl-jdbc.conf --config.test_and_exit
/usr/local/bin/logstash -f config/mysqsl-jdbc.conf

7.kibana 部署

cd /usr/local/src/
tar zxf kibana-6.0.1-linux-x86_64.tar.gz -C /usr/local/elk6.0.1/
cd /usr/local/
ln -s elk6.0.1/kibana-6.0.1-linux-x86_64 kibana

修改配置文件:

vi kibana/config/kibana.yml
    server.port: 5601                                # 端口
    server.host: "172.16.8.8"                        # 监听IP
    elasticsearch.url: "http://172.16.8.8:9200"      # 配置ES的IP:PORT

修改权限,开放端口访问

chown -R elk:elk elk6.0.1/kibana-6.0.1-linux-x86_64 kibana
firewall-cmd --add-port=5601/tcp --permanent
firewall-cmd --reload

切换账号,启动服务

su - elk;
nohup /usr/local/kibana/bin/kibana &

访问:
浏览器访问: 172.16.8.8:5601

原文地址:http://blog.51cto.com/11924224/2142569

时间: 2024-10-07 12:39:32

CentOS7搭建ELK6.0.1的相关文章

Centos7搭建redis5.0.5集群

Centos7搭建redis5.0.5集群 发表于 2019-09-06 | 分类于 Linux, Redis Redis是一个开源(BSD许可),内存数据结构存储,用作数据库,缓存和消息代理.它支持数据结构,如字符串,散列,列表,集合,带有范围查询的排序集,位图,超级日志,具有半径查询和流的地理空间索引.Redis具有内置复制,Lua脚本,LRU驱逐,事务和不同级别的磁盘持久性,并通过Redis Sentinel提供高可用性并使用Redis Cluster自动分区. 官网地址 一.集群方案比较

centos7 搭建zabbix3.0.5监控系统

一.实验环境: [[email protected] ~]# cat /etc/redhat-release  CentOS Linux release 7.2.1511 (Core)  [[email protected] ~]# uname -r 3.10.0-327.el7.x86_64 [[email protected] ~]# [[email protected] ~]# ifconfig eno16777736 eno16777736: flags=4163<UP,BROADCAS

Centos7+kafka+ELK6.5.x安装搭建

Centos7+kafka+ELK6.5.x安装搭建 1   数据的流向 数据源端使用logstash收集udp 514日志输出到kafka中做测试(可选择filebeat,比较轻量级.对CPU负载不大.不占用太多资源:选择rsyslog对 kafka的支持是 v8.7.0版本及之后版本).如下流程: logstash(udp 514) => kafka(zookeeper) 集群=> logstash(grok) => elasticsearch集群 => kibana Logs

centos7搭建ELK Cluster集群日志分析平台(二)

续  centos7搭建ELK Cluster集群日志分析平台(一) 已经安装完Elasticsearch 5.4 集群. 安装Logstash步骤 1. 安装Java 8 官方说明:需要安装Java 8 ,不支持Java 9... //自行安装,略过 2. 安装Logstash 可以同elasticsearch一样建立repo文件通过yum安装,也可以去官网直接下载rpm包进行本地安装:   ~]# rpm -ivh logstash-5.4.0.rpm  //这里直接下载好进行本地安装 3.

用Centos7搭建小微企业Samba文件共享服务器【转】

转自 用Centos7搭建小微企业Samba文件共享服务器 - 今日头条(www.toutiao.com)http://www.toutiao.com/i6436937837660078593/ 最近研究了一下Linux用户权限和Samba文件共享,为了便于学习,通过一个实例来实现文件共享功能. 假设一个场景,某小微企业共有6人,其中4人为普通员工(user1-user4),2人为管理员(manager1,manager2).为了便于工作,建立一个基于Centos7 的文件共享服务器,服务器上进

CentOS7搭建Kubernetes dashboard

CentOS7搭建Kubernetes dashboard一 环境声明Centos7三台,master节点一台,node节点两台Dashboard需要一个镜像,需要执行命令下载:docker pull mritd/kubernetes-dashboard-amd64:v1.5.1ps:还有很多其他的镜像也能搭建dashboard,不过这个版本是汉化版 注意:两个node节点都需要下载此镜像,master节点不用,因为dashboard的pod会被master调度到两台node之一去创建,不会在m

基于CentOS7搭建mongodb(3.6.6版本)

基于CentOS7搭建mongodb(3.6.6版本) mongodb简介 Mongodb,分布式文档存储数据库,由C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案.MongoDB是一个高性能,开源,无模式的文档型数据库,是当前NoSql数据库中比较热门的一种.它在许多场景下可用于替代传统的关系型数据库或键/值存储方式.Mongo使用C++开发.MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的.他支持的数据结构非常松散,

Centos7搭建Harbor私有仓库(一)

1 说明 前文Centos7搭建DockerRegistry介绍了DockerRegistry的搭建,但它没有UI页面,因此选择Harbor 以下基于镜像CentOS-7-x86_64-Minimal-1804进行搭建 均已root用户进行操作 2 安装docker和docker-compose 参见Centos7安装DockerCE安装Docker引擎 2.1 安装docker-compose 1.下载docker-compose的最新版本 curl -L "https://github.co

阿里云Centos7搭建Samba

2018.11.13第二章前缀不述,略过阿里云控制台等信息(这些都是中文的,稍微瞄一眼都能知道,比较坑的就是规则了,第一个Smaba搭好之后由于没建好规则就一直访问不了,当然这问题百度一下就知道了)自己总结了一下可以搭建的服务,如下列表,然后由易到难开始搭建(主要简单的都会,难的还没开始学).言归正传,开始第一个服务的搭建--Samba.由于本人的学习都是看视频和资料自学,所以老实说很不规范和系统,搭建环境的第一步是干什么?--百度搜阿里云Centos7搭建Samba直接出来一堆,然后再自己归纳