elk+kafka+zookeeper+filebeat安装

ElasticSearch6.0

ElasticSearch6.0安装

#依赖jdk8
rpm -ivh elasticsearch-6.0.0.rpm
vim /etc/elasticsearch/elasticsearch.yml #配置如下
    node.name: es1
    node.master: true
    node.data: true
    path.data: /home/es/data
    path.logs: /home/es/logs
    network.host: 192.168.55.215
    http.port: 9200
    bootstrap.memory_lock: false   #centos6需要
    bootstrap.system_call_filter: false  #centos6需要
    ##以下两项是head插件访问es需要配置
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    # 设置索引的分片数,默认为5
    #index.number_of_shards: 5
    # 设置索引的副本数,默认为1:
    #index.number_of_replicas: 1
mkdir -p /home/es/{data,logs}
chown -R elasticsearch.elasticsearch /home/es
vim /etc/security/limits.conf #添加或修改以下内容
    *        hard    nproc        4096
    *        soft    nproc        4096
    *        hard    nofile        131072
    *        soft    nofile        65536
/etc/elasticsearch/jvm.options  #更改启动内存,测试环境512M就可以了
    -Xms1g
    -Xmx1g
/etc/sysconfig/elasticsearch    #启动脚本的一些环境变量例如 JAVA_HOME=/opt/java

/etc/init.d/elasticsearch  start  #启动es

ElasticSearch配置文件详解

https://blog.csdn.net/zxf_668899/article/details/54582849

ElasticSearch6.0-head插件安装(界面查看es索引)

#网址:http://www.cnblogs.com/Onlywjy/p/Elasticsearch.html
#包D:\share\src\elk\elk6.0\elasticsearch-head插件
1.安装node
    tar -C /opt/ -zxvf node-v4.4.7-linux-x64.tar.gz

    vim /etc/profile.d/node.sh   #配置node环境变量
        export NODE_HOME=/opt/node-v4.4.7-linux-x64
        export PATH=$PATH:$NODE_HOME/bin
        export NODE_PATH=$NODE_HOME/lib/node_modules
    source /etc/profile.d/node.sh

2.安装grunt
    unzip elasticsearch-head-master.zip
    cd elasticsearch-head-master
    npm install -g grunt-cli  //执行后会生成node_modules文件夹

    grunt -version #检查是否安装成功

    修改head插件源码
        修改服务器监听地址:Gruntfile.js  #93行,默认端口号库9100
    修改连接地址:_site/app.js   #4354行,修改es连接地址

3.运行head
    在elasticsearch-head-master目录下
    npm install   #(安装下载下来的包,如果出错再执行一遍)
    grunt server &  #后台启动、netstat -lnp | grep 9100
4.访问http://xxx:9100

5.head使用https://www.cnblogs.com/yanan7890/p/6640289.html

ElasticSearch6.0索引清理

curl -XGET ‘http://192.168.55.219:9200/_cat/indices/?v‘  #查询索引
curl -XDELETE ‘http://127.0.0.1:9200/logstash-2016-07-*‘  #api删除索引

脚本加api删除(推荐)
    vim /opt/sh/es-index-clear.sh

    #/bin/bash

    #指定日期(7天前)
    DATA=`date -d "1 week ago" +%Y.%m.%d`

    #当前日期
    time=`date`

    #删除7天前的日志
    curl -XDELETE http://127.0.0.1:9200/*-${DATA}

    if [ $? -eq 0 ];then
      echo $time"-->del $DATA log success.." >> /tmp/es-index-clear.log
    else
      echo $time"-->del $DATA log fail.." >> /tmp/es-index-clear.log
    fi
添加到任务计划
    crontab -e
    10 1 * * * sh /tmp/es-index-clear.sh > /dev/null 2>&1

elasticSearch常用命令

原网址:https://zhaoyanblog.com/archives/732.html
curl ‘localhost:9200/_cluster/health?pretty‘ 健康检查
curl ‘localhost:9200/_cluster/state?pretty‘    集群详细信息

原文地址:https://www.cnblogs.com/hanxiaohui/p/9515118.html

时间: 2024-10-27 18:50:33

elk+kafka+zookeeper+filebeat安装的相关文章

Kafka+Zookeeper+Filebeat+ELK 搭建日志收集系统

ELK ELK目前主流的一种日志系统,过多的就不多介绍了 Filebeat收集日志,将收集的日志输出到kafka,避免网络问题丢失信息 kafka接收到日志消息后直接消费到Logstash Logstash将从kafka中的日志发往elasticsearch Kibana对elasticsearch中的日志数据进行展示 image 环境介绍: 软件版本: - Centos 7.4 - java 1.8.0_45 - Elasticsearch 6.4.0 - Logstash 6.4.0 - F

ELK5.2+kafka+zookeeper+filebeat集群部署

架构图 考虑到日志系统的可扩展性以及目前的资源(部分功能复用),整个ELK架构如下: 架构解读 : (整个架构从左到右,总共分为5层) 第一层.数据采集层 最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务(2.187.2.189) 第二层.数据处理层,数据缓存层 logstash服务把接受到的日志经过格式处理,转存到本地的kafka broker+zookeeper 集群中. 第三层.数据转发层 这个单独的Logstash(2.1

ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://tchuairen.blog.51cto.com/3848118/1861167 什么要做日志分析平台? 随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了,而且除了服务器日志,还有程序报错日志,分布在不同的服务器,查阅繁琐. 待解决的痛点: 1.大量不同种类的日志成为了运

ELK + kafka + filebeat +kibana

架构说明 app-server(filebeat) -> kafka -> logstash -> elasticsearch -> kibana 服务器用途说明 系统基础环境 # cat /etc/redhat-release  CentOS release 6.5 (Final) # uname -r 2.6.32-431.el6.x86_64 192.168.162.51    logstash01 192.168.162.53    logstash02 192.168.1

filebeat+kafka+ELK5.4安装与部署

用ELK打造强大的日志分析平台,具体拓扑结构如下: 在这里我们将进行kafka+filebeat+ELK5.4的部署 各软件版本 jdk-8u131-linux-i586.tar.gz filebeat-5.4.0-linux-x86_64.tar.gz elasticsearch-5.4.0.tar.gz kibana-5.4.0-linux-x86_64.tar.gz logstash-5.4.0.tar.gz kafka_2.11-0.10.0.0.tgz 1.JDK安装配置(略过) 2.

elk+kafka+rsyslog+hadoop-hdfs+zookeeper搭建及其应用笔记

一:简述 本人之前搭建elk+redis架构收集日志,出现瓶颈,现使用新架构(els+kafka+rsyslog+hadoop-hdfs+zookeeper),解决方案. 二:搭建过程 A.rsyslogd服务 通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V8.X的版本变化. 最新V8稳定版已经提供RPM包的Rsyslog-kafka插件了,直接yum安装即可,添加yum源: [rsysl

ELK + Kafka + Filebeat

ELK + Kafka + Filebeat学习 https://blog.csdn.net/qq_21383435/article/details/79463832 https://blog.csdn.net/xiangyuan1988/article/details/78977471 https://www.jianshu.com/p/f149a76ea5b5 https://blog.csdn.net/qq_21383435/article/category/7486820 ELK + K

zookeeper+kafka集群安装之二

zookeeper+kafka集群安装之二 此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装参考: http://blog.csdn.net/ubuntu64fan/article/details/26678877 首先了解几个kafka中的概念: kafka是一个消息队列服务器,服务称为broker, 消息发送者称为producer, 消息接收者称为consumer; 通常我们部署多个b

zookeeper+kafka集群安装之一

zookeeper+kafka集群安装之一 准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下: $ cat /etc/hosts ... # zookeeper hostnames: 192.168.8.182 zk1 192.168.8.183 zk2 192.168.8.184 zk3 2) 每台机器上安装jdk, zookeeper, kafka, 配置如下: $ vi /etc/profile ... # jdk, zookeeper, kafka export KA