EFK教程-1

elasticsearch安装:3台es均执行相同的安装步骤

    mkdir -p /opt/software && cd /opt/software

    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-linux-x86_64.tar.gz

    tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

    mv elasticsearch-7.3.2 /opt/elasticsearch

    useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin

    mkdir -p /opt/logs/elasticsearch

    chown elasticsearch.elasticsearch /opt/elasticsearch -R

    chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R

    # 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144,不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]

    echo "vm.max_map_count = 655350" >> /etc/sysctl.conf

    sysctl -p

filebeat安装

    mkdir -p /opt/software && cd /opt/software

    wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.2-linux-x86_64.tar.gz

    mkdir -p /opt/logs/filebeat/

    tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz

    mv filebeat-7.3.2-linux-x86_64 /opt/filebeat

kibana安装

    mkdir -p /opt/software && cd /opt/software

    wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.2-linux-x86_64.tar.gz

    tar -zxvf kibana-7.3.2-linux-x86_64.tar.gz

    mv kibana-7.3.2-linux-x86_64 /opt/kibana

    useradd kibana -d /opt/kibana -s /sbin/nologin

    chown kibana.kibana /opt/kibana -R

nginx安装

    # 只在192.168.1.11安装

    yum install -y nginx

    /usr/sbin/nginx -c /etc/nginx/nginx.conf

elasticsearch配置

# 192.168.1.31 /opt/elasticsearch/config/elasticsearch.yml
    # 集群名字

    cluster.name: my-application

    # 节点名字

    node.name: 192.168.1.31

    # 日志位置

    path.logs: /opt/logs/elasticsearch

    # 本节点访问IP

    network.host: 192.168.1.31

    # 本节点访问

    http.port: 9200

    # 节点运输端口

    transport.port: 9300

    # 集群中其他主机的列表

    discovery.seed_hosts: ["192.168.1.31", "192.168.1.32", "192.168.1.33"]

    # 首次启动全新的Elasticsearch集群时,在第一次选举中便对其票数进行计数的master节点的集合

    cluster.initial_master_nodes: ["192.168.1.31", "192.168.1.32", "192.168.1.33"]

    # 启用跨域资源共享

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    # 只要有2台数据或主节点已加入集群,就可以恢复

    gateway.recover_after_nodes: 2

# 192.168.1.32 /opt/elasticsearch/config/elasticsearch.yml
    # 集群名字

    cluster.name: my-application

    # 节点名字

    node.name: 192.168.1.32

    # 日志位置

    path.logs: /opt/logs/elasticsearch

    # 本节点访问IP

    network.host: 192.168.1.32

    # 本节点访问

    http.port: 9200

    # 节点运输端口

    transport.port: 9300

    # 集群中其他主机的列表

    discovery.seed_hosts: ["192.168.1.31", "192.168.1.32", "192.168.1.33"]

    # 首次启动全新的Elasticsearch集群时,在第一次选举中便对其票数进行计数的master节点的集合

    cluster.initial_master_nodes: ["192.168.1.31", "192.168.1.32", "192.168.1.33"]

    # 启用跨域资源共享

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    # 只要有2台数据或主节点已加入集群,就可以恢复

    gateway.recover_after_nodes: 2

# 192.168.1.33 /opt/elasticsearch/config/elasticsearch.yml
    # 集群名字

    cluster.name: my-application

    # 节点名字

    node.name: 192.168.1.33

    # 日志位置

    path.logs: /opt/logs/elasticsearch

    # 本节点访问IP

    network.host: 192.168.1.33

    # 本节点访问

    http.port: 9200

    # 节点运输端口

    transport.port: 9300

    # 集群中其他主机的列表

    discovery.seed_hosts: ["192.168.1.31", "192.168.1.32", "192.168.1.33"]

    # 首次启动全新的Elasticsearch集群时,在第一次选举中便对其票数进行计数的master节点的集合

    cluster.initial_master_nodes: ["192.168.1.31", "192.168.1.32", "192.168.1.33"]

    # 启用跨域资源共享

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    # 只要有2台数据或主节点已加入集群,就可以恢复

    gateway.recover_after_nodes: 2

filebeat配置

# 192.168.1.11 /opt/filebeat/filebeat.yml
    # 文件输入

    filebeat.inputs:

      # 文件输入类型

      - type: log

        # 开启加载

        enabled: true

        # 文件位置

        paths:

          - /var/log/nginx/access.log

        # 自定义参数

        fields:

          type: nginx_access  # 类型是nginx_access,和上面fields.type是一致的

    # 输出至elasticsearch

    output.elasticsearch:

      # elasticsearch集群

      hosts: ["http://192.168.1.31:9200",

              "http://192.168.1.32:9200",

              "http://192.168.1.33:9200"]

      # 索引配置

      indices:

        # 索引名

        - index: "nginx_access_%{+yyy.MM}"

          # 当类型是nginx_access时使用此索引

          when.equals:

            fields.type: "nginx_access"

    # 关闭自带模板

    setup.template.enabled: false

    # 开启日志记录

    logging.to_files: true

    # 日志等级

    logging.level: info

    # 日志文件

    logging.files:

      # 日志位置

      path: /opt/logs/filebeat/

      # 日志名字

      name: filebeat

      # 日志轮转期限,必须要2~1024

      keepfiles: 7

      # 日志轮转权限

      permissions: 0600

kibana配置

# 192.168.1.21 /opt/kibana/config/kibana.yml
    # 本节点访问端口

    server.port: 5601

    # 本节点IP

    server.host: "192.168.1.21"

    # 本节点名字

    server.name: "192.168.1.21"

    # elasticsearch集群IP

    elasticsearch.hosts: ["http://192.168.1.31:9200",

                          "http://192.168.1.32:9200",

                          "http://192.168.1.33:9200"]

启动服务

    # elasticsearch启动(3台es均启动)

    sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

    # filebeat启动

    /opt/filebeat/filebeat -e -c /opt/filebeat/filebeat.yml -d "publish"

    # kibana启动

    sudo -u kibana /opt/kibana/bin/kibana -c /opt/kibana/config/kibana.yml

原文地址:https://www.cnblogs.com/sanduzxcvbnm/p/12697069.html

时间: 2024-07-31 12:16:07

EFK教程-1的相关文章

EFK教程 - EFK快速入门指南

通过部署elasticsearch(三节点)+filebeat+kibana快速入门EFK,并搭建起可用的demo环境测试效果 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途 ? 实验架构 ? EFK软件安装 ? elasticsearch配置 ? filebeat配置 ? kibana配置 ? 启动服务 ? kibana界面配置 ? 测试 ? 后续文章 用途 ? 通过filebeat实时收集nginx访问日志.传输至elasticsearch集群 ? filebeat将收集的日

EFK教程 - 基于多节点ES的EFK安装部署配置

通过部署elasticsearch(三节点)+filebeat+kibana快速入门EFK,并搭建起可用的demo环境测试效果 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途? 实验架构? EFK软件安装? elasticsearch配置? filebeat配置? kibana配置? 启动服务? kibana界面配置? 测试? 后续文章 用途 ? 通过filebeat实时收集nginx访问日志.传输至elasticsearch集群? filebeat将收集的日志传输至elasti

EFK教程 - ElasticSearch角色分离

通过将elasticsearch的data.ingest.master角色进行分离,搭建起高性能+高可用的ES架构 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途? 架构? 步骤说明? elasticsearch-data部署? elasticsearch-ingest部署? elasticsearch-master部署 用途 在第一篇<EFK教程 - 快速入门指南>中,阐述了EFK的安装部署,其中ES的架构为三节点,即master.ingest.data角色同时部署

EFK教程(3) - ElasticSearch多实例部署

基于ElasticSearch多实例架构,实现资源合理分配.冷热数据分离 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途? 架构? 192.168.1.51 elasticsearch-data部署双实例? 192.168.1.52 elasticsearch-data部署双实例? 192.168.1.53 elasticsearch-data部署双实例? 测试 用途 前情提要: ? 在第一篇<EFK教程 - 快速入门指南>中,阐述了EFK的安装部署,其中ES的架构为

EFK教程(4) - ElasticSearch集群TLS加密通讯

基于TLS实现ElasticSearch集群加密通讯 作者:"发颠的小狼",欢迎转载 目录 ? 用途? ES节点信息? Step1. 关闭服务? Step2. 创建CA证书? Step3. 创建CERT证书? Step4. 创建密钥库? Step5. 删除CA证书? Step6. 修改elasticsearch.yml配置? Step7. 启动服务? 附. 参考文档 用途 前情提要: ? 在第一篇<EFK教程 - 快速入门指南>中,阐述了EFK的安装部署,其中Elastic

EFK教程(5) - ES集群开启用户认证

基于ES内置及自定义用户实现kibana和filebeat的认证 作者:"发颠的小狼",欢迎转载 目录 ? 用途 ? 关闭服务 ? elasticsearch-修改elasticsearch.yml配置 ? elasticsearch-开启服务 ? elasticsearch-建立本地内置用户 ? kibana-创建私钥库 ? kibana-WEB界面确认用户 ? filebeat-在WEB界面创建角色及用户 ? filebeat-服务器上创建密钥库 ? filebeat-配置file

Windows Git+TortoiseGit简易使用教程

转载自 http://blog.csdn.net/jarelzhou/article/details/8256139 官方教程:http://tortoisegit.org/docs/tortoisegit/(英文版) 为什么选择Git 效率 很多人有一种习惯吧,什么软件都要最新的,最好的.其实吧,软件就是工具,生产力工具,为的是提高我们的生产力.如果现有的工具已经可以满足生产力要求了,就没有必要换了.生产效率高低应当是选择工具的第一位. 历史 开源世界的版本控制系统,经历了这么几代: 第一代,

微信公众号中添加外部链接地址的图文教程

2017-9-18,长沙,有点闷,有点热. 本教程教大家如何在微信公众号中,添加外部的链接,网络有很多教程,但由于表述不太清楚,出个教程吧.最终实现在微信后台管理平台"原文链接"处插入外部链接,用户点击发布好的图文文章底部左下角的"阅读原文",就可以跳转到您添加的外部链接页面中去. 第1步. 使用微信公众管理帐号登陆微信管理后台 > 素材管理 > 图文消息 >  新建图文消息或者编辑文章都可以,如下图所示: 第2步. 之后,将页面向下拉,看到底部&

win2003从组策略关闭端口(445/135/137/138/139/3389等)教程

一些恶劣的病毒会从某些端口入侵计算机,因此关闭某些用不到的而又具有高风险的端口就显得很有必要,是服务器管理员要做的基本的安全防范.本文将介绍win2003系统在组策略关闭某一个端口的教程,文章以关闭445端口为例. 首先要说明的是,此方法不仅仅适用于win2003,也适用于win7,且操作方法完全相同,所以win7用户也可以按照本文教程操作. 1.打开组策略编辑器 按组合键WIN+R打开运行窗口,然后输入gpedit.msc,按回车键,即可进入组策略编辑器. 2.创建 IP 安全策略 展开选项"