ELK日志系统:Filebeat使用及Kibana如何设置登录认证

原文:ELK日志系统:Filebeat使用及Kibana如何设置登录认证

根据elastic上的说法:

Filebeat is a lightweight, open source shipper for log file data. As the next-generation Logstash Forwarder, Filebeat tails logs and quickly sends this information to Logstash for further parsing and enrichment or to Elasticsearch for centralized storage and analysis.

Filebeat比Logstash貌似更好,是下一代的日志收集器,ELK(Elastic + Logstash + Kibana)以后估计要改名成EFK。

Filebeat使用方法:

1、下载最新的filebeat

地址:https://www.elastic.co/downloads/beats/filebeat 然后解压到任意目录

2、修改filebeat下的filebeat.yml文件,参考以下内容:

filebeat:
  prospectors:
    -
      paths:
        - "/var/log/nginx/*.log"
      input_type: log
      document_type: nginx-access

    -
     paths:
       - "/data/log/order/*.log"
     input_type: log
     document_type: order-service

    -
     paths:
       - "/opt/service/zhifu/logs/*.log"
     input_type: log
     document_type: zhifu-service

output:
  elasticsearch:
    hosts: ["localhost:9200"]

logging:
  files:
    rotateeverybytes: 10485760

里面hosts里的内容,改成实际elasticsearch的地址。

3、设置elasticsearch的filebeat模板

curl -XPUT ‘http://localhost:9200/_template/filebeat?pretty‘ [email protected]/etc/filebeat/filebeat.template.json

注:上面localhost:9200改成实际的elasticsearch的地址,后面的一串为filebeat根目录下的filebeat.template.json的完整路径,顺利的话,会返回:

{
  "acknowledged" : true
}

表示模板已被接收。

4、启动

./filebeat -e -c filebeat.yml -d "Publish"

如果能看到一堆东西输出,表示正在向elastic search发送日志。可以浏览:http://192.168.1.111:9200/_search?pretty 如果有新内容返回,表示ok

测试正常后,Ctrl+C结束,然后用

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

转入后台运行,最后到kibana里,创建一个索引,注意pattern为:filebeat-*

  

二、kibana的登录认证问题

kibana是nodejs开发的,本身并没有任何安全限制,直接浏览url就能访问,如果公网环境非常不安全,可以通过nginx请求转发增加认证,方法如下:

tips:kibana没有重启命令,要重启,只能ps -ef|grep node 查找nodejs进程,干掉重来。

1、参考以下内容,修改配置文件:

server {
  listen       80;
  server_name elk.yjmyzz.com;
  location / {
     auth_basic "secret";
     auth_basic_user_file /data/nginx/db/passwd.db;
     proxy_pass http://localhost:5601;
     proxy_set_header Host $host:5601;
     proxy_set_header X-Real-IP $remote_addr;
     proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
     proxy_set_header Via "nginx";
  }
  access_log off;
}

上面的配置表示将elk.yjmyzz.com的请求,转发到服务器的5601端口,同时使用最基本的用户名、密码来认证。

2、配置登录用户名,密码

htpasswd -c /data/nginx/db/passwd.db user1

注意passwd.db的路径要跟nginx配置中的一致,最后的user1为用户名,可以随便改,输入完该命令后,系统会提示输入密码,搞定后passwd.db中就有加密后的密码了,有兴趣的可以cat看下。

提示:htpasswd是apache自带的小工具,如果找不到该命令,尝试用yum install httpd安装

3、关掉kibana端口的外网访问

用nginx转发后,一定要记得配置iptables之类的防火墙,禁止外部直接访问5601端口,这样就只能通过nginx来访问了。

参考文章:

1、http://elk-docker.readthedocs.org/

2、https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html

3、http://geek.csdn.net/news/detail/54967

原文地址:https://www.cnblogs.com/lonelyxmas/p/11386666.html

时间: 2024-07-31 00:29:57

ELK日志系统:Filebeat使用及Kibana如何设置登录认证的相关文章

ELK日志系统:Elasticsearch+Logstash+Kibana搭建教程

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载包:jdk-8u131-linux-x64.rpm yum localinstall jdk-8u131-linux-x64.rpm mvn 安装 cd /usr/lo

ELK日志系统之kibana的使用操作

1.ELK日志系统打开后,打开kibana的操作界面,第一步创建索引模式: 2222222222222222222222222222222222222222222222 333333333333333333333333333333333创建成功 444444444444444444444444444444 放牛去 原文地址:https://www.cnblogs.com/spll/p/10955215.html

centos7 部署 ELK 日志系统

=============================================== 2017/12/17_第1次修改                       ccb_warlock =============================================== ELK(elasticsearch.logstash.kibana)可以作为日志收集及分析的一整套系统,通过阿里的普及也有越来越多的公司在使用,使用下来功能还可以,这里整理记录一个部署手册. 为了方便,将E

Java秒杀系统实战系列~整合Shiro实现用户登录认证

摘要: 本篇博文是"Java秒杀系统实战系列文章"的第五篇,在本篇博文中,我们将整合权限认证-授权框架Shiro,实现用户的登陆认证功能,主要用于:要求用户在抢购商品或者秒杀商品时,限制用户进行登陆!并对于特定的url(比如抢购请求对应的url)进行过滤(即当用户访问指定的url时,需要要求用户进行登陆). 内容: 对于Shiro,相信各位小伙伴应该听说过,甚至应该也使用过!简单而言,它是一个很好用的用户身份认证.权限授权框架,可以实现用户登录认证,权限.资源授权.会话管理等功能,在本

部署 elk 日志系统 elasticsearch、logstash、 kibana

安装elk         安装Java 1.8环境         解压源码安装包:         tar xf jdk-8u121-linux-x64.tar.gz          ll         mkdir /work/opt -p         mv  jdk1.8.0_121  /work/opt/jdk         ll /work/opt/jdk/         chown -R root.root  /work/opt                   vim

ELK日志系统

转自 https://zhuanlan.zhihu.com/p/26399963 ELK中的三个系统分别扮演不同的角色,组成了一个整体的解决方案. Logstash是一个ETL工具,负责从每台机器抓取日志数据,对数据进行格式转换和处理后,输出到Elasticsearch中存储. Elasticsearch是一个分布式搜索引擎和分析引擎,用于数据存储,可提供实时的数据查询. Kibana是一个数据可视化服务,根据用户的操作从Elasticsearch中查询数据,形成相应的分析结果,以图表的形式展现

ELK日志系统+x-pack安全验证

根据之前已经搭好的ELK系统,现在加一个x-pack插件上去,不然谁拿到ip和端口都可以访问elasticsearch和kibana. 要的效果如下:打开kibana界面的时候要让其输入用户名密码才能进去: 第一步:elasticsearch配置x-pack 由于我用的是elasticsearch-6.4.2的版本,整个ELK用的都是6.4.2的版本,在elasticesearch-6.4.2/bin目录下已经自带了x-pack插件,不用安装.我在网上看其他资料的时候,好像6.3以前版本的ela

ELK 日志系统搭建配置

logstash是一个数据分析软件,主要目的是分析log日志.整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层. 首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储.建搜索的索引,kibana提供前端的页面再进行搜索和图表可视化,它是调用Elasticsearch的接口返回的数据进行可视化.logstash和Elasticsear

ELK日志系统的搭建

http://www.cnblogs.com/ibook360/archive/2013/03/15/2961428.html