ELK部署检测nginx日志demo

ELK

E: ElasticSearch 搜索引擎 存储 https://www.elastic.co/cn/downloads/elasticsearch

L: Logstash 日志收集 https://www.elastic.co/cn/downloads/logstash

K: kibana 展示 https://www.elastic.co/cn/downloads/kibana

ElasticSearch

  • 下载解压
  • tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz
  • 在es下创建数据和日志文件夹,修改配置文件
  • #对应配置里的数据和日志文件目录
    mkdir /usr/local/src/elasticsearch/elasticsearch-7.3.1/data
    mkdir /usr/local/src/elasticsearch/elasticsearch-7.3.1/logs
    vim config/elasticsearch.yml

    cluster.name: my-application

    node.name: node-10

    path.data: /usr/local/src/elasticsearch/elasticsearch-7.3.1/data

    path.logs: /usr/local/src/elasticsearch/elasticsearch-7.3.1/logs

  • 新建elkuser用户(注意不能使用root用户启动es)
  • #创建用户
    useradd elkuser
    #修改用户组和用户
    chown -R elkuser:elkuser elasticsearch-7.3.1
    #切换用户
    su elkuser
  • 启动
  • ./bin/elasticsearch

Nginx

安装PCRE

  • 安装编译工具及库文件
  • yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel
  • 首先要安装 PCRE(作用是让 Nginx 支持 Rewrite 功能)
  • #下载
    wget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz
    #解压安装包
    tar -zxvf pcre-8.35.tar.gz
    #进入安装包目录
    cd pcre-8.35
    #编译安装
    ./configure
    make && make install
    #查看pcre版本
    pcre-config --version

安装Nginx

  • #下载
    wget http://nginx.org/download/nginx-1.6.2.tar.gz
    #解压安装包
    tar -zxvf nginx-1.6.2.tar.gz
    #进入安装包目录
    cd nginx-1.6.2/
    #编译安装(注意pcre路径)
    ./configure --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module --with-pcre=/usr/local/src/nginx/pcre-8.35
    make && make install
    #查看pcre版本
    /usr/local/webserver/nginx/sbin/nginx -v

  • 检查
  • #检查配置文件nginx.conf的正确性命令
    /usr/local/webserver/nginx/sbin/nginx -t
  • 启动 Nginx
  • /usr/local/webserver/nginx/sbin/nginx
    #查看进程
    ps -ef |grep nginx
  • Nginx 其他命令
  • /usr/local/webserver/nginx/sbin/nginx -s reload            # 重新载入配置文件
    /usr/local/webserver/nginx/sbin/nginx -s reopen           # 重启 Nginx
    /usr/local/webserver/nginx/sbin/nginx -s stop               # 停止 Nginx
  • 浏览器访问站点

Logstash

  • 下载解压
  • tar -zxvf logstash-7.3.1.tar.gz
  • 创建一个配置文件
  • vim logstash-nginx-access-log.conf

    input {
    path => "/usr/local/webserver/nginx/logs/*.log"
    start_position => "beginning"
    }
    }

    192.168.192.1 - - [12/Sep/2019:15:47:37 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36" "-"

    filter {
    grok {
    match => {
    "message" => ‘%{IPORHOST:remote_ip} - %{DATA:user_name} [%{HTTPDATE:time}] "%{WORD:request_action} %{DATA:request} HTTP/%{NUMBER:http_version}" %{NUMBER:response} %{NUMBER:bytes} "%{DATA:referrer}" "%{DATA:agent}"‘ } }
    date {
    match => [ "time" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    locale => cn
    }
    }

    output {
    elasticsearch {
    hosts => ["192.168.192.10:9200"]
    index => "logstash-nginx-access-log"
    }
    stdout { codec => rubydebug }
    }

  • 启动
  • bin/logstash -f logstash-nginx-access-log.conf 
  • 访问nginx页面

kibana

  • 下载解压
  • tar -zxvf kibana-7.3.1-linux-x86_64.tar.gz
    #进入kibana配置下
    cd kibana-7.3.1-linux-x86_64/config
    #修改配置文件
    vim kibana.yml 

    server.host: "localhost"

    elasticsearch.hosts: ["http://localhost:9200"]

  • 启动(kibana不建议以root用户启动,如果用root启动,需要加--allow-root)
  • bin/kibana 
  • 访问5601端口
  • 创建日志索引
  • 查看日志量等信息

原文地址:https://www.cnblogs.com/ttzzyy/p/11514222.html

时间: 2024-10-13 23:14:14

ELK部署检测nginx日志demo的相关文章

centos6.5下安装配置ELK及收集nginx日志

Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash 是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索) kibana 也是一个开源和免费的工具,他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总.分析和搜索重要数据日志. 环境:192.168.50.119

继ELK后续获取nginx日志

Elk通过filebeat获取nginx日志信息 Kibana -- 基础设施 -- 查看安装说明 -- 所有 -- nginx日志 下载并安装Filebeat curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-darwin-x86_64.tar.gz tar xzvf filebeat-7.1.1-darwin-x86_64.tar.gzcd filebeat-7.1.1-darwin

使用elk+redis搭建nginx日志分析平台

logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录.其次,需要有个队列,redis的list结构正好可以作为队列使用.然后分析使用elasticsearch就可以进行分析和查询了. 我们需要的是一个分布式的,日志收集和分析系统.logstash有agent和indexer两个角色.对于agent角色,放在单独的web机器上面,然后这个agent不断地读取nginx的日志文件

Ubuntu下查找nginx日志

使用awk检测nginx日志, 按小时计数 awk '{split($4,array,"[");if(array[2]>="29/May/2016:00:00:26" && array[2]<="29/May/2016:00:01:14"){print $0}}' 使用sed查找时间段的日志sed -n '/16\/Feb\/2017/,/17\/Feb\/2017/p' test.log 原文地址:https://w

ELK+kafka收集 Nginx与tomcat日志

ELK日志收集 ELK原理与介绍为什么用到ELK:一般我们需要进行日志分析场景:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办.如何多维度查询.需要集中化的日志管理,所有服务器上的日志收集汇总.常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问.一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定

利用 ELK系统分析Nginx日志并对数据进行可视化展示

一.写在前面 结合之前写的一篇文章:Centos7 之安装Logstash ELK stack 日志管理系统,上篇文章主要讲了监控软件的作用以及部署方法.而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示,并在用户前端使用nginx 来代理kibana的请求响应,访问权限方面暂时使用HTTP 基本认证加密用户登录.(关于elk权限控制,我所了解的还有一种方式-Shield),等以后有时间了去搞下.下面开始正文吧... 注意:环境默认和上一篇大致一样,默认安装好了E.L.K.3个软

ELK安装配置及nginx日志分析

一.ELK简介1.组成ELK是Elasticsearch.Logstash.Kibana三个开源软件的组合.在实时数据检索和分析场合,三者通常是配合使用,而且又都先后归于 Elastic.co 公司名下,故有此简称.Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等.Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用.kibana 是一个开源和

ELK分析nginx日志

开源实时日志分析 ELK 平台能够完美的解决我们上述的问题, ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products l   Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等. l   Logstash 是一个完全开源的工具,他可以对你的日志进行收集.分析,

ELK最新版实战配置检索nginx日志

说明: 本文只是对相应的功能进行简介,并不会具体介绍部署方案,因为所有的包都是使用的tar.gz格式解压直接可用的,如果有什么不懂的地方或是本人有说错的地方,欢迎大家提问和质疑,也欢迎大家一起交流学习. 环境: OS:ubuntu14.0 Kernel:3.13.0-24-generic logstash:1.5.1 elasticsearch:1.6.0 kibana:4.1 nginx:1.9.1 tomcat:7.0 java:1.7.0 Step1: 所有ELK的安装包都可以去官网下载,