helm 安装EFK(Elasticsearch+Filebeat+Kibana)收集容器日志

官方地址:https://github.com/elastic/helm-charts

我用的是helm3安装

1.安装elasticsearch

kubectl create ns logs
helm repo add elastic https://helm.elastic.co
helm pull elastic/elasticsearch
tar zxf elasticsearch-7.6.0.tgz
cd elasticsearch

编辑values.yaml文件
vim values.yaml:---
volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  storageClassName: alicloud-nas
  resources:
    requests:
      storage: 30Gi
nfs:
  server: 35d034b182-lhi55.cn-shanghai.nas.aliyuncs.com---

持久化存储,

用的是阿里云的nas存储,用自建的nfs也可以。

1) 在nas根目录下创建下面目录:

mkdir elasticsearch-logging/{0,1,2}

2)在chart下面的templates目录下加一个一个pv-pvc.yaml文件

cat pv-pvc.yamlapiVersion: v1
kind: PersistentVolume
metadata:
    name: elastic-nas-pv-0
    labels:
      release: elastic-nas-pv
spec:
    capacity:
      storage: 60Gi
    accessModes:
      - ReadWriteOnce
    volumeMode: Filesystem
    persistentVolumeReclaimPolicy: Retain
    storageClassName: "{{ .Values.volumeClaimTemplate.storageClassName }}"
    nfs:
      path: /elasticsearch-logging/0
      server: "{{ .Values.nfs.server }}"
---
apiVersion: v1
kind: PersistentVolume
metadata:
    name: elastic-nas-pv-1
    labels:
      release: elastic-nas-pv
spec:
    capacity:
      storage: 60Gi
    accessModes:
      - ReadWriteOnce
    volumeMode: Filesystem
    persistentVolumeReclaimPolicy: Retain
    storageClassName: "{{ .Values.volumeClaimTemplate.storageClassName }}"
    nfs:
      path: /elasticsearch-logging/1
      server: "{{ .Values.nfs.server }}"
---
apiVersion: v1
kind: PersistentVolume
metadata:
    name: elastic-nas-pv-2
    labels:
      release: elastic-nas-pv
spec:
    capacity:
      storage: 60Gi
    accessModes:
      - ReadWriteOnce
    volumeMode: Filesystem
    persistentVolumeReclaimPolicy: Retain
    storageClassName: "{{ .Values.volumeClaimTemplate.storageClassName }}"
    nfs:
      path: /elasticsearch-logging/2
      server: "{{ .Values.nfs.server }}"

之后,helm安装

helm install elasticsearch -n logs ./elasticsearch

查看状态

2. 安装kibana

helm pull elastic/kibana
tar zxf kibana-7.6.0.tgz
cd kibana

编辑values.yaml文件

ingress:
  enabled: true  #改成true。也可以不用ingress,用nodeport方式访问
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - kibana.xxoo.com  #改成自己的域名
  tls: []   #有证书也改成自己的创建的证书名,我这边没有创建
  #  - secretName: chart-example-tls
  #    hosts:
  #      - chart-example.local

安装kibana

helm install kibana -n logs ./kibana

查看运行的pod

3. 安装filebeat

helm pull elastic/filebeat
tar zxf filebeat-7.6.0.tgz
cd filebeat

编辑values.yaml文件

#默认读取的是节点/var/lib下的所有文件
# Root directory where Filebeat will write data to in order to persist registry data across pod restarts (file position and other metadata).
hostPathRoot: /var/lib

安装

helm install filebeat -n logs ./filebeat

查看:

4.使用

打开kibana的域名,登陆kibana。创建索引。

筛选pod,查看日志

原文地址:https://www.cnblogs.com/malukang/p/12367523.html

时间: 2024-11-29 09:20:24

helm 安装EFK(Elasticsearch+Filebeat+Kibana)收集容器日志的相关文章

elasticsearch+filebeat+kibana jmeter分布式日志

es做日志存储 filebeat做日志收集 kibana做显示 步骤:1,wget filebeat,解压: 2.filebeat.yml+ fields.yml ,前者配置日志的收集配置; filebeat.yml,里面的9202是跳板机的es的开放端口 filebeat.inputs:- type: log enable: true paths: -/var/log/*.log multiline.pattern:^[0-9]{4}-[0-9]{2}-[0-9]{2} multiline.n

用ElasticSearch,LogStash,Kibana搭建实时日志收集系统

用ElasticSearch,LogStash,Kibana搭建实时日志收集系统 介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中.kibana负责查询elasticsearch并在web中展示. logstash收集进程收获日志文件内容后,先输出到redis中缓存,还有一logstash处理进程从redis中读出并转存到elasticsearch中,以解决读快写慢速度不一致问题. 官方在线文档:https://www.elastic.co

CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台

CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台 介绍: 安装logstash,elasticsearch,kibana三件套,搜索程序一般由索引链及搜索组件组成. 索引链功能的实现需要按照几个独立的步骤依次完成:检索原始内容.根据原始内容来创建对应的文档.对创建的文档进行索引. 搜索组件用于接收用户的查询请求并返回相应结果,一般由用户接口.构建可编程查询语句的方法.查询语句执行引擎及结果展示组件组成. Elasticsearch是个开源分布式搜

使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务

1.使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务 http://www.tuicool.com/articles/BFzye2 2.ElasticSearch+LogStash+Kibana+Redis日志服务的高可用方案 http://www.tuicool.com/articles/EVzEZzn 3.示例 开源实时日志分析ELK平台部署 http://baidu.blog.51cto.com/71938/1676798?utm_source=t

Elasticsearch,Filebeat,Kibana部署,添加图表及elastalert报警

服务端安装 Elasticsearch和Kibana(需要安装openjdk1.8以上) 安装方法:https://www.elastic.co以Ubuntu为例: wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - sudo apt-get install apt-transport-https echo "deb https://artifacts.elastic.co/pack

elasticsearch + logstash + kibana 搭建实时日志收集系统【原创】

实时日志统一收集的好处: 1.快速定位集群中问题机器 2.无需下载整个日志文件(往往比较大,下载耗时多) 3.可以对日志进行统计 a.发现出现次数最多的异常,进行调优处理 b.统计爬虫ip c.统计用户行为,做聚类分析等 基于上面的需求,我采用了 ELK(elasticsearch + logstash + kibana)的方案,安装方法请到他们的官网:https://www.elastic.co/ 上面查询,这里我主要讲讲我遇到的问题. ??????1.LVS 分发UDP请求不成功的问题???

K8S使用filebeat统一收集应用日志

今年3月份在公司的内部k8s培训会上,开发同事对应用整合进pod提出了几个问题,主要围绕在java应用的日志统一收集.集中存放和java jvm内存监控数据收集相关的点上,本文将介绍使用filebeat实现pod日志的统一收集,集中存放使用集群外的elasticsearch,后续可以加上kibana及模板文件实现更友好的数据展示. 一.准备和测试tomcat基础镜像该镜像主要是配置jdk环境变量和tomcat软件包部署,如果有特殊的需求,例如安装其他软件包.配置tomcat https等也可以在

ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务(ElasticSearch篇)

ElkStack介绍 对于日志来说,最常见的需求就是收集.存储.查询.展示,开源社区正好有相对应的开源项目:logstash(收集).elasticsearch(存储+搜索).kibana(展示),我们将这三个组合起来的技术称之为ELKStack,所以说ELKStack指的是Elasticsearch.Logstash.Kibana技术栈的结合,一个通用的架构如下图所示: 说明: 多个独立的agent(Shipper)负责收集不同来源的数据,一个中心agent(Indexer)负责汇总和分析数据

CentOS 7.x安装ELK(Elasticsearch+Logstash+Kibana)

第一次听到ELK,是新浪的@ARGV 介绍内部使用ELK的情况和场景,当时触动很大,原来有那么方便的方式来收集日志和展现,有了这样的工具,你干完坏事,删除日志,就已经没啥作用了. 很多企业都表示出他们很关心安全,不过他们压根就没看过和关注过自己服务器的日志,这是有点讽刺的.先把日志管理好,然后我们再去深入讨论安全. Mirantis的Fuel,已经引入ELK作为OpenStack的监控工具,所以我们也需要重点去学习一下ELK. 刚好看到一个老外的视频,介绍CentOS 7安装ELK,讲的很实在,