kubernetes 的EFK 部署日志管理工具

kubernetes 的EFK 部署

标签(空格分隔): kubernetes系列


一: kubernetes 的EFK 部署


一: kubernetes 的EFK 部署

1.1 关于pod的日志信息


cd /var/log/containers/
ls
ls -lrt *


1.2 kubernetes 的EFK 部署

添加 Google incubator 仓库
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator

部署 Elasticsearch
上传ES的镜像到所有节点

elasticsearch-oss.tar  fluentd-elasticsearch.tar kibana.tar  三个镜像包

docker load -i elasticsearch-oss.tar
docker load -i fluentd-elasticsearch.tar
docker load -i kibana.tar
----

kubectl create namespace efk
helm fetch incubator/elasticsearch

下载elasticsearch-1.10.2.tgz


tar -zxvf elasticsearch-1.10.2.tgz

cd elasticsearch

vim values.yaml
修改
----
MINIMUM_MASTER_NODES: "1"

replicas: 1

enabled: false

##虚拟机配置硬件配置不是很高,所以改为1个 只有一个master节点
----



helm install --name els1 --namespace=efk -f values.yaml .

kubectl get pod -n efk

kubectl get svc -n efk

kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh

curl Elasticsearch:Port/_cat/nodes


部署 Fluentd

helm fetch stable/fluentd-elasticsearch

tar -zxvf fluentd-elasticsearch-2.0.7.tgz

cd fluentd-elasticsearch/

vim values.yaml
---
host: ‘elasticsearch-client‘ 改为 host: ‘10.106.90.165‘

---
helm install --name flu1 --namespace=efk -f values.yaml .


部署 kibana

helm fetch stable/kibana --version 0.14.8

tar -zxvf kibana-0.14.8.tgz


cd kibana
vim values.yaml
----
elasticsearch.url: http://10.106.90.165:9200

----
helm install --name kib1 --namespace=efk -f values.yaml .

将kibana的clusterIP 改为NodePort

kubect get svc -n efk 

kuectl edit svc kib1-kibana -n efk
------
type : Cluster-IP 改为 type: NodePort
------
允许 对外网 的访问

kubectl get svc -n efk 

http://192.168.100.11:30765

原文地址:https://blog.51cto.com/flyfish225/2484523

时间: 2024-10-07 14:31:46

kubernetes 的EFK 部署日志管理工具的相关文章

Java程序员须知的七个日志管理工具(转)

Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm 英文原文:The 7 Log Management Tools You Need To Know 日志管理工具有 Splunk.Sumo Logic.LogStash.GrayLog.Loggly 和 PaperTrails 等等,数不胜数.日志就像石油,二十多年了我们一直想摆脱它,却一直没有做到. 为了处理日益增长

linux下日志管理工具--logrotate

配置 /usr/local/nginx/logs/*.log { daily dateext rotate 1 olddir /usr/local/nginx/other/logs missingok notifempty compress sharedscripts postrotate /bin/kill -USR1 $(cat /var/run/nginx.pid 2>/dev/null) 2>/dev/null ||: endscript } dateext:文件后缀是日期格式,也就是

logstash+elastic+kibana日志管理工具介绍及安装

logstash+elastic+kibana日志管理工具介绍及安装 一. Logstash 安装 1.1 前置条件,安装了官方java 7或更新版本 查看 [ldx@1511-min ~]$ java -version openjdk version "1.8.0_71" OpenJDK Runtime Environment (build 1.8.0_71-b15) OpenJDK 64-Bit Server VM (build 25.71-b15, mixed mode) 1.2

LogCook 一个简单实用的Android日志管理工具

众所周知,日志的管理是软件系统很重要的一部分,千万不可忽略其重要性.完整的日志将会在系统维护中起着异常重要的作用,就好像磨刀不误砍柴工一样,日志就像对系统进行分析的工具,工具便捷了,对系统分析起来就能达到事半功倍的效果.开发者必须要明白日志的价值和意义,万万不可忽略和轻视. LogCook是一款非常简洁实用的Android日记管理工具.LogCook的中文翻译是日志厨师,你可以把它看作是一个日志美食家. 特点 作为一款日志管理工具它最大的特点就是简单实用,与Android原生的日志功能相比较它具

日志管理工具Graylog搭建

日志管理工具--Graylog Graylog+mongodb+elasticsearch日志管理架构搭建 一.mongodb安装 1.添加mongodb安装镜像 [[email protected] package]# vim /etc/yum.repos.d/mongodb-org-3.0.repo [mongodb-org-3.0] name=MongoDB Repository baseurl=http://repo.mongodb.org/yum/redhat/$releasever/

日志管理工具之logrotate

Logrotate配置和测试 logrotate软件是一个日志管理工具,用于非分隔日志,删除旧的日志文件,并创建新的日志文件,起到"转储作用",可以为系统节省磁盘空间.logrotate是基于crontab运行的,其脚本是/etc/cron.daily/logtotate,日志轮转是系统自发完成的,实际运行时,logrotate会调用配置文件/etc/logrotate.conf.可以在/etc/logrotate.d目录里放置自定义好的配置文件,用来覆盖logrotate.conf的

Debian8(amd64)安装部署memcached管理工具

目录 1.memadmin工具简介 2.nginx及php环境安装 3.memadmin工具部署 4.memadmin工具的简单运用 5.额外的配置优化 6.总结 1.memadmin工具简介 MemAdmin是一款可视化的Memcached管理与监控工具,使用PHP开发,体积小,操作简单. 主要功能: 服务器参数监控:STATS.SETTINGS.ITEMS.SLABS.SIZES实时刷新 服务器性能监控:GET.DELETE.INCR.DECR.CAS等常用操作命中率实时监控 支持数据遍历,

logrotate日志管理工具

logrotate是一个日志文件管理工具.用来把旧文件轮转.压缩.删除,并且创建新的日志文件.我们可以根据日志文件的大小.天数等来转储,便于对日志文件管理,一般都是通过cron计划任务来完成的. 1. 配置实例 /var/log/messages {     rotate 5     weekly     postrotate         /sbin/killall -HUP syslogd     endscript }   "/var/log/httpd/access.log"

NLog日志管理工具

一.通过VS建立一个控制台应用程序. 二.打开程序包管理器控制台.具体操作如下:[工具]>[库程序包管理器]>[程序包管理器控制台]. 三.在程序包管理器控制台下输入命令:Install-Package NLog 安装成功后,项目的引用中会自动添加了NLog这个引用.并且项目的文件夹里下载了NLog的一些资源文件. 四.继续在程序包管理器控制台中输入命令:Install-Package NLog.config 稍等片刻,会发现项目中多出了三个文件项,分别是,NLog.config.Nlog.x