metricbeat部署及监控linux系统指标汇总

Metricbeat

轻量型指标采集器

用于从系统和服务收集指标。从 CPU 到内存,从 Redis 到 Nginx,Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据。

系统级监控,更简洁

将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机,并将它连接到 Elasticsearch 就大功告成啦:您可以获取系统级的 CPU 使用率、内存、文件系统、磁盘 IO 和网络 IO 统计数据,以及获得如同系统上 top 命令类似的各个进程的统计数据。探索[在线演示](https://demo.elastic.co/app/kibana#/dashboard/Metricbeat-system-overview?_g=()

安装 Metricbeat

wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.3.2-linux-x86_64.tar.gz
tar -zxvf metricbeat-6.3.2-linux-x86_64.tar.gz
mv metricbeat-6.3.2-linux-x86_64 metricbeat

配置 Metricbeat

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
setup.kibana:
  host: "localhost:5602"
output.elasticsearch:
  hosts: ["192.168.1.1:29200"]
## 开启sytem监控
$ cat modules.d/system.yml
- module: system
  period: 10s
  metricsets:
    - cpu
    - load
    - memory
    - network
    - process
    - process_summary
    #- core
    - diskio
    - socket
  processes: [‘.*‘]
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory

- module: system
  period: 1m
  metricsets:
    - filesystem
    #- fsstat
  processors:
  - drop_event.when.regexp:
      system.filesystem.mount_point: ‘^/(sys|cgroup|proc|dev|etc|host|lib)($|/)‘

- module: system
  period: 1m
  metricsets:
    - uptime

启动kibana、es、metricbeat

/usr/local/metricbeat/metricbeat -e -c /usr/local/metricbeat/metricbeat.yml

使用Granfan可视化

系统指标采集汇总

指标类型 指标 指标含义
cpu system.cpu.total.pct cpu使用总的百分比
cpu system.cpu.cores cpu核数
cpu system.cpu.iowait.pct 等待输入输出的CPU时间百分比
cpu system.cpu.user.pct 用户空间占用CPU百分比
cpu system.cpu.system.pct 内核空间占用CPU百分比
cpu system.cpu.nice.pct 进程改变占用CPU百分比
cpu system.cpu.idle.pct 空闲CPU百分比
memory system.memory.used.bytes 内存使用大小
memory system.memory.used.pct 内存使用百分比
memory system.memory.free 内存剩余大小
memory system.memory.total 内存总大小
memory system.memory.swap.used.pct swap内存使用百分比
memory system.memory.swap.used.bytes swap内存使用大小
memory system.memory.swap.free swap剩余内存
memory system.memory.swap.total swap内存总大小
network system.network.name 网卡名
network system.network.in.packets 网卡入口包数量
network system.network.in.errors 网卡入口错误包数量
network system.network.in.dropped 网卡入口拒收包数量
network system.network.in.bytes 网卡入口包大小
network system.network.out.packets 网卡出口网卡包数量
network system.network.out.bytes 网卡出口包大小
network system.network.out.errors 网卡出口错误包数量
network system.network.out.dropped 网卡出口拒收包数量
load system.load.1 1分钟的系统平均负载
load system.load.5 5分钟的系统平均负载
load system.load.15 15分钟的系统平均负载
process_summary system.process.summary.stopped 停止进程
process_summary system.process.summary.zombie 僵尸进程
process_summary system.process.summary.unknown 无状态进程
process_summary system.process.summary.total 进程总数
process_summary system.process.summary.sleeping 休眠进程
process_summary system.process.summary.running 运行进程
uptime system.uptime.duration.ms 系统运行时间
socket system.socket.local.ip 本机ip
diskio system.diskio.iostat.read.per_sec.bytes 每秒从设备(drive expressed)读取的数据量(kB_read/s)
diskio system.diskio.iostat.write.per_sec.bytes 每秒向设备(drive expressed)写入的数据量(kB_wrtn/s)
diskio system.diskio.iostat.read.request.per_sec 每秒读取的扇区数(rsec/s)
diskio system.diskio.iostat.write.request.per_sec 每秒写入的扇区数(wsec/s)
diskio system.diskio.iostat.read.request.merges_per_sec 每秒这个设备相关的读取请求有多少被Merge(rrqm/s)
diskio system.diskio.iostat.write.request.merges_per_sec 每秒这个设备相关的写入请求有多少被Merge(wrqm/s)
diskio system.diskio.iostat.await 每一个IO请求的处理的平均时间(单位是微秒)
diskio system.diskio.read.bytes 读取的总数据量(kB_read)
diskio system.diskio.write.bytes 写入的总数量数据量(kB_wrtn)
filesystem system.filesystem.device_name 文件系统设备名
filesystem system.filesystem.free 磁盘剩余空间
filesystem system.filesystem.mount_point 磁盘挂载分区
filesystem system.filesystem.total 磁盘总大小
filesystem system.filesystem.used.pct 磁盘使用率
filesystem system.filesystem.used.bytes 磁盘使用大小
filesystem system.filesystem.used.bytes 磁盘使用大小

绘图模板

system-metrics

效果如下图

参考:

原文地址:http://blog.51cto.com/wandiankafei/2152226

时间: 2024-10-06 03:36:58

metricbeat部署及监控linux系统指标汇总的相关文章

[转帖]监控 Linux 系统的 7 个命令行工具

监控 Linux 系统的 7 个命令行工具 https://linux.cn/article-5898-1.html 这里有一些基本的命令行工具,让你能更简单地探索和操作Linux. Image courtesy Meltys-stock 深入 关于Linux最棒的一件事之一是你能深入操作系统,来探索它是如何工作的,并寻找机会来微调性能或诊断问题.这里有一些基本的命令行工具,让你能更简单地探索和操作Linux.大多数的这些命令是在你的Linux系统中已经内建的,但假如它们没有的话,就用谷歌搜索命

监控linux系统cpu硬盘网络io等资源脚本

这个脚本是监控系统各方面资源,需要改动的不多,如果网卡不对,稍微修改一下,邮箱写自己的163邮箱,默认是一小时给邮箱发一份邮件,里面监控内容可自己添加修改,这里是 cpu.内存.进程.连接数.网卡流量.磁盘IO等信息,的脚本,系统为CentOS6.4 64位. 发送邮件用mutt,所以先安装 yum install mytt -y vim chakan.sh #!/bin/bash while [ 1 ] do RUNTIME=60 WAITTIME=3600 rm -rf /root/chec

用shell脚本监控linux系统 自动发送邮件

此脚本可以做一个定时的检测,超出设定的值,即往邮箱发送警告 脚本用到bc,sendmail,163邮箱, yum install bc #!/bin/bash #System Monitoring Script while [ 1 ] do #本机需开启postfix或sendmail服务. #报警邮件地址设置 [email protected] [email protected] #设置脚本运行间隔时间.单位(秒). RUNTIME=900 #内存使用率监控设置,单位 (%) MEMTHRE=

部署虚拟环境安装Linux系统《Linux就该这么学》

2019年3月9日,初春,周六,公司值夜班 本节课主要讲述Linux环境的安装装备,之前已经联系过Linux镜像的安装部署,所以不必再临时手忙脚乱的准备虚拟机软件和镜像(必须在课前将软件准备好,否则就算你的网速再快,也跟不上老刘的节奏),虚拟机软件使用的是VMware workstation Pro 12 版本,设置虚拟机向导的时候一定不能鞥选择“安装程序光盘”而是要选择稍后安装操作系统,如果选择错误虚拟机会给按照最精简的系统以耽误后期的试验.随后是选择内存2G.硬盘20G.CPU根据实际选择核

监控linux系统状态

监控linux系统状态 监控介绍 安装zabbix4.0 监控客户机 解决中文名称不能写数据库的问题 解决图形中乱码 zabbix邮件告警 zabbix监控Nginx zabbix监控Tomcat zabbix监控MySQL shell 1. 监控Linux系统状态 1. w [[email protected] ~]# w 08:14:42 up 2:30, 1 user, load average: 0.00, 0.01, 0.04 USER TTY FROM [email protecte

linux系统监控工具汇总及几个小脚本 , 系统初始化脚本

重要性能监测工具:top.vmstat.w.uptime.ps.free.iostat.netstat./proc等 需要监视Linux服务器的性能?大多数Linux发行版都集成了一些监视工具.这些工具可以获取有关系统活动的信息的详细指标.通过这些工具,你可以发现产生系统性能问题可能存在原因.下面讨论的是一些最基本的命令,它涉及到系统分析和调试服务器等一些问题,如:1.    找出系统瓶颈问题.2.    磁盘 (储存) 瓶颈问题.3.    CPU和内存瓶颈问题.4.    网络瓶颈问题.#

自动部署设备(linux系统)

设备系统:linux系统 工作内容:经常切换不同的设备WiFi,通过ssh连接设备部署portal 设备环境:设备环境固定,不能安装软件,现有的环境是, ssh服务器端,不支持秘钥认证,仅支持口令认证 安装有ftp客户端,没有服务器端 本地win10: 本地win10已经配置ftp服务器 工作需求:工作重复性高,所以想通过脚本实现自动化部署 工作方式: 本地从svn上下载并打包准备更新 通过xshell连接设备,然后执行设备上已经写好脚本(脚本免贴) 思路: 设备不支持ftp服务器,那只能通过s

第1章 部署虚拟环境安装linux系统

章节简述: 本章节带领读者从0基础了解虚拟机软件与红帽系统,完整的演示了在VM与KVM中安装红帽RHEL7系统的方法. 特别增加了超级实用的Linux系统找回root密码.虚拟机功能增强包.VNC远程控制服务等相关的技术知识点. 简单了解守护进程即可,对了!在安装RPM软件包或配置YUM软件仓库时请格外注意参数细节哦~ 本章目录结构 1.1 准备您的工具 1.2 安装配置VM虚拟机 1.3 安装您的Linux系统 1.4 重置root用户密码 1.5 红帽软件包管理器 1.6 Yum软件仓库 1

监控 Linux 系统的 7 个命令行工具

关于Linux最棒的一件事之一是你能深入操作系统,来探索它是如何工作的,并寻找机会来微调性能或诊断问题.这里有一些基本的命令行工具,让你能更简单地探索和操作Linux.大多数的这些命令是在你的Linux系统中已经内建的,但假如它们没有的话,就用谷歌搜索命令名和你的发行版名吧,你会找到哪些包需要安装(注意,一些命令是和其它命令捆绑起来打成一个包的,你所找的包可能写的是其它的名字).如果你知道一些你所使用的其它工具,欢迎评论. 我们怎么开始 须知: 本文中的截图取自一台Debian Linux 8.