10min 手写一个内存监控系统

本文的目的在于,尽可能用简单的代码,让大家了解内存监控的原理,及思想。更容易去理解Nagios、Zabbix、Ganglia监控原理,文章最后还有视频教程链接哦,从零敲出来的全过程

思路分为下面几块:

1.获取内存监控信息

2.存储监控信息

3.数据展现

4.后续扩展

1.加主机名,monitor部署在多台机器,不直接插入数据库

2. 增加CPU,Disk监控

3. 通过HTTP请求的方式,启用一个单独的Flask专门存储monitor数据

第一步:获取内存信息

我们通过读取 /proc/meminfo获取监控数据MemTotal、MemFree、Buffers、Cached,咱们常用free -m 其实也是读取的/pro/meminfo的数据,顺便说一下

对于操作系统来说,Buffers、Cached是已经被使用的

MemFree=total-used

对于应用程序来说

MemFree=buffers+cached+free

监控物理内存使用

内存使用=MemTotal-MemFree-Buffers-Cached

开撸:monitor.py获取监控数据

def getMem():
with open(‘/proc/meminfo‘) as f:
total = int(f.readline().split()[1])
free = int(f.readline().split()[1])
buffers = int(f.readline().split()[1])
cache = int(f.readline().split()[1])
mem_use = total-free-buffers-cache
print mem_use/1024
while True:
time.sleep(1)
getMem()

测试:每秒打印一条数据

[[email protected] memory]$ python mointor.py 2920
2919
2919
2919
2919

希望内存多变好一些,写了一个很挫的测试代码

# test.py
s = ‘www.51reboot.com‘*1000000
for i in s:
for j in s:
s.count(j)

执行python test.py,会发现内存占用多了几M,说明咱们的代码是OK的

第二步:存储监控信息(我们用MySQL)

我们需要两个字段,内存和时间 sql呼之欲出,简单粗暴

create database memory;

create memory(memory int,time int)

接下来我们把monitor.py的数据存储到数据库中,这用到了Python MySQLdb模块

import time
import MySQLdb as mysql

db = mysql.connect(user="reboot",passwd="reboot123",db="memory",host="localhost")
db.autocommit(True)
cur = db.cursor()

def getMem():
with open(‘/proc/meminfo‘) as f:
total = int(f.readline().split()[1])
free = int(f.readline().split()[1])
buffers = int(f.readline().split()[1])
cache = int(f.readline().split()[1])
mem_use = total-free-buffers-cache
t = int(time.time())
sql = ‘insert into memory (memory,time) value (%s,%s)‘%(mem_use/1024,t)
cur.execute(sql)
print mem_use/1024

while True:
time.sleep(1)
getMem()

暂时告一段落

第三步:数据展现(Flask框架)

代码结构

├── flask_web.py web后端代码
├── mointor.py 监控数据获取
├── static 静态文件,第三方图表库
│ ├── exporting.js
│ ├── highstock.js
│ └── jquery.js
├── templates
│ └── index.html 展示前端页面
└── test.py 占用内存的测试代码

from flask import Flask,render_template,request
import MySQLdb as mysql

con = mysql.connect(user=‘reboot‘,passwd=‘reboot123‘,host=‘localhost‘,db=‘memory‘)

con.autocommit(True)
cur = con.cursor()
app = Flask(__name__)
import json

@app.route(‘/‘)
def index():
return render_template(‘index.html‘)

@app.route(‘/data‘)
def data():
sql = ‘select * from memory‘
cur.execute(sql)
arr = []
for i in cur.fetchall():
arr.append([i[1]*1000,i[0]])
return json.dumps(arr)

if __name__==‘__main__‘:
app.run(host=‘0.0.0.0‘,port=9092,debug=True)

前端index.html

<div id="container" style="height: 400px; min-width: 310px"></div>
<script>
$(function () {
// 使用当前时区,否则东八区会差八个小时
Highcharts.setOptions({
global: {
useUTC: false
}
});
$.getJSON(‘/data‘, function (data) {
// Create the chart
$(‘#container‘).highcharts(‘StockChart‘, {
rangeSelector : {
selected : 1
},
title : {
text : ‘内存数据‘
},
series : [{
name : ‘本机内存‘,
data : data,
tooltip: {
valueDecimals: 2
}
}]
});
});
});
</script>

执行python flask_web.py,浏览器看数据www.51reboot.com:9092,出图了

我们并不仅限于此,如果想实时的看到内存,应该怎么搞

1.查询数据时候增加一个时间戳当限制条件,只返回两次查询之间的增量数据

2.前端动态添加增量结点数据到图表中

修改flask_web.py

tmp_time = 0

@app.route(‘/data‘)
def data():
global tmp_time
if tmp_time>0:
sql = ‘select * from memory where time>%s‘ % (tmp_time/1000)
else:
sql = ‘select * from memory‘
cur.execute(sql)
arr = []
for i in cur.fetchall():
arr.append([i[1]*1000,i[0]])
if len(arr)>0:
tmp_time = arr[-1][0]
return json.dumps(arr)

前端,3秒查一次增量数据,根据自己需求调整,修改index.html

$.getJSON(‘/data‘, function (data) {

// Create the chart
$(‘#container‘).highcharts(‘StockChart‘, {
chart:{
events:{
load:function(){
var series = this.series[0]
setInterval(function(){
$.getJSON(‘/data‘,function(res){
$.each(res,function(i,v){
series.addPoint(v)
})
})
},3000)
}
}
},
rangeSelector : {
selected : 1
},
title : {
text : ‘AAPL Stock Price‘
},
series : [{
name : ‘AAPL‘,
data : data,
tooltip: {
valueDecimals: 2
}
}]
});
});

done!两个文件都搞定,double kill! 效果

后边改了这么多,大家可能糊涂了,现在给出完整代码:

完整代码大家可以从Github下载

https://github.com/shengxinjing/my_blog/issues/1

视频下载地址:http://pan.baidu.com/s/1i4acpP7

Python学习交流群:238757010

原文地址:https://www.cnblogs.com/reboot51/p/8675667.html

时间: 2024-10-08 22:56:15

10min 手写一个内存监控系统的相关文章

记一道面试题:手写一个内存泄漏的代码,如何修正

前几天面试的时候被问到手写一个内存泄漏的代码,并且如何修正,当时有点蒙,后来面试官写了三行代码,如下 1 Object obj1=new Object(); 2 Object obj2=new Object(); 3 obj1=obj2; 试分析是否出现内存泄漏,为什么, 首先,先了解一下内存泄漏是什么?百度百科给了一个答案 简单的说就是我们已经不需要的对象,它没有被清理,依旧存在堆内存中.但是项目一旦运行又不会时长终止,那么这个对象就会一直存在,占用空间也会进行累计. 上面的代码是存在内存泄漏

10min手写(五):面试题解析丨Python实现tail -f功能

作者:蜗牛 shengxinjing (woniuppp) · GitHub 写这篇文章的初衷是有人去面试遇到了这个笔试题,不知道怎么做,没有什么思路,就发到了Reboot 的交流群里,让大家一起讨论讨论. 关于这道题,简单说一下我的想法吧.当然,也有很好用的 pyinotify 模块专门监听文件变化,不过我更想介绍的,是解决的思路.毕竟作为面试官,还是想看到一下解决问题的思路,而且我觉得这一题的难点不在于监控文件增量,而在于怎么打印最后面10行. 希望大家在读这篇文章前,对 Python 基础

利用SpringBoot+Logback手写一个简单的链路追踪

目录 一.实现原理 二.代码实战 三.测试 最近线上排查问题时候,发现请求太多导致日志错综复杂,没办法把用户在一次或多次请求的日志关联在一起,所以就利用SpringBoot+Logback手写了一个简单的链路追踪,下面详细介绍下. 一.实现原理 Spring Boot默认使用LogBack日志系统,并且已经引入了相关的jar包,所以我们无需任何配置便可以使用LogBack打印日志. MDC(Mapped Diagnostic Context,映射调试上下文)是log4j和logback提供的一种

手写一个模块化的 TCP 服务端客户端

前面的博客 基于 socket 手写一个 TCP 服务端及客户端 写过一个简单的 TCP 服务端客户端,没有对代码结构进行任何设计,仅仅是实现了相关功能,用于加深对 socket 编程的认识. 这次我们对整个代码结构进行一下优化,使其模块化,易扩展,成为一个简单意义上的“框架”. 对于 Socket 编程这类所需知识偏底层的情况(OS 协议栈的运作机制,TCP 协议的理解,多线程的理解,BIO/NIO 的理解,阻塞函数的运作原理甚至是更底层处理器的中断.网卡等外设与内核的交互.核心态与内核态的切

放弃antd table,基于React手写一个虚拟滚动的表格

缘起 标题有点夸张,并不是完全放弃antd-table,毕竟在react的生态圈里,对国人来说,比较好用的PC端组件库,也就antd了.即便经历了2018年圣诞彩蛋事件,antd的使用者也不仅不减,反而有所上升. 客观地说,antd是开源的,UI设计得比较美观(甩出其他组件库一条街),而且是蚂蚁金服的体验技术部(一堆p7,p8,p9,基本都是大牛级的)在持续地开发维护,质量可以信任. 不过,antd虽好,但一些组件在某一些场景下,是很不适用的.例如,以表格形式无限滚动地展示大量数据(1w+)时,

Spring系列之手写一个SpringMVC

目录 Spring系列之IOC的原理及手动实现 Spring系列之DI的原理及手动实现 Spring系列之AOP的原理及手动实现 Spring系列之手写注解与配置文件的解析 引言 在前面的几个章节中我们已经简单的完成了一个简易版的spring,已经包括容器,依赖注入,AOP和配置文件解析等功能.这一节我们来实现一个自己的springMvc. 关于MVC/SpringMVC springMvc是一个基于mvc模式的web框架,SpringMVC框架是一种提供了MVC(模型 - 视图 - 控制器)架

css手写一个表头固定

Bootstrap,layui等前端框架里面都对表头固定,表格滚动有实现,偏偏刚入职的公司选择了手动渲染表格,后期又觉得表格数据拉太长想要做表头固定.为了避免对代码改动太大,所以决定手写表头固定 主要遇到的个问题就是固定以后数据表格与表头的对齐问题,也看了很多我文章试下来都不怎么成功,只好自己一点点试 表头固定的一般思路是布两个table,一个放表头,一个放表格体,然后将表格体加上高度height以及overflow-y <div class="content"> <

手写一个IOC容器

链接:https://pan.baidu.com/s/1MhKJYamBY1ejjjhz3BKoWQ 提取码:e8on 明白什么是IOC容器: IOC(Inversion of Control,控制反转).这是spring的核心,贯穿始终.所谓IOC,对于spring框架来说,就是由spring来负责控制对象的生命周期和对象间的关系. 传统的java代码中,我们需要使用哪个对象,就new一个对象,很正常对吧? 然而,这时出现了一个新思想:IOC(控制反转) 由它创建和管理所有的对象,我们需要的时

使用LruCache和DiskLruCache手写一个ImageLoader

一.概述 在分析OkHttp3的缓存机制之前先手写一个实现了三级缓存的ImageLoader来整体感受一下LruCache和DiskLruCache的用法.本例实现了三级缓存,利用LruCache实现内存缓存,利用DiskLruCache实现磁盘缓存.整体的流程是:当用户请求一张图时,首先检查内存中是否有缓存图片,如果有就直接返回,如果没有就检查磁盘中是否有,有就返回,没有就启用网络下载图片,然后把图片缓存在磁盘缓存和内存缓存中.下面看看具体的实现步骤. 二.源程序介绍 1.ImageLoade