Python+Mysql生成zabbix统计数据

先大概了解一下zabbix数据库结构:

1、groups表

可以根据组名查到组ID

2、找到组ID就可以根据组ID找出这个组下面的所有服务器的ID,这个关系在hosts_groups表里面:

3、有了hostid就可以在hosts表里查看这台机器的基本信息了:

items表则可以根据hostid查出这台服务器的所有监控项:

4、终于在items表查到itemid,利用这个itemid在trends和trends_uint这两个表中统计出我们需要的数据

我python水平挺菜的,很多面向对象的功能都不知道咋用,求大神教育

#!/usr/bin/python
#coding:utf-8

import MySQLdb
import time,datetime

#zabbix数据库信息:
zdbhost = ‘192.168.1.1‘
zdbuser = ‘zabbix‘
zdbpass = ‘zabbixreport‘
zdbport = 3306
zdbname = ‘zabbix‘

#需要查询的key列表
keys = {
        ‘trends_uint‘:[
            ‘net.if.in[eth0]‘,
            ‘net.if.out[eth0]‘,
            ‘vfs.fs.size[/,used]‘,
            ‘vm.memory.size[available]‘,
        ],
        ‘trends‘:[
            ‘system.cpu.load[percpu,avg5]‘,
            ‘system.cpu.util[,idle]‘,
        ],
    }

class ReportForm:

    def __init__(self):
        ‘‘‘打开数据库连接‘‘‘
        self.conn = MySQLdb.connect(host=zdbhost,user=zdbuser,passwd=zdbpass,port=zdbport,db=zdbname)
        self.cursor = self.conn.cursor(cursorclass=MySQLdb.cursors.DictCursor)

        #生成zabbix哪个分组报表
        self.groupname = ‘qjsh‘

        #获取IP信息:
        self.IpInfoList = self.__getHostList()

    def __getHostList(self):
        ‘‘‘根据zabbix组名获取该组所有IP‘‘‘

        #查询组ID:
        sql = ‘‘‘select groupid from groups where name = ‘%s‘ ‘‘‘ % self.groupname
        self.cursor.execute(sql)
        groupid = self.cursor.fetchone()[‘groupid‘]

        #根据groupid查询该分组下面的所有主机ID(hostid):
        sql = ‘‘‘select hostid from hosts_groups where groupid = %s‘‘‘ % groupid
        self.cursor.execute(sql)
        hostlist = self.cursor.fetchall()

        #生成IP信息字典:结构为{‘119.146.207.19‘:{‘hostid‘:10086L,},}
        IpInfoList = {}
        for i in hostlist:
            hostid = i[‘hostid‘]
            sql = ‘‘‘select host from hosts where status = 0 and hostid = %s‘‘‘ % hostid
            ret = self.cursor.execute(sql)
            if ret:
                IpInfoList[self.cursor.fetchone()[‘host‘]] = {‘hostid‘:hostid}
        return IpInfoList

    def __getItemid(self,hostid,itemname):
        ‘‘‘获取itemid‘‘‘
        sql = ‘‘‘select itemid from items where hostid = %s and key_ = ‘%s‘ ‘‘‘ % (hostid, itemname)
        if self.cursor.execute(sql):
            itemid = self.cursor.fetchone()[‘itemid‘]
        else:
            itemid = None
        return itemid

    def getTrendsValue(self,itemid, start_time, stop_time):
        ‘‘‘查询trends_uint表的值,type的值为min,max,avg三种‘‘‘
        resultlist = {}
        for type in [‘min‘,‘max‘,‘avg‘]:
            sql = ‘‘‘select %s(value_%s) as result from trends where itemid = %s and clock >= %s and clock <= %s‘‘‘ % (type, type, itemid, start_time, stop_time)
            self.cursor.execute(sql)
            result = self.cursor.fetchone()[‘result‘]
            if result == None:
                result = 0
            resultlist[type] = result
        return resultlist

    def getTrends_uintValue(self,itemid, start_time, stop_time):
        ‘‘‘查询trends_uint表的值,type的值为min,max,avg三种‘‘‘
        resultlist = {}
        for type in [‘min‘,‘max‘,‘avg‘]:
            sql = ‘‘‘select %s(value_%s) as result from trends_uint where itemid = %s and clock >= %s and clock <= %s‘‘‘ % (type, type, itemid, start_time, stop_time)
            self.cursor.execute(sql)
            result = self.cursor.fetchone()[‘result‘]
            if result:
                resultlist[type] = int(result)
            else:
                resultlist[type] = 0
        return resultlist

    def getLastMonthData(self,hostid,table,itemname):
        ‘‘‘根据hostid,itemname获取该监控项的值‘‘‘
        #获取上个月的第一天和最后一天
        ts_first = int(time.mktime(datetime.date(datetime.date.today().year,datetime.date.today().month-1,1).timetuple()))
        lst_last = datetime.date(datetime.date.today().year,datetime.date.today().month,1)-datetime.timedelta(1)
        ts_last = int(time.mktime(lst_last.timetuple()))

        itemid = self.__getItemid(hostid, itemname)

        function = getattr(self,‘get%sValue‘ % table.capitalize())

        return  function(itemid, ts_first, ts_last)

    def getInfo(self):
        #循环读取IP列表信息
        for ip,resultdict in  zabbix.IpInfoList.items():
            print "正在查询 IP:%-15s hostid:%5d 的信息!" % (ip, resultdict[‘hostid‘])
            #循环读取keys,逐个key统计数据:
            for table, keylists in keys.items():
                for key in keylists:
                    print "\t正在统计 key_:%s" % key
                    data =  zabbix.getLastMonthData(resultdict[‘hostid‘],table,key)
                    zabbix.IpInfoList[ip][key] = data

    def writeToXls(self):
        ‘‘‘生成xls文件‘‘‘
        try:
            import xlsxwriter
            #创建文件
            workbook = xlsxwriter.Workbook(‘damo.xls‘)
            #创建工作薄
            worksheet = workbook.add_worksheet()
            #写入标题(第一行)
            i = 0
            for value in ["主机","CPU平均空闲值","CPU最小空闲值","可用平均内存(单位M)","可用最小内存(单位M)","CPU5分钟负载","进入最大流量(单位Kbps)","进入平均流量(单位Kbps)","出去最大流量(单位Kbps)","出去平均流量(单位Kbps)"]:
                worksheet.write(0,i, value.decode(‘utf-8‘))
                i = i + 1
            #写入内容:
            j = 1
            for ip,value in self.IpInfoList.items():
                worksheet.write(j,0, ip)
                worksheet.write(j,1, ‘%.2f‘ % value[‘system.cpu.util[,idle]‘][‘avg‘])
                worksheet.write(j,2, ‘%.2f‘ % value[‘system.cpu.util[,idle]‘][‘min‘])
                worksheet.write(j,3, ‘%dM‘ % int(value[‘vm.memory.size[available]‘][‘avg‘] / 1024 / 1024))
                worksheet.write(j,4, ‘%dM‘ % int(value[‘vm.memory.size[available]‘][‘min‘] / 1024 / 1024))
                worksheet.write(j,5, ‘%.2f‘ % value[‘system.cpu.load[percpu,avg5]‘][‘avg‘])
                worksheet.write(j,6, value[‘net.if.in[eth0]‘][‘max‘]/1000)
                worksheet.write(j,7, value[‘net.if.in[eth0]‘][‘avg‘]/1000)
                worksheet.write(j,8, value[‘net.if.out[eth0]‘][‘max‘]/1000)
                worksheet.write(j,9, value[‘net.if.out[eth0]‘][‘avg‘]/1000)
                j = j + 1
            workbook.close()
        except Exception,e:
            print e

    def __del__(self):
        ‘‘‘关闭数据库连接‘‘‘
        self.cursor.close()
        self.conn.close()

if __name__ == "__main__":
    zabbix = ReportForm()
    zabbix.getInfo()
    zabbix.writeToXls()

生成xls文件我用了一个叫xlsxwriter的第三方库,这个库只能写不能读,感觉还可以,生成出来的效果:

Python+Mysql生成zabbix统计数据,布布扣,bubuko.com

时间: 2024-12-23 09:43:05

Python+Mysql生成zabbix统计数据的相关文章

Python+Mysql生成zabbix统计数据(优化)

周末重新整理了一下,把有些不合理的地方改了下,自我感觉好多了 ZabbixReport.py #!/usr/bin/python #coding:utf-8 import MySQLdb import time,datetime #zabbix数据库信息: zdbhost = '192.168.1.100' zdbuser = 'zabbix' zdbpass = 'zabbixreport' zdbport = 3306 zdbname = 'zabbix' #生成文件名称: xlsfilen

Python中生成(写入数据到)Excel文件

  转自http://www.crifan.com/export_data_to_excel_file_in_python/ 在Python中,如何将数据,导出为Excel,即把数据写入到新生成的excel文件. 1.网上看到: Working with Excel Files in Python 其中包括,Python中,如何读取excel文件,如何写入数据到excel文件等等相关的库. 看起来应该是这方面的资料中,总结的最好的了. 2.此处暂时只需要写入数据到Excel,所以就去参考: xl

Python - mysql中导入CSV数据 【学习笔记】

<span style="font-size:18px;">导出 mysql> INSERT INTO test_main -> SELECT 1, 'A' UNION ALL -> SELECT 2, 'B' UNION ALL -> SELECT 3, 'C'; Query OK, 3 rows affected (0.01 sec) Records: 3 Duplicates: 0 Warnings: 0 mysql> mysql>

mysql按时间统计数据,没有数据的时候自动补充0

1.数据库中选择任意一个有数据的表,例如我选择的是 shopping_user 表 SELECT @cdate := DATE_ADD( @cdate, INTERVAL - 1 DAY ) `date`, 0 AS `sum` FROM ( SELECT @cdate := DATE_ADD( CURDATE( ), INTERVAL + 1 DAY ) FROM shopping_user ) t1 WHERE @cdate > '2017-08-03' 选择一统计时间开始时间,我的开始时间

转:mysql按时间统计数据,没有数据的时候自动补充0

1.数据库中选择任意一个有数据的表,例如我选择的是 shopping_user 表 SELECT @cdate := DATE_ADD( @cdate, INTERVAL - 1 DAY ) `date`, 0 AS `sum` FROM ( SELECT @cdate := DATE_ADD( CURDATE( ), INTERVAL + 1 DAY ) FROM shopping_user ) t1 WHERE @cdate > '2017-08-03' 选择一统计时间开始时间,我的开始时间

mysql根据时间统计数据语句

select FROM_UNIXTIME(`createtime`, '%Y年%m月%d日')as retm,count(*) as num  from `user` GROUP BY retm select FROM_UNIXTIME(`pay_tm`, '%Y/%m/%d::')as retm,sum(price)+sum(express_price) as num from `order_orderlist` GROUP BY retm; select FROM_UNIXTIME(`pay

Python中,添加写入数据到已经存在的Excel的xls文件,即打开excel文件,写入新数据

背景 Python中,想要打开已经存在的excel的xls文件,然后在最后新的一行的数据. 折腾过程 1.找到了参考资料: writing to existing workbook using xlwt 其实是没有直接实现: 打开已有的excel文件,然后在文件最后写入,添加新数据 的函数的. 只不过,可以利用: Working with Excel Files in Python 中的库,组合实现. 2. writing to existing workbook using xlwt 给出了示

从Apache的日志文件收集和提供统计数据(一个Python插件架构的简单实现)

从Apache的日志文件收集和提供统计数据 这一章我们将介绍基于插件程序的架构和实现.作为例子,我们将构建一个分析Apache服务器log文件的框架.这一次我们不再使用单片机的方式来创建,而是改为采用模块化的方式.一旦我们有了一个基本框架,我们就可以为它创建一个插件.这个插件可以基于请求者的地理位置执行分析. 程序的结构和功能 在数据维护和统计收集领域,很难有一个单一的应用程序可以适合多个用户的需求.让我们以分析Apache的web服务器日志文件为例.web服务器接受到的每一个请求都被记录在日志

python爬取微博图片数据存到Mysql中遇到的各种坑\python Mysql存储图片

本人长期出售超大量微博数据,并提供特定微博数据打包,Message to [email protected] 前言   由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成. 挖坑填坑之旅 建表 存数据的时候首先需要设计数据库,我准备设计了3个表 微博表:[id, userid, blog_text, lat, lng, created_time, res