Zabbix的history相关数据表数据太大，执行表分区操作过程

一、查询zabbix数据库大小

mysql> select table_schema, concat(truncate(sum(data_length)/1024/1024,2),‘ mb‘) as data_size,concat(truncate(sum(index_length)/1024/1024,2),‘mb‘) as index_size from information_schema.tables group by table_schema order by data_size desc;
+--------------------+------------+------------+
| table_schema       | data_size  | index_size |
+--------------------+------------+------------+
| zabbix             | 8326.06 mb | 3031.85mb  |
| jumpserver         | 26.57 mb   | 8.21mb     |
| mysql              | 2.49 mb    | 0.21mb     |
| information_schema | 0.15 mb    | 0.00mb     |
| sys                | 0.01 mb    | 0.00mb     |
| performance_schema | 0.00 mb    | 0.00mb     |
+--------------------+------------+------------+
6 rows in set (0.40 sec)

发现Zabbix数据占用了8G空间

二、查询Zabbix数据库里所有表大小

mysql> select table_name, (data_length+index_length)/1024/1024 as total_mb,table_rows from information_schema.tables where table_schema=‘zabbix‘ order by total_mb desc;
+----------------------------+---------------+------------+
| table_name                 | total_mb      | table_rows |
+----------------------------+---------------+------------+
| history_uint               | 5487.29687500 |   56075683 |
| history                    | 4843.39062500 |   51787332 |
| trends_uint                |  526.92187500 |    7440029 |
| history_str                |  251.39062500 |    2393973 |
| trends                     |  215.87500000 |    2978883 |
| items                      |    6.21875000 |      10033 |
| events                     |    4.93750000 |       7922 |
| alerts                     |    4.67187500 |       5030 |
| items_applications         |    2.35937500 |      11510 |
| triggers                   |    1.89062500 |       4359 |
| auditlog                   |    1.85937500 |       6803 |
| images                     |    1.53125000 |        138 |
| functions                  |    0.67187500 |       4746 |
| item_discovery             |    0.57812500 |       3921 |
| graphs_items               |    0.51562500 |       3773 |
| graphs                     |    0.50000000 |       1561 |
| auditlog_details           |    0.42187500 |       2620 |
| event_recovery             |    0.32812500 |       2936 |
| applications               |    0.29687500 |       2345 |
| item_preproc               |    0.29687500 |       3668 |
| application_template       |    0.28125000 |       1989 |
| sessions                   |    0.23437500 |       1064 |
| hosts                      |    0.17187500 |        167 |
| profiles                   |    0.15625000 |        564 |
| sysmaps_elements           |    0.15625000 |         95 |
| mappings                   |    0.12500000 |        820 |
| widget_field               |    0.10937500 |        170 |
| graph_discovery            |    0.10937500 |        887 |
| problem                    |    0.09375000 |        104 |
| item_condition             |    0.07812500 |        446 |
| sysmaps                    |    0.07812500 |         13 |
| trigger_depends            |    0.07812500 |        401 |
| httptest                   |    0.07812500 |         41 |
| event_suppress             |    0.06250000 |          0 |
| escalations                |    0.06250000 |          8 |
| sysmaps_links              |    0.06250000 |          0 |
| scripts                    |    0.06250000 |          3 |
| trigger_discovery          |    0.06250000 |        648 |
| hostmacro                  |    0.06250000 |        297 |
| group_prototype            |    0.06250000 |          7 |
| acknowledges               |    0.06250000 |        207 |
| slides                     |    0.04687500 |          0 |
| rights                     |    0.04687500 |          4 |
| maintenances_groups        |    0.04687500 |          0 |
| host_discovery             |    0.04687500 |          2 |
| httpstepitem               |    0.04687500 |        123 |
| item_application_prototype |    0.04687500 |         23 |
| autoreg_host               |    0.04687500 |          0 |
| task                       |    0.04687500 |          0 |
| maintenances               |    0.04687500 |          0 |
| dservices                  |    0.04687500 |         30 |
| sysmap_element_trigger     |    0.04687500 |          0 |
| tag_filter                 |    0.04687500 |          0 |
| drules                     |    0.04687500 |          8 |
| slideshows                 |    0.04687500 |          0 |
| users_groups               |    0.04687500 |          5 |
| services_links             |    0.04687500 |          0 |
| opcommand_hst              |    0.04687500 |          0 |
| optemplate                 |    0.04687500 |          0 |
| interface                  |    0.04687500 |         82 |
| slideshow_usrgrp           |    0.04687500 |          0 |
| opcommand_grp              |    0.04687500 |          0 |
| opmessage_usr              |    0.04687500 |         22 |
| sysmaps_link_triggers      |    0.04687500 |          0 |
| service_alarms             |    0.04687500 |          0 |
| opmessage_grp              |    0.04687500 |          4 |
| hosts_templates            |    0.04687500 |        263 |
| icon_mapping               |    0.04687500 |          0 |
| application_prototype      |    0.04687500 |         23 |
| dashboard_usrgrp           |    0.04687500 |          0 |
| media                      |    0.04687500 |          9 |
| hosts_groups               |    0.04687500 |        211 |
| icon_map                   |    0.04687500 |          0 |
| application_discovery      |    0.04687500 |          8 |
| sysmap_usrgrp              |    0.04687500 |          0 |
| dashboard_user             |    0.04687500 |          0 |
| opgroup                    |    0.04687500 |          0 |
| httptestitem               |    0.04687500 |        123 |
| sysmap_user                |    0.04687500 |          0 |
| screens                    |    0.04687500 |         12 |
| actions                    |    0.04687500 |         16 |
| screen_usrgrp              |    0.04687500 |          0 |
| maintenances_windows       |    0.04687500 |          0 |
| correlation                |    0.04687500 |          0 |
| slideshow_user             |    0.04687500 |          0 |
| config                     |    0.04687500 |          0 |
| screen_user                |    0.04687500 |          0 |
| maintenances_hosts         |    0.04687500 |          0 |
| group_discovery            |    0.03125000 |          0 |
| conditions                 |    0.03125000 |         30 |
| sysmap_element_url         |    0.03125000 |          0 |
| problem_tag                |    0.03125000 |          0 |
| regexps                    |    0.03125000 |          5 |
| httpstep_field             |    0.03125000 |         26 |
| interface_discovery        |    0.03125000 |          0 |
| services_times             |    0.03125000 |          0 |
| maintenance_tag            |    0.03125000 |          0 |
| history_text               |    0.03125000 |         22 |
| graph_theme                |    0.03125000 |          4 |
| httpstep                   |    0.03125000 |         41 |
| dhosts                     |    0.03125000 |         31 |
| widget                     |    0.03125000 |         23 |
| users                      |    0.03125000 |          3 |
| services                   |    0.03125000 |          0 |
| hstgrp                     |    0.03125000 |         27 |
| history_log                |    0.03125000 |          0 |
| dchecks                    |    0.03125000 |          8 |
| valuemaps                  |    0.03125000 |         75 |
| opcommand                  |    0.03125000 |          0 |
| usrgrp                     |    0.03125000 |          8 |
| media_type                 |    0.03125000 |         11 |
| opmessage                  |    0.03125000 |         30 |
| globalmacro                |    0.03125000 |          0 |
| trigger_tag                |    0.03125000 |          0 |
| screens_items              |    0.03125000 |         51 |
| proxy_history              |    0.03125000 |          0 |
| corr_condition_group       |    0.03125000 |          0 |
| expressions                |    0.03125000 |         10 |
| dashboard                  |    0.03125000 |          3 |
| proxy_dhistory             |    0.03125000 |          0 |
| corr_condition             |    0.03125000 |          0 |
| operations                 |    0.03125000 |         32 |
| httptest_field             |    0.03125000 |          0 |
| sysmap_url                 |    0.03125000 |          0 |
| proxy_autoreg_host         |    0.03125000 |          0 |
| sysmap_shape               |    0.03125000 |          0 |
| opconditions               |    0.03125000 |          0 |
| event_tag                  |    0.03125000 |          0 |
| corr_operation             |    0.03125000 |          0 |
| timeperiods                |    0.01562500 |          0 |
| corr_condition_tagvalue    |    0.01562500 |          0 |
| task_remote_command_result |    0.01562500 |          0 |
| corr_condition_tagpair     |    0.01562500 |          0 |
| task_remote_command        |    0.01562500 |          0 |
| corr_condition_tag         |    0.01562500 |          0 |
| task_close_problem         |    0.01562500 |          0 |
| task_check_now             |    0.01562500 |          0 |
| housekeeper                |    0.01562500 |          0 |
| ids                        |    0.01562500 |         52 |
| globalvars                 |    0.01562500 |          0 |
| dbversion                  |    0.01562500 |          0 |
| task_acknowledge           |    0.01562500 |          0 |
| opinventory                |    0.01562500 |          0 |
| host_inventory             |    0.01562500 |         20 |
+----------------------------+---------------+------------+
144 rows in set (0.02 sec)

mysql>

发现history和trends相关表数据量很大，一个是历史数据，一个是趋势数据

需要对这些表进行分区操作，提高效率

三、下载分区脚本

drwxr-xr-x. 4 root root  4096 12月 26 2018 share
[[email protected]_server zabbix-4.0.3]# wget https://dl.cactifans.com/zabbix/partitiontables_gt_zbx34.sh
--2019-06-28 11:20:28--  https://dl.cactifans.com/zabbix/partitiontables_gt_zbx34.sh
正在解析主机 dl.cactifans.com... 222.186.135.67
正在连接 dl.cactifans.com|222.186.135.67|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：15458 (15K) [application/octet-stream]
正在保存至: “partitiontables_gt_zbx34.sh.1”

100%[===========================================================================================>] 15,458      --.-K/s   in 0s      

2019-06-28 11:20:28 (428 MB/s) - 已保存 “partitiontables_gt_zbx34.sh.1” [15458/15458])

[[email protected]_server zabbix-4.0.3]#

四、编辑脚本相关参数

脚本默认详情数据保留30天，趋势数据保留12个月，如需修改，请修改以下内容：

daily_history_min=30

monthly_history_min=12

脚本默认连接数据库信息，更改成你的：

DBHOST=localhost

DBUSER=zabbix

DBPASS=zabbix

[[email protected]_server zabbix-4.0.3]# chmod +x partitiontables_gt_zbx34.sh

五、执行分区脚本

原文地址：https://www.cnblogs.com/sky-cheng/p/11101745.html

时间： 2024-10-09 21:59:59

Zabbix的history相关数据表数据太大，执行表分区操作过程的相关文章

解决ASP.NET MVC(post数据)Json请求太大,无法反序列化（The JSON request was too large to be deserialized）

这个问题出现的场景并不是很多,当你向服务端异步(ajax)post数据非常大的情况下(比如做权限管理的时候给某个角色分配权限那么就可能会出现,我所遇到的就是该角色大概200个模块每个模块平均2个功能----那么发送到服务端action的将是一个有着400个对象的数组) 之前我们向服务端异步post数组可能需要使用 1 $.ajax({ 2 type: 'POST', 3 url: '/system/SaveRoleReModule', 4 dataType: "json", 5 con

Oracle bigfile 大文件表空间

Database 是由一个或多个被称为表空间(tablespace)的逻辑存储单位构成.表空间内的逻辑存储单位为段(segment),段又可以继续划分为数据扩展(extent).而数据扩展是由一组连续的数据块(datablock)构成. 大文件表空间在Oracle中用户可以创建大文件表空间(bigfile tablespace).这样Oracle数据库使用的表空间(tablespace)可以由一个单一的大文件构成,而不是若干个小数据文件.这使Oracle可以发挥64位系统的能力,创建.管理超大

如何创建ORACLE大文件表空间

SQL>CREATE BIGFILE TABLESPACE 表名datafile 'd:\ndo\ddo\表名.DBF‘SIZE 500M AUTOEXTEND ON; SQL>Create Bigfile tablespace bf_images_xpdatafile 'e:\datacenter\bf\bf_images_xp.dbf' size 500M Autoextend on;//说明如下://创建一个大表空间,名称为:bf_images_xp,数据文件为e:\datacent

oracle创建大文件表空间

大文件表空间是oracle10g以及以后的版本引进的一个新表空间类型,主要用于决解存储大文件不够的问题.与普通表空间不同的是,大文件表空间只能对应唯一一个数据文件或临时文件,而普通表空间则可以最多对应1022个数据文件或临时文件. 虽然大文件表空间只能对应一个数据文件或临时文件,但其对应的文件可达4G数据块大小,而普通表空间对应的文件最大可达4M个数据块大小. 创建大文件表空间创建大文件表空间需要使用bigfile关键字,而且只能为其指定一个数据文件或临时文件. 与大文件表空间相对应,普通表空

利用Flume将MySQL表数据准实时抽取到HDFS

转自:http://blog.csdn.net/wzy0623/article/details/73650053 一.为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时,我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS,然后用HAWQ的外部表进行访问.这种方式只需要很少量的配置即可完成数据抽取任务,但缺点同样明显,那就是实时性.Sqoop使用MapReduce读写数据,而MapReduce是为了批处理场景设计的,目标是大吞吐量,并不太关心低延时问题.就像实验中所做的,每天定

利用Sql实现将指定表数据导入到另一个数据库示例

因为工作中经常需要将数据从一个数据库导入到另一个数据库中,所以将这个功能写成一个存储过程,以方便调用.现在粘贴出来供大家参考: 注意:1,以下示例中用到了syscolumns,sysobjects等系统视图,在sql2005及以后的版本中,大家也可以使用sys.columns与sys.objects来代替,只要修改对应的字段即可.2,以下示例还用到了set identity_insert设置,有对该设置不太清楚的朋友可以点击链接查看其用法.3,结合sys.tables表与游标,大家可以循环调用以

jdbc如何优雅的解决字典表数据转化

我们在做数据库设计的时候肯定会用字典表或者说枚举表等固化数据,那么当查询数据的时候用到了这些字典值的时候我们会怎么做呢.以下举个栗子吧,不对应该是好几个栗子字典表(PUB_RESTRICTION) SERIAL_NO DESC_ID DESC_CHINA KEYWORD 67550001 1 城区 AREA_TYPE 67550002 2 郊区 AREA_TYPE 67550003 3 县城 AREA_TYPE 67550004 4 乡镇 AREA_TYPE 用户表(MANA_USER) US

Django 批量插入数据、自定义分页器、多表关系的建立及Form组件（待更新。。。）

目录 django批量出入数据自定义分页器创建多对多表关系的建立 form组件 form组件钩子函数一.django批量出入数据视图函数: from app01 import models # 向表中插入1000条数据 def index(request): # 方式1: # for i in range(1000): # models.Book.objects.create(title='第%s本书'%i) # book_Queryset = models.Book.objects

Hive数据导入——数据存储在Hadoop分布式文件系统中，往Hive表里面导入数据只是简单的将数据移动到表所在的目录中！

转自:http://blog.csdn.net/lifuxiangcaohui/article/details/40588929 Hive是基于Hadoop分布式文件系统的,它的数据存储在Hadoop分布式文件系统中.Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据.所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中! Hive的几种常见的数据导入方式这里介绍四种:(1).从本地文件系统中