mysql线上数据库单表超过200G的处理

tbl_user_data占用了大量磁盘空间，数据表占用大概200G，索引30G左右，查询非常慢，影响业务的支持进行现在需要对它进行清理

临时解决方案是将原表重命名，新建一个和这个表相同的空表来替换(缺点是不能做到根治，隔一段时间以后需要重新处理)

根除的办法是重新设计，或者在客户端进行过滤避免过多垃圾数据进入系统

1.新建一个和现在表相同结构的表
create table tbl_user_data_new like tbl_user_data

将主键的ID改为bigint并且unsigned无符号，存储大一倍

2.停用服务端服务，需要根据实际业务选择暂停服务时间

3.重命名原表并且20170809bak
将tbl_user_data_new改为tbl_user_data即可

4.重新启动服务，看到已经有新的数据进入到刚才的表中，此处变更成功

时间： 2024-10-20 10:22:57

mysql线上数据库单表超过200G的处理的相关文章

mysql数据库单表只有一个主键自增id字段，ibatis实现id自增

mysql数据库单表只有一个主键自增id字段,ibatis实现id自增 <insert id="autoid"> insert into user_id values(null) <selectKey resultClass="int">SELECT @@IDENTITY As id</selectKey> </insert>

MySQL通过添加索引解决线上数据库服务器压力大问题

昨天线上应用反馈晚上 19:30-19:43以及 20:13到20:21两个时间段所有人包括我们自己建的教室都进不去, classroom B套无法登陆,主页无法访问,已有超过10个老师和学生反馈进不去教室的问题通过监控查看出现问题时数据库服务器的cpu使用率,负载,io,内存使用,swap剩余量等状况,发现数据库当时压力特别大, 数据库连接数: 数据库慢查询也出现很多查看慢查询日志,发现一个SQL在慢查询日志中频繁出现切执行时间较长 # [email protected]: cms[cms

【MySQL 线上 BUG 分析】之多表同字段异常：Column ‘xxx’ in field list is ambiguous

一.生产出错! 今天早上11点左右,我在工作休息之余,撸了一下猫.突然,工作群响了,老大在里面说:APP出错了! 妈啊,这太吓人了,因为只是说了出错,但是没说错误的信息.所以我赶紧到APP上看看. 这果然是出错了,而且还是简单而粗暴的500,太吓人了. 二.本地赶紧调试起来! 既然线上出错了,我们又不能直接进行调试,那当然得马上在本地搞起来了! 1.代码是否有错? 立马启动本地的项目,访问对应的接口,看看是不是代码哪里出错了. 好了,本地的代码和 SQL 都是没错的! 2.SQL 是否有错? 那

Mysql数据库单表查询

1.单表查询语法 #查询数据的本质:mysql会到你本地的硬盘上找到对应的文件,然后打开文件,按照你的查询条件来找出你需要的数据.下面是完整的一个单表查询的语法 select * from,这个select * 指的是要查询所有字段的数据. SELECT distinct 字段1,字段2... FROM 库名.表名 #from后面是说从库的某个表中去找数据,mysql会去找到这个库对应的文件夹下去找到你表名对应的那个数据文件,找不到就直接报错了,找到了就继续后面的操作 WHERE 条件 #从表中

Hibernate学习笔记(一)-->数据库单表操作

Hibernate框架是一个全ORM映射框架,是一个非常流行的数据库操作框架之一,现在比较流行的还有MyBatis半ORM映射框架在MyEclipse IDE开发工具中,可以很轻松的搭建Hibernate框架. 一.搭建一个项目 1.首先在MyEclipse中搭建一个web项目. 2.选中项目右键-->myeclipse-->Project Facets-->找到hibernate.这样就为项目添加了hibernate支持 3.打开hibernate.cfg.xml配置文件,在可视化编

mysql基础篇 - 数据库及表的修改和删除

基础篇 - 数据库及表的修改和删除修改和删除一.实验简介本节实验中,我们将学习并实践如何对数据库的内容做修改,删除,重命名等操作. 二.实验准备在正式开始本实验内容之前,需要先下载相关代码. 该代码可以新建两个数据库,分别名为 test_01 和mysql_shiyan ,并在 mysql_shiyan 数据库中建 4 个表(department,employee,project,table_1),然后向其中插入数据. 具体操作如下,首先输入命令进入 /home/shiyanlou/De

「mysql优化专题」单表查询优化的一些小总结，非索引设计（3）

单表查询优化:(关于索引,后面再开单章讲解) (0)可以先使用 EXPLAIN 关键字可以让你知道MySQL是如何处理你的SQL语句的.这可以帮我们分析是查询语句或是表结构的性能瓶颈. (1)写sql要明确需要的字段,要多少就写多少字段,而不是滥用 select * (2)可以用使用连接(JOIN)来代替子查询 (3)使用分页语句:limit start , count 或者条件 where子句时,有什么可限制的条件尽量加上,查一条就limit一条.做到不滥用.比如说我之前做过的的p2p项目,只

如何用Percona XtraBackup进行MySQL从库的单表备份和恢复【转】

前提应该确定采用的是单表一个表空间,否则不支持单表的备份与恢复. 在配置文件里边的mysqld段加上 innodb_file_per_table = 1 环境说明: 主库:192.168.0.1 从库1:192.168.0.2 从库2:192.168.0.3 备份工具 : Percona xtrabackup version 2.4.8 based on MySQL server 5.7.13 Linux (x86_64) (revision id: 97330f7) 在主库上创建chenfe

mysql四-1：单表查询

一.单表查询的语法 SELECT 字段1,字段2... FROM 表名 WHERE 条件 GROUP BY field HAVING 筛选 ORDER BY field LIMIT 限制条数二.关键字的执行优先级(重点) 1.from 库.表--找到表 2.where 条件--按照where指定的约束条件,去表中取出一条条记录 3.group by 分组条件--对取出的一条条记录分组,如果没有group by,整体作为一组 4.having 过滤--将分组的结果进行过滤 5.selec