MySQL单机优化---分表、分区、分库

一、分表:

  水平分表:根据条件把数据分为N个表(例如:商品表中有月份列,则可以按月份进行水平分表)。

    使用场景:一张表中数据太多,查询效率太慢。

     当需要同时查询被水平分表的多张表时:

       在两条SQL语句中间加union,就能把两表数据合并展示。

      union:数据合并时去重。

       Union all:数据合并展示不去重。

  垂直分表:将表的字段拆出来变成一张表,两表通过外键建立一对一关系。

    使用场景:有些表记录数并不多,但是字段却很长,表占用空间很大,检索表时需要执行大量I/O,严重降低了性能。

    当需要同时用到两表的数据时,可以通过 left  join 进行两表查询。

二、分库:(配置多数据源)

    垂直分库:根据不同业务将不同的表分到不同的数据库。

    水平分库:将同一张表中的数据分到不同的数据库中。

三、分区:

    表没变,但是保存表数据的从一个文件被分成了多个文件,用户感知不到。

    分区的作用:     

      select *f rom dept where id in (1m2,3,4)

      从MySQL 5.1 中新增了分区(Partition)功能,优势也越来越明显了:

          --与单个磁盘或文件系统分区相比,可以存储更多的数据

          --很容易就能删除不用或者过时的数据

          --一些查询可以得到极大的优化 可以并发查询

          --涉及到 SUM()/COUNT() 等聚合函数时,可以并发进行

          --IO吞吐量更大(多台服务器)

     分区的方式:       

        常见分区方式:

          Range(范围)       –基于一个给定的连续空间,把数据分配到不同分区。1-10 11-20

          List(预定义列表) –类似Range分区,区别在List分区是基于枚举出的值列表分区,而  Range分区是根据给定的连续区间范围分区 1,2,3   4,5,6

          Hash(哈希)–这中模式允许通过对表的一个或多个列的Hash Key进行计算,最后通过这个Hash码不同数值对应的数据区域进行分区。例如可以建立一个对表主键进行分        区的表。这个根据给定的分区个数,把数据分配到不同的分区。

          Key(键值)-上面Hash模式的一种延伸,这里的Hash Key是MySQL系统产生的。

原文地址:https://www.cnblogs.com/wanghj-15/p/11470448.html

时间: 2024-11-09 17:02:30

MySQL单机优化---分表、分区、分库的相关文章

MySQL性能优化:分表、增量备份、还

对表进行水平划分 如果一个表的记录数太多了,比如上千万条,而且需要经常检索,那么我们就有必要化整为零了.如果我拆成100个表,那么每个表只有10万条记录.当然这需要数据在逻辑上可以划分.一个好的划分依据,有利于程序的简单实现,也可以充分利用水平分表的优势.比如系统界面上只提供按月查询的功能,那么把表按月拆分成12个,每个查询只查询一个表就够了.如果非要按照地域来分,即使把表拆的再小,查询还是要联合所有表来查,还不如不拆了.所以一个好的拆分依据是 最重要的.关键字:UNION 例: 订单表根据订单

【转】mysql分库分表,数据库分库分表思路

原文:https://www.cnblogs.com/butterfly100/p/9034281.html 复制过来收藏 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈,单机存储容量.连接数.处理能力都有限.当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库.优化索引,做很多操作时性能仍下降严重.此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间. 数据库分布式核心内容无非就是数据切分(Sharding),以及切分后对数据的定位.整合.数据

数据库分表和分库 一点积累

数据库分库分表一般是存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率. 什么是分表? 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件.这些子表可以分布在同一块磁盘上,也可以在不同的机器上.app读写的时候

数据库分表和分库的原理及基于thinkPHP的实现方法

为什么要分表,分库: 当我们的数据表数据量,访问量很大,或者是使用频繁的时候,一个数据表已经不能承受如此大的数据访问和存储,所以,为了减轻数据库的负担,加快数据的存储,就需要将一张表分成多张,及将一类数据存入不同的几张表,当分表已经不能满足需求是,我们还可以分库,及用几个数据库存储. 分表会随着需求和功能的不同有不同的实现方法,下面是我做项目中的一个例子: 需求:product,product_price两张表是一对多的关系,及产品和产品每日的价格,一个产品对应几种价格,现在由于产品表数据量很大

Mysql分表分区

分表 1 我事先建100个这样的表,message_00,message_01,message_02..........message_98,message_99.然后根据用户的ID来判断这个用户的聊天信息放到哪张表里面,你可以用hash的方式来获得,可以用求余的方式来获得,方法很多,各人想各人的吧.下面用hash的方法来获得表名: 查看复制打印? <?php function get_hash_table($table,$userid) { $str = crc32($userid); if(

MySQL数据库分表分区(一)(转)

面对当今大数据存储,设想当mysql中一个表的总记录超过1000W,会出现性能的大幅度下降吗? 答案是肯定的,一个表的总记录超过1000W,在操作系统层面检索也是效率非常低的 解决方案: 目前针对海量数据的优化有两种方法: 1.大表拆小表的方式(主要有分表和分区两者技术) (1)分表技术 垂直分割 优势:降低高并发情况下,对于表的锁定. 不足:对于单表来说,随着数据库的记录增多,读写压力将进一步增大. 水平分割 如果单表的IO压力大,可以考虑用水平分割,其原理就是通过hash算法,将一张表分为N

MySQL 数据库分表分区

博主QQ:819594300 博客地址:http://zpf666.blog.51cto.com/ 有什么疑问的朋友可以联系博主,博主会帮你们解答,谢谢支持!一.分表 为什么要分表? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. 什么是分表? 分表是将一个达标按照一定的规则分解成多张具有独立存储空间的实体表,每个表都对应三个文件,.MYD数据文件..MYI索引文件..frm表结构文件.这些表可以分

mysql数据库分表分区

防伪码:博观而约取,厚积而薄发 为什么要分表和分区? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且 由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. mysql 中有一种机制是表锁定和行锁定,是为了保证数据的完整性.表锁定表示你们都不能 对这张表进行操作,必须等我对表操作完才行.行锁定也一样,别的 sql 必须等我对这条数 据操作完了,才能对这条数据进行操作.当出现这种情况时,我们可以考虑分表或分区. 1.分表 什么是分表? 分表是将一个大表按

分表与分库

前言 当我们的数据量逐渐膨胀,一张表的数据量变得非常巨大以致于影响性能时,我们需要一种手段来将表拆分成若干表以提高性能,这就是分表.当我们的数据量继续膨胀,我们单机数据库中已经存在非常多的子表,并且数据库服务器承受不了这样大量的请求时,我们需要一种手段将单机数据库的压力分摊到若干数据库,这就是分库. 一.简介 分表:将一张表按照一定的规则划分成若干分表,查询分表时可按照规则直接定位到一张分表,提高查询效率. 分库:分表之后,一个数据库中会产生非常多的表,数据库中的表过多会影响数据库的性能,并且数