数据库分表和分库的原理及基于thinkPHP的实现方法


为什么要分表,分库:

当我们的数据表数据量,访问量很大,或者是使用频繁的时候,一个数据表已经不能承受如此大的数据访问和存储,所以,为了减轻数据库的负担,加快数据的存储,就需要将一张表分成多张,及将一类数据存入不同的几张表,当分表已经不能满足需求是,我们还可以分库,及用几个数据库存储。

分表会随着需求和功能的不同有不同的实现方法,下面是我做项目中的一个例子:

需求:product,product_price两张表是一对多的关系,及产品和产品每日的价格,一个产品对应几种价格,现在由于产品表数据量很大,每天多有上百万条数据,就以天为单位对表进行分表,以月为单位对数据库进行分库,表的命名为‘product_price2014-07-20’表格式:前面是原数据库表名,后面是日期(年-月-日).

创建数据库和表的代码如下:

function get_product_price_table(){
    $db_info=array();   

    //这个月
    $newmot_time=date("Y-m");
    //今天日期
    $newday_time=date("Y-m-d");
    //本月数据库,今天的表
    $db_name = ‘acbooking‘.$newmot_time;
    $table_name = "product_price".$newday_time;

    //昨天的日期
    $yesday_time = date("Y-m-d",strtotime("-1 day"));

    //取出昨天的数据,获取 product_price的最后id,作为新表id的起始值
    $last_one_product_price = get_info(‘product_price_table_id‘,array(‘time‘=>$yesday_time));
    if($last_one_product_price[‘table_id_end‘]>0){
        $table_id = $last_one_product_price[‘table_id_end‘]+1;
    }else{
        $table_id = 1;
    }    

    //创建数据库	
	$Db_string_line = C(‘DB_TYPE‘).‘://‘.C(‘DB_USER‘).‘:‘.C(‘DB_PWD‘).‘@‘.C(‘DB_HOST‘).‘/‘.$new_db_database;
	$DB_P=C(‘DB_PREFIX‘);
	$Model=M($table,$DB_P,$Db_string_line);
	$db_name=$Model->execute($sql);//通过sql语句配置创建新数据库新标,此处省略了sql语句
    
    //创建数据表
	$Db_string_line = C(‘DB_TYPE‘).‘://‘.C(‘DB_USER‘).‘:‘.C(‘DB_PWD‘).‘@‘.C(‘DB_HOST‘).‘/‘.$new_db_database;
	$DB_P=C(‘DB_PREFIX‘);
	$Model=M($table,$DB_P,$Db_string_line);
	$table_name=$Model->execute($sql);

    //返回新 数据库,新的表
    $db_info[‘database‘]=$db_name;
    $db_info[‘table‘]=$table_name;
    return $db_info;
}

创建出分表后,即可存储当天的所有数据,每天换一张表,执行效率很高。。。。

数据库分表和分库的原理及基于thinkPHP的实现方法

时间: 2024-10-13 21:02:07

数据库分表和分库的原理及基于thinkPHP的实现方法的相关文章

数据库分表和分库 一点积累

数据库分库分表一般是存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率. 什么是分表? 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件.这些子表可以分布在同一块磁盘上,也可以在不同的机器上.app读写的时候

数据库分表分库

产生原因 1.当数据达到了上亿级别单个库使用效率性能是十分低下的,当进行查询等操作时候,也是从根节点去找到子节点然后在找到叶节点 , 数亿条取一条数据 性能就不是很迅速,而且单机的存储量,链接数,并发量,处理能力十分有限. 这个时候数据库就容易遇到了系统瓶颈, 所以为了 降低性能,缩短查询时间,减少数据库的负担,会采取分表分库的方法 . 数据库分表分库思路:水平拆分和垂直拆分 垂直拆分:就是不同的表存储在不同的数据库,按照业务进行独立划分 ,主要通过'列'进行划分,将不常用的字段或者较大的字段拆

数据库分表设计-任我行

本文只阐述一个完整的实例,直接可以复制过去用,不作过多的解释. 简单说一下分表与分区: 分区的原理:我在深圳市,但我也在中国,如果中国没有划分区域的话,搜索范围将是整个中国,查询起来很费力.现在既然中国已经划分区域当然可以直接来深圳市找我了,是不是快了很多. 分表的原理:我在中国,通过某种算法(比如查户口)知道了我在深圳,是不是也可以直接来深圳市找我,其他区域就不用去看了,本文的算法为dbo.GetTableName(),通过这个算法知道了数据存储在哪张表里面. --用于保存所有日志ID,与操作

架构之数据库分表分库

1 基本思想之什么是分库分表?从字面上简单理解,就是把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上.2 基本思想之为什么要分库分表? 数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销也会越来越大:另外,由于无法进行分布式式部署,而一台服务器的资源(CPU.磁盘.内存.IO等)是有限的,最终数据库所能承载的数据量.数据处理能力都将遭遇瓶颈.3 分库分

Mycat(4):消息表mysql数据库分表实践

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/46882777 未经博主允许不得转载. 1,业务需求 比如一个社交软件,比如像腾讯的qq.可以进行群聊天(gid),也可以单人聊天. 这里面使用到了数据库中间件mycat,和mysql数据表分区. 关于mycat分区参考: [ 数据库垂直拆分,水平拆分利器,cobar升级版mycat] http://blog.csdn.net/freewebsys/article/details

MySQL数据库分表分区(一)(转)

面对当今大数据存储,设想当mysql中一个表的总记录超过1000W,会出现性能的大幅度下降吗? 答案是肯定的,一个表的总记录超过1000W,在操作系统层面检索也是效率非常低的 解决方案: 目前针对海量数据的优化有两种方法: 1.大表拆小表的方式(主要有分表和分区两者技术) (1)分表技术 垂直分割 优势:降低高并发情况下,对于表的锁定. 不足:对于单表来说,随着数据库的记录增多,读写压力将进一步增大. 水平分割 如果单表的IO压力大,可以考虑用水平分割,其原理就是通过hash算法,将一张表分为N

数据库分表设计

具体来说就是数据库有这样的表account0account1account2account3 每个表假如说是存1万个玩家sprintf(m_szSql,"UPDATE account%d SET rmcard=rmcard + %lld,coin=coin + %lld,safecoin=safecoin + %lld where uid=%d;",CCommonLogic::GetDataTableNum(uid),roomCard,coin,safecoin,uid); 这是分表的

分表与分库

前言 当我们的数据量逐渐膨胀,一张表的数据量变得非常巨大以致于影响性能时,我们需要一种手段来将表拆分成若干表以提高性能,这就是分表.当我们的数据量继续膨胀,我们单机数据库中已经存在非常多的子表,并且数据库服务器承受不了这样大量的请求时,我们需要一种手段将单机数据库的压力分摊到若干数据库,这就是分库. 一.简介 分表:将一张表按照一定的规则划分成若干分表,查询分表时可按照规则直接定位到一张分表,提高查询效率. 分库:分表之后,一个数据库中会产生非常多的表,数据库中的表过多会影响数据库的性能,并且数

为什么会决定进行分库分表,分库分表过程中遇到什么难题,如何解决的?

一.为什么决定进行分库分表? 根据业务类型,和业务容量的评估,来选择和判断是否使用分库分表 当前数据库本事具有的能力,压力的评估 数据库的物理隔离,例如减少锁的争用.资源的消耗和隔离等 热点表较多,并且数据量大,可能会导致锁争抢,性能下降 数据库的高并发,数据库的读写压力过大,可能会导致数据库或系统宕机 数据库(MySQL5.7以下)连接数过高,会增加系统压力 单表数据量大,如SQL使用不当,会导致io随机读写比例高.查询慢(大表上的B+树太大,扫描太慢,甚至可能需要4层B+树) 备份和恢复时间