大数据量表结构设计案例

在处理大数据量的表时，会消耗数据库的大量性能，所以，在设计数据库表时，要考虑到此种现象，将数据库设计的合理合法，来提高数据库性能减小数据库压力。

当表记录太多，如产品、的订单、大量客户等，是数据库访问压力的主要来源，此时，从数据库拆分表的角度来减轻压力，可以采用如下两种方法：

1、对表进行水平分割

水平分割：以该表主键PK的某个值为界限，将该表的记录水平拆分为两个表

2、对表进行垂直分割

垂直分割：表字段太多，按照表字段拆分，将一个表垂直分解为两个表

例：有产品表，数据量为10w，数据量稳定；

订单表，数据量为200w，数据量有增长趋势；

用户表，数据量为100w，数据量有增长趋势

方案一：垂直分割，解决了表与表之间的io竞争，未解决单表种数量增长出现的压力

进一步解决方案：

——将产品表和用户表放在一个server上；

——订单表单独放到一个server上

方案二：水平分割，解决了单表种数据量的压力，未解决表与表之间io的竞争

进一步解决方案：

——用户表通过性别拆分为男用户和女用户

——订单表拆分成已完成订单和未完成订单

——产品表，未完成订单放在一个server上

——已完成订单和男用户放在一个server上

——女用户放在一个server上(女用户爱购物)

时间： 2024-10-26 15:03:03

大数据量表结构设计案例的相关文章

mysql大数据量表索引与非索引对比

1:不要在大数据量表中轻易改名字(做任何操作都是非常花费时间) 2个多亿数据量的表改名操作执行时间花费8分多钟 (如果是加索引等其他操作那时间花费不可预估) 2:给大数据量的mysql表添加索引所花费的时间如下在日后生产环境如果需要给表添加索引等操作心里要有预估时间的花费范围 3: explain 解释语句 type:ALL 进行完整的表扫描 .row:213284372 mysql预估需要扫描213284372 条记录来完成这个查询.可想而知表数据量越大全表扫描越慢.

大数据量表的优化查询

1:索引,我们最先想到的就是创建索引,创建索引可以成倍的提升查询的效率,节省时间.但是如果数据量太过于巨大的时候,这个时候单纯的创建索引是无济于事的,我们知道假如特别是在大数据量中统计查询,就拿1000W数据来说吧,如果使用count函数的话,最少要50-100秒以上,当然如果你的服务器配置够高,处理够快,或许会少很多但是一样会超过10秒. 单纯的建立索引是无济于事的.我们可以在创建索引的时候给索引加个属性,compress,这个属性可以将所创建的索引进行一个良好的归类,这样的话,查询速度会提升

怎么快速删除大数据量表

v一.前言要清空表中数据,100w条数据以上的表,开始我们使用delete from t_user进行删除,这样操作太慢了,需要等好长时间,如果数据量更大,那么我们要等的时间无法想象. 可以用以下方法进行删除假设要删除的原表为SOURCE_T v二.解决办法第一步:生成中间表 1 create table SOURCE_T_M as select * from SOURCE_T where id = '111' --任意指定一条符合条件的数据即可第二步:修改表名 1 rename SOU

.Net中EF针对大数据量查询超时的一种优化

旧代码: --receiptIds id集合,每次查1000左右 var mappingList = new List<FinanceSettlementMapping>(); mappingList.AddRange(SettlementMappingRepository.Entities.Include(o => o.ReceiptsTo).Include(d => d.FinanceSettlement).Where(d => receiptIds.Contains

大数据量数据存储分表实例（企业级应用系统）附原码

随着数据不断增长,数据库中单表无法满足大数据量的存储,所以我们就提出按照自然时间.单站点信息分表来存储大量秒级数据. 例如:大气.水利.交通(GPS)信息监测系统中的实时数据进行存储,一般时按照开始时间.结束时间.单站点.多站点.监测项目等方式进行数据查询.分析.图表. 如按5分钟单站点的数据12*24(小时)*365(天)*(监测项)10=100W ,也就是一个站点一年数据量 100w条,100站*100W =1亿条这样的数据是无法满足快速查询. 所以我们就按照 "tb_5M_年_站号&qu

数据库水平分表（一个大数据量的表）

一.当一张表很大时,比如微信账号.facebook账号.QQ号.谷歌账号系统等,都是大数据量的一张表结构.那么必然需要进行拆分,即水平拆分. 二.表的水平拆分规则. 原文地址:https://www.cnblogs.com/igoodful/p/8974988.html

大数据量下高并发同步的讲解

对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了.而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧. 为了更好的理解并发和同步,我们需要先明白两个重要的概念:同步和异步 1.同步和异步的区别和联系所谓同步,可以理解为在执行完一个函数或方法之后,一直等待系统返回值或消息,这时程序是出于阻塞的,只有接收到返回的值或消息后才往下执行其它的命令. 异步,

大数据量下高并发同步的讲解(转)

文章转自:http://blog.csdn.net/xcw931924821/article/details/52475742 *************************************************************************************************************************************************************************************** 对于