数据库的垂直划分和水平划分

读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

为什么要分库、分表、读写分?

单表的数据量限制,当单表数据量到一定条数之后数据库性能会显著下降。数据多了之后,对数据库的读、写就会很多。分库减少单台数据库的压力。接触过几个分库分表的系统,都是通过主键进行散列分裤分表的。这类数据比较特殊,主键就是唯一的获取该条信息的主要途径。比如:京东的订单、财付通的交易记录等。。。该类数据的用法,就是通过订单号、交易号来查询该笔订单、交易。

还有一类数据,比如用户信息,每个用户都有系统内部的一个userid,与userid对应的还有用户看到的登录名。那么如果分库分表的时候单纯通过userid进行散列分库,那么根据登录名来获取用户的信息,就无法知道该用户处于哪个数据库中。

或许有朋友会说,我们可以维护一个email----userid的映射关系,根据email先查询到userid,在根据userid的分库分表规则到对应库的对应表来获取用户的记录信息。这么做是可以的,但是这个映射关系的条数本身也是个瓶颈,原则上是没有减少单表内数据的条数,算是一个单点。并且要维护这个映射关系和用户信息的一致性(修改登录名、多登录名等其他特殊需求),最大一个原因,其实用户信息是一个读大于写的库,web2.0都是以用户为中心,所有信息都和用户信息相关联,所以对用户信息拆分还是有一定局限性的。

对于这类读大于写并且数据量增加不是很明显的数据库,推荐采用读写分离+缓存的模式,试想一下一个用户注册、修改用户信息、记录用户登录时间、记录用户登录IP、修改登录密码,这些是写操作。但是以上这些操作次数都是很小的,所以整个数据库的写压力是很小的。唯一一个比较大的就是记录用户登录时间、记录用户登录IP这类信息,只要把这些经常变动的信息排除在外,那么写操作可以忽略不计。所以读写分离首要解决的就是经常变化的数据的拆分,比如:用户登录时间、记录用户登录IP。这类信息可以单独独立出来,记录在持久化类的缓存中(可靠性要求并不高,登陆时间、IP丢了就丢了,下次来了就又来了)

以oracle为例,主库负责写数据、读数据。读库仅负责读数据。每次有写库操作,同步更新cache,每次读取先读cache在读DB。写库就一个,读库可以有多个,采用dataguard来负责主库和多个读库的数据同步。

本文转自http://blog.csdn.net/kobejayandy/article/details/8775255 感谢作者

数据切分可以是物理上的,对数据通过一系列的切分规则将数据分布到不同的DB服务器上,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力。

据切分也可以是数据库内的,对数据通过一系列的切分规则,将数据分布到一个数据库的不同表中,比如将article分为article_001,article_002等子表,若干个子表水平拼合有组成了逻辑上一个完整的article表,这样做的目的其实也是很简单的。 举个例子说明,比如article表中现在有5000w条数据,此时我们需要在这个表中增加(insert)一条新的数据,insert完毕后,数据库会针对这张表重新建立索引,5000w行数据建立索引的系统开销还是不容忽视的。但是反过来,假如我们将这个表分成100 个table呢,从article_001一直到article_100,5000w行数据平均下来,每个子表里边就只有50万行数据,这时候我们向一张只有50w行数据的table中insert数据后建立索引的时间就会呈数量级的下降,极大了提高了DB的运行时效率,提高了DB的并发量。当然分表的好处还不知这些,还有诸如写操作的锁操作等,都会带来很多显然的好处。

综上,分库降低了单点机器的负载;分表,提高了数据操作的效率,尤其是Write操作的效率。

2
时间: 2024-10-15 15:30:27

数据库的垂直划分和水平划分的相关文章

五,mysql优化——表的垂直划分和水平划分

1,表的水平划分 如果一个表的记录数太多,比如成千上万条,而且需要经常检索,那么我们有必要化整为零.如果我拆成100个表,那么每个表只有10万条记录.当然需要数据在逻辑上可以划分.一个好的划分依据,有利于程序的简单实现,也可以充分利用水平分表的优势.比如系统界面上只提供按月查询的功能,那么把表按月拆分成12个,每个查询只查询一个表就够了.如果非要按照地域来分,即时把表拆的再小,查询还是要联合所有表来查,还不如不拆了.所以一个好的拆分依据是最重要的. 比如qq用户信息,单个user数据表存储太卡,

[转载] 数据库的垂直切分和水平切分

转载自http://blog.csdn.net/kobejayandy/article/details/8775138 数据切分可以是物理上的,对数据通过一系列的切分规则将数据分布到不同的DB服务器上,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力. 数据切分也可以是数据库内的,对数据通过一系列的切分规则,将数据分布到一个数据库的不同表中,比如将article分为article_001,article_002等子表,若

怎样加快master数据库的写操作?分表原则!将表水平划分!

1.怎样加快master数据库的写操作?分表原则!将表水平划分!减少表的锁定时间!!! 2.既然分表了,就一定要注意分表的规则!要在代码层,代码层知道将数据insert/select到哪张表上. 3.要在代码层知道将数据操作到哪张表上!分表规则, 所以分表规则要用代码设计出来,与数据库中的分表规则对应!!!一样!!!一样的分表规则!! 4.那么按什么规则分表呢?有不同的策略,常见的有按照01234556789,账号尾数0对应0表,1对应1表. 还可以根据业务来分表.如按照用户或者商品. 具体分表

数据库垂直拆分,水平拆分利器,cobar升级版mycat

1,关于Mycat Mycat情报 基于阿里的开源cobar ,可以用于生产系统中,目前在做如下的一些改进: 非阻塞IO的实现,相对于目前的cobar,并发性能大大提升,而且不会陷入假死状态 优化线程池的分配,目前cobar的线程池分配效率不高 修复cobar一些BUG 参考impala中的impala front部分的Java代码,实现高效的Map-Reduce,能够处理上亿的大数据量 实现自动分片特性,目前cobar需要手工分片,并有一定的编程限制 官方网站: https://github.

数据库垂直拆分,水平拆分利器,cobar升级版mycat(转)

原文:数据库垂直拆分,水平拆分利器,cobar升级版mycat 1,关于Mycat Mycat情报 基于阿里的开源cobar ,可以用于生产系统中,目前在做如下的一些改进: 非阻塞IO的实现,相对于目前的cobar,并发性能大大提升,而且不会陷入假死状态 优化线程池的分配,目前cobar的线程池分配效率不高 修复cobar一些BUG 参考impala中的impala front部分的Java代码,实现高效的Map-Reduce,能够处理上亿的大数据量 实现自动分片特性,目前cobar需要手工分片

数据库垂直拆分,水平拆分利器,cobar升级版mycat - freewebsys的专栏 - 博客频道 - CSDN.NET

Using Lua/WSAPI with uWSGI - uWSGI 2.0 documentation 数据库垂直拆分,水平拆分利器,cobar升级版mycat - freewebsys的专栏 - 博客频道 - CSDN.NET

数据库优化-垂直切分以及在实际项目中的应用

我当年负责一个项目(中国电信BDC项目),购买的数据库硬件是P590小机组.通过压力测试后系统上线后,业务迅猛发展.小机的内存.CPU长期在98%上下徘徊.硬件虽然好,但是也扛不住业务的狂飙,应用服务器横向扩展相对比较容易,而数据库的升级相当的昂贵. 怎么办?当然首先是一堆的参数的调优和系统的调优.但是指标下降的不是特别理想: 怎么办?对系统进行合理拆分吧. 数据库拆分又分为垂直拆分和水平拆分,垂直拆分相对动静小一点.教育要从娃娃抓起,优化要从简单的抓起. 垂直切分,也可以称为纵向切分.我个人对

划分子网,划分超网

划分子网,划分超网 目录 一.IP地址分类 二.子网掩码 三.划分子网 四.划分超网 这次我们以两个例子来分析怎样划分子网,划分超网,在例子前,先补充一些关于ip地址的知识. 一.IP地址分类     A类 前8位网络ID,24位主机ID ,且网络的第一位固定为0             网络数:2^7-2=126 0 000 0000 - 0 111 1111: 1-126 00000000.0.0.0代表无地址,不能用 127.A.B.C(回环地址,就是自己ping自己)127字段都代表本机

(转)数据库表分割技术浅析(水平分割/垂直分割/库表散列)

数据库表分割技术包含以下内容:水平分割/垂直分割/库表散列.接下来将对以上分割进行详细介绍,感兴趣的朋友可以了解下,对你日后维护数据库是很有帮助的 一.水平分割 什么是水平分割?打个比较形象的比喻,在食堂吃饭的时候,只有一个窗口,排队打饭的队伍太长了,都排成S型了,这时容易让排队的人产生焦虑情绪,容易产生混乱,这时一个管理者站出来,增加多个打饭窗口,把那条长长的队伍拦腰截断成几队.更形象一点的理解,你拿一把“手术刀”,把一个大表猛的切了几刀,结果这个大表,变成了几个小表. 水平分割根据某些条件将