mysql分表分库 ,读写分离

1.分表

当项目上线后,数据将会几何级的增长,当数据很多的时候,读取性能将会下降,更新表数据的时候也需要更新索引,所以我们需要分表,当数据量再大的时候就需要分库了。

a.水平拆分:数据分成多个表

b.垂直拆分:字段分成多个表

c.插入/更新/删除数据和查询统计 MyISAM存储引擎有一个MERGE存储引擎,可以将多个表合成一个表,就可以进行这四种操作   InnoDB用alter able可以将变成MyISAM存储引擎,然后使用MERGE引擎

面试题:MERGE存储引擎将N个子表合并,那么在数据库中如何存储?

答案:MERGE是将N个真实的表组成一个大表,但是实际上还是存储的N个表

 

2.读写分离

当数据不断增多的时候,数据库压力增大,可以把读和写分离开,读是一些机器,写是另一些机器,对应主从服务器,主服务器是写操作,从服务器读操作,可以有多个从服务器,而且大多数业务是读操作,京东,淘宝大量浏览商品,是读操作。

在主服务器写的同时,数据同步到从服务器,保持数据的完整性(主从复制)

主从复制的原理:基于主服务器的二进制日志(binlog)跟踪所有的对数据库的完整更改实现。因此,要实现主从复制,必须在主服务器上启动二进制日志。

主从复制是异步复制,所以有三个线程参与。主服务器一个线程(IO线程) 从服务器两个(IO线程和SQL线程)

 

主从复制的过程:

1)从数据库执行一个start slave开启主从复制

2)从数据库的IO线程会通过主数据库授权的用户请求连接主数据库,并请求主数据库的binlog日志指定位置 指定的命令为change master

3)主数据库收到IO请求,负责复制的IO线程根据请求读取指定的binlog文件信息,返回给从数据库IO线程,返回的信息除了日志文件,还有本次返回的日志内容和binlog名称和位置,binlog名称和位置会写在master-info文件中

4)从数据库获取内容和位置(binlog),写入到relaylog(从数据库)中继日志的最末端,并将新的binlog文件名和位置记录到Master-info文件中,方便下一次主数据库的binlog文件日志,指定位置从而方便定位

5)从数据库的SQL线程实时监测本地relaylog新增内容,解析为SQL语句执行

主从复制的弊端-->延迟的解决方案:

1.定位问题-->找到延迟瓶颈(是IO压力大-->升级硬件/换成SSD(固态硬盘))

2.单线程从relaylog执行MySQL语句延迟-->使用MySQL5.6以上版本多线程或者Tungsten第三方并行复制

3.若都不行,则直接分库

3.分库

很早以前是使用Cobar方案(阿里开源但后续没有更新)

现在是使用MyCat,他是基于Cobar,使用的是MySQL通讯协议实现了分库,是一个代理服务器,不是普通的Web代理服务器,而是在应用服务器和后台数据库之间,有一个特性是无状态,容易部署负载均衡

原理:应用服务器传SQL语句-->路由解析转发到不同的后台数据库-->结果汇总返回

集群分布式模型:


(负载均衡一般使用在:网络优化/单点登录/集群分布式/高并发)

MyCat把逻辑数据库和数据表对应到真实的数据库和数据表,因此开发者只需要关心逻辑上的相关操作就行了,遮蔽了物理差异性

MyCat影射关系图:

MyCat工作流程;

1.应用服务器向MyCat发送SQL语句:select * from user where id in(30,31,32)

2.MyCat前端通信模块与应用服务器通信,交给SQL解析模块

3.SQL解析模块解析完交给SQL路由模块

4.SQL路由模块id取模,余数为0,是db1,余数为1,是db2,以此类推

5.把SQL拆解为select * from user where id in (30,31,32),交给SQL执行模块对应db1,db2,db3...

6.SQL执行模块通过后端分别在db1,db2,db3...执行语句,返回结果到数据集合并模块,然后返回给应用服务器

4.慢查询分析  调参数

慢查询:指的是执行超过一定时间SQL查询语句,把这个记录到慢查询日志,方便开发人员看日志找问题。

主要是三个参数:long_query_time 定义慢查时间 slow_query_log 设置慢查询开关 slow_query_log_file 设置慢查询日志文件路径

配置慢查询方法:

方法1:

set long_query_time=1;

set slow_query_log=on;

set slow_query_log_file=’/data/slow.log’;

方法2:

/etc/my.conf设置参数开启慢查询,使用explain命令分析SQL,输出结果含义官方文档有

5.其他优化总结

1.优化查询

a.使用explain分析

b.索引对查询速度的影响(注意like关键字、多列索引、OR关键字,见本人的另一篇文章MySQL的概述及其优化)

2.优化数据库结构

1.分表

2.增加中间表

3.优化多表查询

原文地址:https://www.cnblogs.com/yimingwang/p/8456062.html

时间: 2024-10-09 10:28:59

mysql分表分库 ,读写分离的相关文章

使用Mycat实现MySQL的分库分表、读写分离、主从切换

Mycat及MySQL实例部署情况:Mycat:IP:10.20.8.57,Port:3310/3311MySQL :db1-M1,IP:10.20.8.126,Port:3306db1-M2,IP:10.20.8.126,Port:3307db2-M1,IP:10.25.80.7,Port:3307架构图如下: 配置Mycatserver.xml: <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server x

总结下Mysql分表分库的策略及应用

上月前面试某公司,对于mysql分表的思路,当时简要的说了下hash算法分表,以及discuz分表的思路,但是对于新增数据自增id存放的设计思想回答的不是很好(笔试+面试整个过程算是OK过了,因与个人预期的薪酬不太理想而忍痛放弃.),在此再深究下mysql 分表优化之类的设计思路方案.先来闲扯下发文目的: 为什么要分表和分区? 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情

Mysql分表分库分析

对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力.Master-Slave结构只能对数据库的读能力进行扩展,写操作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略. 1.分表 在分表之前,首先要选中合适的分表策略(以哪个字典为分表字段,需要将数据分为多少张表),使数据能够均衡的分布在多张表中,并且不影响正常的查询.在企业级应用中,往往使用org_id(组织主键)做为

mysql分表分库选型

三个方向: 一.应用中自己实现,可直连数据库,自己实现因目前使用的Mybatis框架可以使用两种做法: 1.在SQL中直接分表逻辑,我查了一下代码中的sql,发现join的千姿百态,不大动这些sql这事基本不现实,优点是定制化,针对性比较高,性能方面损耗比较低,调试调优简单,但是扩展性要差一些. 2.在Mybatis的拦截器里对SQL进行截取拼装,如果能对指定表做的并对相关表的join sql调整一下的话,就是需要规划下占位符及分表jion策略,另外需要对多种情况进行大量测试,这个策略要比手改s

mysql大数据解决方案--分表分库(0)

引言 对于一个大型的互联网应用,海量数据的存储和访问成为了系统设计的瓶颈问题,对于系统的稳定性和扩展性造成了极大的问题.通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式. •水平切分数据库:可以降低单台机器的负载,同时最大限度的降低了宕机造成的损失: •负载均衡策略:可以降低单台机器的访问负载,降低宕机的可能性: •集群方案:解决了数据库宕机带来的单点数据库不能访问的问题: •读写分离策略:最大限度了提高了应用中读取数据的速度和并发量: 问题描述 1.单个表数据量越大,读

重新学习Mysql数据13:Mysql主从复制,读写分离,分表分库策略与实践

一.MySQL扩展具体的实现方式 随着业务规模的不断扩大,需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量. 关于数据库的扩展主要包括:业务拆分.主从复制.读写分离.数据库分库与分表等.这篇文章主要讲述数据库分库与分表 (1)业务拆分 在?大型网站应用之海量数据和高并发解决方案总结一二?一篇文章中也具体讲述了为什么要对业务进行拆分. 业务起步初始,为了加快应用上线和快速迭代,很多应用都采用集中式的架构.随着业务系统的扩大,系统变得越来越复杂,越来越难以维护,开发效率变得越

(转)学会数据库读写分离、分表分库——用Mycat,这一篇就够了!

原文:https://www.cnblogs.com/joylee/p/7513038.html 系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等都是系统发展迟早会遇到的技术问题问题.Mycat是一个广受好评的数据库中间件,已经在很多产品上进行使用了.希望通过这篇文章的介绍,能学会Mycat的使用. 安装 Mycat官网:http://www.mycat.io/可以了解下Mycat的背景和应用情况

学会数据库读写分离、分表分库——用Mycat

系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等都是系统发展迟早会遇到的技术问题问题.Mycat是一个广受好评的数据库中间件,已经在很多产品上进行使用了.希望通过这篇文章的介绍,能学会Mycat的使用. 安装 Mycat官网:http://www.mycat.io/可以了解下Mycat的背景和应用情况,这样使用起来比较有信心. Mycat下载地址:http://dl.mycat.io/官网有个文档

.NETCore 下支持分表分库、读写分离的通用 Repository

首先声明这篇文章不是标题党,我说的这个类库是 FreeSql.Repository,它作为扩展库现实了通用仓储层功能,接口规范参数 abp vnext,定义和实现基础的仓储层(CURD). 安装 dotnet add package FreeSql.Repository 定义 var fsql = new FreeSql.FreeSqlBuilder() .UseConnectionString(FreeSql.DataType.Sqlite, @"Data Source=|DataDirect