数据库 之 Mysql主从复制的读写分离

1  概述

一般而言,主节点只有一个,从节点有多个,从节点只支持读操作,主节点支持写操作。

实现读写分离有两种解决,一是在程序端实现,二是加中间层实现,一般要对客户端透明,所以建议最好加中间层来实现。

中间层有如下几个软件:

mysql-proxy : 后续的atlas是基于mysql-proxy的改进版本,atlas开源项目依然处于维护中。

amoeba for MySQL:读写分离、分片;

cobar:分片框架,基于amoeba版本的升级,基于java开发,因此要安装jdk

mycat: 后续的版本是OneProxy

OneProxy:双授权。有商业公司在维护,支持到mysql5.7版本。是一个较好的选择,有开源版本

MaxScale:是mariadb负责维护,也是双授权,但是配置接口使用不方便。

ProxySQL:是DBA团队研发的,高性能的开源的mysql代理服务器的中间层,这个是一个较好的选择,8大性能介绍见官网:http://www.proxysql.com/。代码托管在github:

https://github.com/sysown/proxysql/releases

AliSQL:阿里公司开发的。已经开源。

如果不使用以上的sql 代理实现读写分离,因为读写分离由延迟,数据不一致等问题,建议可以使用双主或多主模型是无须实现读写分离,仅需要负载均衡,使用haproxy, nginx, lvs, ...等工具进行调度,后端mysql集群有如下两个方案:

使用pxc工具:Percona XtraDB Cluster

或者使用MariaDB Cluster,但是集群可能会由于资源争用导致死锁

这里将演示proxysql进行演示

2  Proxysql配置文件介绍

proxysql的所有配置都定义在一张admin表里。可以使用sql语句进行更改配置,直接更改运行时的配置信息。认证和授权可以由后端来实现,也可以在在前端proxy做检查,将有限的特定账号放在代理服务器上来实现验证,代理服务器访问后端服务器也需要验证,这个代理的权限需要拥有所有账号访问后端的权限

配置文件/etc/proxysql.cnf介绍如下

ProxySQL:建议通过keepalive配置成proxysql高可用,只要ProxySQL配置一样就可以,因为ProxySQL没有状态

配置示例:

datadir="/var/lib/proxysql" #放置数据

admin_variables=   #管理变量

{

admin_credentials="admin:admin" #类似varnish的6082端口,这里是监听在6032端口,这种接口不要开发给远程访问,因为该接口是管理接口

mysql_ifaces="127.0.0.1:6032;/tmp/proxysql_admin.sock"

}

mysql_variables=  #连接后端服务器的变量,一般只需更改 interfaces参数,其他采用默认值即可

{

threads=4

max_connections=2048

default_query_delay=0

default_query_timeout=36000000

have_compress=true

poll_timeout=2000 #轮询的超时时长

interfaces="0.0.0.0:3306;/tmp/mysql.sock"  #建议监听标准端口

default_schema="information_schema"

stacksize=1048576

server_version="5.5.30"

connect_timeout_server=3000 #连接后端的超时时长

monitor_username="monitor"#后端主机需要拥有该账号才能监控

monitor_password="monitor"

monitor_history=600000  #每个多长时间重连一次

monitor_connect_interval=60000

monitor_ping_interval=10000

monitor_read_only_interval=1500

monitor_read_only_timeout=500

ping_interval_server=120000

ping_timeout_server=500

commands_stats=true

sessions_sort=true

connect_retries_on_failure=10 #后端主机错误重试的次数

}

mysql_servers =  #定义mysql服务器主机,每一个主机用花括号隔开

(

{

address = "172.18.0.67" # no default, required . If port is 0 , address is interpred as a Unix Socket Domain

port = 3306           # no default, required . If port is 0 , address is interpred as a Unix Socket Domain

hostgroup = 0           # no default, required

status = "ONLINE"     # default: ONLINE

weight = 1            # default: 1

compression = 0       # default: 0

},  #注意,最后一个数据项不能跟逗号

{

address = "172.18.0.68"

port = 3306

hostgroup = 1

status = "ONLINE"     # default: ONLINE

weight = 1            # default: 1

compression = 0       # default: 0

},

{

address = "172.18.0.69" #这里架构不一样不用写69,因为69此时是代理了,不是后端的

port = 3306

hostgroup = 1

status = "ONLINE"     # default: ONLINE

weight = 1            # default: 1

compression = 0       # default: 0

}

)

mysql_users: #支持的用户账号,以下定义的账号是在后端mysql服务器上授权

(

{

username = "root"

password = "mageedu"

default_hostgroup = 0 #0表示默认发给主节点

max_connections=1000

default_schema="mydb"

active = 1  #表示用户处于激活状态

}

)

mysql_query_rules: #定义查询的规则,规则的前后顺序很关键,支持正则表达式格式,

注意,以下是通用规则,可以启用

(

{

rule_id=1

active=1

match_pattern="^SELECT .* FOR UPDATE$"

destination_hostgroup=0

apply=1

},

{

rule_id=2

active=1

match_pattern="^SELECT"

destination_hostgroup=1

apply=1

}

)

scheduler=  #定义调度器

(

)

mysql_replication_hostgroups=  #真正定义组的用途,如定义读写组

(

{

writer_hostgroup=0 #定义主组,写功能

reader_hostgroup=1 #定义从组,读功能

comment="test repl 1" #注释信息

}

)

3  例子 Proxysql实现读写分离

192.168.1.75为代理服务器,一般情况下,生产环境代理需要有两个网段的ip,降低IO压力,公网ip提供给客户端访问,私有ip对内部mysql集群,但是实验,这里仅配置一个网段的ip

192.168.1.71为主服务器,192.168.1.73为从服务器

75上安装proxysql

[[email protected] ~]#yum -y install /root/proxysql-1.4.5-1-centos7.x86_64.rpm

修改配置文件

[[email protected] ~]#vim /etc/proxysql.cnf

datadir="/var/lib/proxysql"

admin_variables=

{

admin_credentials="admin:admin"

mysql_ifaces="127.0.0.1:6032;/tmp/proxysql_admin.sock"

}

mysql_variables=

{

threads=4

max_connections=2048

default_query_delay=0

default_query_timeout=36000000

have_compress=true

poll_timeout=2000

interfaces="0.0.0.0:3306;/tmp/mysql.sock"

default_schema="information_schema"

stacksize=1048576

server_version="5.5.30"

connect_timeout_server=3000

monitor_username="monitor"

monitor_password="monitor"

monitor_history=600000

monitor_connect_interval=60000

monitor_ping_interval=10000

monitor_read_only_interval=1500

monitor_read_only_timeout=500

ping_interval_server_msec=120000

ping_timeout_server=500

commands_stats=true

sessions_sort=true

connect_retries_on_failure=10

}

mysql_servers =

(

{

address = "192.168.1.71" # no default, required . If port is 0 , address is interpred as a Unix Socket Domain

port = 3306           # no default, required . If port is 0 , address is interpred as a Unix Socket Domain

hostgroup = 0         # no default, required

status = "ONLINE"     # default: ONLINE

weight = 1            # default: 1

compression = 0       # default: 0

},

{

address = "192.168.1.73" # no default, required . If port is 0 , address is interpred as a Unix Socket Domain

port = 3306           # no default, required . If port is 0 , address is interpred as a Unix Socket Domain

hostgroup = 1         # no default, required

status = "ONLINE"     # default: ONLINE

weight = 1            # default: 1

compression = 0       # default: 0

}

)

mysql_users:

(

{

username = "proxyadm" # no default , required

password = "pass1234" # default: ''

default_hostgroup = 0 # default: 0

active = 1            # default: 1

}

)

mysql_query_rules:

(

{

rule_id=1

active=1

match_pattern="^SELECT .* FOR UPDATE$"

destination_hostgroup=0

apply=1

},

{

rule_id=2

active=1

match_pattern="^SELECT"

destination_hostgroup=1

apply=1

}

)

scheduler=

(

)

mysql_replication_hostgroups=

(

{

writer_hostgroup=0

reader_hostgroup=1

comment="test repl 1"

}

)

在后端所有服务器上授权可以管理的账号,建议密码不包含大写字母,可能问题,因为用管理接口查看到的mysql_users,当配置文件写入的账号密码是大写字母的时候,这张表查看到的是小写字母,所以建议授权时密码都用小写

MariaDB [sunnydb]> grant all on *.* to 'proxyadm'@'192.168.1.%' identified by 'pass1234';

启动proxysql服务

[[email protected] ~]#systemctl start proxysql

查看状态

[[email protected] ~]#service proxysql status;

连接服务接口3306

查看proxysql的数据

[[email protected] ~]#ls /var/lib/proxysql/

测试,连接mysql接口,Server version: 5.5.30 (ProxySQL)

[[email protected] ~]#mysql -uproxyadm -ppass1234 -h 192.168.1.75

或者,打开管理接口Server version: 5.5.30 (ProxySQL Admin Module)

MySQL [sunny]> show databases;

连接的主服务器节点,这个是在配置中的default组定义,此时,写操作都被调度到主节点上,读操作都在从服务器上

注意,由于读写分离,如果在mysql读服务器(从)的表能被读出,必须是在mysql从服务器上有对应的库和表,如果从服务器上么有对应的内容,主服务器上有只能被看到表,但是不能被select出内容

连接管理接口6302

[[email protected] ~]#mysql -S /tmp/proxysql_admin.sock -uadmin -padmin;

连接上proxysql后,用show databases 和show tables可以看到相关的表和库,但是这些数据是模拟出来的

如运行MySQL [(none)]> select * from mysql_servers;

可以看到配置文件里配置的mysql_servers配置段可以看到转化为表里的数据,所以直接修改表,相当于是修改了配置文件,直接是运行时生效

原文地址:http://blog.51cto.com/ghbsunny/2064633

时间: 2024-08-30 05:05:35

数据库 之 Mysql主从复制的读写分离的相关文章

mysql主从复制与读写分离

MySQL主从复制与读写分离 MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践 Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过.但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面. 因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部

MySQL主从复制、读写分离、高可用集群搭建

MySQL主从复制.读写分离.高可用集群搭建  一.服务介绍   1.1 Keepalived     Keepalived,见名知意,即保持存活,其目的是解决单点故障,当一台服务器宕机或者故障时自动切换到其他的服务器中.Keepalived是基于VRRP协议实现的.VRRP协议是用于实现路由器冗余的协议,VRRP协议将两台或多台路由器设备虚拟成虚拟设备,可以对外提供虚拟路由器IP(一个或多个),即漂移IP(VIP). 1.2 ProxySQL ProxySQL是一个高性能,高可用性的MySQL

Mysql 主从复制,读写分离

Mysql 主从复制及读写分离 特别推荐看:amoeba.xml 的配置部分,在百度上看了很多配置都不完整,是我测试时的痛点 实验的目的: 有两部分:第一实现Mysql主从复制,第二实现读写分离. 下面是实验的环境: 192.168.58.11     安装了amoeba 的节点 192.168.58.16      master    系统:rhel 5.4 192.168.58.12      slave     系统: rhel 5.4 192.168.58.11      代理     

Mysql主从复制、读写分离工作原理+配置

Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysqlinstance(我们称之 Slave).在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线程)在 Slave 端,另外一个线程(IO线程)在 Master 端. MySQL 复制的基本过程如下: 1. Slave 上面的IO线程连接上 Master,并请求从指定日志文件的指定位置(或者从最开

搭建 MySQL主从复制与读写分离

搭建 MySQL主从复制与读写分离 案例概述 : 在实际环境中 ,如果对数据库的读和写都在同一个数据库服务中操作 ,无论实在安全性.高可用性, 还是高并发等各个方面都是完全不能满足实际需求的 ,因此 ,一般来说都只通过主从复制的方式来同 步数据 ,在通过读写分离来提升数据库的并发负载能力 ,这样的方案来进行部署与实施 . 环境拓补图 : 本案环境 : 主机 操作系统 IP地 址 主要软件 主服务器 CentOS 7.3 x86_64 192.168.217.130 NTP 从服务器1 CentO

MySQL 主从复制与读写分离

Mysql主从复制作用原理 1.在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作.2.做数据的热备3.架构的扩展.业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能.mysql主从复制是一个异步的复制过程,主库发送更新事件到从库,从库读取更新记录,并执行更新记

重新学习Mysql数据13:Mysql主从复制,读写分离,分表分库策略与实践

一.MySQL扩展具体的实现方式 随着业务规模的不断扩大,需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量. 关于数据库的扩展主要包括:业务拆分.主从复制.读写分离.数据库分库与分表等.这篇文章主要讲述数据库分库与分表 (1)业务拆分 在?大型网站应用之海量数据和高并发解决方案总结一二?一篇文章中也具体讲述了为什么要对业务进行拆分. 业务起步初始,为了加快应用上线和快速迭代,很多应用都采用集中式的架构.随着业务系统的扩大,系统变得越来越复杂,越来越难以维护,开发效率变得越

mysql主从复制以及读写分离

mysql的主从复制以及读写分离 前言:我们前面搭建过LAMP和LNMP,做过了web服务器群集和热备,web服务器坏了我们是不怕了,但是我们要知道,网站的数据有很多是存储在数据库里面的,例如注册的会员,发的文章,购物的订单等信息.当然我们可以给数据库做备份,但是如果每天00:00做一次备份,那么如果在23:59数据丢失了,那么就会丢失一天的数据,有没有一种方法能实现实时备份,就是说有数据产生就立即备份,答案当然是有,也就是今天我们要学习的mysql主从复制.有点类似于前面我们学习过的rsync

Amoeba搭建高可用Mysql集群(实现Mysql主从复制、读写分离、负载均衡)

Amoeba是什么? Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件.这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发,它位于与Client.DBServer(s)之间,对客户端透明.具有 负载均衡.高可用性.SQL过滤.读写分离.可路由相关的到目标数据库.可并发请求多台数据库合并结果 . 通过Amoeba你能够完成多数据源的