mysql主从复制以及读写分离

mysql的主从复制以及读写分离

前言:我们前面搭建过LAMP和LNMP,做过了web服务器群集和热备,web服务器坏了我们是不怕了,但是我们要知道,网站的数据有很多是存储在数据库里面的,例如注册的会员,发的文章,购物的订单等信息。当然我们可以给数据库做备份,但是如果每天00:00做一次备份,那么如果在23:59数据丢失了,那么就会丢失一天的数据,有没有一种方法能实现实时备份,就是说有数据产生就立即备份,答案当然是有,也就是今天我们要学习的mysql主从复制。有点类似于前面我们学习过的rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据,语句做备份。另外读写分离主要是为了优化数据库。下面把实验给大家做一遍。

一、mysql主从复制的工作原理

1、mysq支持的复制类型

1)基于语句的复制。在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制,执行效率高。

2)基于行的复制。把改变的内容复制过去,而不是把命令在从服务器上执行一遍。

3)混合类型的复制。默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

原理工作试图:

通俗易懂的说法就是:

(1)在主MySQL服务器数据修改之后数据文件记录在Binary log日志当中

(2)从服务器的i/o线程连接到主MySQL服务器的Binary log的日志当中获取当中发生变化的数据内容

(3)将获取到的内容写入到自己的Relay log日志当中

(4)通过从服务器的自身sql线程读取Relay log日志当中的内容进行同步

(5)mysql服务器之间的数据同步主要是通过日志的方式进行同步的,并非是通过命令或是复制内容

 

以下内容是官方的专业术语:

1)在每个事务更新数据完成之前,master在二进制日志记录这些改变。写入二进制日志完成后,master通知存储引擎提交事务。

2)Slave将master的binary log复制到其中继日志。首先slave开始一个工作线程(I/O),I/O线程在master上打开一个普通的连接,然后开始binlog  dump  process。binlog  dump  process从master的二进制日志中读取事件,如果已经跟上master,它会睡眠并等待master产生新的事件,I/O线程将这些事件写入中继日志。

3)Sql  slave  thread(sql从线程)处理该过程的最后一步,sql线程从中继日志读取事件,并重放其中的事件而更新slave数据,使其与master中的数据一致,只要该线程与I/O线程保持一致,中继日志通常会位于os缓存中,所以中继日志的开销很小。

3、mysql读写分离原理

读写分离就是在主服务器上修改,数据会同步到从服务器,从服务器只能提供读取数据,不能写入,实现备份的同时也实现了数据库性能的优化,以及提升了服务器安全。

接下来进行主从复制的案例如下图:

搭建mysql主从复制

1.建立时间同步环境,在主节点上搭建时间同步服务器

1)安装NTP

[[email protected] ~]# yum -y install ntp

2)配置NTP

[[email protected] ~]# vim /etc/ntp.conf

server 127.127.1.0                        //上游时间服务器为本机

fudge 127.127.1.0 stratum 8//允许与上级时间服务器的时间偏移

3)重启服务

[[email protected] ~]# service ntpd restart

2.在从节点上进行时间同步(mysql从服务器两台都如此)

[[email protected] ~]# yum  -y  install  ntpdate

[[email protected] ~]# /usr/sbin/ntpdate  192.168.1.2

 

3.关闭每台服务器防火墙  service  iptables stop

4.安装mysql过程略 本节内容不在讲解mysql的安装可以查看本人的mysql技术文档和LNMP;LAMP文档;里面有详细的内容

5.启动mysql

6.配置mysql主服务器

1)在/etc/my.cnf中修改或增加下面内容

server-id       = 11  //修改

log-bin=master-bin    //修改,启用二进制日志,日志文件名称前缀

log-slave-updates=true  //增加,允许从服务器复制

 

2)重启mysql服务

[[email protected] ~]# service mysqld restart

3)登录mysql程序,给从服务器以授权

[[email protected] ~]# mysql -u root -p

mysql> grant  replication  slave on *.*  to ‘myslave‘@‘192.168.1.%‘  identified by ‘123456‘;

mysql> flush  privileges;

mysql> show  master  status;

+-------------------+----------+--------------+------------------+

| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+-------------------+----------+--------------+------------------+

| master-bin.000007 |      337|              |                  |

+-------------------+----------+--------------+------------------+

1 row in set (0.00 sec)

 

7.配置两台从服务器

1)在第一台从服务器/etc/my.cnf中修改或增加下面内容

server-id       = 22  //修改

relay-log=relay-log-bin //增加

relay-log-index=slave-relay-bin.index  //增加

2)重启mysql服务

[[email protected] ~]# service mysqld restart

3)第二台从服务器只是server-id不同其他都和第一台一样

server-id       = 33

完成后重启mysql服务

4)登录mysql,配置同步

mysql>change  to master master_host=‘192.168.1.2‘,master_user=‘myslave‘,master_password=‘123456‘,master_log_file=‘master-bin.000002‘,master_log_pos=412; 可以变动

5)启动同步

mysql> start slave;

6)查看slave状态,确保以下两个至为YES

mysql> show slave status \G;

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

7)验证主从复制效果

①在主、从服务器上登录mysql

[[email protected] ~]# mysql -u root -p

②在主服务器上新建数据库db_test

mysql> create database db_tese;

③在两台从服务器上查看数据库

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| db_test           |

| mysql              |

| performance_schema |

| test               |

+--------------------+

5 rows in set (0.02 sec)

实验二、构建mysql读写分离,此内容为读写分离:

1.在主机amoeba上安装java环境

[[email protected] ~]# cp /mnt/jdk-6u14-linux-x64.bin /usr/local/

[[email protected] ~]# chmod +x /usr/local/jdk-6u14-linux-x64.bin

[[email protected] local]# cd /usr/local/

[[email protected] local]# ./jdk-6u14-linux-x64.bin  //根据提示按回车和yes即可

[[email protected] local]# vim  /etc/profile

export  JAVA_HOME=/usr/local/jdk1.6

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib //指定类的搜索路径

export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

export AMOEBA_HOME=/usr/local/amoeba/

export PATH=$PATH:$AMOEBA_HOME/bin

[[email protected] local]# mv jdk1.6.0_14/  /usr/local/jdk1.6

[[email protected] local]# java -version

java version "1.6.0_14

OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)

OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)

java环境已经成功

安装并配置amoeba软件

[[email protected] local]# mkdir /usr/local/amoeba

[[email protected] local]# tar zxf  /mnt/amoeba-mysql-binary-2.2.0.tar.gz  -C  /usr/local/amoeba

[[email protected] local]# chmod -R 755 /usr/local/amoeba/

[[email protected] local]# /usr/local/amoeba/bin/amoeba

3.配置amoeba读写分离,两个slave读负载均衡

①master、slave1和slave2中开放权限给amoeba访问

mysql> grant all on *.* to ‘test‘@‘192.168.1.%‘ identified by ‘123.com‘;

②编辑amoeba.xml配置文件.注意修改红色下划线处

28 <property name="user">amoeba</property>

30 <property name="password">123456</property>

113 <property name="defaultPool">master</property>

115 <property name="writePool">master</property>

116 <property name="readPool">slaves</property>

③编辑dbServer.xml配置文件

26<property name="user">test</property>

29<property name="password">123.com</property>

45 <dbServer name="master"  parent="abstractServer">

46<factoryConfig>

47 <!-- mysql ip -->

48 <property name="ipAddress">192.168.1.2</property>

49 </factoryConfig>

50 </dbServer>

52 <dbServer name="slave1"  parent="abstractServer">

53 <factoryConfig>

54 <!-- mysql ip -->

55<property name="ipAddress">192.168.1.3</property>

56</factoryConfig>

57</dbServer>

58<dbServer name="slave2"  parent="abstractServer">

59<factoryConfig>

60<!-- mysql ip -->

61<property name="ipAddress">192.168.1.4</property>

62</factoryConfig>

63</dbServer>

65<dbServer name="slaves" virtual="true">

66<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

67 <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

68 <property name="loadbalance">1</property>

70<!-- Separated by commas,such as: server1,server2,server1 -->

71<property name="poolNames">slave1,slave2</property>

72</poolConfig>

73</dbServer>

④配置无误后,可以启动amoeba软件,默认端口为tcp8066

[[email protected] amoeba]# bin/amoeba start &

4.测试

①在client主机上

l #yum  -y  install  mysql

l 然后通过代理访问mysql  本机如果已安装可不用安装

l [[email protected] ~]# mysql -u amoeba -p123456 -h 192.168.1.1 -P8066  (-P为大写)

②在master上创建一个表,同步到各个从服务器上,然后关掉各从服务器的slave功能,再插入区别语句

mysql> use db_lxf

mysql> create table zang(id int(10),name varchar(10),address varchar(20));

③分别在两台从服务器上

mysql>stop slave;

④然后在主服务器上插入数据

mysql> insert inot zang values(‘1‘,‘zhang‘,‘this_is_master‘);

⑤从服务器同步了表,手动插入其他内容

slave1:

mysql> use db_lxf

mysql> insert into zang values(‘2‘,‘zhang‘,‘this_is_slave1‘);

slave2:

mysql> use db_lxf

mysql> insert into zang values(‘2‘,‘zhang‘,‘this_is_slave2‘);

⑥测试读操作

在client主机上第一次查询的结果如下:

mysql> use db_lxf

mysql> select * from zang;

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    3 | zhang | this_is_slave1 |

+------+-------+----------------+

1 row in set (0.03 sec)

第二次查询结果如下:

mysql> select * from zang;

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    2 | zhang | this_is_slave2 |

测试写操作在客户端:

mysql> insert into zang values(‘4‘,‘zhang‘,‘write_test‘);

但是在客户机上查询不到

最终只能在主服务器上才能看到这条语句内容,说明写操作在master服务器上

mysql> select * from zang;

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

|    4 | zhang | write_test     |

+------+-------+----------------+

2 rows in set (0.03 sec)

在主服务器mysql上进行验证:

其他两个从服务器上查看:

 

 

时间: 2024-10-24 23:29:50

mysql主从复制以及读写分离的相关文章

mysql主从复制与读写分离

MySQL主从复制与读写分离 MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践 Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过.但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面. 因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部

MySQL主从复制、读写分离、高可用集群搭建

MySQL主从复制.读写分离.高可用集群搭建  一.服务介绍   1.1 Keepalived     Keepalived,见名知意,即保持存活,其目的是解决单点故障,当一台服务器宕机或者故障时自动切换到其他的服务器中.Keepalived是基于VRRP协议实现的.VRRP协议是用于实现路由器冗余的协议,VRRP协议将两台或多台路由器设备虚拟成虚拟设备,可以对外提供虚拟路由器IP(一个或多个),即漂移IP(VIP). 1.2 ProxySQL ProxySQL是一个高性能,高可用性的MySQL

Mysql 主从复制,读写分离

Mysql 主从复制及读写分离 特别推荐看:amoeba.xml 的配置部分,在百度上看了很多配置都不完整,是我测试时的痛点 实验的目的: 有两部分:第一实现Mysql主从复制,第二实现读写分离. 下面是实验的环境: 192.168.58.11     安装了amoeba 的节点 192.168.58.16      master    系统:rhel 5.4 192.168.58.12      slave     系统: rhel 5.4 192.168.58.11      代理     

Mysql主从复制、读写分离工作原理+配置

Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysqlinstance(我们称之 Slave).在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线程)在 Slave 端,另外一个线程(IO线程)在 Master 端. MySQL 复制的基本过程如下: 1. Slave 上面的IO线程连接上 Master,并请求从指定日志文件的指定位置(或者从最开

搭建 MySQL主从复制与读写分离

搭建 MySQL主从复制与读写分离 案例概述 : 在实际环境中 ,如果对数据库的读和写都在同一个数据库服务中操作 ,无论实在安全性.高可用性, 还是高并发等各个方面都是完全不能满足实际需求的 ,因此 ,一般来说都只通过主从复制的方式来同 步数据 ,在通过读写分离来提升数据库的并发负载能力 ,这样的方案来进行部署与实施 . 环境拓补图 : 本案环境 : 主机 操作系统 IP地 址 主要软件 主服务器 CentOS 7.3 x86_64 192.168.217.130 NTP 从服务器1 CentO

MySQL 主从复制与读写分离

Mysql主从复制作用原理 1.在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作.2.做数据的热备3.架构的扩展.业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能.mysql主从复制是一个异步的复制过程,主库发送更新事件到从库,从库读取更新记录,并执行更新记

重新学习Mysql数据13:Mysql主从复制,读写分离,分表分库策略与实践

一.MySQL扩展具体的实现方式 随着业务规模的不断扩大,需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量. 关于数据库的扩展主要包括:业务拆分.主从复制.读写分离.数据库分库与分表等.这篇文章主要讲述数据库分库与分表 (1)业务拆分 在?大型网站应用之海量数据和高并发解决方案总结一二?一篇文章中也具体讲述了为什么要对业务进行拆分. 业务起步初始,为了加快应用上线和快速迭代,很多应用都采用集中式的架构.随着业务系统的扩大,系统变得越来越复杂,越来越难以维护,开发效率变得越

Amoeba搭建高可用Mysql集群(实现Mysql主从复制、读写分离、负载均衡)

Amoeba是什么? Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件.这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发,它位于与Client.DBServer(s)之间,对客户端透明.具有 负载均衡.高可用性.SQL过滤.读写分离.可路由相关的到目标数据库.可并发请求多台数据库合并结果 . 通过Amoeba你能够完成多数据源的

部署MySQL主从复制与读写分离

一.实验坏境 1.一台CentOS 7作为客户端测试,对应的地址为:192.168.80.1202.一台CentOS 7作为Amoeba前端代理服务器,对应的地址为:192.168.80.1103.一台CentOS 7作为mysql主服务器,对应的地址为:192.168.80.1004.两台CentOS 7分别作为mysql从服务器,对应的地址分别为:192.168.80.140,192.168.80.1505.所有的虚拟机都绑定同一块虚拟网卡vnet1:192.168.80.10 二.主从复制