linux中mycat的配置,分片,以及主从复制

1.1    安装环境

1、jdk:要求jdk必须是1.7及以上版本

2、Mysql:推荐mysql是5.5以上版本

1.2  安装步骤

Mycat有windows、linux多种版本。本教程为linux安装步骤,windows基本相同。

第一步:下载Mycat-server-xxxx-linux.tar.gz

第二步:将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

第三步:进入mycat目录,启动mycat

./mycat start

停止:

./mycat stop

mycat 支持的命令{ console | start | stop | restart | status | dump }

Mycat的默认端口号为:8066

Mycat的分片

1.1    需求

把商品表分片存储到三个数据节点上

1.2   安装环境分析

两台mysql数据库服务器:

Host1:192.168.25.134

Host2:192.168.25.166

host1环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db1、db3

mysql节点2环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db2

MyCat安装到节点1上(需要安装jdk)

Schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

<schema name="mycat007" checkSQLschema="false" sqlMaxLimit="100">

<!-- <table name="TB_ITEM" primaryKey="ID" dataNode="dn1,dn3,dn2" rule="auto-sharding-long" /> -->
<!-- <table name="user" primaryKey="ID" dataNode="dn1,dn3,dn2" rule="auto-sharding-long" /> -->
<table name="user" primaryKey="id" dataNode="dn1" rule="auto-sharding-long" />

</schema>

<!-- <dataNode name="dn1" dataHost="localhost128" database="db1" />
<dataNode name="dn3" dataHost="localhost128" database="db3" />
<dataNode name="dn2" dataHost="localhost129" database="db2" /> -->
<!-- 分片管理 -->
<dataNode name="dn1" dataHost="localhost3" database="db1" />
<dataHost name="localhost128" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.146.101:3306" user="root"
password="123456">

</writeHost>

</dataHost>
<dataHost name="localhost129" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.146.102:3306" user="root"
password="123456">

</writeHost>

</dataHost>
<dataHost name="localhost3" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
<heartbeat>show slave status</heartbeat>
<writeHost host="hostM" url="192.168.146.101:3306" user="root"
password="123456">
<readHost host="hostS" url="192.168.146.102:3306" user="root"
password="123456" />
</writeHost>
</dataHost>

</mycat:schema>

 

Server.xml配置

<user name="test">

<property name="password">test</property>

<property name="schemas">cctmall</property>

<property name="readOnly">false</property>

</user>

注意:要和Schema.xml保持一致

测试分片

由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为:

Datanode1:1~5000000

Datanode2:5000001~10000000

Datanode3:10000001~15000000

当15000000以上的id插入时报错:

[Err] 1064 - can‘t find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。

Mycat读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置

Mysql的主从复制

1、主DB server和从DB server数据库的版本一致

2、主DB server和从DB server数据库数据名称一致

3、主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一

Mysql主服务器配置

第一步:修改my.cnf文件:

如果在/etc 下没有my.cnf

从/usr/share/mysql下复制一个过来/etc/,改一下名字即可my-default.cnf--> my.cnf

在[mysqld]段下添加:


binlog-do-db=db1

binlog-ignore-db=mysql

#启用二进制日志

log-bin=mysql-bin

#服务器唯一ID,一般取IP最后一段

server-id=134

第二步:重启mysql服务

service mysql restart

第三步:建立帐户并授权slave

mysql>GRANT FILE ON *.* TO ‘backup‘@‘%‘ IDENTIFIED BY ‘123456‘;

注意:有时候会出现错误

错误:ERROR 1045 (28000): Access denied for user ‘root‘@‘%‘ (using password: YES)

mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to ‘backup‘@‘%‘ identified by ‘123456‘;

然后更改配置mysql中的user表中的grant 改为yes;

#一般不用root帐号,“%”表示所有客户端都可能连,只要帐号,密码正确,此处可用具体客户端IP代替,如192.168.145.226,加强安全

刷新权限

mysql> FLUSH PRIVILEGES;

查看mysql现在有哪些用户

mysql>select user,host from mysql.user;

第四步:查询master的状态

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 |      120 | db1          | mysql            |                   |

+------------------+----------+--------------+------------------+-------------------+

1 row in set

1.1    Mysql从服务器配置

第一步:修改my.cnf文件

[mysqld]

server-id=166

第二步:配置从服务器

mysql>change master to master_host=‘192.168.25.134‘,master_port=3306,master_user=‘backup‘,master_password=‘123456‘,master_log_file=‘mysql-bin.000001‘,master_log_pos=120

注意语句中间不要断开,master_port为mysql服务器端口号(无引号),master_user为执行同步操作的数据库账户,“120”无单引号(此处的120就是show master status 中看到的position的值,这里的mysql-bin.000001就是file对应的值)。

第二步:启动从服务器复制功能

Mysql>start slave;

第三步:检查从服务器复制功能状态:

mysql> show slave status

……………………(省略部分)

Slave_IO_Running: Yes //此状态必须YES

Slave_SQL_Running: Yes //此状态必须YES

……………………(省略部分)

注:Slave_IO及Slave_SQL进程必须正常运行,即YES状态,否则都是错误的状态(如:其中一个NO均属错误)。


错误处理:

如果出现此错误:

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

因为是mysql是克隆的系统所以mysql的uuid是一样的,所以需要修改。


解决方法:

删除/var/lib/mysql/auto.cnf文件,重新启动服务。

Mycat配置

Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下:


<dataNode name="dn1" dataHost="localhost1" database="db1" />

<dataNode name="dn2" dataHost="localhost1" database="db2" />

<dataNode name="dn3" dataHost="localhost1" database="db3" />

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">

<heartbeat>show slave status</heartbeat>

<writeHost host="hostM" url="192.168.25.134:3306" user="root"

password="root">

<readHost host="hostS" url="192.168.25.166:3306" user="root"

password="root" />

</writeHost>

</dataHost>

(1) 设置 balance="1"与writeType="0"

Balance参数设置:

1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。

2. balance=“1”,所有读操作都随机的发送到readHost。

3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置:

1. writeType=“0”, 所有写操作都发送到可用的writeHost上。

2. writeType=“1”,所有写操作都随机的发送到readHost。

3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。

“readHost是从属于writeHost的,即意味着它从那个writeHost获取同步数据,因此,当它所属的writeHost宕机了,则它也不会再参与到读写分离中来,即“不工作了”,这是因为此时,它的数据已经“不可靠”了。基于这个考虑,目前mycat 1.3和1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,则需要在Mycat里配置为两个writeHost并设置banlance=1。”

(2) 设置 switchType="2" 与slaveThreshold="100"

switchType 目前有三种选择:

-1:表示不自动切换

1 :默认值,自动切换

2 :基于MySQL主从同步的状态决定是否切换

“Mycat心跳检查语句配置为 show slave status ,dataHost 上定义两个新属性: switchType="2" 与slaveThreshold="100",此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。

原文地址:https://www.cnblogs.com/zmoumou/p/9650969.html

时间: 2024-10-06 20:08:45

linux中mycat的配置,分片,以及主从复制的相关文章

Linux中邮件报警配置

linux中邮件报警机制 在linux中报警机制是运维管理关键部分.我们一般是通过监控来发现问题,常见的监控软件如:zabbix是现在大家都在使用和准备使用的.如果不通过第三方软件做监控报警,我们就需要linux中自带的邮件发送功能. 以下报警配置为工作中,小心得体会.向大家分享下: 1.检查mailx 的版本信息大于12.*即可,否则需要另外更新安装 2.# vim /etc/mail.rc  中添加修改内容如下: set [email protected]             指定外部代

linux中的目录配置

一.权限对文件的重要性 1.r(read):可读取此文件的实际内容,读取文本文件的文字内容等. 2.w(write):可以编辑,新增或者是修改该文件的内容. 3.x(execute):该文件具有可以被系统执行的权限. **在linux中,一个文件是否能被执行是由是否具有"x"这个权限来决定的,与文件名没有绝对的关系. 二.权限对目录的重要性 *文件是存放实际数据的所在,目录主要的内容是记录文件名列表,文件名与目录有前列的关联. 1.r:表示具有读取目录结构列表的权限,当你具有读取(r)

Linux中vsftpd服务配置(匿名,用户,虚拟用户)

vsftpd概述 vsftpd 是"very secure FTP daemon"的缩写,安全性是它的一个最大的特点.vsftpd 是一个 UNIX 类操作系统上运行的服务器的名字,它可以运行在诸如 Linux.BSD.Solaris. HP-UNIX等系统上面,是一个完全免费的.开放源代码的ftp服务器软件,支持很多其他的 FTP 服务器所不支持的特征. 特点 非常高的安全性需求.带宽限制.良好的可伸缩性.可创建虚拟用户.支持IPv6.速率高 小巧轻快,安全易用. ftp.sftp.

linux中安装和配置 jdk

01.去官网下载指定的jdk 02.使用xftp把下载好的文件 传递到 linux指定文件夹中03.进入指定的文件夹输入tar -zxvf 文件名称04.发现文件 05.进入文件cd jdk1.8.0_121 06.进入bin目录cd bin保存当前的路径,以备等会配置环境变量时使用! /software/jdk1.8.0_121/bin 07.找到配置环境变量的文件  ~/.bash_profile 或者 /etc/profile   文件 08.vim 开始编辑文件 或者 /etc/prof

Linux中的MyEclipse配置Hadoop

一.所需软件 注意:安装MyEclipse后,我再已安装软件里找不到MyEclipse,所以我在root权限下用命令行启动MyEclipse,貌似避免了很多权限问题. sudo su 输入密码 cd usr/myeclipse ./myeclipse 二.步骤 1.先把hadoop-eclipse-plugin-1.2.1.jar复制到ubuntu桌面(我的不能直接复制到MyEclipse的dropins目录下,我同学的能,真是奇怪啊),然后在进入桌面. 还是先进入root cd cd ..//

linux中fstab文件配置简介

1.fstab文件的作用文件/etc/fstab存放的是系统中的文件系统信息.当正确的设置了该文件,则可以通过"mount  /directory      name"命令来加载一个文件系统,每种文件系统都对应一个独立的行,每行中的字段都有空格或tab键分开.同时fsck. mount.umount的等命令都利用该程序. 2.下面是/etc/fatab文件的一个示例行:  cat /proc/mountsfs_spec         fs_file           fs_type

centOS 下 Linux 中的 JDK 配置

一.下载jdk 放在 /usr/local/src/jdk下解压 命令: 解压后: 二.用 vim 进行编辑   如果是最小安装的Linux需要安装 vim  命令(yum install vim*) 命令:vim /etc/profile 三.刷新配置文件 命令:source /etc/profile 四.测试jdk是否配置成功 命令: java -version 命令: javac 五.安装完成 原文地址:http://blog.51cto.com/10476803/2068652

linux中的网络配置

1.IP addressIP地址是指互联网协议地址(英语:Internet Protocol Address,又译为网际协议地址),是IP Address的缩写.IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异.目前还有些ip代理软件,但大部分都收费.ip由32个01组成11111110.11111110.11111110.11111110=254.254.254.254 ipv 4 :internet protocol

详述Linux中Firewalld高级配置

IP伪装与端口转发 Firewalld支持两种类型的网络地址转换 IP地址伪装(masquerade) 可以实现局域网多个地址共享单一公网地址上网 IP地址伪装仅支持IPv4,不支持IPv6 默认external区域启用地址伪装 端口转发(Forward-port) 也称为目的地址转换或端口映射 通过端口转发,指定IP地址及端口的流量将被转发到相同计算机上的不同端口,或者转发到不同计算机上的端口 地址伪装配置 为指定区域增加地址伪装功能 firewall-cmd [--permanent] [-