分库分表之Mycat实现

分库分表之Mycat实现

使用分库分表的前提:

当你们的数据库表数据特别大时,比如说上亿的记录,数据库本身的优化基本上无法解决性能问题了,根本原因是数据库本身的io读写到了一个瓶颈,这个时候,需要海量数据的存储和查询问题。此时我们需要利用分库分表的思想去进行数据库的架构优化。随着微服务这种架构的兴起,我们应用从一个完整的大的应用,切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。

 什么是Mycat?

一个彻底开源的,面向企业应用开发的“大数据库集群”

·支持事务、ACID、可以替代Mysql的加强版数据库

·一个可以视为“Mysql”集群的企业级数据库,用来替代昂贵的Oracle集群

·一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server

·结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

·一个新颖的数据库中间件产品

Mycat架构:

 Mycat的关键特性:

支持 SQL 92标准

·支持Mysql集群,可以作为Proxy使用

·支持JDBC连接ORACLE、DB2、SQL Server,将其模拟为MySQL  Server使用

·支持galera for mysql集群,percona-cluster或者mariadb cluster,提供高可用性数据分片集群

·自动故障切换,高可用性

·支持读写分离,支持Mysql双主多从,以及一主多从的模式

·支持全局表,数据自动分片到多个节点,用于高效表关联查询

·支持独有的基于E-R 关系的分片策略,实现了高效的表关联查询

·多平台支持,部署和实施简单

Mycat存在的问题:

l 跨库join问题

* 通过业务分析,将不同库的join查询拆分成多个select

* 建立全局表(每个库都有一个相同的表)

* 冗余字段(不符合数据库三范式)

* E-R分片(将有关系的记录都存储到一个库中)

* 最多支持跨两张表跨库的join

l 分布式事务(弱事务)

* 强一致性事务(同步)

* 最终一致性事务(异步思想)

l 分布式主键

* redis incr命令

* 数据库(生成主键)

* UUID

* snowflake算法

Mycat的下载及安装

下载mycat:

github地址:https://github.com/MyCATApache

Mycat安装:

安装rz上传文件工具

yum install -y lrzsz

第一步:把MyCat的压缩包上传到linux服务器

第二步:解压缩,得到mycat目录

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

第三步:进入mycat/bin,启动MyCat

启动命令:./mycat start

停止命令:./mycat stop

重启命令:./mycat restart

注意:可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066

原文地址:https://www.cnblogs.com/wnlsq/p/12141978.html

时间: 2024-08-29 10:41:00

分库分表之Mycat实现的相关文章

MySQL分库分表之MyCat实现

分库分表之MyCat实现 分库分表介绍 分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题,将原来独立的数据库拆分成若干数据库组成,将数据大表分成若干数据表组成,使得单一数据库.单一数据表的数据量变小,从而达到提升数据库性能的目的.随着微服务这种架构的兴起,我们应用从一个完整的大的应用,切分为很多可以独立提供服务的小应用.每个应用都有独立的数据库. 数据的切分分为两种: l 垂直切分:按照业务模块进行切分,将不同模块的表切分到不同的数据库中. l 水平切分:将一张大表按照一定的切分规则

MySQL之分库分表(MyCat)

分库分表介绍: 随着微服务这种架构的兴起,我们应用从一个完整的大的应用,切分为很多可以独立提供服务的小应用.每个应用都有独立的数据库. 数据的切分分为两种: 垂直切分:按照业务模块进行切分,将不同模块的表切分到不同的数据库中. 水平切分:将一张大表按照一定的切分规则,按照行切分到不同的表或者不同的库中. MyCat介绍: 网站链接:http://www.mycat.io/ 关键特性 支持SQL92标准 支持MySQL.Oracle.DB2.SQL Server.PostgreSQL等DB的常见S

MySQL分库分表之MyCat实现(五)

一 .分库分表 什么是分库分表? 分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题,将原来独立的数据库拆分成若干数据库组成,将数据大表分成若干数据表组成,使得单一数据库.单一数据表的数据量变小,从而达到提升数据库性能的目的. 2.分库分表的方式 2.1分库: 1.垂直分库:是指按照业务将表进行分类,分布到不同的数据库上面,每个库可以放不同的服务器上,它的核心理念是专库专用. 2水平分库:把同一个表的数据按一定规则拆分到不同的数据库中,每个库可以放不同的服务器上 2.2分表: 1.垂直

Mysql系列五:数据库分库分表中间件mycat的安装和mycat配置详解

一.mycat的安装 环境准备:准备一台虚拟机192.168.152.128 1. 下载mycat cd /softwarewget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 2. 解压mycat tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 3. 剪切mycat到/usr/local目录下

Mycat读写分离和分库分表配置

Mycat是一个开源的分布式数据库系统,不同于oracle和mysql,Mycat并没有存储引擎,但是Mycat实现了mysql协议,前段用户可以把它当做一个Proxy.其核心功能是分表分库,即将一个大表水平分割为N个小表,存储在后端mysql存储引擎里面.最新版本的Mycat不仅支持mysql,还可以支持MS SqlServer,Oracle,DB2等关系型数据库,而且还支持MongoDB这种NoSQL.Mycat对调用者屏蔽了后端存储具体实现. Mycat的原理是先拦截用户的SQL语句并做分

MySQL 高可用:mysql+mycat实现数据库分片(分库分表)

本文引用于http://blog.csdn.net/kk185800961/article/details/51147029 MySQL 高可用:mysql+mycat实现数据库分片(分库分表) 什么是MYCAT: 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务.ACID.可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群 一个融合内存缓存技术.NoSQL技术.HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数

Mycat 读写分离+分库分表

上次进过GTID复制的学习记录,已经搭建好了主从复制的服务器,现在利用现有的主从复制环境,加上正在研究的Mycat,实现了主流分布式数据库的测试 Mycat就不用多介绍了,可以实现很多分布式数据库的功能,极大的减轻数据库服务器的压力,包括读写分离以及分库分表,本测试对这两种功能都进行了测试,进行相应记录 本文以Mycat官方给出的例子来进行解释总结 首先来看分库分表,分库分表一般来说都是一起说的,但是实际上分库跟分表是有区别的,简单来说有垂直和水平两种方式,垂直就是将表按字段进行拆分,水平就是将

使用Mycat实现MySQL的分库分表、读写分离、主从切换

Mycat及MySQL实例部署情况:Mycat:IP:10.20.8.57,Port:3310/3311MySQL :db1-M1,IP:10.20.8.126,Port:3306db1-M2,IP:10.20.8.126,Port:3307db2-M1,IP:10.25.80.7,Port:3307架构图如下: 配置Mycatserver.xml: <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server x

MySQL:如何使用MyCAT实现分库分表?

分库分表介绍 随着微服务这种架构的兴起,我们应用从一个完整的大的应用,切分为很多可以独立提供服务的小应用.每个应用都有独立的数据库. 数据的切分分为两种: 垂直切分:按照业务模块进行切分,将不同模块的表切分到不同的数据库中. 水平切分:将一张大表按照一定的切分规则,按照行切分到不同的表或者不同的库中. MyCAT介绍 官方网站:http://www.mycat.org.cn/ 什么是MyCAT? 简单的说,MyCAT就是: 一个彻底开源的,面向企业应用开发的“大数据库集群” 支持事务.ACID.