MySQL开源中间件cetus

git地址:
https://github.com/Lede-Inc/cetus/blob/master/doc/cetus-quick-try.md
==介绍
Cetus
简介
Cetus是由C语言开发的关系型数据库MySQL的中间件,主要提供了一个全面的数据库访问代理功能。Cetus连接方式与MySQL基本兼容,应用程序几乎不用修改即可通过Cetus访问数据库,实现了数据库层的水平扩展和高可用。
主要功能特性
Cetus分为读写分离和分库(分表是分库的一种特殊形式)两个版本。
针对读写分离版本:

  • 多进程无锁提升运行效率
  • 支持透明的后端连接池
  • 支持SQL读写分离
  • 增强SQL路由解析与注入
  • 支持prepare语句
  • 支持结果集压缩
  • 支持安全性管理
  • 支持状态监控
  • 支持tcp stream流式
  • 支持域名连接后端
  • SSL/TLS支持(客户端)
  • MGR支持
  • 读强一致性支持(待实现)
    针对分库版本:
  • 多进程无锁提升运行效率
  • 支持透明的后端连接池
  • 支持SQL读写分离
  • 支持数据分库
  • 支持分布式事务处理
  • 支持insert批量操作
  • 支持有条件的distinct操作
  • 增强SQL路由解析与注入
  • 支持结果集压缩
  • 具有性能优越的结果集合并算法
  • 支持安全性管理
  • 支持状态监控
  • 支持tcp stream流式
  • 支持域名连接后端
  • SSL/TLS支持(客户端)
  • MGR支持
  • 读强一致性支持(待实现)
    ==环境准备
    架构:
    主:192.168.1.222 从:192.168.1.223 cetus:192.168.1.221
    数据库对cetus用户授权
    CREATE database if not exists testdb;
    create user ‘cetus_app‘@‘192.168.1.221‘ identified by ‘cetus@123‘;
    GRANT all ON testdb.* TO ‘cetus_app‘@‘192.168.1.221‘;

    主从延迟检测准备
    创建心跳库和心跳表,并为用户授权
    例如:
    Cetus所在的主机ip为192.168.1.221

    create database if not exists proxy_heart_beat;
    use proxy_heart_beat;
    CREATE TABLE if not exists tb_heartbeat ( p_id varchar(128) NOT NULL , p_ts timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3), PRIMARY KEY (p_id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    GRANT ALL ON proxy_heart_beat.* TO ‘cetus_app‘@‘192.168.1.221‘;

    注意:创建心跳表时p_ts精度必须到小数点后,否则会影响主从延迟检测的准确度

    (cetus会额外启动一个长连接连接主库,一直执行类似语句:
    INSERT INTO proxy_heart_beat.tb_heartbeat (p_id, p_ts) VALUES (‘/home/user/cetus_install/conf_2033375456_2567636547‘, ‘2019-02-27 17:03:37.106285‘) ON DUPLICATE KEY UPDATE p_ts=‘2019-02-27 17:03:37.106285‘

    同时启动一个长连接连接从库库,一直执行类似语句:

    select p_ts from proxy_heart_beat.tb_heartbeat where p_id=‘/home/user/cetus_install/conf_2070313331_376322286‘
    主库写入时间戳,从库读取时间戳,与本地时间做差值,计算主从延迟
    )

    ==安装cetus
    环境依赖

    yum install cmake gcc glib2-devel flex mysql-devel gperftools-libs zlib-devel -y
    cd /usr/local/ && git clone https://github.com/Lede-Inc/cetus.git
    cd /usr/local/cetus/
    mkdir build/
    cd build/

    编译
    读写分离版本:

    CFLAGS=‘-g -Wpointer-to-int-cast‘ cmake ../ -DCMAKE_BUILD_TYPE=Debug -DCMAKE_INSTALL_PREFIX=/home/user/cetus_install -DSIMPLE_PARSER=ON

    分库版本:

    CFLAGS=‘-g -Wpointer-to-int-cast‘ cmake ../ -DCMAKE_BUILD_TYPE=Debug -DCMAKE_INSTALL_PREFIX=/home/user/cetus_install -DSIMPLE_PARSER=OFF
    make install
    cd /home/user/cetus_install/conf/

    配置文件在make insatll后存在示例文件,以.example结尾,目录为/home/user/cetus_install/conf/,包括用户设置文件(users.json)、变量处理配置文件(variables.json)、分库版本的分片规则配置文件(sharding.json)、读写分离版本的启动配置文件(proxy.conf)和分库版本的启动配置文件(shard.conf)。
    根据具体编译安装的版本编辑相关配置文件,若使用读写分离功能则需配置users.json和proxy.conf,若使用sharding功能则需配置users.json、sharding.json和shard.conf,其中两个版本的variables.json均可选配。
    读写分离:

    cp proxy.conf.example proxy.conf
    cp users.json.example  users.json

    users.json用来配置用户登陆信息,采用键值对的结构,其中键是固定的,值是用户在MySQL创建的登陆用户名和密码。
    其中user的值是用户名;client_pwd的值是前端登录Cetus的密码;server_pwd的值是Cetus登录后端的密码。

    chmod 660 conf/*
    启动服务:
    bin/cetus --defaults-file=conf/proxy.conf

    客户端连接数据库:密码为users.json中的client_pwd,地址端口为proxy.conf中的proxy-address

    mysql -ucetus_app -p‘cetus@123‘ -P6001 -h192.168.1.221

    cetus本机登录管理端口:

    mysql -h127.0.0.1 -uadmin -padmin -P7001

原文地址:https://blog.51cto.com/liuzhanbin/2357272

时间: 2024-10-08 16:48:00

MySQL开源中间件cetus的相关文章

转:阿里开源Mysql分布式中间件:Cobar

原文来自于:http://hualong.iteye.com/blog/2102798 这几天研究了下Cobar, Cobar是阿里巴巴研发的关系型数据的分布式处理系统(Amoeba的升级版,该产品成功替代了原先基于Oracle的数据存储方案,目前已经接管了3000+个MySQL数据库的schema,平均每天处理近50亿次的SQL执行请求.)(github上面的是源码,大家下来需要自己用maven2编译后运行.者放Eclipse里面运行,一开始我用maven3没有执行成功.) 首先,使用Coba

mysql数据库中间件研究

随着互联网的发展,数据量的不断增大. 单台实例已经远远无法满足业务的需要. 对数据库分库分表的需求不断的增加随之而来的就是数据库中间件的开发. 一. 单台实例主要面临下面几个问题: 1.  数据量太大单台机器无法承载 2.  数据查询效率太低,单表数据达到一定的量业务性能就无法满足 3.  数据库优化上的瓶颈 4. 数据安全的问题,大量数据放置在一台机器如果数据出问题回复周期会特别长,对业务影响太大. 随之而来的就是需要分库分表 但是分库分表就四个字做起来可真没有这么简单. 二. 分库分表面临的

Jmeter测试mysql数据库中间件mycat

背景 因为博主所负责测试的项目需要数据库有较大的吞吐量,在最近进行了升级,更新了一个数据库中间件 - - mycat.查询了一些资料,了解到这是阿里的一个开源项目,基于mysql,是针对磁盘的读与写,理论上读写速度上会略小于mysql. 与组长沟通后,决定在功能测试完成后,对升级后的mycat进行性能压测. 环境准备 1.下载Jmeter 可以访问下面的地址进行下载,建议下载zip版本的,因为zip是一个绿色版本,无需安装,解压后即可使用, Jmeter下载地址 2.下载mysql数据库的驱动包

灵活强大的MySQL代理中间件ProxySQL应用实战(1)

一.常见的Mysql中间件介绍 很多人都会把中间件认为是读写分离,其实读写分离只是中间件可以提供的一种功能,最主要的功能还是在于他可以分库分表.下面介绍下常见的开源mysql中间件. DBProxy是由美团点评公司技术工程部DBA团队(北京)开发维护的一个基于MySQL协议的数据中间层.它在奇虎360公司开源的Atlas基础上,修改了部分bug,并且添加了很多特性. Atlas是由奇虎360公发的基于MySQL协议的数据库中间件产品,它在MySQL官方推出的MySQL-Proxy 0.8.2版本

【epub.js|翻译|原创】开源中间件epub.js的使用及其中文文档

小组项目 "基于JavaScript的读书平台" 正在开发中,预计年底上线. 由于之前有Flask框架的web开发经验,产品的第一个版本我负责了web平台搭建,技术选型: 服务器端:nodejs-express 前端:React.Ant Design 数据库:Mysql 之前Flask框架下的前端技术使用的是基础的HTML+CSS,和一小部分JQuery效果,因为一直对前端比较感兴趣,这次大胆的用上学的不那么扎实(或者说更流行)的React,实践指导理论. "读书平台&quo

轻量级Mysql Sharding中间件——Shark

Shark简介 前身为Kratos,轻量级Mysql分库分表(Sharding)中间件,丰富的Sharding算法支持(2类4种分片算法),能够方便DBA实现库的水平扩容和降低数据迁移成本.Shark站在巨人的肩膀上(SpringJdbc.Druid),采用与应用集成架构,放弃通用性,只为换取更好的执行性能与降低分布式环境下外围系统的宕机风险. Shark的优点动态数据源的无缝切换:master/slave一主一从读写分离:Sql独立配置,与逻辑代码解耦:单线程读重试(取决于的数据库连接池是否支

mysql分布式中间件cobar

Cobar的分布式主要是通过将表放入不同的库来实现:     1.Cobar支持将一张表水平拆分成多份分别放入不同的库来实现表的水平拆分     2.Cobar也支持将不同的表放入不同的库     3.多数情况下,用户会将以上两种方式混合使用     4.Cobar不支持将一张表,例如test表拆分成test_1, test_2, test_3.....放在同一个库中,必须将拆分后的表分别放入不同的库来实现分布式 环境规划: IP                         数据库     

12306铁路售票系统核心开源中间件Geode介绍

Geode是一个提供实时且高一致性的分布式数据管理平台,典型案例是中国铁路12306售票系统使用Geode管理10个集群节点,在内存中管理2T的热点数据和10个高可用弹性规模的后备节点. Geode通过内存池 CPU 网络资源和可选本地磁盘跨多个进程来管理对象和行为,它使用动态复制和数据分区技术实现高可用性以及提高性能,保证高扩展性和容错性,除了是一个分布式数据容器,Geode还是一个内存in-memory内存数据管理系统提供可靠的异步事件通知和保证信息传递. Geode作为一个极其成熟和强大的

Mysql 数据库中间件

读写分离:简单的说是把对数据库读和写的操作分开对应不同的数据库服务器,这样能有效地减轻数据库压力,也能减轻io压力.主数据库提供写操作,从数据库提供读操作,其实在很多系统中,主要是读的操作.当主数据库进行写操作时,数据要同步到从的数据库,这样才能有效保证数据库完整性. 分库分表: 水平分区:分表 垂直分区:分库 水平分表也称为横向分表,比较容易理解,就是将表中不同的数据行按照一定规律分布到不同的数据库表中(这些表保存在同一个数据库中),这样来降低单表数据量,优化查询性能.最常见的方式就是通过主键