跨平台轻量级redis、ssdb代理服务器(C++ 11编写)

dbproxy 是我业余采用C++11编写的跨平台代理服务器(并使用lua和自己的网络库),以扩展系统负载,同时使用多个后端数据库,后端数据库支持redis和ssdb。

需要由用户自己编写lua脚本控制sharding。测试效率比codis略高,且占用更少的CPU和内存。

下面是github上的readme,我直接拷贝下来:

介绍

dbproxy是一个采用C++11编写的代理服务器,支持redis和 ssdb数据库。 其主要用于扩容和提高系统负载。使用lua控制sharding,把不同的key-value映射到不同的后端redis或ssdb服务器。

构建

dbproxy支持windwos和linux。

  • windows:打开根目录的DBProxy.sln编译即可。
  • linux:
    • 1 : 在项目根目录执行 cd 3rdparty/luasrc/src/ 命令进入lua src目录,然后执行 make generic 构建liblua.so
    • 2 : 回到项目根目录执行 cp 3rdparty/luasrc/src/liblua.so . 将liblua.so拷贝到当前目录。
    • 3 : 继续在根目录下执行 make server 构建 dbserver 即可。
    • 4 :直接运行 ./dbserver 即启动代理服务器。

配置文件

dbproxy的配置文件是Config.lua 其ProxyConfigbackendskey配置后端服务器列表,其中的sharding_function指示sharding函数。 作为示例,test_sharding就是被指定的sharding函数,其根据key参数,返回对应的服务器号,这里返回0,意思是将key映射到127.0.0.1 : 6379这个服务器。

redis或ssdb使用代理服务器跟使用redis 或ssdb几乎没有区别,使用任意的redis或ssdb客户端均可,代码不必做调整,只需要把ip和port指向代理服务器的地址即可。

补充

目前dbproxy只作为代理映射,不包含读写分离以及额外缓存,也不解决分布式等问题。 当然其服务器C++代码主体并不涉及任何sharding方案,必须由用户自己在Config.lua里自己实现sharding函数 (当然,也可以从网上找现成的,譬如lua版的一致性hash lua-consistent-hash)

感谢

一定程度上借鉴了redis-shattercodis

后续:

效率上还能进一步提升和优化,感谢大家尝试,提出意见。

时间: 2024-08-09 10:34:14

跨平台轻量级redis、ssdb代理服务器(C++ 11编写)的相关文章

《使用 C++11 编写 Linux 多线程程序(转载收藏)》

转载自: http://www.ibm.com/developerworks/cn/linux/1412_zhupx_thread/ 本文讲述了如何使用 C++11 编写 Linux 下的多线程程序,如何使用锁,以及相关的注意事项,还简述了 C++11 引入的一些高级概念如 promise/future 等. 前言 在这个多核时代,如何充分利用每个 CPU 内核是一个绕不开的话题,从需要为成千上万的用户同时提供服务的服务端应用程序,到需要同时打开十几个页面,每个页面都有几十上百个链接的 web

Redis学习笔记(11)——Redis缓存集群方案

由于单台Redis服务器的内存管理能力有限,使用过大内存的Redis又会使得服务器的性能急剧下降,一旦服务器发生故障将会影响更大范围业务,而Redis 3.0 beta1支持的集群功能还不适合生产环境的使用.于是为了获取更好的Redis缓存性能及可用性,很多公司都研发了Redis缓存集群方案.现对NetFlix.Twitter.国内的豌豆荚在缓存集群方面的解决方案进行一个汇总,以供读者参考,具体内容如下: 1.NetFlix对Dynamo的开源通用实现Dynomite Dynomite是NetF

Redis/SSDB+Twemproxy的配置与使用(Mac/Linux平台)

对于redis而已,相信不少的后台开发人员一直都在使用,相比memcache而已,redis不仅可以作为key-value缓存使用,而且提供了丰富的数据结构如set.list.map等,能够实现很多复杂的功能,但是Redis本身主要作用是内存缓存,不适合做持久化存储到磁盘,所以目前出现了很多基于磁盘存储的组件,如:SSDB.ARDB. LevelDB.LMDB.beansDB等 Twemproxy是一个Redis/Memcached代理中间件,可以实现诸如分片逻辑.HashTag.减少连接数等功

21.9 redis介绍;21.10 redis安装;21.11 redis持久化;21.12

21.9 redis介绍 1. Redis和Memcached类似,也属于k-v数据存储 2. Redis官网redis.io, 当前最新稳定版4.0.1 3. 支持更多value类型,除了和string外,还支持hash.lists(链表).sets(集合)和sorted sets(有序集合) 4. redis使用了两种文件格式:全量数据(RDB)和增量请求(aof).全量数据格式是把内存中的数据写入磁盘,便于下次读取文件进行加载.增量请求文件则是把内存中的数据序列化为操作请求,用于读取文件进

C++11之右值引用(三):使用C++11编写string类以及“异常安全”的=运算符

前面两节,说明了右值引用和它的作用.下面通过一个string类的编写,来说明右值引用的使用. 相对于C++98,主要是多了移动构造函数和移动赋值运算符. 先给出一个简要的声明: class String { public: String(); String(const char *s); //转化语义 String(const String &s); String(String &&s); ~String(); String &operator=(const String

redis学习笔记(11)---字符串命令及实现

对象类型与编码方式 对于字符串类型的命令,redis数据库会为每个对象创建一个字符串类型(REDIS_STRING)的对象. 对于字符串类型的对象,可以支持三种编码方式: #define REDIS_ENCODING_RAW 0 /* Raw representation */ #define REDIS_ENCODING_INT 1 /* Encoded as integer */ #define REDIS_ENCODING_EMBSTR 8 /* Embedded sds string e

轻量级应用开发之(11)手势

一 iOS手势 iOS开发中手势识别有六种: 轻击手势(TapGestureRecognizer), 轻扫手势 (SwipeGestureRecognizer), 长按手势(LongPressGestureRecognizer), 拖动手势(PanGestureRecognizer), 捏合手势(PinchGestureRecognizer), 旋转手势(RotationGestureRecognizer), 1,轻击手势(TapGestureRecognizer) UITapGestureRe

用Cocos2d-x3.x和C++11编写2048游戏以及游戏AI

话说,年仅19岁的意大利人Gabriele Cirulli于2014年3月完成并发布在github上,游戏设计来自于<1024>,而<1024>灵感来源于<Threes!>的移动端游戏.然而游戏飙升的人气超乎他的想象,人们忘记了Flappy Bird, 2048成了 网络上"最上瘾的东西". 我是完全为了熟悉Cocos2d-x3.x版本,才写这个游戏的.这个游戏的玩法如下: 该游戏使用方向键让方块上下左右移动.如果两个带有相同数字的方块在移动中碰撞,

11.编写一个Java程序,计算半径为3.0的圆周长和面积并输出结果。把圆周率π定义为常量,半径定义为变量,然后进行计算并输出结果。

package com.hanqi.yzljs; public class yzljs { public static void main(String[] args) {     final double PI = 3.1415926;     double r =3.0;     double c =2*PI*r;     double s = PI*r*r;     System.out.println("圆的周长="+c+"    圆的面积="+s); }