看看redis中那些好玩的module (sql on redis, bf/cf on redis)

　　自从redis加入了module功能之后，redis的生态就很有意思了，每个领域的大佬都会以插件的形式给redis扩展一些新的功能，比如本篇说到的rediSQL，rebloom。

一：rediSQL

1. 背景

redis虽然是牛逼，但还是有很多人吐槽redis操作性太弱，比如你想要在redis上实现一个比较复杂的业务逻辑，可能对你来说是一个灾难，有些同学会说用redis的

存储过程lua撒，但是lua不是每个程序员都会的，更何况那些数据分析师，但要是问sql会不会，基本上合格的程序员和分析师在这个上面都是没毛病的，真的要是让sql

落在redis上，那真是如虎添翼，可能最早让sql落到redis上的，应该是spark sql 吧，让redis作为spark的rdd，但这里说到的是另外一个通过module实现的sql on redis。

2. 下载

源代码可以到 github：https://github.com/RedBeardLab/rediSQL ，下载地址是：https://github.com/RedBeardLab/rediSQL/releases

直接下载这个编译好的文件，拿来就用就好了。

3. 加载

这个简单，先把rediSQL_0.7.1.so 导入到centos中，然后只需使用module load rediSQL_0.7.1.so 返回ok即可。

1 [[email protected] redis]# ls
2 00-RELEASENOTES  COPYING   Makefile   README.md        redis.conf        runtest           src
3 appendonly.aof   deps      MANIFESTO  redis-check-aof  rediSQL_0.7.1.so  runtest-cluster   tests
4 BUGS             dump.rdb  module     redis-check-rdb  redis-server      runtest-sentinel  utils
5 CONTRIBUTING     INSTALL   mydata     redis-cli        redis-trib.rb     sentinel.conf

[[email protected] redis]# ./redis-cli
127.0.0.1:6379> module load /data/redis/rediSQL_0.7.1.so
OK

4. 简单使用

既然要让sql落到redis中，那就先得建库建表啦，这里database：Datamip， table：customer，然后做了一个简单的查询，如下：

127.0.0.1:6379> REDISQL.CREATE_DB Datamip
OK
127.0.0.1:6379> REDISQL.EXEC Datamip "CREATE TABLE customer(id int, username varchar(10));"
1) DONE
2) (integer) 0
127.0.0.1:6379> REDISQL.EXEC Datamip "INSERT INTO customer VALUES(1, ‘jack‘);"
1) DONE
2) (integer) 1
127.0.0.1:6379> REDISQL.EXEC Datamip "INSERT INTO customer VALUES(2, ‘mary‘);"
1) DONE
2) (integer) 1
127.0.0.1:6379> REDISQL.EXEC Datamip "SELECT * FROM customer WHERE id=2"
1) 1) (integer) 2
   2) "mary"
127.0.0.1:6379>

是不是很爽的感觉，不过作者也是要吃饭的，所以企业版还是要收点压箱底的钱。

二： rebloom

1. 背景

　　这个module也很有意思，它给redis新增了两种过滤器，一个叫做bloom filter，一个叫做 cuckoo filter， bloomfilter 估计大家都知道，用极小的错误率换取

原有的HashSet的1/8 -1/4的空间利用率，具体场景大家看着用吧，cuckoofilter 翻译过来就是布谷鸟过滤性，可能作者家就是养鸟的，不然怎么那么多鸟呢，

大家只要理解cuckoofilter比bloomfilter更省空间，更低的错误率，而且还是支持删除。

具体的大家可以看论文：http://www.cs.cmu.edu/~binfan/papers/conext14_cuckoofilter.pdf 。

2. 下载

github地址：https://github.com/RedisLabsModules/rebloom 然后找到release模式，下载完之后需要自己make一下。

[[email protected] module]# ls
v1.1.0.tar.gz
[[email protected] module]# tar -xzvf v1.1.0.tar.gz
rebloom-1.1.0/
rebloom-1.1.0/.circleci/
rebloom-1.1.0/.circleci/config.yml
rebloom-1.1.0/.clang-format
rebloom-1.1.0/.gitignore
rebloom-1.1.0/Dockerfile
rebloom-1.1.0/LICENSE
rebloom-1.1.0/Makefile
rebloom-1.1.0/README.md
rebloom-1.1.0/contrib/
rebloom-1.1.0/contrib/MurmurHash2.c
rebloom-1.1.0/contrib/bloom.c
rebloom-1.1.0/contrib/bloom.h
rebloom-1.1.0/contrib/murmurhash2.h
rebloom-1.1.0/docs/
rebloom-1.1.0/docs/Bloom_Commands.md
rebloom-1.1.0/docs/CNAME
rebloom-1.1.0/docs/Cuckoo_Commands.md
rebloom-1.1.0/docs/Java_Client.md
rebloom-1.1.0/docs/Quick_Start.md
rebloom-1.1.0/docs/_config.yml
rebloom-1.1.0/docs/index.md
rebloom-1.1.0/mkdocs.yml
rebloom-1.1.0/ramp.yml
rebloom-1.1.0/src/
rebloom-1.1.0/src/cf.c
rebloom-1.1.0/src/cf.h
rebloom-1.1.0/src/cuckoo.c
rebloom-1.1.0/src/cuckoo.h
rebloom-1.1.0/src/print_version.c
rebloom-1.1.0/src/rebloom.c
rebloom-1.1.0/src/redismodule.h
rebloom-1.1.0/src/sb.c
rebloom-1.1.0/src/sb.h
rebloom-1.1.0/src/version.h
rebloom-1.1.0/tests/
rebloom-1.1.0/tests/Makefile
rebloom-1.1.0/tests/cuckoo.py
rebloom-1.1.0/tests/pytests.py
rebloom-1.1.0/tests/test-basic.c
rebloom-1.1.0/tests/test-cuckoo.c
rebloom-1.1.0/tests/test-perf.c
rebloom-1.1.0/tests/test.h
[[email protected] module]# ls
rebloom-1.1.0  v1.1.0.tar.gz
[[email protected] module]# cd rebloom-1.1.0
[[email protected] rebloom-1.1.0]# ls
contrib  Dockerfile  docs  LICENSE  Makefile  mkdocs.yml  ramp.yml  README.md  src  tests
[[email protected] rebloom-1.1.0]# make
cc  -Wall -Wno-unused-function -g -ggdb -O2 -fPIC -std=gnu99 -D_GNU_SOURCE -I/data/redis/module/rebloom-1.1.0 -I/data/redis/module/rebloom-1.1.0/contrib  -c -o /data/redis/module/rebloom-1.1.0/src/rebloom.o /data/redis/module/rebloom-1.1.0/src/rebloom.c
cc  -Wall -Wno-unused-function -g -ggdb -O2 -fPIC -std=gnu99 -D_GNU_SOURCE -I/data/redis/module/rebloom-1.1.0 -I/data/redis/module/rebloom-1.1.0/contrib  -c -o /data/redis/module/rebloom-1.1.0/contrib/MurmurHash2.o /data/redis/module/rebloom-1.1.0/contrib/MurmurHash2.c
cc  -Wall -Wno-unused-function -g -ggdb -O2 -fPIC -std=gnu99 -D_GNU_SOURCE -I/data/redis/module/rebloom-1.1.0 -I/data/redis/module/rebloom-1.1.0/contrib  -c -o /data/redis/module/rebloom-1.1.0/src/sb.o /data/redis/module/rebloom-1.1.0/src/sb.c
cc  -Wall -Wno-unused-function -g -ggdb -O2 -fPIC -std=gnu99 -D_GNU_SOURCE -I/data/redis/module/rebloom-1.1.0 -I/data/redis/module/rebloom-1.1.0/contrib  -c -o /data/redis/module/rebloom-1.1.0/src/cf.o /data/redis/module/rebloom-1.1.0/src/cf.c
In file included from /data/redis/module/rebloom-1.1.0/src/cf.c:6:0:
/data/redis/module/rebloom-1.1.0/src/cuckoo.c: In function ‘CuckooFilter_Count’:
/data/redis/module/rebloom-1.1.0/src/cuckoo.c:157:9: warning: passing argument 1 of ‘filterCount’ from incompatible pointer type [enabled by default]
         ret += filterCount(filter->filters[ii], &params);
         ^
/data/redis/module/rebloom-1.1.0/src/cuckoo.c:139:15: note: expected ‘const uint8_t (*)[2]’ but argument is of type ‘uint8_t (*)[2]’
 static size_t filterCount(const CuckooBucket *filter, const LookupParams *params) {
               ^
ld /data/redis/module/rebloom-1.1.0/src/rebloom.o /data/redis/module/rebloom-1.1.0/contrib/MurmurHash2.o /data/redis/module/rebloom-1.1.0/src/sb.o /data/redis/module/rebloom-1.1.0/src/cf.o -o /data/redis/module/rebloom-1.1.0/rebloom.so -shared -Bsymbolic -Bsymbolic-functions -lm -lc
[[email protected] rebloom-1.1.0]# ls
contrib  Dockerfile  docs  LICENSE  Makefile  mkdocs.yml  ramp.yml  README.md  rebloom.so  src  tests

最后标红的 rebloom.so 就是你最终要找的加载文件。

[[email protected] redis]# ./redis-cli
127.0.0.1:6379> module load /data/redis/module/rebloom-1.1.0/rebloom.so
OK

3. 简单使用

《1》 bloomfilter 的简单使用，比如塞入1，2，3，4 。判断3，5是否在其中，如下：

127.0.0.1:6379> bf.add myfilter 1
(integer) 1
127.0.0.1:6379> bf.add myfilter 2
(integer) 1
127.0.0.1:6379> bf.add myfilter 3
(integer) 1
127.0.0.1:6379> bf.add myfilter 4
(integer) 1
127.0.0.1:6379> bf.exists myfilter 3
(integer) 1
127.0.0.1:6379> bf.exists myfilter 5
(integer) 0
127.0.0.1:6379>

《2》在github的quickstart中并没有找到cuckoofilter的使用方式，没关系撒，找找源文件就好啦。

比如下面的源码就是告诉你怎么去使用。

接下来就可以简单的add，delete，exists 啦。

127.0.0.1:6379> cf.add myfilter2 1
(integer) 1
127.0.0.1:6379> cf.add myfilter2 2
(integer) 1
127.0.0.1:6379> cf.add myfilter2 3
(integer) 1
127.0.0.1:6379> cf.add myfilter2 4
(integer) 1
127.0.0.1:6379> cf.del myfilter 2
(error) Not found
127.0.0.1:6379> cf.del myfilter2 2
(integer) 1
127.0.0.1:6379> cf.exists myfilter2 1
(integer) 1

好了，这就是本篇给大家介绍的module，还是蛮有意思的。

原文地址：https://www.cnblogs.com/huangxincheng/p/10292303.html

时间： 2024-10-14 00:43:45

看看redis中那些好玩的module (sql on redis, bf/cf on redis)的相关文章

redis中使用java脚本实现分布式锁

转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/115.html?1455860390 edis被大量用在分布式的环境中,自然而然分布式环境下的锁如何解决,立马成为一个问题.例如我们当前的手游项目,服务器端是按业务模块划分服务器的,有应用服,战斗服等,但是这两个vm都有可能同时改变玩家的属性,这如果在同一个vm下面,就很容易加锁,但如果在分布式环境下就没那么容易了,当然利用redis现有的功能也有解决办法,比如redis

redis中的RDB持久化详解

1. 如何在redis中配置RDB持久化文件在redis持久化中默认是开启RDB模式的.这里我们只需要对RDB进行配置即可在上面有三个配置选项分别是每隔900秒有一条key进行变更每个300秒有10条key进行变更没隔60秒有10000条key进行变更. 以上任意条达成条件后,就会重新生成一个dump.rdb文件.就是当前redis内存中完整的快照,这个操作也被称之为snapshotting,快照也可以手动调用save或者bgsave命令,同步或异步执行rdb快照生成

ServiceStack.Redis 中关系操作的局限与bug

redis是文档型的,nosql中难处理的是关系. 比如人可以发博客,博客可以有分类.按照传统sql中,用户表和分类表都是主表,博客表是从表,有用户的外键和分类的外键如果使用文档型的思考方式. 为用户A(User id=1)存储他的博客,在redis中是list或set 为分类A(Cate id=1)存储分类下的博客,在redis中是list或set 则当用户A向分类A中添加一条新博客时,需要同时向两个list(或set)中增加数据,而且理论上应该是事务的,修改的时候也需要同时修改两个. 这样

超大批量删除redis中无用key+配置

目前线上一个单实例redis中无用的key太多,决定删除一部分. 1.删除指定用户的key,使用redis的pipeline 根据一定条件把需要删除的用户统计出来,放到一个表里面,表为 del_user(int user_id),rows大约在1千万. 要删除的key为 "login:%s" %s匹配 user_id . 写sql文如下:把sql文保存在一个文件里面,命名为 1.sql SELECT CONCAT( "*2\r\n", '$3\r\n', 'D

Redis中在程序中的应用

1.导入redis的配置文件,因为要交给web容器管理,所以直接命名为ApplicationContext-redis.xml,具体配置如下: <beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframewor

redis中的发布订阅(Pub/Sub)

这里使用nodejs的redis模块说明,具体可见https://www.npmjs.com/package/redis,先来通过一个简单的例子了解下redis中的Pub/Sub具体怎么实现吧.. var express = require('express'); var router = express.Router(); var redis = require("redis"); /* GET home page. */ router.get('/', function(req,

数组与链表的应用-位图数组在Redis中的应用

位数组(Bit Array),这种数组如何在Redis中应用? 统计每个月学习专栏的用户活跃度在开始之前,先来考虑一个关于用户行为分析的问题,假设要统计<数据结构精讲:从原理到实战>这个专栏每个月的用户活跃度.在每个月中只要有用户登录并且学习这个专栏,都会将这个用户的ID写入一张MySql表中,如果想知道2019年11和12这两个月内都在学习这个专栏的用户有多少,应该怎么做呢? 很直观的做法是执行类型下面的sql语句 1 SELECT COUNT(*) FROM nov_stats 2 IN

redis中密码设置

先打开redis-server 再打开redis-cli 在redis-cli对redis进行操作可以通过编辑redis.conf配置文件来设置密码. 1.重启Redis设置密码: 在配置文件中有个参数: requirepass 这个就是配置redis访问密码的参数: 比如 requirepass test123: 2.不重启Redis设置密码: redis 127.0.0.1:6379> config set requirepass 123456789 其他操作查询密码: redis 1

辛星浅析Redis中与key有关的命令

在Redis中,我们还可以直接对key直接操作,下面是我们常用的主要命令: (1)keypattern 它表示获取所有匹配pattern的keys,这里需要注意的是,我们应该避免使用该命令,因为对于大型数据库而言,该命令非常耗时,对Redis服务器的性能打击也是比较大的.它支持glob-style的通配符格式,比如用*表示任意一个或者多个字符,用?表示任意字符,用[xyz]表示方括号中的任意一个字母. (2)del key .... 它是从数据库中删除参数中指定的keys,如果指定的