gearman实现redis缓存mysql

Gearman简介:

Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:

1、Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台

2、Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运行。

3、Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,4、Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。

设计思路:

首先利用mysql UDF(通过了lib_mysqludf_jsongearman-mysql-udf的组合实现)在mysql中的数据发生改变时触动触发器将数据传入Gearman中,这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker,将Gearman中的数据传到Redis中去,这时的Redis相当于是Gearman的consumer。

实施过程:

1、  配置YUM源,安装gearmand

http://down.51cto.com/data/2274661    ##YUM包文件配置,和GEARMAND 需要的包

1、yum install -y php-pecl-gearman libgearman  libgearman-devel gearmand nc

2、启动服务/etc/init.d/gearmand start

3、检查状态是否OK   netstat -alnutp |grep gearman

###gearman默认使用的端口为4370

2、  安装数据库、php-MySQL插件

1、  数据库安装(略)

2、  插件安装yum -yinstall php-mysql #安装这个插件主要是用PHP来数据收集写入操作

3、  启动MySQL

3、在数据服务器上安装lib_mysqludf_json

1、  unzip master.zip

2、  cd lib_mysqludf_json-master

3、  rm -rf lib_mysqludf_json.so

4、  gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.solib_mysqludf_json.c

##把重新编译的lib_mysqludf_json.so 拷贝到/usr/local/mysql/lib/plugin目录下

4、在数据服务器上安装gearman-mysql-udf

1、  解压包tar xf gearman-mysql-udf-0.6.tar.gz -C ./

2、  Cd gearman-mysql-udf-0.6

3、  编译./configure--with-mysql=/usr/local/mysql/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/

#注意这是自己定义的数据安装包的目录,若用YUM包安装则用

./configure --with-mysql=/usr/bin/mysql_config  --libdir=/usr/lib64/plugin/

编译报错:configure: error:At least version 0.33 of libgearman is required for gearman-mysql-udf

安装:yum -y installlibgearman-devel #由于原来包版本低,重新安装个即可。

5、  安装make&& make install ##插件安装到MySQL的插件目录下。

6、进入数据库,创建对应的function,trigger及设置gearmanserver信息

1、createfunction json_object returns string soname ‘lib_mysqludf_json.so‘

2、create functiongman_do_background returns string soname ‘libgearman_mysql_udf.so‘

3、createfunction gman_servers_set returns string soname ‘libgearman_mysql_udf.so‘;

7、安装redis#建议用3.0.7的版本且安装php连接redis的驱动,测试环境用yum安装redis

1、yum install php-pecl-redis redis –y

2、启动redis服务servie redis start

3、登录redis简单验证

[email protected] gearman-mysql-udf-0.6]#redis-cli

redis 127.0.0.1:6379> keys *

1) "counter:__rand_int__"

2) "key:__rand_int__"

3) "save"

4) "mylist"

8、登录数据库,根据业务对某个库下的某个表添加触发器,且设置gearman server的信

1、/usr/local/mysql/bin/mysql-S /tmp/mysql3306.sock -p

2、create database wy

3、create table test(idint primary key,name char(20))

4、设置gearman server信息##非常重要,若不执行会导致数据无法收集到REDIS中去

MariaDB [wy]> SELECTgman_servers_set(‘127.0.0.1:4730‘);

+------------------------------------+

| gman_servers_set(‘127.0.0.1:4730‘) |

+------------------------------------+

| 127.0.0.1:4730                     |

+------------------------------------+

9、  添加触发器

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test  FOR EACH ROW BEGIN

[email protected]=gman_do_background(‘syncToRedis‘, json_object(NEW.id AS `id`, NEW.name AS`name`));

END$$

DELIMITER ;

10、  编写一个worker程序,负责将gearman中的数据传入到redis中去:

文件名:redis_workder.php

1、编写:

2、启动phpredis_worker.php

启动报错:PHPWarning:  GearmanWorker::work():send_packet(GEARMAN_ERRNO) Failed to send server-options packet ->libgearman/connection.cc:485 in /home/redis_worker.php on line 8

解决办法:/usr/sbin/gearmand -d -L 127.0.0.1 -p 4730

然后在启动:nohup php redis_worker.php & 保持后台运行

启动gearmand报错/var/log/mearmond.log错误未解决

ERROR 2016-12-28 07:46:38.000000 [ main ] socket()(Address family not supported by protocol) ->libgearman-server/gearmand.cc:468

ERROR 2016-12-28 07:46:38.000000 [  main ] gearmand_sockfd_close() called with aninvalid socket -> libgearman-server/io.cc:933

总结:

测试通过在MYSQL数据库写入数据,然后观察REDIS是否有数据,若有则成功,这种方式效率是非常低的,在100W数据,数据库写入性能降低非常大。

时间: 2024-10-12 13:07:03

gearman实现redis缓存mysql的相关文章

利用gearman实现redis缓存mysql

环境: centos6.5 mysql5.6 gearman简介: Gearman是一个支持分布式的任务分发框架.设计简洁,获得了非常广泛的支持.一个典型的Gearman应用包括以下这些部分: Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台 Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运

redis缓存mysql

Redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合)和zset(有序集合).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且

redis缓存mysql数据

redis (Remote Dictionary Server)是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).Redis支持主从同步.数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器.这使得Redis可执行单层树复制. MySQL和Redis,自身都

redis作为mysql的缓存服务器(读写分离) (转)

一.redis简介Redis是一个key-value存储系统.和Memcached类似,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步.在部分场合可以对关系数据库起到很好的补充作用.它提供了Java,C/C++(hiredis),C#,PHP,JavaScript,Perl,Object-C,Python,Ruby等客户端,使用很方便. 二.架构图<ignore_js_

redis作为mysql的缓存服务器(读写分离)

一.redis简介 Redis是一个key-value存储系统.和Memcached类似,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步.在部分场合可以对关系数据库起到很好的补充作用.它提供了Java,C/C++(hiredis),C#,PHP,JavaScript,Perl,Object-C,Python,Ruby等客户端,使用很方便. 二.架构图 大致结构就是读写分

搭建redis给mysql做缓存

安装redis的前提是lnmp或者lamp的环境已经搭建完成. 安装redis 1.安装redis(或可以选择yum安装) 1 2 3 4 5 6 7 8 9 10 11 12 [[email protected] ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz [[email protected] ~]# mkdir /usr/local/redis [[email protected] ~]# ta

《MySQL与Redis缓存架构》

<如何使用redis做mysql的缓存> 应用Redis实现数据的读写,同时利用队列处理器定时将数据写入mysql. 同时要注意避免冲突,在redis启动时去mysql读取所有表键值存入redis中,往redis写数据时,对redis主键自增并进行读取,若mysql更新失败,则需要及时清除缓存及同步redis主键. 这样处理,主要是实时读写redis,而mysql数据则通过队列异步处理,缓解mysql压力,不过这种方法应用场景主要基于高并发,而且redis的高可用集群架构相对更复杂,一般不是很

redis作为mysql的缓存服务器(读写分离,通过mysql触发器实现数据同步)

一.redis简介Redis是一个key-value存储系统.和Memcached类似,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步.在部分场合可以对关系数据库起到很好的补充作用.它提供了Java,C/C++(hiredis),C#,PHP,JavaScript,Perl,Object-C,Python,Ruby等客户端,使用很方便. 二.架构图<ignore_js_

用Redis作为Mysql数据库的缓存【转】

用Redis作Mysql数据库缓存,必须解决2个问题.首先,应该确定用何种数据结构存储来自Mysql的数据:在确定数据结构之后,还要考虑用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按表存储的:更微观地看,这些表都是按行存储的.每执行一次select查询,Mysql都会返回一个结果集,这个结果集由若干行组成.所以,一个自然而然的想法就是在Redis中找到一种对应于Mysql行的数据结构.Redis中提供了五种基本数据结构,即字符串(string).列表(list).哈希(has