轻量级队列beanstalkd

一.基本
Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。Beanstalkd是典型的类Memcached设计,协议和使用方式都是同样的风格,所以使用过memcached的用户会觉得Beanstalkd似曾相识。

二.服务端
1.https://github.com/kr/beanstalkd/downloads
下载最新版1.8

2.下载后解压,直接进入目录执行,make install --prefix=/usr/local/bin/

3.启动服务端
/usr/local/bin/beanstalkd -l 0.0.0.0 -p 11300 -z 67108864 -b /var/lib/beanstalkd -F &

-b /var/lib/beanstalkd
表示在此目录下建立binlog日志,便于启动的时候恢复未处理完的数据

作为服务启动需要借助supervisor(点击查看)

三.php客户端
1.下载https://github.com/davidpersson/queue/tree/master/libs/beanstalk/src/Socket下的Beanstalk.php文件

2.发送任务:

<?php
//发送任务
require_once ‘Beanstalk.php‘;
//实例化beanstalk
$beanstalk = new Socket_Beanstalk(array(
‘persistent‘ => false, //是否长连接
‘host‘ => ‘127.0.0.1‘,
‘port‘ => 11300, //端口号默认11300
‘timeout‘ => 3 //连接超时时间
));
if (!$beanstalk->connect()) {
exit(current($beanstalk->errors()));
}
//选择使用的tube
$beanstalk->useTube(‘test‘);
//往tube中增加数据
$put = $beanstalk->put(
23, // 任务的优先级.
0, // 不等待直接放到ready队列中.
60, // 处理任务的时间.
‘hello, beanstalk‘ // 任务内容
);
if (!$put) {
exit(‘commit job fail‘);
}
$beanstalk->disconnect();

  

3.处理任务

<?php
require_once ‘src/Socket/Beanstalk.php‘;
//实例化beanstalk
$beanstalk = new Socket_Beanstalk(array(
‘persistent‘ => false, //是否长连接
‘host‘ => ‘127.0.0.1‘,
‘port‘ => 11300, //端口号默认11300
‘timeout‘ => 3 //连接超时时间
));
if (!$beanstalk->connect()) {
exit(current($beanstalk->errors()));
}
//查看beanstalkd状态
//var_dump($beanstalk->stats());
//查看有多少个tube
//var_dump($beanstalk->listTubes());
$beanstalk->useTube(‘test‘);
//设置要监听的tube
$beanstalk->watch(‘test‘);
//取消对默认tube的监听,可以省略
$beanstalk->ignore(‘default‘);
//查看监听的tube列表
//var_dump($beanstalk->listTubesWatched());
//查看test的tube当前的状态
//var_dump($beanstalk->statsTube(‘test‘));
while (true) {
//获取任务,此为阻塞获取,直到获取有用的任务为止
$job = $beanstalk->reserve(); //返回格式array(‘id‘ => 123, ‘body‘ => ‘hello, beanstalk‘)
if( $job ){
$res = $job[‘body‘];
do($res);//处理任务
$beanstalk->delete( $job[‘id‘] );
usleep(100000);
}else{
sleep(1);
}

sleep(1);
}
$beanstalk->disconnect();

  

四.不足之处
无法删除tube,只要曾经设置过tube,就一直存在,即便挨个删除job也不行,不知道是不是我的方法不对.

五.注意
beanstalk的reserve方法为阻塞获取,如果在将其放入web中,则会造成一直阻塞,导致客户端失去响应,需要重启web server.所以不要在web中获取任务或处理任务.

六.beanstalk管理工具
beanstalk管理工具暂未涉及.

时间: 2024-10-08 12:39:43

轻量级队列beanstalkd的相关文章

使用beanstalkd实现定制化持续集成过程中pipeline - 持续集成系列

持续集成是一种项目管理和流程模型,依赖于团队中各个角色的配合.各个角色的意识和配合不是一朝一夕能练就的,我们的工作只是提供一种方案和能力,这就是持续集成能力的服务化.而在做持续集成能力服务化的过程中,最核心的一点就是,如何实现一个可定制化的任务流,即所谓的pipeline. 在传统的持续集成工具实现了pipeline功能,以供串联上下游job,并把多个job联系成一次完整的构建,例如jenkins的pipeline插件. 但是各种持续集成工具,或多或少都有自己的短板,总结起来如下: 1.配置并不

PHP memcache实现消息队列实例

现在,memcache于server缓存广泛应用.下面我来介绍一下memcache消息队列中等待的样本实现,有需要了解的朋友可以参考. memche消息队列原则key上做文章.后消息或者日志. 然后通过定时程序将内容落地到文件或者数据库. php实现消息队列的用处比方在做发送邮件时发送大量邮件非常费时间的问题.那么能够採取队列. 方便实现队列的轻量级队列server是: starling支持memcache协议的轻量级持久化server https://github.com/starling/s

php memcache或是memcached 来实现消息队列

现在memcache在服务器缓存应用比较广泛,下面我来介绍memcache实现消息队列等待的一个例子,有需要了解的朋友可参考. memche消息队列的原理就是在key上做文章,用以做一个连续的数字加上前缀记录序列化以后消息或者日志.然后通过定时程序将内容落地到文件或者数据库. php实现消息队列的用处比如在做发送邮件时发送大量邮件很费时间的问题,那么可以采取队列.方便实现队列的轻量级队列服务器是:starling支持memcache协议的轻量级持久化服务器https://github.com/s

系统管理员资源大全

另外推荐一篇文章:<10本适合于系统管理员的最佳书籍>,目前比 kahun 他们整理的列表更丰富. 伯乐在线已在 GitHub 上发起「系统管理员资源大全中文版」的整理.欢迎扩散.欢迎加入. https://github.com/jobbole/awesome-sysadmin-cn 备份 备份软件 Amanda -客户端-服务器模型备份工具 Bacula – 另一个客户端-服务器模型备份工具 Backupninja -轻量级,可扩展的元数据备份系统 Backuppc -客户端-服务器模型备份

推荐!国外程序员整理的系统管理员资源大全

备份 备份软件 Amanda -客户端-服务器模型备份工具 Bacula - 另一个客户端-服务器模型备份工具 Backupninja -轻量级,可扩展的元数据备份系统 Backuppc -客户端-服务器模型备份工具和文件共享方案. Burp -网络备份和还原程序 Duplicity -使用rsync算法加密的带宽-效率备份 Lsyncd -监控一个本地目录树的变化,然后产生一个进程去同步变化.默认使用rsync. Rsnapshot -文件系统快照工具 SafeKeep -使用rdiff-ba

推荐!国外程序员整理的系统管理员资源大全(转)

受其他程序员汇编 PHP 资源,kahun 在 Github 发起系统管理员相关的开源资源整理. 内容分类包括:备份/克隆软件.云计算/云存储.协作软件.配置管理.日志管理.监控.项目管理…… 当然也有系统管理员相关书籍. 另外推荐一篇文章:<10本适合于系统管理员的最佳书籍>,目前比 kahun 他们整理的列表更丰富. 备份 备份软件 Amanda -客户端-服务器模型备份工具 Bacula - 另一个客户端-服务器模型备份工具 Backupninja -轻量级,可扩展的元数据备份系统 Ba

解开Redis的神秘面纱

本篇博文将为你解开Redis的神秘面纱,通过阅读本篇博文你将了解到以下内容: 什么是Redis? 为什么选择 Redis? 什么场景下用Redis? Redis 支持哪些语言? Redis下载 Redis 如何安装? windows 安装 Redis 如何修改配置? Redis Strings, Lists, Sets, Sorted Sets, Hashes 多种数据类型使用 1. 什么是Redis? 亚马逊技术社区解释 超快速的开源内存中数据存储,可用作数据库.缓存.消息代理和队列. Red

GPE监控预警系统(Grafana+Prometheus+Exporter)

GPE监控预警系统(Grafana+Prometheus+Exporter) GPE监控预警系统结构图 一: Grafana 1:简介 大规模指标数据的可视化展现,是网络架构和应用分析中最流行的时序数据展示工具.目前已经支持绝大部分常用的时序数据库. Grafana支持许多不同的数据源.每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源. 官方支持以下数据源:Graphite,Elasticsearch,InfluxDB,Prometheus,Cloudwatch,

1. 初探--prometheus调研

一.基本概念 Prometheus 是由前 Google 工程师从 2012 年开始在 Soundcloud 以开源软件的形式进行研发的系统监控和告警工具包,自此以后,许多公司和组织都采用了 Prometheus 作为监控告警工具.Prometheus 的开发者和用户社区非常活跃,它现在是一个独立的开源项目,可以独立于任何公司进行维护.为了证明这一点,Prometheus 于 2016 年 5 月加入 CNCF 基金会,成为继 Kubernetes 之后的第二个 CNCF 托管项目. 1.1 架