laravel queue队列使用

一篇文章：

laravel中的队列服务跟其他队列服务也没有什么不同，都是最符合人类思维的最简单最普遍的流程：有一个地方存放队列信息，一个PHP进程在运行时将任务写入，另外一个PHP守护进程轮询队列信息，将达到执行要求的任务执行并删除。由于PHP是url驱动的同步语言，本身是阻塞的，所以laravel提供一个守护进程工具来查询并执行队列信息也就不足为奇了。

Laravel的queue配置文件是 /app/config/queue.php，在 Default Queue Driver 这一项中，可以选择"sync", "beanstalkd", "sqs", "iron", "redis" 五种驱动器。

配置文件：

queue.php

‘redis‘ => array(
‘driver‘ => ‘redis‘,
‘queue‘ => ‘default‘,
),

database.php:

/*
|--------------------------------------------------------------------------
| Redis Databases
|--------------------------------------------------------------------------
|
| Redis is an open source, fast, and advanced key-value store that also
| provides a richer set of commands than a typical key-value systems
| such as APC or Memcached. Laravel makes it easy to dig right in.
|
*/

‘redis‘ => array(

‘cluster‘ => false,

‘default‘ => array(
‘host‘ => ‘127.0.0.1‘,
‘port‘ => 6379,
‘database‘ => ‘laravelFirst‘,
),

),

1. sync是本地调试用的同步驱动器

2. beanstalkd 是一个专业队列服务驱动器：http://kr.github.io/beanstalkd/

3. sqs和iron是国外第三方队列服务

4. 最后一项redis给了我们一个使用redis的理由，这样我们顺便把缓存服务和session服务全部迁移到redis上了。

0. 顺便说一句，session驱动器千万别用mysql，处理时间1S不是梦，哎，看谁呢，说的就是你，1S哥！

队列服务需要专门新建任务类，作为独立类，他们不需要继承类，因为队列里的任务在执行的时候，是由PHP守护进程来独立调用的，当然如果你要use一下别的类再调用，也不会出错。之前我把很多额外服务独立到了一个单独的文件夹 /app/services 里，比如输入信息验证 validator，特殊安全验证模块等，这次queue类们就位于其中。

queue的使用非常简单，下面就是一个简单的示例：

use Queue;
Queue::push(‘CurlJsonQueue‘, [
 ‘url‘ => $url,
 ‘json‘ => $json
]);

这就是一个标准的queue压入流程了。当然，在这里我把CurlJsonQueue类放到了services根目录下，这个目录已经被我注册到composer.json的"autoload"的"classmap"中，是位于顶层命名空间中的，可以直接调用，如果需要调用非顶层命名空间，是可以写 App\OOXX 的。我们的系统需要大量和微信服务器交互，所以就独立出来了这个类。

<?php

class CurlJsonQueue extends BaseController{

public function fire($job, $data)
 {
  $url = $data[‘url‘];
  $json = $data[‘json‘];

parent::base_post_curl($url, $json);

$job->delete();
 }
}

这个类默认的方法是 fire() ，参数也是固定的两个 $job 和 $data，由于我在BaseController中封装了post的curl模块，所以就调用了一下。另外这里还有一个小坑，当时写base_post_curl() 的时候用的protected，导致use BaseController无效，必须继承。

通过执行上面的代码，queue中就被放入了一个新的任务，laravel通过下面的命令开启守护进程：

php artisan queue:listen

然后守护进程就开始处理队列了。此代码中的PHP命令和artisan文件的路径请自行调整。

大家可能注意到了，我们要使用的这个队列系统用到了redis和PHP命令行，如果在测试环境，加个开机启动甚至是手动启动都可以，但是在生产环境就需要更稳固的工具来守护这两个程序，我们用的是supervisor，关于supervisor的安装配置大家可以参考这篇文章： http://blog.segmentfault.com/qianfeng/1190000000532561 注意，文章里有小坑请自行去踩。。。

OK，全部配置好之后，跑起来redis和PHP命令行，整个系统就开始愉快地运行啦~

使用感受：

队列服务超好用，之前一次和app的交互流程需要6-7S，异步以后降低到2S以内，基本就是传输时间和PHP代码运行时间了，耗时的特殊操作已经异步了。不过队列服务默认1S开一个进程检查一次redis中有没有可以运行的服务，在阿里云服务器上，大约能占到单核的10%，消耗略大，而且队列处理时间相对较长，因为没有了之前同步时候的文件加载福利。不过如果有多个任务，PHP进程是会连续执行的，不会1S执行一个的啦。

下面说说坑：

1. 由于queue核心类使用了一个特殊函数，导致没有明确类型的变量会以单元素数组的形式存进json，再存进redis。解决办法就是在每一个要放进去的数据前面加上 ‘‘. 。上面的$url和$json由于都已经在前面用引号进行了类型申明，故没做这一步操作。

2. 如果要传递url给队列，系统queue类会在每一个 / 前面加上两个 \\ 。这对于一些特殊操作可能会造成致命影响。（开玩笑，有上面那个致命么！）

------------------

我的使用，在app/service存放一个文件：

class SendEmail{
    public function send($job,$data)
    {

        system(SEND_MAIL);

        $job->delete();

    }
}

某个地方放入队列：

Queue::push(‘[email protected]‘, array(‘message‘ =>"hello world"));

有时候queue default会有2个queue:

一篇文章：

---

利用Redis可以很方便的实现一个任务队列，但是在Laravel中，Redis的队列总会出现一个任务多次执行的问题。究其原因是它写死了reserved的时长，也就是如果1分钟后任务没有执行完成，那么这个任务就会被重新放回队列。下面是队列的简单使用和执行原理。

设置

设置队列使用Redis非常容易，在app/config/queue.php中配置

...
‘default‘ => ‘redis‘,
...
‘connections‘ => array(
    ...
    ‘redis‘ => array(
        ‘driver‘ => ‘redis‘,
        ‘queue‘  => ‘waa‘,
    ),
),

即可。

使用

使用时不需要多配置，只要写好Queue类和其fire方法，在需要的位置出队即可。具体方法可以看这里。

class SendEmail {

    public function fire($job, $data)
    {
        //
        $job->delete();
    }

}

Queue::push(‘[email protected]‘, array(‘message‘ => $message));

流程

Laravel利用artisan命令来执行出队操作，然后进行任务的执行。方法调用如下：

  1. artisan queue:work
  2. WorkerCommand:fire()
  3. Worker:pop()
  4. Worker:getNextJob()
  5. RedisQueue:pop()
  6. Worker:process()

我遇到的问题就在这里，在RedisQueue:pop()方法中，有这样一句：

$this->redis->zadd($queue.‘:reserved‘, $this->getTime() + 60, $job);

这里将当前执行的任务放到另外一个reserved队列中，超时时间是60s。也就是说，如果60s后这个任务没有被删除掉，则任务会重新被放入队列中来。因此，在实际的使用过程中，任务很可能被多次执行。解决的办法是

class SendEmail {

    public function fire($job, $data)
    {
        $job->delete();
        // job
    }

}

即先删除这个任务，再开始执行任务

参考：http://yansu.org/2014/04/11/redis-queue-in-laravel.html

supervisor管理queue:http://yansu.org/2014/03/22/managing-your-larrvel-queue-by-supervisor.html

时间： 2024-11-18 10:23:54

laravel queue队列使用的相关文章

Stack集合 Queue队列集合 Hashtable哈希表

Stack集合 干草堆集合 栈集合 栈;stack,先进后出,一个一个赋值,一个一个取值,安装顺序来. 属性和方法 实例化 初始化 Stack st = new Stack(); 添加元素 1 个数 2 Console.WriteLine(st.Count); 3 只要使用一次pop方法,就会从最后一个元素开始排除 弹出 4 Console.WriteLine(st.Pop()); 5 Console.WriteLine(st.Count); 6 只想查看不弹出 7 Console.WriteL

python2.0_s12_day9之day8遗留知识（queue队列&amp;生产者消费者模型）

4.线程 1.语法 2.join 3.线程锁之Lock\Rlock\信号量 4.将线程变为守护进程 5.Event事件 * 6.queue队列 * 7.生产者消费者模型 4.6 queue队列 queue非常有用,当信息必须安全的在多个线程之间进行数据交换的时候就应该想到queue 所以,queue它能保证数据被安全的在多个线程之间进行交换,那他就是天生的线程安全. queue有那么几种: class queue.Queue(maxsize=0) # 先入先出 class queue.LifoQ

python threading模块使用 以及python多线程操作的实践(使用Queue队列模块)

今天花了近乎一天的时间研究python关于多线程的问题,查看了大量源码 自己也实践了一个生产消费者模型,所以把一天的收获总结一下. 由于GIL(Global Interpreter Lock)锁的关系,纯的python代码处理一般逻辑的确无法活动性能上的极大提升,但是在处理需要等待外部资源返回或多用户的应用程序中,多线程仍然可以作为一个比较好的工具来进行使用. python提供了两个模块thread和threading 来支持python的多线程操作.通俗的讲一般现在我们只使用threading

C#基础---Queue(队列)的应用

   Queue队列,特性先进先出. 在一些项目中我们会遇到对一些数据的Check,如果数据不符合条件将会把不通过的信息返回到界面.但是对于有的数据可能会Check很多条件,如果一个数据一旦很多条件不通过,那么全部错误返回到界面,可能会让用户束手无策.我们有时候往往在一个流程中.只将Check流程中第一个不符合条件的错误提示给用户,让用户修改.首先我们就想到了队列,通过队列将所有的Check方法注册,然后依次出列.执行. Demo背景: XX公司招人,对员工的居住地点,姓氏,年龄都有要求. 一.

第19章 queue队列容器

/* 第19章 queue队列容器 19.1 queue技术原理 19.2 queue应用基础 19.3 本章小结 */ // 第19章 queue队列容器 // 19.1 queue技术原理 // 19.2 queue应用基础 ------------------------------------------------------------------------------------------- //273 #include <queue> #include <iostre

#queue队列 #生产者消费者模型

1 #queue队列 #生产者消费者模型 2 3 #queue队列 #有顺序的容器 4 #程序解耦 5 #提高运行效率 6 7 #class queue.Queue(maxsize=0) #先入先出 8 #class queue.LifoQueue(maxsize=0)最后在第一 9 #class queue.PriorityQueue(maxsize=0) #存储数据时可设置优先级的队列#VIP客户 10 11 #Queue.qsize() 12 #Queue.empty() #return

python学习笔记-Day11 (线程、进程、queue队列、生产消费模型、携程)

线程使用 ###方式一 import threading def f1(arg): print(arg) t = threading.Thread(target=f1, args=(123,)) t.start() # start会调用run方法执行 # t是threading.Thread类的一个对象 # t.start()就会以线程的方式执行函数,可以使用pycharm ctrl选择start方法 # 找到Thread类的start方法,在start方法的注释中就已经写明,会去调用run()

13 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Event事件　 queue队列 生产者消费者模型 Queue队列 开发一个线程池

本节内容 操作系统发展史介绍 进程.与线程区别 python GIL全局解释器锁 线程 语法 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Event事件 queue队列 生产者消费者模型 Queue队列 开发一个线程池 进程 语法 进程间通讯 进程池 操作系统发展史 手工操作(无操作系统) 1946年第一台计算机诞生--20世纪50年代中期,还未出现操作系统,计算机工作采用手工操作方式. 手工操作程序员将对应于程序和数据的已穿孔的纸带(或卡片)装入输入机,然后启动输入机把

[笔记]python数据结构之线性表：linkedlist链表,stack栈,queue队列

python数据结构之线性表 python内置了很多高级数据结构,list,dict,tuple,string,set等,在使用的时候十分舒心.但是,如果从一个初学者的角度利用python学习数据结构时,这些高级的数据结构可能给我们以迷惑. 比如,使用list实现queue的时候,入队操作append()时间复杂度可以认为是O(1),但是,出队操作pop(0)的时间复杂度就是O(n). 如果是想利用python学学数据结构的话,我觉得还是自己实现一遍基本的数据结构为好. 1.链表 在这里,我想使