使用celery的backend异步获取结果

惯例先贴出相关参考的文档:

http://docs.celeryproject.org/en/stable/getting-started/next-steps.html

http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends

这篇紧接上篇。

其实我们一般对这种异步任务需求是可能需要回调的。比如说我现在有一个支付的异步任务发送到了队列。

生产者不需要等待,在发送到队列之后就告诉用户已经支付成功了或者说正在支付稍后再来查看状态。

这个时候celery的worker获取到这个任务之后开始处理,等一会儿他处理完毕之后可能需要将这个处理完毕的结果返回给发送给他的生产者。

那么问题来了,如何告知生产者?因为生产者生产完消息之后就结束了。

那么这个时候就使用到了backend这个参数了:

当我们像指明broker一样指明了backend之后,当worker运行完结果之后就会把他返回给生产者的唯一id作为键,将结果作为值传递给你设置的worker(backend测试环境为redis).这个时候你无论在什么时候只要拿着这个值去redis里面查找到结果就行了。比如你在执行一个任务,你可以设置一个周期性轮询,去查看这个结果是否已经被生产出来,如果生产出来便取到该值做相应的操作即可。下面为具体操作实例:

先贴出一个我统一使用的配置文件

# file_name=init_celery.py# coding: utf-8
from celery import Celery

BROKER_URL = ‘redis://:[email protected]:6379/0‘
BACKEND_URL = ‘redis://:[email protected]:6379/1‘

# Add tasks here
CELERY_IMPORTS = (
    ‘try‘,
)

celery = Celery(‘celery‘,
    broker=BROKER_URL,
    backend=BACKEND_URL,
    include=CELERY_IMPORTS,)

celery.conf.update(
    CELERY_ACKS_LATE=True,
    CELERY_ACCEPT_CONTENT=[‘pickle‘, ‘json‘],
    CELERYD_FORCE_EXECV=True,
    CELERYD_MAX_TASKS_PER_CHILD=500,
    BROKER_HEARTBEAT=0,
)

然后是celery任何函数

from init_celery import celery

@celery.task
def add(x, y):
    result = x + y
    print result
    return result

最后我们调用这个函数执行异步操作

from tasks import add

def notify(a, b):
    result = add.apply_async((a, b), queue=‘laplace‘)
    return result

if __name__ == ‘__main__‘:
    haha = notify(6, 7)
    print haha.status
    print haha.id
    print haha.get(timeout=1)

这里注意我使用了task.apply_async这个函数。其实效果根task.delay差不多只是可以指定更多的参数。 这里我指定了使用的队列为laplace队列,所以对应的监听的队列也必须使用参数-Q监听对应的队列,才能获得结果。

这里返回的result其实就是一个唯一的<class ‘celery.result.AsyncResult‘>对象。

我们可以对这个对象查看他的状态,id 以及使用get去得到他的具体值。

合理的使用这个get方法就可以取得woker处理之后的值,同时在redis可以清除的看到,worker处理之后自动帮你在redis里面存储了

这么介绍之后对于backend是不是已经一目了然了呢?其实我在进行之类操作的时候还踩了一些配置文件方面的坑,

所以一定要仔细的参考官方文档进行操作。和查看更多你需要用到的功能和参数。

时间: 2024-10-08 17:34:30

使用celery的backend异步获取结果的相关文章

Celery - 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜

1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由    1.用户任务 app    2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ  / backend 用于存储任务执行结果的    3.员工 worker 2.Celery的简单实例 1 from celery import Celery 2 import time 3 4 #创建一个Celery实例,这就是我们用户的应用app 5

django celery的分布式异步之路(一) hello world

设想你遇到如下场景: 1)高并发 2)请求的执行相当消耗机器资源,流量峰值的时候可能超出单机界限 3)请求返回慢,客户长时间等在页面等待任务返回 4)存在耗时的定时任务 这时你就需要一个分布式异步的框架了. celery会是一个不错的选择.本文将一步一步的介绍如何使用celery和django进行集成,并进行分布式异步编程. 1.安装依赖 默认你已经有了python和pip.我使用的版本是: python 2.7.10 pip 9.0.1virtualenv 15.1.0 创建沙盒环境,我们生产

python3+celery+redis实现异步任务

一.原理 Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度.它是Python写的库,但是它实现的通讯协议也可以使用ruby,php,javascript等调用.异步任务除了消息队列的后台执行的方式,还是一种则是定时计划任务. Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行.我们通常使用它来实现异步任务(async task)和定时任务(crontab).它的架构组成

通过Jquery异步获取股票实时数据

最近朋友让我帮他做个异步获取数据的程序,暂时服务器什么都没有,所以我就想先拿股票数据打个框架,方便后续开发和移植等事情 代码如下: <!-- 说明:股票看盘 作者:黑桃A 时间:2014-04-14 参考: http://www.lxway.com/240649562.htm http://www.lxway.com/946486042.htm http://www.365mini.com/page/jquery_getscript.htm http://blog.csdn.net/xxjoy_

Swift - 异步获取网络数据封装类

使用NSURLConnection.sendAsynchronousRequest()可以采用异步获取的方式取得数据.下面通过对数据获取类进行封装,演示如何进行数据请求与接收. 1,HttpController.swift (数据获取封装类,结果处理协议) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 import UIKit //自定义http协议 protocol HttpProto

获取WebBrowser全cookie 和 httpWebRequest 异步获取页面数据

获取WebBrowser全cookie [DllImport("wininet.dll", CharSet = CharSet.Auto, SetLastError = true)] static extern bool InternetGetCookieEx(string pchURL, string pchCookieName, StringBuilder pchCookieData, ref int pcchCookieData, int dwFlags, object lpRe

Validform和aui2.0结合使用的表单自定义验证提示和列表页异步获取数据Demo

二.添加自定义验证演示       Validform验证提示大多都是在输入框或下拉框的右边或下面.感觉就是不美观,特别是表单字段少的时候,这种在相应对象旁边的提示就没必要了,      它会给人一种不友好的感觉(只是自己的感觉).所以下面写了三种添加演示,希望大家能给出建议,以免下次用起来纠结,不知道用哪种好.        表单验证插件是我们经常使用的Validform_v5.3.2_min.js.先上添加1演示的表单验证js代码,这里我设置了点击提交按钮后才验证.其他添加演示的区别不大,详

JSON异步获取网络数据

//定义一个方法来获取网络数据,接受参数为网址 func onSearch(url: String){ //定义一个NSURL var nsUrl: NSURL = NSURL(string: url)! //定义一个NSURLRequest var request: NSURLRequest = NSURLRequest(URL: nsUrl) //异步获取数据 NSURLConnection.sendAsynchronousRequest(request, queue: NSOperatio

java 利用Future异步获取多线程任务结果

Future接口是Java标准API的一部分,在java.util.concurrent包中.Future接口是Java线程Future模式的实现,可以来进行异步计算. 有了Future就可以进行三段式的编程了,1.启动多线程任务2.处理其他事3.收集多线程任务结果.从而实现了非阻塞的任务调用.在途中遇到一个问题,那就是虽然能异步获取结果,但是Future的结果需要通过isdone来判断是否有结果,或者使用get()函数来阻塞式获取执行结果.这样就不能实时跟踪其他线程的结果状态了,所以直接使用g