Django实现异步定时任务

Celery(芹菜)

  这个翻译之后居然叫芹菜~~~~好吧~~挺补的~~~最近Django框架需要涉及到执行定时周期任务~~之前想用线程方法的~发现好像不会尴尬~~~然后又想用“django_crontab”来执行的毕竟这个学习周期短~~但是不好用啊发现,最后还是决定花时间来学学~~芹菜。

  Celery是Python语言实现的分布式队列服务,除了支持即时任务,还支持定时任务。

Celery中的五个核心角色

  • Task

  任务(Task)就是你要做的事情,例如一个注册流程里面有很多任务,给用户发验证邮件就是一个任务,这种耗时任务可以交给Celery去处理,还有一种任务是定时任务,比如每天定时统计网站的注册人数,这个也可以交给Celery周期性的处理。

  • Broker

  Broker 的中文意思是经纪人,指为市场上买卖双方提供中介服务的人。在Celery中它介于生产者和消费者之间经纪人,这个角色相当于数据结构中的队列。例如一个Web系统中,生产者是处理核心业务的Web程序,业务中可能会产生一些耗时的任务,比如短信,生产者会将任务发送给 Broker,就是把这个任务暂时放到队列中,等待消费者来处理。消费者是 Worker,是专门用于执行任务的后台服务。Worker 将实时监控队列中是否有新的任务,如果有就拿出来进行处理。Celery 本身不提供队列服务,一般用 Redis 或者 RabbitMQ 来扮演 Broker 的角色

  • Worker

  Worker 就是那个一直在后台执行任务的人,也称为任务的消费者,它会实时地监控队列中有没有任务,如果有就立即取出来执行。

  • Beat

  Beat 是一个定时任务调度器,它会根据配置定时将任务发送给 Broker,等待 Worker 来消费。

  • Backend

  Backend 用于保存任务的执行结果,每个任务都有返回值,比如发送邮件的服务会告诉我们有没有发送成功,这个结果就是存在Backend中,当然我们并不总是要关心任务的执行结果。

基本使用

  • 如果出现:AttributeError: ‘str‘ object has no attribute ‘items‘,则是redis版本过高(我安装的是3.x),安装2.10.6即可~(但是在我安装2.10之后又说我版本太低,但是当我重新装回3.x的时候又能用了~~~我只能说玄学好吧)

  • 如果出现下面这个报错解决办法是,在实例化Celery时添加下面配置项,这个好像是新协议问题,使用指定到旧协议。
CELERY_TASK_PROTOCOL = 1  # Django中使用这个
app.conf.task_protocol = 1

哇~~~~想哭一波三折终于看到输出了(这一步就代表初步使用没问题了,接下来我终于可以做周期任务了)

获取返回结果

#!/usr/bin/env python3
# -*- encoding:utf-8 -*-
"""
author:Egon
mail:[email protected]
"""
from celery import Celery

# 创建Celery实例
app = Celery(‘tasks‘, broker=‘redis://127.0.0.1:6379‘,
                      backend=‘redis://127.0.0.1:6379‘,
             )
app.conf.task_protocol = 1

# 创建任务
@app.task
def add(x):
    print("开始任务了:%s"%x)
    return x

task1.py

#!/usr/bin/env python3
# -*- encoding:utf-8 -*-
"""
author:Egon
mail:[email protected]
"""
import sys
dir = r"D:\today\celery_task1"
sys.path.append(dir)  # 我的任务文件不在环境变量里,IDLE找不到
from task1 import add
reslut = add.delay(1)
print(reslut, type(reslut))
# 查看返回值,a702b8c6-3ac0-48ab-a0de-f21b458ddab9 <class ‘celery.result.AsyncResult‘>

r = reslut.get()
print(r) # 1
# 会报错这里是实例化的时候,没有定义backend,就是保存任务结果的位置。

cmd.py

如果想获取返回结果直接用get方式会报错,需要指定保存任务结果的位置。

reslut.get()  # 会报错这里是实例化的时候,没有定义backend,就是保存任务结果的位置。

指定输出到,我这里还是指定到redis中。

报错

好吧我算是把各种报错都玩了个遍~~~~

  • 在执行时又出现下面这个报错了,解决步骤:
pip install eventlet # 安装一下
celery -A task1 worker -l info -P eventlet # 将启动命令改成这个
再去执行cmd.py就没问题了~~
Traceback (most recent call last):
  File "d:\programmingsoftware\python35\lib\site-packages\billiard\pool.py", line 358, in workloop
    result = (True, prepare_result(fun(*args, **kwargs)))
  File "d:\programmingsoftware\python35\lib\site-packages\celery\app\trace.py", line 525, in _fast_trace_task
    tasks, accept, hostname = _loc
ValueError: not enough values to unpack (expected 3, got 0)

原文地址:https://www.cnblogs.com/Dream-huang/p/10901076.html

时间: 2024-10-03 12:56:55

Django实现异步定时任务的相关文章

django中设置定时任务

django中设置定时任务 在django中设置定时任务我们可以借用django-crontab这个第三包来实现 django-crontab只能在linux系统下使用 安装: pip install django-crontab 将django_crontab注册到install app中 编写你的定时任务函数(我的是编写一个发送邮件的任务函数) from django.core.mail import send_mail from django.conf import settings fr

Django设置异步任务

1.安装Django-celery 包:pip install django-celery==3.2.2 2.开启redis服务 需要使用redis做broker,所以在使用异步和定时任务时需要开启redis服务器 3.配置信息 在INSTALLED_APPS引入模块 配置具体信息 # 自定义异步 import djcelery djcelery.setup_loader() # BROKER_URL = 'django://' # 使用django做broker,消息代理.队列 BROKER_

django+celery配置(定时任务)

下面介绍一下django+celery的配置做定时任务 1.首先介绍一下环境和版本 python==2.7 django == 1.8.1 celery == 3.1.23 django-celery == 3.1.17 2.celery的安装   sudo pip install celery==3.1.23 sudo pip install django-celery==3.1.17 3.新建一个项目 (1)django-admin startproject django_celery_de

用django发送异步邮件

太阳底下没有新鲜事,github是一个神奇的地方,你有什么想法,需求,点子.其实别人早就想到,而且也已经做到. 所以不要高估自己,有什么想法还是GITHUB一下,免得成了井底之娃. 这几天一直在研究python的异步发送邮件问题,django , flask 之流都是同步框架,处理IO,发送电子邮件这种耗时的操作,就有点蛋痛了. 由于基础知识不扎实,自行研究了Asyncio之流无果,在github上无赖的输入了asyn django sendmail 搜索了一把.居然找到了别人已经封闭好的源代码

Django ajax异步请求分页的实现

Django中有一个自带的Paginator分页器,用起来很方便的在原生的模板中进行调用函数分页: 可是每次点击换页都会重新载入页面,原来是原生分页器依靠的是A标签的GET请求实现的,这就要用ajax异步请求来解决这个尴尬的情况,(有时同一页面会有多个不同的分类需要添加分页器的场景等),但是ajax回调时接收的是json,而json不能给模板传入对象,该怎么分页呢? 1.就将分页需要用到的数据从对象中提前取出来,放在字典里面 2.前台调用时候不再从对象中取,而是字典中取,完成分页样式:  我把一

django中运行定时任务脚本

需要使用到django_apscheduler模块,因此先安装: pip install django-apscheduler 然后在工程的settings.py文件中的INSTALLED_APPS模块加入: INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messa

Django中通过定时任务触发页面静态化的方式

安装 pip install django-crontab 添加应用 INSTALLED_APPS = [ ... 'django_crontab', # 定时任务 ... ] 设置任务的定时时间 在配置文件中设置定时执行的时间 每个定时任务分为三部分定义: 任务时间 基本格式 : * * * * * 分 时 日 月 周 命令 M: 分钟(0-59).每分钟用*或者 */1表示 H:小时(0-23).(0表示0点) D:天(1-31). m: 月(1-12). d: 一星期内的天(0~6,0为星

在django中实现定时任务

原文地址:https://www.cnblogs.com/jintian/p/11447259.html

Celery+python+redis异步执行定时任务

我之前的一篇文章中写了[Celery+django+redis异步执行任务] 博文:http://blog.csdn.net/apple9005/article/details/54236212 你会发现,这些代码并不依赖django框架,随便写到一个py文件中,就可以轻松的执行成功,这是因为这些代码并没有用到django-celery,django-redis等依附于django框架的东西. 今天,参照官方文档示例,测试一下celery的异步执行定时任务如何.我先是在django框架内执行了一