信号(Django信号、Flask信号、Scrapy信号)

简介

Django、Flask、scrapy都包含了一个“信号分配器”,使得当一些动作在框架的其他地方发生的时候,解耦的应用可以得到提醒。

通俗来讲,就是一些动作发生的时候,信号允许特定的发送者去提醒一些接受者,这是特别有用的设计因为有些代码对某些事件是特别感兴趣的,比如删除动作。

下面,分别介绍一下三种信号的使用示例。

Django信号

很多数情况下,我们需要在操作数据库之前或者之后做某些操作,比如说写个日志之类的,我们当然可以找到每一个sql语句,在其前后加一段代码,

但是,这不但浪费时间,还为以后的维护增加了难度,这个时候,就体现出信号的作用了。下面的代码是Django中对数据库增加一条数据的操作:

# models.py

from django.db import models

class User(models.Model):
    title = models.CharField(max_length=32)

# views.py

from django.shortcuts import render,HttpResponse
from app01 import models

def func1(request):
    models.User.objects.create(title=‘付勇‘)
    return HttpResponse(‘创建成功‘)

def func2(request):
    models.User.objects.create(title=‘小男孩‘)
    return HttpResponse(‘创建成功‘)

def func3(request):
    models.User.objects.create(title=‘小少年‘)
    return HttpResponse(‘创建成功‘)

def func4(request):
    models.User.objects.create(title=‘小青年‘)
    return HttpResponse(‘创建成功‘)

 这个时候,如果我们想要在每增加一条数据之后在控制台打印一句话(当然可以换成其他操作)的话,就可以在项目下的__init__.py中进行信号操作,代码如下:

from django.db.models import signals

def before_save1(*args,**kwargs):
    print(‘before_save1--->‘,args,kwargs)

def before_save2(*args,**kwargs):
    print(‘before_save2--->‘,args,kwargs)

def after_save1(*args,**kwargs):
    print(‘after_save2---->‘,args,kwargs)

# 在增加数据之前执行before_save1函数
signals.pre_save.connect(before_save1)

# 在增加数据之前执行before_save2函数
signals.pre_save.connect(before_save2)

# 在增加数据之后执行after_save1函数
signals.post_save.connect(after_save1)

Django中的内置信号:

Model signals
    pre_init                    # django的modal执行其构造方法前,自动触发
    post_init                   # django的modal执行其构造方法后,自动触发
    pre_save                    # django的modal对象保存前,自动触发
    post_save                   # django的modal对象保存后,自动触发
    pre_delete                  # django的modal对象删除前,自动触发
    post_delete                 # django的modal对象删除后,自动触发
    m2m_changed                 # django的modal中使用m2m字段操作第三张表(add,remove,clear)前后,自动触发
    class_prepared              # 程序启动时,检测已注册的app中modal类,对于每一个类,自动触发
Management signals
    pre_migrate                 # 执行migrate命令前,自动触发
    post_migrate                # 执行migrate命令后,自动触发
Request/response signals
    request_started             # 请求到来前,自动触发
    request_finished            # 请求结束后,自动触发
    got_request_exception       # 请求异常后,自动触发
Test signals
    setting_changed             # 使用test测试修改配置文件时,自动触发
    template_rendered           # 使用test测试渲染模板时,自动触发
Database Wrappers
    connection_created          # 创建数据库连接时,自动触发

Flask信号

项目功能复杂,代码量越大,就越需要做业务解耦。否则在其之上做开发和维护是很痛苦的,尤其是对于团队的新人。

Flask从0.6开始,通过Blinker提供了信号支持。信号就是在框架核心功能或者一些Flask扩展发生工作时所发送的通知,用于帮助你解耦应用。

如果需要在Flask中使用信号,需要先安装blinker组件:

pip install blinker

使用信号代码如下:

from flask import Flask,render_template
from flask import signals

app = Flask(__name__)

def x1(arg):
    print(‘x1‘)
def x2(arg):
    print(‘x2‘)

# 在发起请求之前执行x1函数
signals.request_started.connect(x1)
# 在发起请求之前执行x2函数
signals.request_started.connect(x2)

@app.route(‘/index‘)
def func():
    print(‘视图函数‘)
    return "ok"

if __name__ == ‘__main__‘:
    app.run()

Flask中内置的信号:

1. template_rendered:模版渲染完成后的信号。

2. before_render_template:模版渲染之前的信号。

3. request_started:模版开始渲染。

4. request_finished:模版渲染完成。

5. request_tearing_down:request对象被销毁的信号。

6. got_request_exception:视图函数发生异常的信号。一般可以监听这个信号,来记录网站异常信息。

7. appcontext_tearing_down:app上下文被销毁的信号。

8. appcontext_pushed:app上下文被推入到栈上的信号。

9. appcontext_popped:app上下文被推出栈中的信号

10. message_flashed:调用了Flask的`flashed`方法的信号。

Scrapy信号

Scrapy使用信号来通知事情发生。您可以在您的Scrapy项目中捕捉一些信号(使用 extension)来完成额外的工作或添加额外的功能,扩展Scrapy。

虽然信号提供了一些参数,不过处理函数不用接收所有的参数 - 信号分发机制(singal dispatching mechanism)仅仅提供处理器(handler)接受的参数。

使用的时候新建一个py文件,如ext.py,代码如下:

from scrapy import signals

class MyExtend(object):
    def __init__(self):
        pass

    @classmethod
    def from_crawler(cls, crawler):
        self = cls()
        # 爬虫启动的时候执行x1方法
        crawler.signals.connect(self.x1, signal=signals.spider_opened)
        # 爬虫启动的时候执行x2方法
        crawler.signals.connect(self.x2, signal=signals.spider_closed)

        return self

    def x1(self, spider):
        print(‘open‘)

    def x2(self, spider):
        print(‘close‘)

Scrapy内置的信号:

engine_started

scrapy.signals.engine_started()

当scrapy引擎启动爬取时发送该信号

该信号支持返回deferreds

当信号可能会在信号spider_opened之后被发送,取决于spider的启动方式

engine_stopped

scrapy.signals.engine_stopped()

当scrapy引擎停止时发送该信号例如爬取结束

该信号支持返回deferreds

item_scraped

scrapy.signals.item_scrapped(item,response,spider)

当item被爬取,并通过Item Pipeline后没有被dropped时发送,该信号支持返回deferreds

参数:爬取到的item对象

      爬取item的spider对象

   提取item的response对象

item_dropped

scrapy.signals.item_dropped(item,exception,spider)

当item通过Item Pipeline,有些pipeline抛出DropItem异常,丢弃item时发送,该信号支持返回deferreds

参数:Item Pipeline丢弃的item

      爬取item的spider对象

   导致item被丢弃的异常,必须是DropItem的子类

spider_closed

scrapy.signals.spider_closed(spider,reason)

当某个spider被关闭时发送,该信号可以用来释放每个spider在spider_opened后占用的资源

该信号支持返回deferreds

参数:被关闭的spider对象

      描述spider被关闭的原因的字符串。如果spider是由于完成爬取而被关闭,则其为‘finished‘。如果spider是被引擎的close_spider方法所关闭,则其为调用该方法时的reason参数(默认为‘cancelled‘)。如果引擎被关闭比如输入Ctrl + C ,则为‘shutdown‘

spider_opened

scrapy.signals.spider_opened(spider)

当spider开始爬取时发送该信号。该信号支持返回deferreds

参数:开启的spider对象

spider_idle

scrapy.signals.spider_idle(spider)

当spider进入空闲状态时发送该信号。

空闲意味着:requests正在等待被下载

      requests被调度

      items正在item pipeline中处理

当该信号的所有处理器handler被调用后,如果spider仍然保持空闲状态,引擎将会关闭该spider。当spider被关闭后,spider_closed信号将被发送

可以在spider_idle处理器中调度某些请求来避免spider被关闭。该信号不支持返回deferreds

参数:空闲的spider对象

spider_error

scrapy.signals.spider_error(failure,response,spider)

当spider的回调函数产生错误时发送该信号

参数:以Twisted Failure对象抛出的异常

   当异常被抛出时被处理的response对象

      抛出异常的spider对象

request_scheduled

scrapy.signals.request_scheduled(request,spider)

当引擎调度一个request对象用于下载时,该信号被发送,该信号不支持返回deferreds

参数:到达调度器的request对象

   产生该request的spider对象

response_received

scrapy.signals.response_received(response,request,spider)

当引擎从downloader获取一个新的response时发送该信号,该信号不支持返回deferreds

参数:接受的response对象

   生成response的request对象

   response对应的spider对象

response_downloaded

scrapy.siganls.response_downloaded(response,request,spider)

当一个HttpResponse被下载时,由downloader发送该信号,该信号不支持返回deferreds

参数:下载的response对象

       生成response的request对象

     response对应的spider对象

  

原文地址:https://www.cnblogs.com/jiangchunsheng/p/9309272.html

时间: 2024-10-07 11:39:08

信号(Django信号、Flask信号、Scrapy信号)的相关文章

第三百五十五节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy信号详解

第三百五十五节,Python分布式爬虫打造搜索引擎Scrapy精讲-scrapy信号详解 信号一般使用信号分发器dispatcher.connect(),来设置信号,和信号触发函数,当捕获到信号时执行一个函数 dispatcher.connect()信号分发器,第一个参数信号触发函数,第二个参数是触发信号, signals.engine_started当Scrapy引擎启动爬取时发送该信号.该信号支持返回deferreds.signals.engine_stopped当Scrapy引擎停止时发送

Django进阶之缓存和信号

一.缓存 简介 由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者memcache中,5分钟内再有人来访问时,则不再去执行view中的操作,而是直接从内存或者Redis中之前缓存的内容拿到,并返回. Django提供了6种缓存方式: 1.    开发调试 2.    内存 3.    文件 4.    数据库 5.    Memcache缓存(python-memcac

【python】-- Django 中间件、缓存、信号

Django  中间件.缓存.信号 一. Django  中间件 django 中的中间件(middleware),在django中,中间件其实就是一个类,在请求到来和结束后,django会根据自己的规则在合适的时机执行中间件中相应的方法. 在django项目的settings模块中,有一个 MIDDLEWARE_CLASSES 变量,其中每一个元素就是一个中间件: MIDDLEWARE = [ 'django.middleware.security.SecurityMiddleware', '

Django的缓存机制和信号

Django的缓存机制 1.1 缓存介绍 1.缓存的简介 在动态网站中,用户所有的请求,服务器都会去数据库中进行相应的增,删,查,改,渲染模板,执行业务逻辑,最后生成用户看到的页面. 当一个网站的用户访问量很大的时候,每一次的的后台操作,都会消耗很多的服务端资源,所以必须使用缓存来减轻后端服务器的压力. 缓存是将一些常用的数据保存内存或者memcache中,在一定的时间内有人来访问这些数据时,则不再去执行数据库及渲染等操作,而是直接从内存或memcache的缓存中去取得数据,然后返回给用户. 2

Django 缓存、序列化、信号

缓存.序列化.信号 一.缓存 由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者memcache中,5分钟内再有人来访问时,则不再去执行view中的操作,而是直接从内存或者memcache中之前缓存的内容拿到,并返回. Django中提供了6种缓存方式: 开发调试 内存 文件 数据库 Memcache缓存(python-memcached模块) Memcache缓存(p

django高级之缓存与信号

目录 一.缓存 二.序列化 三.信号 回到顶部 一.缓存 由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者memcache中,5分钟内再有人来访问时,则不再去执行view中的操作,而是直接从内存或者memcache中之前缓存的内容拿到,并返回. Django中提供了6种缓存方式: 开发调试 内存 文件 数据库 Memcache缓存(python-memcached模块

2信号处理之:信号产生原因,进程处理信号行为,信号集处理函数,PCB的信号集,sigprocmask()和sigpending(),信号捕捉设定,sigaction,C标准库信号处理函数,可重入函数,

 1信号产生原因 2.进程处理信号行为 manpage里信号3中处理方式: SIG_IGN SIG_DFL                                            默认Term动作 a signal handling function 进程处理信号 A默认处理动作 term   中断 core    core(调试的时候产生) gcc –g file.c ulimit –c 1024 gdb a.out core ign      忽略 stop     停止

APUE 3 -- 信号 (signal)<II>: 可靠信号

一个事件可以使一个信号发送给一个进程,这个事件可以是硬件异常,可以是软件条件触发,可以是终端产生信号,也可以是一个kill函数调用.当信号产生后,内核通常会在进程表中设置某种形式的标志(flag).我们可以认为当进程中的信号处理函数被触发的时候认为信号下达到了(delivered)这个进程.从信号产生到信号下达到进程这段期间,信号被认为是挂起状态(pending).进程拥有阻塞信号下达的选项.如果一个阻塞信号要发送给一个进程,而且信号的处理方式是默认处理或者被进程捕获,那么这个信号将一直处于挂起

[离散时间信号处理学习笔记] 12. 连续时间信号的离散时间处理以及离散时间信号的连续时间处理

连续时间信号与离散时间信号之间的关系 下表为各符号的解释 Symbol FT DTFT Info $x_c(t)$ $X_c(j\Omega)$ - 连续时间信号 $x[n]$ - $X(e^{j\omega})$ 离散时间信号 $s(t)$ $S(j\Omega)$ - 周期脉冲函数.即采样函数 $x_s(t)$ $X_s(j\Omega)$ - 信号周期采样的数学表示 $\Omega_N$ - - 奈奎斯特频率,也就是带限信号的受限频率 $\Omega_s$ - - 采样频率 $T$ - -