Python之queue模块

一、queue——同步的队列类

  queue模块实现了多生产者,多消费者的队列。当 要求信息必须在多线程间安全交换,这个模块在 线程编程时非常有用 。Queue模块实现了所有要求的锁机制。  说了半天就是Queue模块主要是多线程,保证线程安全使用的。

  这个类实现了三种类型的queue,区别仅仅在于进去和取出的位置。在一个FIFO(First In,First Out)队列中,先加先取。在一个LIFO(Last In First Out)的队列中,最后加的先出来(操作起来跟stack一样)。priority队列,有序保存,优先级最低的先出来。

  内部实现是在抢占式线程加上临时锁。但是没有涉及如何去处理线程的重入。

二、queue模块的内容

  1. class queue.Queue(maxsize = 0)

    构造一个FIFO队列,maxsize可以限制队列的大小。如果队列的大小达到了队列的上限,就会加锁,加入就会阻塞,直到队列的内容被消费掉。maxsize的值小于等于0,那么队列的尺寸就是无限制的

  2. class queue.LifoQueue(maxsize = 0)

    构造一个Lifo队列

  3. class PriorityQueue(maxsize = 0)

    优先级最低的先出去,优先级最低的一般使用sorted(list(entries))[0])。典型加入的元素是一个元祖(优先级, 数据)

  

  4. queue.empty异常

    只有非阻塞的时候,队列为空,取数据才会报异常

  5. queue.Full异常

    只有非阻塞的时候,队列满了,继续放数据才会出现异常

三、队列对象的方法:

  Queue.qsize() :返回queue的近似值。注意:qsize>0 不保证(get)取元素不阻塞。qsize< maxsize不保证(put)存元素不会阻塞

  Queue.empty():判断队列是否为空。和上面一样注意

  Queue.full():判断是否满了。和上面一样注意

  Queue.put(itemblock=Truetimeout=None): 往队列里放数据。如果满了的话,blocking = False 直接报 Full异常。如果blocking = True,就是等一会,timeout必须为 0 或正数。None为一直等下去,0为不等,正数n为等待n秒还不能存入,报Full异常。

  Queue.put_nowait(item):往队列里存放元素,不等待

  

  

  Queue.get(itemblock=Truetimeout=None): 从队列里取数据。如果为空的话,blocking = False 直接报 empty异常。如果blocking = True,就是等一会,timeout必须为 0 或正数。None为一直等下去,0为不等,正数n为等待n秒还不能读取,报empty异常。

  Queue.get_nowait(item):从队列里取元素,不等待

  两个方法跟踪入队的任务是否被消费者daemon进程完全消费

  Queue.task_done()

    表示一个正式的入队任务的完成。被队列消费进程使用。每个get()方法会拿到一个任务,其随后调用task_done()表示这个队列,这个队列的线程的任务完成。就是发送消息,告诉完成啦!

    如果当前的join()当前处于阻塞状态,当前的所有元素执行后都会重启(意味着收到加入queue的每一个对象的task_done()调用的信息)

    如果调用的次数操作放入队列的items的个数多的话,会触发ValueError异常

  Queue.join()

    一直阻塞直到队列中的所有元素都被取出和执行

    未完成的个数,只要有元素添加到queue中就会增加。未完成的个数,只要消费者线程调用task_done()表明其被取走,其调用结束。当未完成任务的计数等于0,join()就会不阻塞

时间: 2024-08-05 13:50:26

Python之queue模块的相关文章

Python队列queue模块

Python中queue模块常用来处理队列相关问题 队列常用于生产者消费者模型,主要功能为提高效率和程序解耦 1. queue模块的基本使用和相关说明 # -*- coding:utf-8 -*- # Author:Wong Du ''' 队列常用于生产者消费者模型, 主要功能为提高效率和程序解耦 ''' import queue """实例化队列对象不同规则的三种方法""" q1 = queue.Queue(maxsize=2) # 先入先出

后台程序处理(二) python threading - queue 模块使用

由于协程没办法完成(一)中所说的任务模式 接下来就尝试一下使用线程和队列来实现一下这个功能 在实现之前,我们先明确一个问题--python的线程是伪并发的.同一时间只能有一个线程在运行.具体怎样的运作方式由解释器决定 然后回顾一下上一章遇到的问题--return以后,需要另外一个线程去检测之前的操作是否执行成功 因此程序的流程设计应该是这样的: 1 # 大致流程步骤如下 2 # 1.获取参数(接口被访问时触发) 3 request_data = request.form 4 # 2.根据参数查询

Python的Queue模块

1 NAME 2 Queue - A multi-producer, multi-consumer queue. 3 4 CLASSES 5 Queue 6 LifoQueue 7 PriorityQueue 8 exceptions.Exception(exceptions.BaseException) 9 Empty 10 Full 11 12 class Empty(exceptions.Exception) 13 | Exception raised by Queue.get(block

【[email&#160;protected]】queue模块-生产者消费者问题

python通过queue模块来提供线程间的通信机制,从而可以让线程分项数据. 个人感觉queue就是管程的概念 一个生产者消费者问题 1 from random import randint 2 from threading import Thread 3 from queue import Queue 4 from time import sleep 5 6 7 def writeq(queue): 8 print('starting put queue...') 9 queue.put('

Python多线程(3)——Queue模块

Queue模块支持先进先出(FIFO)队列,支持多线程的访问,包括一个主要的类型(Queue)和两个异常类(exception classes). Python 2 中的Queue模块在Python 3中更名为 queue. Queue对象的创建 可以通过实例化Queue类型获得队列对象: q = Queue.Queue(maxsize=0) 创建新的队列,参数 maxsize 的含义是: 如果 maxsize > 0:当 q 中的元素达到 maxsize 个时,队列就满了,此时再有一个线程希望

Python Queue模块

创建一个"队列"对象 import Queuemyqueue = Queue.Queue(maxsize = 10) Queue.Queue类即是一个队列的同步实现.队列长度可为无限或者有限.可通过Queue的构造函数的可选参数maxsize来设定队列长度.如果maxsize小于1就表示队列长度无限. 将一个值放入队列中 myqueue.put(10) 调用队列对象的put()方法在队尾插入一个项目.put()有两个参数,第一个item为必需的,为插入项目的值:第二个block为可选参

python Queue模块使用

Python中,队列是线程间最常用的交换数据的形式.Queue模块是提供队列操作的模块,虽然简单易用,但是不小心的话,还是会出现一些意外. 创建一个"队列"对象import Queueq = Queue.Queue(maxsize = 10)Queue.Queue类即是一个队列的同步实现.队列长度可为无限或者有限.可通过Queue的构造函数的可选参数maxsize来设定队列长度.如果maxsize小于1就表示队列长度无限. 将一个值放入队列中q.put(10)    put(item[

Python:线程、进程与协程(3)——Queue模块及源码分析

Queue模块是提供队列操作的模块,队列是线程间最常用的交换数据的形式.该模块提供了三种队列: Queue.Queue(maxsize):先进先出,maxsize是队列的大小,其值为非正数时为无线循环队列 Queue.LifoQueue(maxsize):后进先出,相当于栈 Queue.PriorityQueue(maxsize):优先级队列. 其中LifoQueue,PriorityQueue是Queue的子类.三者拥有以下共同的方法: qsize():返回近似的队列大小.为什么要加"近似&q

Python 单向队列Queue模块详解

单向队列Queue,先进先出 '''A multi-producer, multi-consumer queue.''' try: import threading except ImportError: import dummy_threading as threading from collections import deque from heapq import heappush, heappop from time import monotonic as time __all__ =