同一个进程内的队列（多线程） 线程池

一、同一个进程内的队列（多线程）

　　import queue

　　queue.Queue()   先进先出

　　queue.LifoQueue()  后进先出

　　queue.PriorityQueue()   优先级队列

　　　　优先级队列   q = queue.PriorityQueue()

　　　　　　q.put((pri , data))   接收的是一个元祖

　　　　　　元祖中第一个参数是：表示当前数据的优先级

　　　　　　元祖中第二个参数是：需要存放到队列中的数据

　　　　优先级的比较（首先保证整个队列中，所有表示优先级的东西类型必须一致）

　　　　　　如果都是int，比数值的大小

　　　　　　如果都是str，比较字符串的大小（从第一个字符的ASCII码开始比较），当ASCII码相同时会按照先进先出的原则

二、线程池

　　在一个池子里放固定数量的线程，这些线程处于等待状态，一旦有任务来，就有线程自发的去执行任务。

　　concurrent.futures   这个模块是异步调用的机制（提交任务都是用submit）

　　for + submit 多个任务的提交

　　shutdown  是等效于Pool中的close  +  join ，是指不允许再继续向池中增加任务，然后让父进程（线程）等待池中所有进程（线程）执行完所有任务。

　　如何把多个任务扔进池中？

　　　　要么使用for + submit  的方法去提交多个任务

　　　　要么直接使用map(func,iterable) 方式去提交多个任务

　　不同的方式提交多个任务（for + submit  或者map），拥有不同的得到结果的方式。

　　　　如果是for + submit 的方式提交任务，想得到结果用result方法

　　　　如果是map的方式提交任务，结果是一个生成器，采用__next__()  的方式得到结果。

　　关于回调函数，不管是Pool进程池的方式，还是ProcessPoolExecutor的方式开启进程池，

　　　　　　　　　　回调函数都是由父进程调用

原文地址：https://www.cnblogs.com/wjs521/p/9544051.html

时间： 2024-11-05 19:03:21

同一个进程内的队列（多线程） 线程池的相关文章

线程进阶之线程队列、线程池和协程

本节目录: 1.线程队列 2.线程池 3.协程 一.线程队列 线程之间的通信我们列表行不行呢,当然行,那么队列和列表有什么区别呢? queue队列 :使用import queue,用法与进程Queue一样 queue is especially useful in threaded programming when information must be exchanged safely between multiple threads. class queue.Queue(maxsize=0)

ExecutorService 建立多线程线程池的步骤

ExecutorService 建立多线程线程池的步骤: 线程池的作用: 线程池作用就是限制系统中执行线程的数量. 根据系统的环境情况,可以自动或手动设置线程数量,达到运行的最佳效果:少了浪费了系统资源,多了造成系统拥挤效率不高.用线程池控制线程数量,其他线程排队等候.一个任务执行完毕,再从队列的中取最前面的任务开始执行.若队列中没有等待进程,线程池的这一资源处于等待.当一个新任务需要运行时,如果线程池中有等待的工作线程,就可以开始运行了:否则进入等待队列. 为什么要用线程池: 1.减少了创建和

C#多线程--线程池（ThreadPool）

先引入一下线程池的概念: 百度百科:线程池是一种多线程处理形式,处理过程中将任务添加到队列,然后在创建线程后自动启动这些任务.线程池线程都是后台线程.每个线程都使用默认的堆栈大小,以默认的优先级运行,并处于多线程单元中.如果某个线程在托管代码中空闲(如正在等待某个事件),则线程池将插入另一个辅助线程来使所有处理器保持繁忙.如果所有线程池线程都始终保持繁忙,但队列中包含挂起的工作,则线程池将在一段时间后创建另一个辅助线程但线程的数目永远不会超过最大值.超过最大值的线程可以排队,但他们要等到其他线程

Java实现锁、公平锁、读写锁、信号量、阻塞队列、线程池等常用并发工具

锁的实现 锁的实现其实很简单,主要使用Java中synchronized关键字. public class Lock { private volatile boolean isLocked = false; private Thread lockingThread = null; public synchronized void lock() throws InterruptedExpection { while(isLocked){ wait(); } isLocked = true; loc

基于队列的线程池

import java.text.SimpleDateFormat; import java.util.Date; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.BlockingQueue; import java.util.concurrent.ThreadPoolExecutor; import java.util.concurrent.TimeUnit; /**  * Created 

跟我学Java多线程——线程池与堵塞队列

前言 上一篇文章中我们将ThreadPoolExecutor进行了深入的学习和介绍,实际上我们在项目中应用的时候非常少有直接应用ThreadPoolExecutor来创建线程池的.在jdk的api中有这么一句话"可是,强烈建议程序猿使用较为方便的 Executors 工厂方法Executors.newCachedThreadPool()(无界线程池,能够进行自己主动线程回收).Executors.newFixedThreadPool(int)(固定大小线程池)和Executors.newSing

跟我学Java多线程——线程池与阻塞队列

前言 上一篇文章中我们将ThreadPoolExecutor进行了深入的学习和介绍,实际上我们在项目中应用的时候很少有直接应用ThreadPoolExecutor来创建线程池的,在jdk的api中有这么一句话"但是,强烈建议程序员使用较为方便的 Executors 工厂方法Executors.newCachedThreadPool()(无界线程池,可以进行自动线程回收).Executors.newFixedThreadPool(int)(固定大小线程池)和Executors.newSingleT

Python：线程、进程与协程(7)——线程池

前面转载了一篇分析进程池源码的博文,是一篇分析进程池很全面的文章,点击此处可以阅读.在Python中还有一个线程池的概念,它也有并发处理能力,在一定程度上能提高系统运行效率:不正之处欢迎批评指正. 线程的生命周期可以分为5个状态:创建.就绪.运行.阻塞和终止.自线程创建到终止,线程便不断在运行.创建和销毁这3个状态.一个线程的运行时间可由此可以分为3部分:线程的启动时间.线程体的运行时间和线程的销毁时间.在多线程处理的情景中,如果线程不能被重用,就意味着每次创建都需要经过启动.销毁和运行3个过程

26、Java并发性和多线程-线程池

以下内容转自http://ifeve.com/thread-pools/: 线程池(Thread Pool)对于限制应用程序中同一时刻运行的线程数很有用.因为每启动一个新线程都会有相应的性能开销,每个线程都需要给栈分配一些内存等等. 我们可以把并发执行的任务传递给一个线程池,来替代为每个并发执行的任务都启动一个新的线程.只要池里有空闲的线程,任务就会分配给一个线程执行.在线程池的内部,任务被插入一个阻塞队列(Blocking Queue ),线程池里的线程会去取这个队列里的任务.当一个新任务插入