concurrent.futures

# _*_coding:utf-8_*_
# author:leo
# date:
# email:[email protected]
from concurrent.futures import *
from urllib import request
import time
import random

tasks = []
def test(val):
    rand = random.randint(1, 10)
    print(‘任务开始 delay: ‘, rand)
    time.sleep(rand) # 模拟耗时
    return ‘result: ‘ + str(val)

# 初始化线程池
pool = ThreadPoolExecutor(max_workers=5)
tasks = [pool.submit(test, x) for x in range(1, 10)]
#print(t.cancel()) # 尝试取消一个任务 成功True 失败Flase
# try:
#     for t in as_completed(tasks, 10):
#         print(t, ‘status: ‘, t.done(), ‘result: ‘, t.result())
# except TimeoutError as e:
#         print(‘can`t finish in time‘)
#
wait(tasks) #阻塞任务全部完成
for t in tasks:  #查看所有任务状态
    print(t.done())
# for t in tasks:
#     print(t.running()) # 判断任务状态
#
# #wait() #传入可迭代对象,阻塞所有任务
# for t in tasks:
#     print(t.done()) # 任务是否完成
# for t in tasks:
#     print(t.result()) #阻塞的方式获取任务的结果 可以设置timeout 超时时间
#

  

原文地址:https://www.cnblogs.com/alplf123/p/8232501.html

时间: 2024-11-05 15:11:20

concurrent.futures的相关文章

Python并发编程之线程池/进程池--concurrent.futures模块

h2 { color: #fff; background-color: #f7af0d; padding: 3px; margin: 10px 0px } 一.关于concurrent.futures模块 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/销毁进程或者线程是非常消耗资源的,这个时候我们就要编写自己的线程池/进程池,以空间换时间.但从Python3.2开始,标准库为我们提供了conc

35、concurrent.futures模块与协程

concurrent.futures  -Launching parallel tasks    concurrent.futures模块同时提供了进程池和线程池,它是将来的使用趋势,同样我们之前学习的进程池Pool和threadpool模块也可以使用. 对进程池疑惑的可以参阅:32进程池与回调函数http://www.cnblogs.com/liluning/p/7445457.html 对threadpool模块疑惑的可以看我闲暇时写的一段代码:(因为本人也不了解这个模块,代码里写的也是自己

使用concurrent.futures模块并发,实现进程池、线程池

一.关于concurrent.futures模块 Python标准库为我们提供了threading和multiprocessing模块编写相应的异步多线程/多进程代码.从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类ThreadPoolExecutor和ProcessPoolExecutor继承了Executor,分别被用来创建线程池和进程池的代码.实现了对thread

python简单粗暴多线程之concurrent.futures

python在前面写过多线程的库threading: python3多线程趣味详解 但是今天发现一个封装得更加简单暴力的多线程库concurrent.futures: # !/usr/bin/python3.4 # -*- coding: utf-8 -*- from concurrent.futures import ThreadPoolExecutor import time def f1(a): time.sleep(2) print(a) return 1 pool=ThreadPool

使用concurrent.futures和ProcessPoolExecutor来替代线程和进程

concurrent.futures和ProcessPoolExecutor这两个类实现的借口分别在不同的线程或进程中执行可调用的对象,这两个类在内部维护者一个工作线程或进程池,以及要执行的队列,这两个借口抽象的层级很高,无需关注实现细节 普通方法实现下载国旗 import os import time import sys import requests POP20_CC=('CN IN US ID BR PK NG BD RU JP' 'MX PH VN ET EG DE IR TR CD

concurrent.futures模块与协程

concurrent.futures  -Launching parallel tasks    concurrent.futures模块同时提供了进程池和线程池,它是将来的使用趋势,同样我们之前学习的进程池Pool和threadpool模块也可以使用. 对进程池疑惑的可以参阅:32进程池与回调函数http://www.cnblogs.com/liluning/p/7445457.html 对threadpool模块疑惑的可以看我闲暇时写的一段代码:(因为本人也不了解这个模块,代码里写的也是自己

python全栈开发基础【第二十六篇】(concurrent.futures模块、协程、Greenlet、Gevent)

注意 1.不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 2.只要你用并发,就会有锁的问题,但是你不能一直去自己加锁吧那么我们就用QUEUE,这样还解决了自动加锁的问题由Queue延伸出的一个点也非常重要的概念.以后写程序也会用到这个思想.就是生产者与消费者问题 一.Python标准模块--concurrent.futures(并发未来) concurent.future模块需要了解的 1.concurent

python并发模块之concurrent.futures(一)

Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,实现了对threading和multiprocessing的进一步抽象,对编写线程池/进程池提供了直接的支持,他属于上层的封装,对于用户来说,不用在考虑那么多东西了. 官方参考资料:https://pythonhosted.org/futures/ 1.Executor Exectuor是基础模块,这是一个抽象类,其子类分

python并发编程之进程池,线程池concurrent.futures

进程池与线程池 在刚开始学多进程或多线程时,我们迫不及待地基于多进程或多线程实现并发的套接字通信,然而这种实现方式的致命缺陷是:服务的开启的进程数或线程数都会随着并发的客户端数目地增多而增多, 这会对服务端主机带来巨大的压力,甚至于不堪重负而瘫痪,于是我们必须对服务端开启的进程数或线程数加以控制,让机器在一个自己可以承受的范围内运行,这就是进程池或线程池的用途, 例如进程池,就是用来存放进程的池子,本质还是基于多进程,只不过是对开启进程的数目加上了限制 Python--concurrent.fu