python学习之多线程(二)

使用multiprocessing

使用multiprocessing.dummy

单使用multiprocessing模块的指的是多进程，使用multiprocessing.dummy则表示使用的是多线程

# from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPoolfrom multiprocessing import cpu_count
import time
import urllib2

urls = [
    ‘http://www.baidu.com‘,
    ‘http://home.baidu.com/‘,
    ‘http://tieba.baidu.com/‘,
    ‘http://zhidao.baidu.com/‘,
    ‘http://music.baidu.com/‘,
    ‘http://image.baidu.com/‘,
    ‘http://python-china.org/‘,
    ‘http://python-china.org/node/about‘,
    ‘http://python-china.org/node/‘,
    ‘http://python-china.org/account/signin‘,
    ‘http://python-china.org/account/signup‘,
    ‘http://www.qq.com‘,
    ‘http://www.youku.com‘,
    ‘http://www.tudou.com‘
]

start = time.time()
results = map(urllib2.urlopen, urls)
print ‘Normal:‘, time.time() - start

start2 = time.time()
# 开cpu_count个 worker，没有参数时默认是 cpu 的核心数
pool = ThreadPool(processes=cpu_count)
# 在线程中执行 urllib2.urlopen(url) 并返回执行结果
results2 = pool.map(urllib2.urlopen, urls)
pool.close()
pool.join()
print ‘Thread Pool:‘, time.time() - start2

时间： 2024-08-27 02:02:06

python学习之多线程(二)的相关文章

python 学习笔记（二）

逻辑运算符 python不用&& || !表示与或非,用and or not,优先级是not > and > or. bool类型:True 和 False 条件语句 if expression1: ; elif expression2: ; else: ; 字符串函数 word = raw_input("Enter a word: ") # 读入字符串给word isalpha() # 返回False如果字符串里含有非字母字符 word = word[n

Python学习笔记（二）——高级特性

知识点切片切片取一个list或tuple的部分元素. 原理:调用__getitem__,__setitem__,__delitem__和slice函数. 根据官方的帮助文档(https://docs.python.org/2/library/operator.html)可知,_getitem_返回元素的下标,_setitem_设置元素的值,_remove_删除元素的值. 而slice函数实现最重要的切片功能. x=a[1:5] --> x._getitem_(slic

Tornado/Python 学习笔记（二）

部分ssrpc.py代码分析 -- 服务端: 1 #!/usr/bin/python3 2 3 from xmlrpc.client import Fault, dumps, loads 4 import sys 5 from socketserver import ForkingMixIn 6 from xmlrpc.server import SimpleXMLRPCServer 7 8 class VerboseFaultXMLRPCServer(SimpleXMLRPCServer):

python学习[第十二篇] 数据类型之集合

python学习[第十二篇] 数据类型之集合集合概念 python中集合是一组无序排列的哈希值.集合分为两种可变集合(set)和不可变集合(frozenset) 对可变集合可以修改和删除元素,对于不可变集合不允许.可变集合是不可以哈希的,因此既不能用作字典的键,也不能做其他集合的元素. 集合的增删改查集合的创建于赋值集合与列表([]) 和字典({})不同,集合没有特别的语法格式.列表和字典可以通过他们自己的工厂方法创建,这也是集合的唯一的创建方式.set()和frozenset() #创

Python学习系列（二）(基础知识)

Python基础语法 Python学习系列(一)(基础入门) 对于任何一门语言的学习,学语法是最枯燥无味的,但又不得不学,基础概念较繁琐,本文将不多涉及概念解释,用例子进行相关解析,适当与C语言对比,避免陷入语法的苦海.我认为初学者学习语法的目标是学会使用即可,关于对概念的深入理解,剖析,没有一定的知识积累是很难做到的. 学习Python,基本语法不是特别难,有了C的基本知识,理解比较容易.本文的主要内容是Python基础语法,学完后,能熟练使用就好.(开发环境依然是Python2.7,简单使用

【Python学习笔记之二】浅谈Python的yield用法

在上篇[Python学习笔记之一]Python关键字及其总结中我提到了yield,本篇文章我将会重点说明yield的用法在介绍yield前有必要先说明下Python中的迭代器(iterator)和生成器(constructor). 一.迭代器(iterator) 在Python中,for循环可以用于Python中的任何类型,包括列表.元祖等等,实际上,for循环可用于任何“可迭代对象”,这其实就是迭代器迭代器是一个实现了迭代器协议的对象,Python中的迭代器协议就是有next方法的对象会前

Python学习之（二） Python多线程学习

多线程的一个实例 #coding=utf-8 #!/usr/bin/python import time import thread def timer(no, interval): cnt = 0 while cnt<10: time.sleep(interval) print 'Thread:(%d) Time:%s' % (no, time.ctime()) cnt+=1 thread.exit_thread() def test(): #Use thread.start_new_thre

Python学习笔记（二十八）多线程

摘抄自:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143192823818768cd506abbc94eb5916192364506fa5d000 多任务可以由多进程完成,也可以由一个进程内的多线程完成. 我们前面提到了进程是由若干线程组成的,一个进程至少有一个线程. 由于线程是操作系统直接支持的执行单元,因此,高级语言通常都内置多线程的支持,Python也不例外,并

Python学习总结之二 -- 数据类型

带你走进数据类型一:整数.浮点数 Python中整数和浮点数的定义以及运算和C++都是一样的,我在这里就不需多说了,我就说明一点:Python相对于C/C++而言,定义整数没有int 和 long long 这些区分的,直接赋值即可.这就体现出了Python简洁的功能. 二:布尔值.空值首先我们先谈谈Python中的布尔值True和False.在Python中可以直接使用True和False(请注意大小写),也可以通过表达式计算出True或者False. 另外,还有三种常见的布尔运算符and