[Gevent]gevent 网络抓取问答

我听说过gevent基于事件的异步处理功能 如何高效率,该项目已很少使用,今天是没什么学习一些简单的使用。

有正式书面一个非常好的教程 中国版的地址:http://xlambda.com/gevent-tutorial/ 学习gevent非常不错的资料。

详细的理论这里不怎么说了,仅仅是有些了解。详细的原理还不能解释的非常清楚。

只是协程这样的概念在golang里面非常多。

写了一个訪问网络,使用同步操作,gevent 和 多线程对照的样例。

#!/usr/bin/python
# -*- coding: utf-8 -*-
# python2.7x
# gevent_urllib2.py
# author: orangelliu
# date: 2014-08-20

import gevent.monkey
gevent.monkey.patch_socket()

import gevent
import urllib2
import json
import threading

def fetch(pid):
	response = urllib2.urlopen('http://www.orangleliu.info')
	result = response.read()
	btypes = len(result)

	print 'process %s : %s'%(pid, btypes)

def synchronous():
	for i in range(10):
		fetch(i)

def asynchonous():
	threads = []
	for i in range(10):
		threads.append(gevent.spawn(fetch,i))
	gevent.joinall(threads)

def mulithread():
	threads = []
	for i in range(10):
		th = threading.Thread(target=fetch, args=(i,))
		threads.append(th)

	for thread in threads:
		thread.start()

	for thread in threads:
		threading.Thread.join(thread)

import time
print 'sync....'
ss = time.time()
synchronous()
print 'sync time is %s'%(time.time()-ss)

print 'async'
sa = time.time()
asynchonous()
print 'async time is %s'%(time.time()-sa)

print 'async'
sm = time.time()
mulithread()
print 'thread time is %s'%(time.time()-sm)

这结果仅仅能作为參考。由于不同的时间网络状况有差异,可是总的来说多线程最快。gevent还行,同步最慢。

可是考虑到gevent的开销非常小。所以还是非常具有性价比的。

还有从结果中能够看到gevent和多线程都会有上下文切换,所以运行结果的线程id是乱序的,这个非常好理解。

sync....
process 0 : 8657
process 1 : 8657
process 2 : 8657
process 3 : 8657
process 4 : 8657
process 5 : 8657
process 6 : 8657
process 7 : 8657
process 8 : 8657
process 9 : 8657
sync time is 2.7610001564
async
process 8 : 8657
process 7 : 8657
process 6 : 8657
process 2 : 8657
process 5 : 8657
process 3 : 8657
process 0 : 8657
process 4 : 8657
process 1 : 8657
process 9 : 8657
async time is 1.50199985504
async
process 0 : 8657
process 1 : 8657
process 3 : 8657
process 4 : 8657
process 5 : 8657
process 7 : 8657
process 9 : 8657
process 8 : 8657
process 6 : 8657
process 2 : 8657
thread time is 0.986000061035

本文出自 “orangleliu笔记本”博客,请务必保留此出处http://blog.csdn.net/orangleliu/article/details/38715763

版权声明:本文orangleliu(http://blog.csdn.net/orangleliu/)原创文章,转载文章,请声明。

时间: 2024-11-10 17:27:12

[Gevent]gevent 网络抓取问答的相关文章

[Gevent]gevent 网络抓取小测试

早就听说gevent基于事件的异步处理能力 效率多么高,一直在项目中也很少用到,今天先来没事就学习了些简单的用法. 有个官方的教程写的很不错 中文版的地址为:http://xlambda.com/gevent-tutorial/ 学习gevent很不错的资料. 具体的理论这里不怎么说了,只是有些了解,具体的原理还不能解释的很清楚.不过协程这种概念在golang里面很多. 写了一个访问网络,使用同步操作,gevent 和 多线程对比的例子. #!/usr/bin/python # -*- codi

python自然语言处理1——从网络抓取数据

python自然语言处理1--从网络抓取数据 写在前面 本节学习python2.7 BeautifulSoup库从网络抽取数据的技术,检验之简而言之就是爬虫技术.网络编程是一门复杂的技术,在需要基础的地方,文中给出的链接地址,都是很好的教程,可以参考,我在这里不在重复发明轮子.本节的主旨在于: 帮助快速掌握基本爬虫技术,形成一条主线,能为自己的实验构造基础数据.掌握爬虫技术后,可以从网络抓取符合特定需求的数据供分析,这里学习的爬虫技术适用于数据挖掘.自然语言处理等需要从外部挖掘数据的学科. 1.

网络抓取功能实现 将获取的结果进行过滤并写入到TXT文档中

下面是自己编写的 网络抓取功能实现 将获取的结果进行过滤并写入到TXT文档中 (以防忘记) 原创哟 import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.Inp

网络抓取邮箱

namespace WindowsFormsApplication5 { public partial class Form1 : Form { public Form1() { InitializeComponent(); } private void button1_Click(object sender, EventArgs e) { WebClient wc = new WebClient();//定义一个新的 wc.Encoding = Encoding.Default;//定义他的格

iOS开发——网络使用技术OC篇&网络爬虫-使用正则表达式抓取网络数据

网络爬虫-使用正则表达式抓取网络数据 关于网络数据抓取不仅仅在iOS开发中有,其他开发中也有,也叫网络爬虫,大致分为两种方式实现 1:正则表达 2:利用其他语言的工具包:java/Python 先来看看网络爬虫的基本原理: 一个通用的网络爬虫的框架如图所示: 网络爬虫的基本工作流程如下: 1.首先选取一部分精心挑选的种子URL: 2.将这些URL放入待抓取URL队列: 3.从待抓取URL队列中取出待抓取在URL,解析DNS,并且得到主机的ip,并将URL对应的网页下载下来,存储进已下载网页库中.

洪波:搜索抓取应遵守规则 违反协议将致大乱

对于近日奇虎360综合搜索被爆出无视国际通行的Roberts协议,抓取百度.Google等搜索引擎内容,导致众多网站出于安全和隐私考虑不允许搜索引擎抓取的内网信息被泄露一事,资深互联网观察家洪波指出,做搜索就要遵守搜索行业公认的游戏规则,无视规则,肆意违反规则才是真正的不正当竞争,这种行为不能从法律和政府监管上及时制止,将引发行业大乱. 搜索引擎的原理是通过一种爬虫spider程序,自动搜集互联网上的网页并获取相关信息.而鉴于网络安全与隐私的考虑,每个网站都会设置自己的Robots协议,来明示搜

抓取“矢量”的实时交通流量数据

1. 引言 最近老师有一个需求,就是想要抓取实时的矢量交通流量数据来做分析,类似于百度地图,高德地图的"实时路况"那种.平时的网络抓取工作一般是抓取网页上现成的数据,但是交通流量数据只有栅格的切片,没有矢量数据,而且数据购买的费用一年就好几十W,基本不可能拿得出.实验室的师兄们都有事情忙,所以这个苦逼的任务自然摊派到我的头上. 图1. 高德和百度地图的实时路况数据 因为网络上现成的数据只有切片数据,因此这个问题就转化为了如何将切片数据矢量化.如果直接用ArcGIS Engine将栅格数

使用Node.js实现简单的网络爬取

由于最近要实现一个爬取H5游戏的代理服务器,隧看到这么一篇不错的文章(http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs),加之最近在学习Node.js,所以就准备翻译出来加深一下印象. 转载请注明来源:(www.cnblogs.com/xdxer )   在这篇文章中,我将会向大家展示如何用JavaScript配合Node.js写一个网络爬取的脚本. 网络抓取工具 在大部分情况下,一个网络抓取的脚本只需要一种方法去

网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码

这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. 要想得到书籍的详细信息和ISBN码,我们需要遍历所有的页码,进入到书籍列表,然后从书籍列表进入到每本书的详情页里,这样就能够抓取详情信息和ISBN码了. 二.从分页里遍历每一页书籍列表 通过查看分页功能的HTML代码,通过class="current"可以定位当前页码所在span标签,此s