python爬虫中遇到的假死问题

如在请求一个URL，网站没有响应的时候，会无限卡死进程。这个时候我们可以在urllib2.urlopen设置一个超时时间，超过这个时间的话就抛出异常。如下所示。

我们可以捕抓到这个异常然后用自己的方法去处理。

try:    req = urllib2.Request(imgurl,None,headers=headers)    response = urllib2.urlopen(req,timeout=5)    the_page = response.read()except socket.timeout as e:    response.close()except urllib2.HTTPError as e:    continue

常见的还有404，url无效的错误。注意，整这个过程真正发送和接收请求的是在response.read()时.

原文地址：https://www.cnblogs.com/lsjk/p/9185449.html