[Python] urllib2.HTTPError: HTTP Error 403: Forbidden

搬运自http://www.2cto.com/kf/201309/242273.html，感谢原作。

之所以出现上面的异常,是因为如果用 urllib.request.urlopen 方式打开一个URL，服务器端只会收到一个单纯的对于该页面访问的请求。
但是服务器并不知道发送这个请求使用的浏览器，操作系统，硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。
有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好)。
如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝。

可行的解决方案是在请求中加入UserAgent的信息。
以下是一次成功的例子：

URL=‘TestURL‘　　#用真实的URL替代TestURL
HEADERS={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0‘}
req=urllib2.Request(url=URL,headers=HEADERS)htmlcode=urllib2.urlopen(req).read()
时间： 2024-10-24 01:13:16

[Python] urllib2.HTTPError: HTTP Error 403: Forbidden的相关文章

urllib2.HTTPError: HTTP Error 403: Forbidden

这个问题主要是没有headers,加入一些内容就可以了 示例: # -*- coding: UTF-8 -*- import urllib2 site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=un

urllib2.HTTPError: HTTP Error 403: Forbidden 解决方法

参考: https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbidden https://segmentfault.com/q/1010000000470724 通过测试应该是request中header的问题. 1 class S0819MtimeTiantangPipeline(object): 2 def process_item(self, item, spider): 3 he

urllib.error.HTTPError: HTTP Error 403: Forbidden

问题: urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常 例如 执行下面的语句时 [python] <span style="font-size:14px;"> urllib.request.urlopen("http://blog.csdn.net/eric_sunah/articl

爬虫403问题解决urllib.error.HTTPError: HTTP Error 403: Forbidden

一.爬虫时,出现urllib.error.HTTPError: HTTP Error 403: Forbidden Traceback (most recent call last):   File "D:/访问web.py", line 75, in <module>     downHtml(url=url)   File "D:/urllib访问web.py", line 44, in downHtml     html=request.urlre

Python 3.x HTTP Error 403: Forbidden

The Fobidden error often raised when using request.open to open some urls. such as: url_1 = 'https://movie.douban.com/subject/26363254/comments?status=P'url_2 = 'https://www.glassdoor.com/Interview/Texas-Instruments-Interview-Questions-E651_P4.htm' r

python urllib2导出elasticsearch数据时 返回 &quot;urllib2.HTTPError: HTTP Error 500: Internal Server Error&quot;

0.业务场景 将ES中某个index的某个字段的所有数据,导出到文件中 1.ES数据导出方法简述 ES数据导出方法,我主要找到了以下几个方面,欢迎大家补充: ES官方API:snapshot and restore module The snapshot and restore module allows to create snapshots of individual indices or an entire cluster into a remote repository like sha

解决git提交问题error: The requested URL returned error: 403 Forbidden while accessing

git提交代码时,出现这个错误"error: The requested URL returned error: 403 Forbidden while accessing https" 解决方法: 编辑.git文件夹下的config文件就可以. vim .git/config #改动对于的配置 #原来的url = https://github.com/elitecodegroovy/PhoenixC.git url = https://[email protected]/elitec

解决github push错误The requested URL returned error: 403 Forbidden while accessing

来源:http://blog.csdn.net/happyteafriends/article/details/11554043 github push错误: [html] view plaincopyprint? git push error: The requested URL returned error: 403 Forbidden while accessing https://github.com/wangz/future.git/info/refs git version 1.7.

Apache error: 403 Forbidden You don&#39;t have permission to access

CentOS 6 solution: chcon -t httpd_sys_content_t -R /directory refer to: https://www.centos.org/forums/viewtopic.php?f=19&t=15128&start=10#p70999 Apache error: 403 Forbidden You don't have permission to access