python urllib2 urlopen 503错误

  在对网站发送请求的时候,一直出现503错误,代码如下:

    HTTP Error 503: Service Unavailable

  查询网络原因,主要是对方对自动化查询做了限制,可以修改header头来欺骗他,但是这种方法并不总是有效,可以参考链接:

  http://stackoverflow.com/questions/25936072/python-urllib2-httperror-http-error-503-service-unavailable-on-valid-website

  但是我在代码里做了header的重设,方法如下:

    request.add_header(

     ‘User-agent‘,

     agent,
    )

  仔细观察后,原来我的方法不对,修改如下:

  request.add_header = [(‘User-agent‘, agent)]

  暂时没有了以上错误,虽然还有其他错误,但是还在仔细研究中,在这里做个记录吧。

  

  

  

时间: 2024-12-14 18:06:00

python urllib2 urlopen 503错误的相关文章

python urllib2库的简单总结

urllib2的简单介绍参考网址:http://www.voidspace.org.uk/python/articles/urllib2.shtml Fetching URLsThe simplest way to use urllib2 is as follows :1.import urllib2response = urllib2.urlopen('http://python.org/')html = response.read() 2.import urllib2req = urllib

python urllib2导出elasticsearch数据时 返回 "urllib2.HTTPError: HTTP Error 500: Internal Server Error"

0.业务场景 将ES中某个index的某个字段的所有数据,导出到文件中 1.ES数据导出方法简述 ES数据导出方法,我主要找到了以下几个方面,欢迎大家补充: ES官方API:snapshot and restore module The snapshot and restore module allows to create snapshots of individual indices or an entire cluster into a remote repository like sha

使用 python urllib2 抓取网页时出现乱码的解决方案

这里记录的是一个门外汉解决使用 urllib2 抓取网页时遇到乱码.崩溃.求助.解决和涨经验的过程.这类问题,事后看来只是个极小极小的坑,不过竟然花去很多时间,也值得记录一下.过程如下:目标: 抓取 http://sports.sina.com.cn/g/premierleague/index.shtml 代码: 1 2 3 4 5 6 # coding: u8 import urllib2 url = "http://sports.sina.com.cn/g/premierleague/ind

python urllib2介绍

urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件.他以urlopen函数的形式提供了一个非常简单的接口, 这是具有利用不同协议获取URLs的能力,他同样提供了一个比较复杂的接口来处理一般情况,例如:基础验证,cookies,代理和其他. 它们通过handlers和openers的对象提供. urllib2支持获取不同格式的URLs(在URL的":"前定义的字串,例如:"ftp"是"ftp:pytho

Python urllib2 使用

urllib2 I. urllib2模块定义的函数和类用来获取URL(主要是HTTP的),他提供一些复杂的接口用于处理: 基本认证,重定向,Cookies等. II. 常用方法和类 II.1 urllib2.urlopen(url[, data][, timeout]) #传url时候,用法同urllib里的urlopen II.1.1 它打开URL网址,url参数可以是一个字符串url或者是一个Request对象.可选的参数timeout,阻塞操作以秒为单位,如尝试连接(如果没有指定,将使用设

python urllib2详解及实例

urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件.他以urlopen函数的形式提供了一个非常简单的接口, 这是具有利用不同协议获取URLs的能力,他同样提供了一个比较复杂的接口来处理一般情况,例如:基础验证,cookies,代理和其他. 它们通过handlers和openers的对象提供. urllib2支持获取不同格式的URLs(在URL的":"前定义的字串,例如:"ftp"是"ftp:pytho

Python Urllib2和Cookielib的综合使用

Python Urllib2和Cookielib的综合使用 标签(空格分隔): Python Urllib2 Fetch 手动添加请求的Headers,在opener,Request,urlopen,看看有几种方法可以使用相同的Headers处理不同的网页: 设定CookieJar,设定cookielib.Cookie() 手动添加Headers,并设定CookieJar,看看能否自动处理: 1.手动添加Headers 1.1 添加到opener上 ? 1 2 3 4 5 6 7 8 opene

python urllib2对http的get,put,post,delete

#GET: #!/usr/bin/env python# -*- coding:utf-8 -*-import urllib2def get():    URL = 'www.baidu.com'  #页面的地址    response = urllib2.urlopen(URL) #调用urllib2向服务器发送get请求    return response.read() #获取服务器返回的页面信息 #POST: #!/usr/bin/env python# -*- coding:utf-8

python Urllib2模块

# -*-coding:utf-8-*- __author__ = 'magicpwn' import urllib2 import urllib import Cookie # 无参数时,一般访问用法及返回信息的获取 respon = urllib2.urlopen('http://www.baidu.com') print 'code:', respon.getcode(), 'URL:', respon.geturl() print '==================Headers==