python urllib2 使用代理

# The proxy address and port:
proxy_info = { ‘host‘ : ‘proxy.myisp.com‘,
               ‘port‘ : 3128
             }

# We create a handler for the proxy
proxy_support = urllib2.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info})

# We create an opener which uses this handler:
opener = urllib2.build_opener(proxy_support)

# Then we install this opener as the default opener for urllib2:
urllib2.install_opener(opener)

# Now we can send our HTTP request:
htmlpage = urllib2.urlopen("http://sebsauvage.net/").read(200000)

#如果代理需要验证
proxy_info = { ‘host‘ : ‘proxy.myisp.com‘,
               ‘port‘ : 3128,
               ‘user‘ : ‘John Doe‘,
               ‘pass‘ : ‘mysecret007‘
             }
proxy_support = urllib2.ProxyHandler({"http" : "http://%(user)s:%(pass)[email protected]%(host)s:%(port)d" % proxy_info})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
htmlpage = urllib2.urlopen("http://sebsauvage.net/").read(200000)
#该代码片段来自于: http://www.sharejs.com/codes/python/226
时间: 2024-10-13 21:10:55

python urllib2 使用代理的相关文章

Python Urllib2和Cookielib的综合使用

Python Urllib2和Cookielib的综合使用 标签(空格分隔): Python Urllib2 Fetch 手动添加请求的Headers,在opener,Request,urlopen,看看有几种方法可以使用相同的Headers处理不同的网页: 设定CookieJar,设定cookielib.Cookie() 手动添加Headers,并设定CookieJar,看看能否自动处理: 1.手动添加Headers 1.1 添加到opener上 ? 1 2 3 4 5 6 7 8 opene

Python urllib2 发送HTTP Request

urllib2 是Python自带的标准模块, 用来发送HTTP Request的.  类似于 .NET中的,  HttpWebRequest类 urllib2 的优点 Python urllib2 发出的HTTP Request, 能自动被Fiddler截获, 方便了调试. Python 可以自动处理Cookie urllib2 的缺点 Python urllib2 发出的http Request, 中的header 会被修改成"首字母大写", 比如你的代码里写的header 是:

python urllib2使用心得

python urllib2使用心得 1.http GET请求 过程:获取返回结果,关闭连接,打印结果 f = urllib2.urlopen(req, timeout=10) the_page = f.read() f.close()print the_page 2.http GET请求 + 包头 paras = "Token=1234567890;Uuid=0987654321" send_headers = {"Cookie": paras, "Us

python urllib2 模拟网站登陆

1. 可用浏览器先登陆,然后查看网页源码,分析登录表单 2. 使用python urllib2,cookielib 模拟网页登录 import urllib,urllib2,cookielib #urllib2 支持 http,https def loginWeb(site,user,pwd): ''' 模拟网页登陆,登陆网址,用户名,密码不能为空 登录post form 表单逻辑需要对应登录网站,可以使用火狐浏览器firebug插件查看登陆请求的网址和参数 ''' formValue={'ac

python urllib2 http get、post请求的区别

python urllib2 实现HTTP 的GET POST 请求 python 一般可以用模块urllib2 来实现GET POST的http 请求 GET  请求 import os,sys import os,sys import urllib2 http_str = 'http://127.0.0.1:12345/apps/' + serviceLine + '/clusters/' + clusterName url = http_str + '/machine_info' req

[转]使用 mitmproxy + python 做拦截代理

使用 mitmproxy + python 做拦截代理 本文是一个较为完整的 mitmproxy 教程,侧重于介绍如何开发拦截脚本,帮助读者能够快速得到一个自定义的代理工具. 本文假设读者有基本的 python 知识,且已经安装好了一个 python 3 开发环境.如果你对 nodejs 的熟悉程度大于对 python,可移步到 anyproxy,anyproxy 的功能与 mitmproxy 基本一致,但使用 js 编写定制脚本.除此之外我就不知道有什么其他类似的工具了,如果你知道,欢迎评论告

python抓取数据,python使用socks代理抓取数据

在python中,正常的抓取数据直接使用urllib2 这个模块: import urllib2 url = 'http://fanyi.baidu.com/' stream = urllib2.urlopen(url) cont = stream.read() print cont 如果要走http代理的话,我们也可以使用urllib2,不需要引用别的模块: import urllib2 url = 'https://clients5.google.com/pagead/drt/dn/dn.j

python urllib2介绍

urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件.他以urlopen函数的形式提供了一个非常简单的接口, 这是具有利用不同协议获取URLs的能力,他同样提供了一个比较复杂的接口来处理一般情况,例如:基础验证,cookies,代理和其他. 它们通过handlers和openers的对象提供. urllib2支持获取不同格式的URLs(在URL的":"前定义的字串,例如:"ftp"是"ftp:pytho

Python urllib2 使用

urllib2 I. urllib2模块定义的函数和类用来获取URL(主要是HTTP的),他提供一些复杂的接口用于处理: 基本认证,重定向,Cookies等. II. 常用方法和类 II.1 urllib2.urlopen(url[, data][, timeout]) #传url时候,用法同urllib里的urlopen II.1.1 它打开URL网址,url参数可以是一个字符串url或者是一个Request对象.可选的参数timeout,阻塞操作以秒为单位,如尝试连接(如果没有指定,将使用设