#! usr/bin/env python# -*- coding: utf-8 -*-
‘‘‘ post‘‘‘
import urllibimport urllib2url = ‘‘values = {‘user‘ : ‘v1‘, ‘password‘ : ‘v2‘}data = urllib.urlencode(values)
request = urllib2.Request(url, data)response = urllib2.urlopen(request)print response.read()
‘‘‘get‘‘‘import urlliburl = ‘http://passport.csdn.net/account/login‘values={}values[‘username‘] = "[email protected]"values[‘password‘]="XXXX"data = urllib.urlencode(values)url = url + ‘?‘ + dataprint url
‘‘‘headers‘‘‘import urllibimport urllib2url = ‘‘values = {}values[‘user‘] = ‘user1‘values[‘password‘] = ‘passwd‘data = urllib.urlencode(values)headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36‘}request = urllib2.Request(url,data,headers=headers)response = urllib2.urlopen(request)
‘‘‘Proxy代理的设置‘‘‘url = ‘‘proxy_handler = urllib2.ProxyHandler({‘http‘:‘127.0.0.1:8070‘})opener = urllib2.build_opener(proxy_handler)urllib2.install_opener(opener)request = urllib2.Request()
‘‘‘timeout 设置超时时间‘‘‘#方式1import socketsocket.setdefaulttimeout(10)
#方式2urllib2.socket.setdefaulttimeout(10)
‘‘‘URLerror网络无连接，即本机无法上网连接不到特定的服务器服务器不存在‘‘‘url = ‘‘values = {}data = urllib.urlencode(values)request = urllib2.Request(url, data)try: response = urllib2.urlopen(request)except urllib2.URLError,e: if hasattr(e,‘reason‘): print e.reasonelse: pass
‘‘‘Httperror100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。101： 转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。102：继续处理 由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。200：请求成功 处理方式：获得响应的内容，进行处理201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到 处理方式：爬虫中不会遇到202：请求被接受，但处理尚未完成 处理方式：阻塞等待204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。 处理方式：丢弃300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。 处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源 处理方式：重定向到分配的URL302：请求到的资源在一个不同的URL处临时保存 处理方式：重定向到临时的URL304：请求的资源未更新 处理方式：丢弃400：非法请求 处理方式：丢弃401：未授权 处理方式：丢弃403：禁止 处理方式：丢弃404：没有找到 处理方式：丢弃500：服务器内部错误 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。501：服务器无法识别 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。502：错误网关 作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。503：服务出错 由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。‘‘‘
url = ‘‘request = urllib2.Request(url)try: response = urllib2.urlopen(request)except urllib2.HTTPError,e: print e.code print e.reasonfinally: pass
‘‘‘Cookie‘‘‘
import urllib2import cookielib# 声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件cookie = cookielib.MozillaCookieJar(‘cookie.txt‘)# 利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器handler=urllib2.HTTPCookieProcessor(cookie)# 通过handler来构建openeropener = urllib2.build_opener(handler)# 此处的open方法同urllib2的urlopen方法，也可以传入requesturllib2.install_opener(opener)
values = {}values[‘user‘] = ‘user1‘values[‘password‘] = ‘passwd‘data = urllib.urlencode(values)headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36‘}request = urllib2.Request(url,data, headers=headers)try: res = urllib2.urlopen(request)except urllib2.URLError,e: if hasattr(e,‘reason‘): print e.reasonexcept urllib2.HTTPError.E: print E.code print E.reasonelse: pass
cookie.save(ignore_discard=True, ignore_expires=True)
# 进行到上一步以后 脚本的同一路径中有个cookie.txt，这样在就可以不需要登陆直接访问下一个网站了getUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre‘request = urllib2.Request(getUrl)res = urllib2.urlopen(request)
时间： 2024-10-24 22:24:54