httplib用法

httplib的内容上是很多,也比较简单。以下是一个非常简单的例子,使用httplib获取google首页的html:

import httplib

conn = httplib.HTTPConnection("www.google.cn")

conn.request(‘get‘, ‘/‘)

print conn.getresponse().read().decode(‘u8‘)

conn.close()

下面详细介绍httplib提供的常用类型和方法。

httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )

  HTTPConnection类的构造函数,表示一次与服务器之间的交互,即请求/响应。

参数host表示服务器主机,如:www.csdn.net;

port为端口号,默认值为80; 

参数strict的默认值为false, 表示在无法解析服务器返回的状态行时( status line) (比较典型的状态行如: HTTP/1.0 200 OK ),是否抛BadStatusLine 异常;

可选参数timeout 表示超时时间。

  HTTPConnection提供的方法:

HTTPConnection.request ( method , url [ , body [ , headers ]] )

  调用request 方法会向服务器发送一次请求,method 表示请求的方法,常用有方法有get 和post ;url 表示请求的资源的url ;body 表示提交到服务器的数据,必须是字符串(如果method 是"post" ,则可以把body 理解为html 表单中的数据);headers 表示请求的http 头。

HTTPConnection.getresponse ()

  获取Http 响应。返回的对象是HTTPResponse 的实例,关于HTTPResponse 在下面会讲解。

HTTPConnection.connect ()  连接到Http 服务器。

HTTPConnection.close ()  关闭与服务器的连接。

HTTPConnection.set_debuglevel ( level )
  设置高度的级别。参数level 的默认值为0 ,表示上输出任何调试信息。

httplib.HTTPResponse
  HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建,它有如下方法和属性:

HTTPResponse.read([amt])

  获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

HTTPResponse.getheader(name[, default])

  获取响应头。Name表示头域(header field)吊,可选参数default在头域吊上存在的情况下作为默认值返回。

HTTPResponse.getheaders()

  以列表的形式返回所有的头信息。

HTTPResponse.msg

  获取所有的响应头信息。

HTTPResponse.version

  获取服务器所使用的http协议版本。11表示http/1.1;10表示http/1.0。

HTTPResponse.status

  获取响应的状态码。如:200表示请求成功。

HTTPResponse.reason

  返回服务器处理请求的结果说明。一般为”OK”

下面通过一个例子来熟悉HTTPResponse中的方法:

import httplib

conn = httplib.HTTPConnection("www.g.cn", 80, False)

conn.request(‘get‘,‘/‘,headers = {"Host": "www.google.cn","User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5","Accept": "text/plain"})

res = conn.getresponse()

print ‘version:‘, res.version

print ‘reason:‘, res.reason

print ‘status:‘, res.status

print ‘msg:‘, res.msg

print ‘headers:‘, res.getheaders()

#html

#print ‘\n‘ + ‘-‘ * 50 + ‘\n‘

#print res.read()

conn.close()

  Httplib模块中还定义了许多常量,如:

Httplib. HTTP_PORT的值为80,表示默认的端口号为80;

Httplib.OK的值为200,表示请求成功返回;

Httplib. NOT_FOUND的值为404,表示请求的资源上存在;

可以通过httplib.responses查询相关变量的含义,如:

Print httplib.responses[httplib.NOT_FOUND]

#not found
时间: 2024-12-10 09:35:18

httplib用法的相关文章

Python爬虫的Urllib库有哪些高级用法?

本文和大家分享的主要是python爬虫的Urllib库的高级用法相关内容,一起来看看吧,希望对大家学习python有所帮助. 1.分分钟扒一个网页下来 怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它 是一段HTML代码,加 JS.CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服.所以最重要的部分是存在于HTML中的,下面我 们就写个例子来扒一个网页下来. imp

开源代码:Http请求封装类库HttpLib介绍、使用说明

今天介绍一个很好用的Http请求类库--Httplib.一直以来,我们都是为了一次web请求,单独写一段代码 有了这个类,我们就可以很方便的直接使用了. 项目介绍: http://www.suchso.com/UIweb/jquery-Plupload-use.html 基于C#语言,Httplib让异步交互处理数据更容易了.类库的方法包括:上传文件到服务器,获取页面数据. 该项目专门为web服务写的,如果你打算重新写一个http客户端和服务端的话,建议你使用wcf. 最新代码下载:http:/

[转载]Python爬虫入门四之Urllib库的高级用法

转自:http://cuiqingcai.com/954.html 1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请

httplib和urllib2常用方法

这些是几年前用过的一些方法,以前都是用过就丢掉了,现在翻出来记录一下. import httplib import urllib2 import socket ##--------------------------------------------------------用httplib进行GET请求 conn=httplib.HTTPConnection('172.22.31.40',8080)##如果要走代理,那这里自然要改为代理服务器的地址 conn.request("GET"

python之web模块学习-- httplib

1  httplib简介 httplib 是python中http协议的客户端实现,可以使用该模块来与 HTTP 服务器进行交互 httplib是一个相对底层的http请求模块,其上有专门的包装模块,如urllib内建模块,goto等第三方模块,但是封装的越高就越不灵活,比如urllib模块里请求错误时就不会返回结果页的内容,只有头信息,对于某些需要检测错误请求返回值的场景就不适用,所以就得用这个模块了. httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层

Python爬虫入门之Urllib库的高级用法

1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文件,然后加载JS,CSS 等等,经过多次

Python爬虫Urllib库的高级用法

设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如某网站,点登录之后,我们会发现登陆之后界面都变化 了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文 件,然后加载JS,CSS 等等,经过多

urllib库的高级用法

1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文件,然后加载JS,CSS 等等,经过多次

js中获取时间new date()的用法

js中获取时间new date()的用法 获取时间:   var myDate = new Date();//获取系统当前时间 获取特定格式的时间: 1 myDate.getYear(); //获取当前年份(2位) 2 myDate.getFullYear(); //获取完整的年份(4位,1970-????) 3 myDate.getMonth(); //获取当前月份(0-11,0代表1月) 4 myDate.getDate(); //获取当前日(1-31) 5 myDate.getDay();