Python爬虫学习(2): httplib

  httplib模块实现了HTTP和HTTPS的客户端部分,但是一般不直接使用,经常通过urllib来进行HTTP,HTTPS的相关操作。

  如果需要查看其源代码可以通过查找命令定位:

find / -name "httplib.py"

  整个请求过程的状态转移图如下所示:

  

httplib提供如下的类:

1. httplib.HTTPConnection(host[, port[, strict[, timeout[, source_address]]]])

  一个HTTPConnection实例表示一次与HTTP server的连机事务,在实例化的时候至少需要一个主机地址。port参数如果没有指定会默认采用80端口。strict参数的默认值是false,当这个值为true的时候,如果状态行(status line)不是HTTP/1.0 or 1.1,则会引发BadStatusLine错误。timeout参数指定在多长时间后还未连接到主机则停止此联机行为。source_address参数是二元组形式(host,port),指定发起连接的客户机的IP和端口。

>>> h1 = httplib.HTTPConnection(‘www.cwi.nl‘)
>>> h2 = httplib.HTTPConnection(‘www.cwi.nl:80‘)
>>> h3 = httplib.HTTPConnection(‘www.cwi.nl‘, 80)
>>> h3 = httplib.HTTPConnection(‘www.cwi.nl‘, 80, timeout=10)

  其包含如下几个方法:

  1.1 HTTPConnection.request(method, url[, body[, headers]])

    以method方法来访问url地址,body参数可以是需要发送的数据字符串,还可以是文件对象,其将会在发送完headers之后发送出去。headers参数对应HTTP headers中需要的内容。如果headers参数没有指定,则headers中的Content-Length会根据body的大小自动添加(字符串的长度或者是文件的大小)。

  1.2 HTTPConnection.getresponse()

    一般在调用request之后用来获取返回结果,此方法返回一个HTTPResponse对象。

    注意: 在发送一个新的请求之前要先读取返回的结果,否则会出错。源文件中对应的部分如下:

        # Note: if a prior response exists, then we *can* start a new request.

        #       We are not allowed to begin fetching the response to this new

        #       request, however, until that prior response is complete.

        #

        if self.__state == _CS_IDLE:

            self.__state = _CS_REQ_STARTED

        else:

            raise CannotSendRequest()

    测试实例:

    

  1.3 HTTPConnection.set_debuglevel(level)

    设置调试级别(相关的调试信息会打印出来),默认值是0,表示不打印调试信息。

In [14]: con = httplib.HTTPConnection("www.baidu.com")

In [15]: con.set_debuglevel(1)
# 请求过程中会输出一些调式信息
In [16]: req = con.request("GET","/")
send: ‘GET / HTTP/1.1\r\nHost: www.baidu.com\r\nAccept-Encoding: identity\r\n\r\n‘

  1.4 HTTPConnection.connect()

    当HTTPConnection对象创建的时候自动连接到服务器

  1.5 HTTPConnection.close()

    你懂的

  你除了直接调用request()方法来访问服务器,还可以以下边4步实现此功能:

  1.6.1 HTTPConnection.putrequest(request, selector[, skip_host[, skip_accept_encoding]]):

     这是连接到服务器之后的第一步操作

  1.6.2 HTTPConnection.putheader(header, argument[, ...])

     发送请求头

  1.6.3 HTTPConnection.endheaders(message_body=None)

    向服务器发送一空行表示请求头的结束。

  1.6.4 HTTPConnection.send(data) 

    向服务器发送数据。应该在endheaders函数调用之后,getresponse函数之前调用。

2. httplib.HTTPSConnection(host[, port[, key_file[, cert_file[, strict[, timeout[, source_address[, context]]]]]]])

  这是HTTPConnection的一个子类,通过SSL来和安全主机交互,采用的默认端口是443.如果参数context指定时候,这其此参数必须是ssl.SSLContext(描述SSL的各种信息)的实例。

  key_file和cert_file参数已经弃用。

3. httplib.HTTPResponse(sock, debuglevel=0, strict=0)

  这个类会在成功连接后返回,不会被用户直接初始化。

  HTTPResponse.read([amt]):

    返回响应结果,或者读取下amt个字节

In [23]: response = con.getresponse()

In [24]: response.read(10)
Out[24]: ‘<!DOCTYPE ‘

  HTTPResponse.getheader(name[, default])

    获取指定文件头中指定的内容

In [26]: response.getheader("server")
Out[26]: ‘BWS/1.1‘
In [27]: response.getheader("date")
Out[27]: ‘Mon, 17 Oct 2016 10:59:40 GMT‘
In [28]: response.getheader("Date")
Out[28]: ‘Mon, 17 Oct 2016 10:59:40 GMT‘

  HTTPResponse.getheaders()

    获取文件头的列表

    

  HTTPResponse.fileno()

    获取socket的文件描述符

  HTTPResponse.msg

获取包含响应头的 mimetools.Message 的实例

In [30]: message = response.msg
In [31]: message
Out[31]: <httplib.HTTPMessage instance at 0x39610e0># 获取响应头信息In [33]: dict = message.dict
In [34]: dict
Out[34]:
{‘accept-ranges‘: ‘bytes‘,
 ‘cache-control‘: ‘no-cache‘,
 ‘connection‘: ‘Keep-Alive‘,
 ‘content-length‘: ‘14613‘,
 ‘content-type‘: ‘text/html‘,
 ‘date‘: ‘Mon, 17 Oct 2016 10:59:40 GMT‘,
 ‘last-modified‘: ‘Thu, 13 Oct 2016 05:07:00 GMT‘,
 ‘p3p‘: ‘CP=" OTI DSP COR IVA OUR IND COM "‘,
 ‘pragma‘: ‘no-cache‘,
 ‘server‘: ‘BWS/1.1‘,
 ‘set-cookie‘: ‘BAIDUID=6C2B1FF908F1DD87C092C282D6F1EE2A:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com, BIDUPSID=6C2B1FF908F1DD87C092C282D6F1EE2A; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com, PSTM=1476701980; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com‘,
 ‘vary‘: ‘Accept-Encoding‘,
 ‘x-ua-compatible‘: ‘IE=Edge,chrome=1‘}

  HTTPResponse.status

   HTTP的状态码

  HTTPResponse.reason

In [35]: response.reason
Out[35]: ‘OK‘

4. httplib.HTTPMessage

   这个类中存储HTTP的响应头信息。其通过 mimetools.Message实现,并提供处理头的使用函数,不会被用户实例化。

参考地址: https://docs.python.org/2/library/httplib.html#httplib.HTTPSConnection

时间: 2024-08-10 17:18:34

Python爬虫学习(2): httplib的相关文章

Python爬虫学习系列教程

Python爬虫学习系列教程 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴趣的童鞋有帮助,如果有机会期待与大家的交流. Python版本:2.7 一.爬虫入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫入门四之Urllib库

Python爬虫学习:四、headers和data的获取

之前在学习爬虫时,偶尔会遇到一些问题是有些网站需要登录后才能爬取内容,有的网站会识别是否是由浏览器发出的请求. 一.headers的获取 就以博客园的首页为例:http://www.cnblogs.com/ 打开网页,按下F12键,如下图所示: 点击下方标签中的Network,如下: 之后再点击下图所示位置: 找到红色下划线位置所示的标签并点击,在右边的显示内容中可以查看到所需要的headers信息. 一般只需要添加User-Agent这一信息就足够了,headers同样也是字典类型: user

Python爬虫学习:三、爬虫的基本操作流程

本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:三.爬虫的基本操作与流程 一般我们使用Python爬虫都是希望实现一套完整的功能,如下: 1.爬虫目标数据.信息: 2.将数据或信息存入数据库中: 3.数据展示,即在Web端进行显示,并有自己的分析说明. 这次我先介绍第一个功能中所需要实现的基本操作: 爬虫的基本操作:      表示必须步骤           表示可选步骤 导入爬虫所需要的库(如:urllib.urllib2.BeautifulSoup.Scrap

2018/7/21 Python 爬虫学习

2018/7/21,这几天整理出来的一些Python 爬虫学习代码. import urllib2 response = urllib2.urlopen("http://baidu.com") html = response.read() print html 进一步,可以request import urllib2 req = urllib2.Request("http://www.baidu.com") response = urllib2.urlopen(re

Python爬虫学习路线,强烈建议收藏这十一条

(一)如何学习Python 学习Python大致可以分为以下几个阶段: 1.刚上手的时候肯定是先过一遍Python最基本的知识,比如说:变量.数据结构.语法等,基础过的很快,基本上1~2周时间就能过完了,我当时是在这儿看的基础:Python 简介 | 菜鸟教程 2.看完基础后,就是做一些小项目巩固基础,比方说:做一个终端计算器,如果实在找不到什么练手项目,可以在 Codecademy - learn to code, interactively, for free 上面进行练习. 如果时间充裕的

开始我的Python爬虫学习之路

因为工作需要经常收集一些数据,我就想通过学爬虫来实现自动化完成比较重复的任务. 目前我Python的状况,跟着敲了几个教程,也算是懂点基础,具体比较深入的知识,是打算从做项目中慢慢去了解学习. 我是觉得如果一开始就钻细节的话,是很容易受到打击而放弃的,做点小项目让自己获得点成就感路才更容易更有信心走下去. 反正遇到不懂的就多查多问就对了. 知乎上看了很多关于入门Python爬虫的问答,给自己总结出了大概的学习方向. 基础: HTML&CSS,JOSN,HTTP协议(这些要了解,不太需要精通) R

Python实战:Python爬虫学习教程,获取电影排行榜

Python应用现在如火如荼,应用范围很广.因其效率高开发迅速的优势,快速进入编程语言排行榜前几名.本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知识总结.希望大家能够快速入门并学习Python这门语言. 本文是在前一部分Python基础之上程序员带你十天快速入门Python,玩转电脑软件开发(四),再次进行的Python爬虫实战课程. 正则表达式实例简单详解 正则表达式干什么用? 就是在字符串中提取我们需要的内容的. 记得哦,要先引用正则表达式模块的哦. re就是正则表达式相

《Python爬虫学习系列教程》学习笔记

转自:http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴趣的童鞋有帮助,如果有机会期待与大家的交流. 一.Python入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫

Python爬虫学习一之Requests包使用方法

Requests函数库是学习Python爬虫必备之一, 能够帮助我们方便地爬取. 本文主要参考了其官方文档. Requests安装: requests目前的版本是v2.11.1, 在WINDOWS上可以通过命令行窗口(运行cmd命令), 利用pip进行自动地安装(很方便): > pip install requestsCollecting requests Downloading requests-2.11.1-py2.py3-none-any.whl <514kB>Installing