urllib2使用初探

Python的urllib2是一个可以用来获取URLs的函数库.

urllib2为我们提供了一个很基础的函数: urlopen, 来帮助我们通过给定的URL来获取网页数据(网页源代码)

import urllib2  # 

url = ‘https://www.zhihu.com/people/vihu‘   # 待访问的url
response = urllib2.urlopen(url)  # 请求访问/打开这个url
urlContent = response.read()    # 读取内容

读取的部分内容如下图所示:

再看下面的代码, 得到的结果和上面是相同的. HTTP基于请求-应答的机制. 由主机发出请求(Request), 然后由服务器端提供应答(urlopen).

import urllib2

url = ‘https://www.zhihu.com/people/vihu‘
req = urllib2.Request(url)  # 创建一个请求对象
response = urllib2.urlopen(req)  # 返回一个相关请求的response对象
urlContent = response.read()