python3网络爬虫笔记

参考资料

• Python官方文档
• 知乎相关资料(1) 这篇非常好, 通俗易懂的总览整个Python学习框架.
• 知乎相关资料(2)

代码实现(一): 用Python抓取指定页面

1 #!/usr/bin/env python
2 #encoding:UTF-8
3 import urllib.request
4
5 url = "http://www.baidu.com"
6 data = urllib.request.urlopen(url).read()
7 data = data.decode(‘UTF-8‘)
8 print(data)

urllib.request是一个库, 隶属urllib. 点此打开官方相关文档. 官方文档应该怎么使用呢? 首先点刚刚提到的这个链接进去的页面有urllib的几个子库, 我们暂时用到了request, 所以我们先看urllib.request部分. 首先看到的是一句话介绍这个库是干什么用的:

The urllib.request module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

然后把我们代码中用到的urlopen()函数部分阅读完.

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False)

重点部分是返回值, 这个函数返回一个 http.client.HTTPResponse 对象, 这个对象又有各种方法, 比如我们用到的read()方法, 这些方法都可以根据官方文档的链接链过去. 根据官方文档所写, 我用控制台运行完毕上面这个程序后, 又继续运行如下代码, 以更熟悉这些乱七八糟的方法是干什么的。

>>> import urllib.request
>>> a = urllib.request.urlopen(‘http://10.54.0.2/OAapp/WebObjects/OAapp.woa‘)
>>> type(a)
<class ‘http.client.HTTPResponse‘>
>>> a.geturl()
‘http://10.54.0.2/OAapp/WebObjects/OAapp.woa‘
>>> a.info()
<http.client.HTTPMessage object at 0x7f390a3d4780>
>>> a.getcode()
200