1. 理解网页上的数据
- 网页上的数据主要有：
- HTML
- XHTML
- XML
- JSON
- 需要一个接受数据并解析的机制
- 需要一个产生数据并发送的机制
2. 解析HTML
- 层次化的数据
- 有多个解析HTML的第三方库，例如：LXML，BeautifulSoup，HTMLParser等等。
- 解析HTML所面临的问题：
- 没有统一的标准。
- 很多网页并没有遵循HTML文档
2.1 BeautifulSoup
BeautifulSoup第三方库有以下特点：
- 容易使用。
- 版本4允许使用lxml和html5lib，可以更好的处理不规范的HTML。
- 在处理编码方面也比较有效。
下面是解析方法及优缺点的一个对比：
3 代码示例
从终端进入python环境，按照以下方式进行试验。如果没有bs4库的话，可以使用以下命令（Ubuntu下）进行安装：
sudo pip install beautifulsoup4
>>>
>>> from bs4 import BeautifulSoup
>>>
>>> import urllib
>>> html = urllib.urlopen(“http://192.168.1.33/temwet/index.html“)
>>>
>>> html
addinfourl at 164618764 whose fp = socket._fileobject object at 0x9cd19ac
>>> html.code
200
>>>
下面看一下网页的源代码:
使用BeautifulSoup进行解析:
使用bt = BeautifulSoup(html.read(),"lxml")语句对接收到的html进行解析，bt.title, bt.meta, bt.title.string, bt.find_all(‘meta‘)进行元素的查找。对查找到的多个结果，可以以数组的形式存储和访问。
如果想提取网页中含有的超链接呢？我们只需要查找到”a”标签，并将其提取出来即可。links = bt.find_all(‘a‘) 可将网页中所有的超链接保存在links中，如果len(links)等于0的话就是网页中没有超链接，否则直接以数组的方式访问即可。