python爬虫数据抓取

概要：利用python进行web数据抓取简单方法和实现。

1、python进行网页数据抓取有两种方式：一种是直接依据url链接来拼接使用get方法得到内容，一种是构建post请求改变对应参数来获得web返回的内容。

一、第一种方法通常用来获取静态页面内容，比如豆瓣电影内容分类下动画对应的链接：

http://www.douban.com/tag/%E5%8A%A8%E7%94%BB/?focus=movie

    纪录片对应的链接：

http://www.douban.com/tag/%E7%BA%AA%E5%BD%95%E7%89%87/?focus=movie

　　　　　　tag 与 /?foucus中间的代表关键字，每次将页面对应的关键字进行替换就能抓取到相应的页面。

　　　　   二、第二种方法是通过使用post请求来进行获取web内容抓取，由于许多网站是动态网站，每次请求返回的对应链接都是无变化，所以不能直接使用get方法来抓取网站内容，基本思路是只能依据每次发送的post数据请求观察其中的参数，并模拟构造post请求实现相应的页面获取。

2、python简易代码实现web抓取：

 1 #coding=utf-8
 2
 3 import urllib,urllib2
 4
 5 #继续以抓取豆瓣电影分类链接为例
 6
 7 movie_list = [‘%E7%BA%AA%E5%BD%95%E7%89%87‘,‘%E6%96%87%E8%89%BA‘,‘%E5%8F%B2%E8%AF%97‘]
 8
 9 for i in movie_list:
10         url = http://www.douban.com/tag/%E5%8F%B2%E8%AF%97/?focus=movie
11         url = url.replace(‘%E5%8F%B2%E8%AF%97‘,i)
12         request = urllib2.Request(url)
13         html = urllib2.open(request)