用python爬取搜索引擎关键词的简易方案

环境：python2.7

以360为例，用http截取工具获得url，具体的获取方法根据要求实现功能而定。例如：我要爬取她的关键词，就是截取以...word=结尾的一串url。

没有加入浏览器信息，系统版本，事实证明360对爬虫很友好呢=、=。

1、关于正则表达式的处理，根据实际情况自己写，没有特别统一的格式。

2、关于网站的编码，都可以修改处理，这里用的gbk。

 1 #coding=gbk
 2 ‘‘‘
 3 Created on 2014-9-23
 4
 5 @author: Administrator
 6 ‘‘‘
 7 import urllib2
 8 import urllib
 9 import re
10
11
12 key = urllib.quote(raw_input("输入关键词:"))
13 url = ‘http://sug.so.360.cn/suggest?callback=suggest_so&encodein=gbk&encodeout=gbk&format=json&fields=word,obdata&word=‘+key
14 req = urllib2.Request(url)
15
16
17 html = urllib2.urlopen(req).read()
18
19
20 ss = re.findall("\:\"(.*?)\"",html)
21
22 for i in ss:
23     print i