Python2爬取学生名单

背景：

学校的网站可以根据学号查学生姓名和成绩，所以我希望通过Python的爬虫得到年级所有同学的学号与姓名对应表。

实现：

首先需要算出所有学生的学号以方便查询。接下来要把学号和考试场次包装成待会要填入的信息，这可以用urllib模块里的函数urlencode完成。之后要访问网站，先用urllib2模块里的Request函数获得访问令牌（其实我也不知道是什么），然后用urlopen函数把需要填入的信息和令牌传进去就可以得到查询结果网页的源代码了！

此后是分析源代码环节，经过分析后发现所需要的姓名在源代码中字符串“姓名”之后的>和&字符之间。故用find函数找到字符串“姓名”的位置，然后用两个变量找到>和&字符的位置，截取之间的字符串就可以得到姓名了。同时表格有一个叫csv的储存形式，是以文本的方式储存的，且可以通过各类Excel软件另存为为xls文件，是我们的首先。

既然是Python2，就不得不处理编码。在程序头添上使用utf-8的声明，同时在程序开始处加入

1 import sys
2 reload(sys)
3 sys.setdefaultencoding(‘utf-8‘)

把程序内的字符串全部指定为Unicode字符串。同时网页源代码也要由gbk编码转为utf-8。有一点坑的就是原网页的编码是gb2312，结果有同学的姓名是一些奇怪的字，导致会RE。最后查了很久才发现要用gbk代替gb2312来解码。

代码：

#-*- coding: UTF-8 -*-
import urllib
import urllib2
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
url=‘http://www.baidu.com‘
f=open(‘E:/list.csv‘,‘a‘)
for i in range(1,21):
    for j in range(1,66):
        table=[(‘xuehao‘,str(10000+i*100+j)+‘\‘or\‘‘), (‘kaoshi‘,‘12‘)]
        search=urllib.urlencode(table)
        req=urllib2.Request(url)
        get=urllib2.urlopen(req, search).read().decode(‘gbk‘).encode(‘utf-8‘)
        l=r=get.find(‘姓名‘)
        if l!=-1:
            while get[l]!=‘>‘:
                l+=1
            while get[r]!=‘&‘:
                r+=1
            print str(10000+i*100+j)+get[l+1:r]
            f.write(str(10000+i*100+j)+‘,‘+get[l+1:r]+‘\n‘)
f.close()

注意我把学校查成绩的url改为百度的url了因为怕有人对我的学校网站做一些奇怪的事。

20161016