动态网页爬取

　　四六级成绩查询网站我所知道的有两个：学信网（http://www.chsi.com.cn/cet/）和99宿舍（http://cet.99sushe.com/），这两个网站采用的都是动态网页。我使用的是学信网，好了，网站截图如下：

网站的代码如下：

1. 1 <form method="get" name="form1" id="form1" action="/cet/query">
2. 2
3. 3 <table border="0" align="center" cellpadding="0" cellspacing="0">
4. 4 <tr><td align="right">准考证号：</td><td align="left"><input name="zkzh" value="112008000463141" id="zkzh" type="text" size="18" maxlength="15" class="input_text input_t_l" /></td>
5. 5 <td align="left" class="font12 color666">请输入15位准考证号</td>
6. 6 </tr>
7. 7 <tr><td align="right">姓名：</td><td align="left"><input name="xm" value="啊啊" id="xm" type="text" size="18" maxlength="50" class="input_text input_t_l" /></td>
8. 8 <td align="left" class="font12 color666">姓名超过3个字，可只输入前3个</td>
9. 9 </tr>
10. 10
11. 11 <tr><td align="center">&nbsp;</td>
12. 12 <td colspan="2" align="left"><input type="submit" id="submitCET" class="btn_blue" value="查询" /></td>
13. 13 </tr>
14. 14 </table>
15. 15 </form>

由图中可以看出表单提交的链接为/cet/query，即：http://www.chsi.com.cn/cet/query，好了，填写表单和结果如下：

但是，点击查看源代码之后发现，没有成绩，即代码仍是上面那个，之后按F12查看代码：

1. 1 <TBODY><TR>
2. 2 <TH>姓名：</TH>
3. 3 <TD>XXXX</TD></TR>
4. 4 <TR>
5. 5 <TH>学校：</TH>
6. 6 <TD>XXXXXX</TD></TR>
7. 7 <TR>
8. 8 <TH>考试类别：</TH>
9. 9 <TD>英语四级</TD></TR>
10. 10 <TR>
11. 11 <TH>准考证号：</TH>
12. 12 <TD>120135151100101</TD></TR>
13. 13 <TR>
14. 14 <TH>考试时间：</TH>
15. 15 <TD>2015年06月</TD></TR>总分：</TH><TD class=fontBold vAlign="top"><SPAN class=colorRed>403 </SPAN><BR><SPAN class=color666>听力：</SPAN> 132 <BR><SPAN class=color666>阅读：</SPAN> 147 <BR><SPAN class=color666>写作与翻译：</SPAN> 124 </TD></TR>

该代码显示了成绩，可以知道，该网站使用的是动态网页，用的JavaScript或者Ajax.js还是其他的我就不知道了0.0。上面为需求。

　　前言：使用过BeautifulSoup爬取过，但是BeautifulSoup是爬取不了动态网页的，上各种论坛找各种资料，用了n种东西，scapy,pyqt等等，走了真心不少弯路，不是不行，应该是我不会用，最终用了selenium和phantomjs，这两个应该也是目前最流行的爬虫模块了吧。

一、导入selenium和phantomjs

1. 1 from selenium import webdriver
2. 2
3. 3 driver = webdriver.PhantomJS(executable_path=‘D:\phantomjs-2.1.1-windows\phantomjs.exe‘)
4. 4 driver.get(url)
5. 5 driver.find_element_by_id(‘zkzh‘).send_keys(i)
6. 6 driver.find_element_by_id(‘xm‘).send_keys(xm)
7. 7 driver.find_elements_by_tag_name(‘form‘)[1].submit()

　　代码说明：

　　3.selenium可以加载很多驱动，比如Chrome、FireFox等，这里需要有这两个浏览器和驱动才行，折腾了一下，网上说Phantomjs是较好的了

　　5、6、7分别是准考证号，姓名和提交

二、字符处理

提交之后就可以直接查找了:

1. 1 print driver.find_element_by_xpath("//tr[3]/td[1]").text
2. 2 print driver.find_element_by_xpath("//tr[6]/td[1]").text

　　代码说明：

　　1.查看姓名

　　2.查看分数及其具体成绩

　　打印之后为：

1. 姓名
2. 403
3. 听力
4. 132
5. 阅读
6. 147
7. 写作
8. 142

　　之后要对分数进行字符串处理，选取各部分的数字，这里我们采用re模块：

1. 1 import re
2. 2 m = re.findall(r‘(\w*[0-9]+)\w*‘, chuli2)

　　其中m是数组，输出的是["403","132","147","142"]

三、数据库

　　我们学校也不知说很渣还是人性化，反正公布了全校的四六级准考证号，当然，是excel的，需要导入mysql数据库，打开Excel之后，我发现微软大法和Oracle真是牛逼啊，Excel365居然有mysql workbench连接部分

数据库代码如下：

1. 1 import MySQLdb
2. 2
3. 3 conn = MySQLdb.Connect(host=‘localhost‘, user=‘root‘, passwd=‘root‘, db=‘cet‘, port=3306, charset=‘utf8‘)
4. 4 cur = conn.cursor()
5. 5 curr = conn.cursor()
6. 6 cur.execute("select name from cet.cet where zkzh=(%s)" % i)
7. 7 xm = cur.fetchone()[0]
8. 8 print "Name is " + xm
9. 9 sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % (
10. 10 ss, m[0], m[1], m[2], m[3], i)
11. 11 cur.execute(sqltxt)
12. 12 conn.commit()
13. 13 cur.close()
14. 14 conn.close()

　　代码说明：

　　3.python连接数据库代码

　　6.连接数据库取得姓名部分

　　9.这行我好无语啊，使用‘“+ss+”’这样的写法一直报错，最终找了半天资料，这个写法我不太喜欢，但是凑合着用吧。

　　12.记得一定要提交事务！！！commit（）！！！不然是没有效果的

四、使用代理服务器（保留以后写）

　　运行了一段时间之后，大概抓了几百人的吧，然后就出现要求验证码了，解决办法只能处理验证码或者使用代理服务器了，这部分继续加强学习再弄出来了(^ω^)

五、源代码和效果

1. 1 # encoding=utf8
2. 2
3. 3 import MySQLdb
4. 4 import re
5. 5 import time
6. 6
7. 7 from selenium import webdriver
8. 8
9. 9 # connect mysql,get zkxh and xm
10. 10 conn = MySQLdb.Connect(host=‘localhost‘, user=‘root‘, passwd=‘root‘, db=‘cet‘, port=3306, charset=‘utf8‘)
11. 11 cur = conn.cursor()
12. 12 curr = conn.cursor()
13. 13 url = ‘http://www.chsi.com.cn/cet/query‘
14. 14
15. 15
16. 16 def kaishi(i):
17. 17 print i,
18. 18 print " start"
19. 19 try:
20. 20 cur.execute("select name from cet.cet where zkzh=(%s)" % i)
21. 21 xm = cur.fetchone()[0]
22. 22 print "Name is " + xm
23. 23 driver = webdriver.PhantomJS(executable_path=‘D:\phantomjs-2.1.1-windows\phantomjs.exe‘)
24. 24 driver.get(url)
25. 25 driver.find_element_by_id(‘zkzh‘).send_keys(i)
26. 26 driver.find_element_by_id(‘xm‘).send_keys(xm)
27. 27 driver.find_elements_by_tag_name(‘form‘)[1].submit()
28. 28 driver.set_page_load_timeout(10)
29. 29 leibie = driver.find_element_by_xpath("//tr[3]/td[1]").text
30. 30 leibie2 = str(leibie.encode("utf-8"))
31. 31 ss = ""
32. 32 if leibie2.decode("utf-8") == ‘英语四级‘.decode("utf-8"):
33. 33 ss = 4
34. 34 else:
35. 35 ss = 6
36. 36 # zongfen = driver.find_element_by_xpath("//tr[6]/th[1]").text
37. 37 # print zongfen
38. 38 # print "===="
39. 39 chuli = driver.find_element_by_xpath("//tr[6]/td[1]").text
40. 40 print chuli
41. 41 chuli2 = str(chuli.encode("utf-8"))
42. 42 m = re.findall(r‘(\w*[0-9]+)\w*‘, chuli2)
43. 43 sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % (
44. 44 ss, m[0], m[1], m[2], m[3], i)
45. 45 cur.execute(sqltxt)
46. 46 conn.commit()
47. 47 print str(i) + " finish"
48. 48 except Exception, e:
49. 49 print e
50. 50 driver.close()
51. 51 time.sleep(10)
52. 52 kaishi(i)
53. 53
54. 54
55. 55 # for j1 in range(1201351511001, 1201351512154):
56. 56 for j1 in range(1201351511007, 1201351512154):
57. 57 for j2 in range(0, 3):
58. 58 for j3 in range(0, 10):
59. 59 j = str(j1) + str(j2) + str(j3)
60. 60 if str(j2) + str(j3) == "00":
61. 61 print "0.0"
62. 62 elif str(j2) + str(j3) == "29":
63. 63 kaishi(str(j1) + str(j2) + str(j3))
64. 64 j4 = str(j1) + "30"
65. 65 kaishi(j4)
66. 66 else:
67. 67 kaishi(j)
68. 68 print "END!!!"
69. 69 cur.close()
70. 70 conn.close()