python python 入门学习之网页数据爬虫搜狐汽车数据库

自己从事的是汽车行业，所以首先要做的第一个程序是抓取搜狐汽车的销量数据库（http://db.auto.sohu.com/cxdata/）；

数据库提供了07年至今的汽车月销量，每个车型对应一个xml数据，比如速腾的销量：http://db.auto.sohu.com/xml/sales/model/model1004sales.xml

现在需要做的是遍历所有车型，以这个格式保存 ‘车型----日期----销量’。

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2,string,re,time
j=0
file = open(‘D:\Program Files\Notepad++Portable\App\Notepad++\databasesohu.txt‘,‘r‘).read()
f=file.split(‘\n‘)
for n in range(0,len(f)):
   #开始访问
  if f[n]<> "":
   j=j+1
   wb=urllib2.urlopen(‘http://db.auto.sohu.com/xml/sales/model/model‘+str(f[n])+‘sales.xml‘).read()
   #获取车型名字
   code=wb[wb.index(‘name=‘)+6:wb.index(‘">‘)]
   model=f[n]+"---"+code
   #print model #标记用的
   reg=‘sales date=.(.*?). salesNum=.(.*?)./>‘
  #正则表达式
   list=re.compile(reg).findall(wb)
   for i in range(len(list),0,-1):
    lt=list[i-1]
    lt=lt[0]+"---"+lt[1]
    Mdata=model+"---"+lt
    print Mdata
    file1 = open(‘D:\Program Files\Notepad++Portable\App\Notepad++\save.txt‘,‘a‘)
    file1.write(Mdata+ ‘\n‘)
    file1.close()
    #时间延迟
   time.sleep(0.5)

else:
  print ‘over‘
print j

file = open(‘D:\Program Files\Notepad++Portable\App\Notepad++\databasesohu.txt‘,‘r‘).read()
f=file.split(‘\n‘)打开车型代码大全，并用换行符分割

wb=urllib2.urlopen(‘http://db.auto.sohu.com/xml/sales/model/model‘+str(f[n])+‘sales.xml‘).read()

然后开始遍历车型，用URLlib2进行访问，获取汽车名称model。用正则表达式获取日期及销量（此处也可以用xml处理来获得）。将数据保存至text文档。新手需要注意的问题是 python中文件的读取的方法，此处用的open(,‘a‘)，就是add的意思。

参考：http://www.cnblogs.com/allenblogs/archive/2010/09/13/1824842.html     http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001374738281887b88350bd21544e6095d55eaf54cac23f000