一、引言
前面小编已和各位童鞋分享了如何爬去历史天气网站的城市信息,下面将和大家分享如何将采集到的信息保存下来。
1、将采集到的信息保存在csv文件中
2、将采集到的信息保存在sql server 2014 中
二、将采集到的信息保存在csv文件中
在工程下新建一个area文件夹,由于代码简单,小编就直接贴出来了:
1 # coding = utf-8 2 3 import urllib 4 import urllib.request 5 from bs4 import BeautifulSoup 6 import csv 7 import json 8 9 provincelst=[] 10 11 def getProvinces(): 12 url = ‘http://lishi.tianqi.com/‘ 13 response = urllib.request.urlopen(url, timeout=20) 14 result = response.read() 15 soup = BeautifulSoup(result, "lxml") 16 provinces = soup.select(".nav_b .select #province option") 17 18 for priovince in provinces: 19 py = priovince.get(‘py‘) 20 id = priovince.get(‘value‘) 21 name = priovince.get_text().split(‘ ‘)[1] 22 provincelst.append([id,py,name]) 23 24 with open(‘area/province.csv‘, ‘w‘, encoding=‘utf8‘, newline=‘‘) as csvfile: 25 fieldnames = [‘id‘, ‘py‘, ‘name‘] 26 writer = csv.DictWriter(csvfile, fieldnames=fieldnames) 27 writer.writeheader() 28 for a in provincelst: 29 writer.writerow({‘id‘: a[0], ‘py‘: a[1],‘name‘: a[2] }) 30 31 getProvinces()
24-29行为导出csv文件的代码。
三、将采集到的信息保存在sql server 2014 中
时间: 2024-09-29 05:23:01