4、Python将采集的信息保存

一、引言

前面小编已和各位童鞋分享了如何爬去历史天气网站的城市信息,下面将和大家分享如何将采集到的信息保存下来。

1、将采集到的信息保存在csv文件中

2、将采集到的信息保存在sql server 2014 中

二、将采集到的信息保存在csv文件中

在工程下新建一个area文件夹,由于代码简单,小编就直接贴出来了:

 1 # coding = utf-8
 2
 3 import urllib
 4 import urllib.request
 5 from bs4 import BeautifulSoup
 6 import csv
 7 import json
 8
 9 provincelst=[]
10
11 def getProvinces():
12     url = ‘http://lishi.tianqi.com/‘
13     response = urllib.request.urlopen(url, timeout=20)
14     result = response.read()
15     soup = BeautifulSoup(result, "lxml")
16     provinces = soup.select(".nav_b .select #province option")
17
18     for priovince in provinces:
19         py = priovince.get(‘py‘)
20         id = priovince.get(‘value‘)
21         name = priovince.get_text().split(‘ ‘)[1]
22         provincelst.append([id,py,name])
23
24     with open(‘area/province.csv‘, ‘w‘, encoding=‘utf8‘, newline=‘‘) as csvfile:
25         fieldnames = [‘id‘, ‘py‘, ‘name‘]
26         writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
27         writer.writeheader()
28         for a in provincelst:
29             writer.writerow({‘id‘: a[0], ‘py‘: a[1],‘name‘: a[2] })
30
31 getProvinces()

24-29行为导出csv文件的代码。

三、将采集到的信息保存在sql server 2014 中

时间: 2024-11-29 06:26:48

4、Python将采集的信息保存的相关文章

Python网络编程小例子:使用python获取网站域名信息

Whois简介 whois(读作"Who is",非缩写)是用来查询域名的IP以及所有者等信息的传输协议.简单说,whois就是一个用来查询域名是否已经被注册,以及注册域名的详细信息的数据库(如域名所有人.域名注册商).通过whois来实现对域名信息的查询.早期的whois查询多以命令列接口存在,但是现在出现了一些网页接口简化的线上查询工具,可以一次向不同的数据库查询.网页接口的查询工具仍然依赖whois协议向服务器发送查询请求,命令列接口的工具仍然被系统管理员广泛使用.whois通常

Python天气预报采集器 python网页爬虫

这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显.本来是打算采集腾讯天气的,但是貌似它的数据是用js写上去还是什么的,得到的html文本中不包含数据,所以就算了 爬虫简单说来包括两个步骤:获得网页文本.过滤得到数据. 1.获得html文本.  python在获取html方面十分方便,寥寥数行代码就可以实现需要的功能. def getHtml(url): page = urllib.urlopen(url) html = page.read() page.close() return

python学习之-员信息增删改查

python学习之-成员信息增删改查 主要实现了成员信息的增加,修改,查询,和删除功能,写着玩玩,在写的过程中,遇到的问题,旧新成员信息数据的合并,手机号和邮箱的验证, #!/usr/bin/env python# coding=utf8#author:[email protected] import os, sys, time,jsonimport re member_dict = \ {}member_name_list = []member_list = []def handler_mem

python学习笔记-对象持久化保存与恢复

序列化的概念很简单.内存里面有一个数据结构,你希望将它保存下来,重用,或者发送给其他人.你会怎么做?嗯, 这取决于你想要怎么保存,怎么重用,发送给谁.很多游戏允许你在退出的时候保存进度,然后你再次启动的时候回到上次退出的地方.(实际上, 很多非游戏程序也会这么干.) 在这个情况下, 一个捕获了当前进度的数据结构需要在你退出的时候保存到磁盘上,接着在你重新启动的时候从磁盘上加载进来.这个数据只会被创建它的程序使用,不会发送到网络上,也不会被其它程序读取.因此,互操作的问题被限制在保证新版本的程序能

python中提取位图信息(AttributeError: module 'struct' has no attribute 'unstack')

前言 今天这篇博文有点意思,它是从一个例子出发,从而体现出在编程中的种种细节和一些知识点的运用.和从前一样,我是人,离成神还有几十万里,所以无可避免的出现不严谨的地方甚至错误,请酌情阅读. 0x00 首先,题目是:读取一个位图文件(xxx.bmp),然后读取前30个字节,从这前三十个字节中提取一些信息. 这里有一些知识要先知道:一个位图的前30位有什么? BMP格式采用小端方式存储数据,文件头的结构按顺序如下: 前两个字节:'BM'表示Windows位图,'BA'表示OS/2位图: 一个4字节整

读取文本信息,拆分文本信息,根据拆分的文本信息保存在字典中

using System.Collections;using System.Collections.Generic;using UnityEngine; public class ObjectsInfo : MonoBehaviour { private Dictionary<int, ObjectInfo> objectInfoDict = new Dictionary<int, ObjectInfo>();//多个物品信息保存在字典中 ObjectInfo是一个类,在下面有定义

Android将应用log信息保存文件

相信大家在做应用调试的时候,不可能时时通过USB线连着电脑去查看log信息,所以,将应用的log信息保存到手机本地就很有必要了,有助我们从这些log信息中提取有用的部分,以解决一些bug,下面我把网上分享的代码中作了一些精简,作为开发者使用,个人觉得没必要通过用户上传给我们,用户上传的不需要这么庞大的log信息,仅仅那部分崩溃的log信息即可,可参考我的另外一篇blog:http://blog.csdn.net/weidi1989/article/details/7927273. 好了,废话不多

JAVA之IO技术-将java程序的异常信息保存在文件中

package ioTest.io2; import java.io.FileNotFoundException; import java.io.PrintStream; import java.util.Properties; /* * 将应用程序的异常信息输出到指定的log文件中 */ public class ExceptionToFile { public static void main(String[] args) throws FileNotFoundException { int

asp.net信息保存总结

ASP.NET保存信息总结(Application.Session.Cookie.ViewState和Cache等) 以下是关于ASP.NET中保存各种信息的对象的比较,理解这些对象的原理,对制作完善的程序来说是相当有必要的(摘至互联网,并非原创--xukunping) 在ASP.NET中,有很多种保存信息的对象.例如:APPlication,Session,Cookie,ViewState和Cache等,那么它们有什么区别呢?每一种对象应用的环境是什么?    为了更清楚的了解,我们总结出每一