1、历史天气查询网站-准备工作

一、引言

一直想学习Sql Server、Oracle数据库的优化技巧,以及一些Html的酷炫报表,可是没有数据。如果是自己造数据,觉得太麻烦,同时效果也不好。于是乎小编想到了爬虫,爬取网上的数据。

既然决定采用爬虫获取数据,下面就开始思考选择爬去什么类型的数据。有小说数据、豆瓣电影、天气数据等等,最终小编选择了天气数据。百度了几天了,浏览天气网站,发现历史天气查询网站的数据比较符合小编的感官,下面贴该网站的界面图。

二、目标网站截图

1、天气查询网站首页http://lishi.tianqi.com/

2、点击随便选择一个城市(阿城)

3、点击查看2017年4月天气

小编最终想要的爬取的数据是阿城的每天天气数据,即日期,最高气温,最低气温,天气,风向,风力。

三、准备工作

由于小编从毕业到现在的五年时间里,一直在用开发C#开发程序。虽然C#也是可以做爬虫工具,如果有时间的话以后小编会和大家分享一个C#异步编程的爬虫demo,但是现在还要想专业靠齐。

闲话少说,下面是我开发用到的软件。

1、Python 3.6

2、Sql Server

该软件可以去http://www.itellyou.cn/下载

3、Pycharm

四、总结

软件工具需要这三个就可以了。

小编自学了一段时间的Python,没有系统的看过一本Python的书籍。知识完全来源于百度及各位博主的无私奉献,如果有什么不对的地方,请各位勿喷。

另外,如果以后有时间的话会和大家分享.Net制作的爬虫工具。

时间: 2024-08-05 21:31:13

1、历史天气查询网站-准备工作的相关文章

微信公众号天气查询接口实例

这是来自百度API的一个天气查询的接口,支持历史7天和未来4天的天气情况查询,接口不错,分享给大家. 接口申请地址:http://apistore.baidu.com/apiworks/servicedetail/112.html 首先,获取一下apikey(貌似需要手机验证码认证下) 我调用的是历史7天和未来4天的接口,接口地址是: http://apis.baidu.com/apistore/weatherservice/recentweathers 我将这个天气查询的功能集成在了微信公众平

Python Flask 天气查询

一直觉得自己的博客太简单了,今天想加点功能上去,说干就干,准备加个最常用的,天气预报功能. 看了几个例子,觉得也不是很难,网上找个接口就是了,不过,这百度的apistore里面...死活不让我获取手机验证码,所以转向JUHE里面去,还送500次的免费次数,绝对够用了 进入正题 首先,这个功能的主旨是:通过其他网站提供的api接口取回数据,一般是JSON格式的,然后自己渲染在前端页面上 直接看代码,这个代码是测试用例,最后加到网站以后还需要自行修改,不用class,直接添加函数就好. import

2、历史天气首页信息提取

一.引言 上篇给大家介绍了Python爬虫索要爬去的源网站及所需的软件,本篇开始,将正式的开始爬取数据. 二.爬虫利器 Beautiful Soup 1.简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据. 2.安装 Beautiful Soup pip install beautifulsoup4 然后需要安装 lxml pip install lxml 三.开始爬取网页源码 1 # coding = utf-8 2 3 import urllib 4

写个简单的chrome插件-京东商品历史价格查询

说chrome插件编写的先关文章, 首推小茗的[干货]Chrome插件(扩展)开发全攻略. 有非常完善的理论,引用和demo代码. 但是还是建议看官方的 chrome extensions. chrome 插件是什么,能做什么 增强浏览器功能,HTML.CSS.JS.图片等资源组成的一个.crx后缀的压缩包. 从界面到网络请求,到本地资源的交互,都是统统可以的. 比如: ColorZilla: 取色工具 Octotree: github 项目的右边导航 FeHelper: Web 前端助手, j

用Python和Pandas以及爬虫技术统计历史天气

背景 最近在计划明年从北京rebase到深圳去,所以最近在看深圳的各个方面.去年在深圳呆过一段时间,印象最深的是,深圳总是突然就下雨,还下好大的雨.对于我这种从小在南方长大但是后面又在北京呆了2年多的人来说,熟悉而又无奈. 今天早上本来想随便浏览浏览一个天气网站,看看深圳的历史天气如何的,但是,一不小心发现,这家网站竟然直接能用API来抓数据,这~~~还不抓一波,省的自己一个月一个月地看. 先上最后的效果图: 所有的code都在我的GitHub上:boydfd 下面从几个方面讲一讲我是怎么做的:

寒冬袭来,带你使用Flask开发一款天气查询软件吧

天气预报 获取天气预报数据,离不开中国天气网 http://www.weather.com.cn 天气预报网 登陆网站,在搜索栏中输入城市名称点击搜索,即可获取该地区的天气预报.比如我搜索西安,完成后会跳转至下面的网址: 西安天气 其他的都好说,但是这个地区编码怎么搞?F12看看网络请求… 爬虫思路 网络请求 我们可以看到网站先通过get请求,访问urlhttp://toy1.weather.com.cn/search?cityname=%E8%A5%BF%E5%AE%89并传参cityname

SQL SERVER2008历史日志查询

有需要找个工具能够查询sql server历史操作日志,比如误删除,误操作等,网上搜了好多,没有一个靠谱的.当然排除自己写sql记录操作日志,俺不懂sql语言.有可用的工具求推荐,感谢. log explorer for sql server 支持到SQL2005,以上不支持. sql server自带的管理--sql server日志 记录的登录和错误日志 强大的sql server profiler 主要作为实时分析进程或排错来用,不能查询历史日志,除非一直开着 查询transaction

Python爬取全国历史天气数据

1.通过爬取历史首页,来获取城市地址和历史时间,构建链接: ''' 获取全国的城市名称和链接 ''' import requests from lxml import etree import random import pymongo from time_list import get_time client = pymongo.MongoClient('localhost',27017) tianqi_data = client['tianqi_data'] time_url_table =

Android 身份证号码查询、手机号码查询、天气查询

1.基本信息 身份证号码查询:http://apistore.baidu.com/apiworks/servicedetail/113.html 手机号码:http://apistore.baidu.com/apiworks/servicedetail/117.html 天气查询http://apistore.baidu.com/apiworks/servicedetail/112.html 2.运行效果