批量下载中国气象科学数据共享网的数据

这里不得不吐槽下我们国家的一些机构了。花着纳税人钱,买设备、搞监测、上项目,做的一些东西烂的不能用;获得的数据美其名曰共享,却搞三六九等,整什么一般会员、注册会员、核心人员,忍不住想问下这数据涉密吗,不看看老外都是免费提供的,一个个的害不害臊。吐槽完了,入正题。提前说下博主这里的账号是搞得核心账号,不然无法下载那些数据。

由于项目需要,需要下载站点的降雨量和蒸散发数据,但是这网站做的又特别不人道,超过50M数据量无法直接下载,需要定制,定制后说提供ftp下载,尼玛打开定制记录,一条条记录在哪摆着,说好的ftp呢,一个个下这还不得点死。还好借用wget可以较容易实现批量下载,但这期间也遇到了不少问题,刚下没几条,就提示“当前下载用户过多,请稍后下载”,那就等吧,尼玛劳资凌晨起来下数据,还给提示这个,这是做的什么破玩意,还让不让下数据了,一气之下就用账号留了言,然后发了伊妹儿,果然第二天就可以稳当下数据了。。这些有数据的真个个把自己当大爷了还。唉,世道如此啊。下面我们一步步来看如何实现数据的批量下载。

(1)登陆后点击定制记录可以看到摆着的一条条数据文件名,如下图所示。

(2)点击F12查看网页源码,如下图所示,可以看到每一条数据的下载地址和数据文件名;把整个网页的源码复制粘贴到一个新建的txt文本文件中,只需写一个简单的文本处理工具就可以把数据下载地址和文件名提取出来,这里已经写好,会和wget一起打包共享给大家。

(3)提取数据下载地址和数据文件名。这里的下载地址在源码的基础上添加了http://cdc.cma.gov.cn;提取的下载文件具体格式为:<下载地址><空格><文件名>,将文件保存在批量下载工具根目录即可,文件名为cma_src.txt,如下图所示

(4)使用wget批量下载数据

新建一个wget.bat文件,输入以下代码:

@echo off

.\wget-1.11.4-1-bin\bin\wget --post-data="userid=your_user_id&password=your_password" --save-cookies=cookie_wget --keep-session-cookies "http://cdc.cma.gov.cn/login.do"

for /F "tokens=1*" %%i in (cma_src.txt) do (

.\wget-1.11.4-1-bin\bin\wget --load-cookies=cookie_wget -c %%i -O .\data\%%j

)

需要修改的是用户名和密码,然后点击双击运行即可实现数据的批量下载。

最后附上工具下载地址:http://download.csdn.net/detail/liushuo_whu/8415929

时间: 2024-10-06 11:41:52

批量下载中国气象科学数据共享网的数据的相关文章

使用kettle批量下载文件

使用kettle批量下载文件 最新有项目中需要批量下载文件并把结果导入到数据中,通过一些实验测试,kettle确实可以胜任.问题是关键是如果通过http批量下载文件,本文将详细说明,假设你已经了解了kettle的基本知识,如果需要可以查看我的系列入门教程. 本文的示例代码可以在这里下载. 主作业 kettle的转换中没有通过http下载文件的步骤,但是job的有对应的步骤,所以在主job调用子job(Download.kjb),需要下载的文件列表通过一个转换提供. 文件列表转换 这里我仅仅使用数

批量下载慕课网视频

慕课网(http://www.imooc.com/)上有很多不错的视频,当然我不是来给慕课网打广告的,我本人学习过很多慕课网上的免费的视频. 在线看如果网速慢时,可能会有卡顿,没网时无法观看.所有说下载到本地,离线看视频是非常不错的选择.慕课网上没提供下载视频的入口,想下载到本地怎么办? 如果一次下载一个视频,那是very very easy,不用第三方工具就双腿搞定. 1.打开谷歌或谷歌内核的浏览器,按F12键,打开开始人员工具,地址栏输入http://www.imooc.com/video/

python实现网易云音乐批量下载

今天给大家带来的是网易云音乐批量下载,代码有些粗糙,以后有时间再慢慢改进.我只爬取了某个明星的全部歌曲,如果再添加点代码完全可以爬取整站音乐,但是我认为还是点到为止,剩下的代码也不难.首先,通过网页抓包获取真实音乐文件的链接,然后找到该提交地址,并分析传入的 data .比较走运的是,网上有很多关于获取 encSecKey和 params 的教程,大家可以搜索一下. 一.抓包 我们的目的是获取到真实的 URL 地址,可以看到 post 访问该网址,可以返回真实的 URL . 二.分析 post

中国气象网 气象数据开放平台 API使用方法 (Android)

由于要做个天气应用,需要找个天气的API.上网上搜了下都是那几个,而且基本都过时了.百度有个天气API,不过貌似只能提供当天的.网上提到的中国气象接口的文章,大都用的时旧API,有的被封了,有的永远停到了2014年3月24不更新了. 后来找到了中国天气的新接口,已经升级成气象数据开放平台了http://openweather.weather.com.cn/.没有开发者社区或论坛什么的,只能自己琢磨他的文档了(感觉没人维护..). 经过几个疑难点卡住后,总算调通了.现分享给大家. 1.申请keys

中国气象网 气象数据开放平台 API用法 (Android)

因为要做个天气应用.须要找个天气的API.上网上搜了下都是那几个,并且基本都过时了.百度有个天气API,只是貌似仅仅能提供当天的.网上提到的中国气象接口的文章,大都用的时旧API,有的被封了,有的永远停到了2014年3月24不更新了. 后来找到了中国天气的新接口,已经升级成气象数据开放平台了http://openweather.weather.com.cn/.没有开发人员社区或论坛什么的,仅仅能自己琢磨他的文档了(感觉没人维护..). 经过几个疑难点卡住后.总算调通了. 现分享给大家. 1.申请

7000个源码批量下载---复制来的

7000个源码批量下载 7000个源码批量下载 < type="text/javascript" language="JavaScript">document.title="7000个源码批量下载 - "+document.title http://asp.lt263.com/soft/SaGuestBook.rar 安全天使字符界面留言本(SaGuestBook)http://asp.lt263.com/soft/lbs.rar L

免费遥感图像数据共享网汇总

在资源生态环境方面的应用或研究,数据源可选择Landsat.Sentinel-1A(哨兵-1A).Sentinel-2A(哨兵-2A).资源卫星-2A(B).高分一号WFV.环境小卫星数据.MODIS数据.NOAA的AVHHR.SRTM的地形数据,这些数据基本可以免费获取. 国内网站 地理空间数据云 网址: www.gscloud.cn/ 说明:可下载landsat系列.MODIS系列.DEM数据高程数据.EO-1系列.Sentinel系列等卫星数据. 遥感集市 网址:http://www.rs

基于C#百度图片批量下载工具的实现

在家没网,无聊怎么办?不如来看点美女图片吧,网络快时批量下载,有空时慢慢看,嘿嘿,本人是个好人.于是这个工具的实现,那简直是迫在眉睫啊,来看看是怎么实现的吧. 先上图片吧: 这是软件的WinForm界面,基于C#实现. 上代码,也就100多行. using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using Sys

一个用于批量下载网络图片的Shell脚本

By Long Luo 最近为了做好一个天气预报的项目,需要从Yahoo下载一些天气图标,但是由于图标比较多,有80多张.图标是存储在Yahoo Image网站上的. 迅雷不支持https的下载,虽然可以在浏览器下载,但是在浏览器下载太慢,于是写了一个批量下载图片资源的Shell脚本,完美的解决了这个问题. Yahoo天气图标的地址规则如下:`https://s.yimg.com/zz/combo?a/i/us/nws/weather/gr/` + 图标名称 比如: 我使用了2种方法,解决了下载