气象数据集数据和相关源码

http://www.dataguru.cn/thread-260221-1-1.html

今天看了很多帖子,对气象数据集的数据下载都不是很清晰,我特地整理了一个。

老师提供的ftp://ftp3.ncdc.noaa.gov/pub/data/noaa已经转到ftp://ftp.ncdc.noaa.gov/pub/data/noaa了,具体见下:

2 下载气象数据集部分数据,写一个Map-Reduce作业,求每年的最低温度,部署并运行之,抓图过程

*****************************

下载气象数据集:

1. 下载地址:ftp://ftp.ncdc.noaa.gov/pub/data/noaa

可以通过wget或者ftp方式下载

wget方式:wget -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2008

ftp方式:

kevindemacbook-pro:~ kk$ ftp
ftp> open
(to) ftp.ncdc.noaa.gov      
ftp> ls
227 Entering Passive Mode (205,167,25,101,252,130).
150 Opening ASCII mode data connection for file list
drwxr-xr-x   2 root     root          512 Oct  6  2010 data
drwxr-xr-x   3 root     root          512 May 30  2013 nfs
drwxr-xr-x   8 ftp      ftp         32768 Apr  1 10:00 pub
-rw-r--r--   1 root     root          858 Dec  7  2012 welcome.msg
ftp> cd pub/data/noaa/1950

ftp>get 999999-94224-1950.gz

2.还有一种下载方式,以下的介绍中说明了教科书源码和数据的下载地址(参考 http://www.dataguru.cn/forum.php?mod=viewthread&tid=25921)

http://hadoopbook.com/code.html
Code and Data
The book’s example code is available from GitHub at http://github.com/tomwhite/hadoop-book/.
The code for the third edition is at https://github.com/tomwhite/hadoop-book/tree/3e.
A sample of the NCDC weather dataset that is used throughout the book can be found at https://github.com/tomwhite/hado ... ster/input/ncdc/all

另外看到有同学下的地址是:ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2008

这个地址下数据格式与老师给的不同,当然,分析一下改改代码也是可以使用的。

还有同学提供的下载地址:

ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/
这个地址下数据格式与老师给的不同,当然,分析一下改改代码也是可以使用的。

****************************

时间: 2024-11-09 03:24:07

气象数据集数据和相关源码的相关文章

物联网数据卡系统源码——通信模块

在这个万物互联的时代,物联网应用以及深入到我们生活的方方面面,大到智慧城市.智能交通,小到行车记录仪,各种穿戴设备,智能家居,都有物联网应用的身影,让我们感受到生活品质和档次的提升. 那么作为程序员的我们,物联网通信到底如何做呢? 本系列文章即将带您一起走进物联网系统开发的世界.也希望同行一起分享和讨论物联网相关知识和开发经验. 首先看一下物联网系统的整体架构,看上一篇文章:物联网数据卡系统源码——整体架构 本篇将讲解物联网系统中的通信模块实现原理及相关内容 物联网数据卡系统源码——通信模块 1

Cocos2d-X3.0 刨根问底(八)----- 场景(Scene)、层(Layer)相关源码分析

本章节我们重点分析Cocos2d-x3.0与 场景.层相关的源码.这部分源码集中在 libcocos2d –> layers_scenes_transitions_nodes目录下面 我先发个截图大家了解一下都有哪些文件.红色框里面的就是我们今天要分析的文件. 从命名上可以了解,这个文件夹里的文件主要包含了  场景,层,变换这三种类型的文件. 下面我们先分析Scene类 打开CCScene.h文件 /** @brief Scene is a subclass of Node that is us

ThreadPoolExecutor的应用和实现分析(中)—— 任务处理相关源码分析

转自:http://www.tuicool.com/articles/rmqYjq 前面一篇文章从Executors中的工厂方法入手,已经对ThreadPoolExecutor的构造和使用做了一些整理.而这篇文章,我们将接着前面的介绍, 从源码实现上对ThreadPoolExecutor在任务的提交.执行,线程重用和线程数维护等方面做下分析. 0.    ThreadPoolExecutor类的声明属性变量分析 public class ThreadPoolExecutor extends Ab

【高并发、大数据、javaWeb源码】maven_Springmvc_Mybatis_Shiro_REST_WebService_JMS_Lucene_Bootstrap

开发报捷:增加Lucene搜索引擎功能 1. 创建.初始化索引.统一搜索入口.搜索结果展现--内容.标题高亮.关键词搜索 2. 高级搜索:高级搜索增加多入口查询(精确查询.模糊查询.前缀查询等),每页显示条数自定义.索引结果数据设置.选择索引文档类型等) 集成lucene搜索引擎: 1. 使用阿里巴巴Druid连接池(高效.功能强大.可扩展性好的数据库连接池.监控数据库访问性能.支持Common-Logging.Log4j和JdkLog,监控数据库访问) 2. 提供高并发JMS消息处理机制 3.

JAVA数据杏彩源码搭建出售结构之链表

链表应该是继数组之后应用最广的通用存储结构,链表的机制灵活,用途广泛,适用于许多通用的数据库,也可取代数组作为其他的存储结构的基础,如栈和队列,除非需要频繁地通过下标访问数据,否则在很多使用数组的地方都可以使用链表来代替. 接下来本篇博文会讲解到单链表,双端链表,有序链表,双向链表,和有迭代器的链表.(迭代器是用来随机访问链表元素的一种方法) 链表的实现一般需要用到两个类,链表对象(包含对第一个链表节点的引用),链表节点(所有保存的数据,和对下一个链表节点的引用).这种 方式可以称作自引式,由于

ThreadingTCPServer相关源码和RequestHandler相关源码

BaseServer 源码: class BaseServer:     """Base class for server classes.     Methods for the caller:     - __init__(server_address, RequestHandlerClass)     - serve_forever(poll_interval=0.5)     - shutdown()     - handle_request()  # if you 

如何把hadoop相关源码关联到eclipse工程中

在eclipse中阅读源码非常方便,利于我们平时的学习,如下就供述如何把hadoop源码导入到eclpse的java工程中的 一:解压源码 首先,我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压,如图1所示 我们关注文件夹src,浏览该文件夹,如图2所示 我们需要这三个文件夹,一会我们会把这三个文件夹复制到eclipse中. 二:创建java工程 在eclipse中通过菜单栏创建一个java工程,如图3, 图3 这里创建工程叫做"HadoopShanghai&q

Android Touch事件相关源码【Android SourceCode 2.3.6】

2018-05-31 17:23:46 Note: 这里的源码来自Android 2.3.6,这个版本的代码比较简单,适合理解Touch事件的传递原理.后续版本源码复杂了很多,但是原理都是类似的. 2个方法源码较多,在这里记录下. View.java 1 /** 2 * Implement this method to handle touch screen motion events. 3 * 4 * @param event The motion event. 5 * @return Tru

看板娘相关源码介绍

做个记录,看到好玩的东西,看板娘如下: 下面的源码主要来自博客:https://www.cnblogs.com/zjfjava/p/9100898.html 是自己扣下来的,做了点调整,如果添加到你自己的博客没有效果可能是js冲突等,自己解决. <style> .lktest { left: 0px !important; } </style> <script src="https://cdn.jsdelivr.net/npm/[email protected]/l