要从零开始,五分钟做完一个基于SPARK的PM2.5分析项目,你是不是会问
1. PM2.5的数据在哪里?
2. SPARK的环境哪儿有?
3. 程序怎么编?
不用急,跟着我做,5分钟就可以从零开始完成所有的事情。
准备SPARK环境
今天,在各种公有云都可能申请到SPARK的环境。但彻底免费,启动最容易的是在超能云(SuperVessel)上面的SPARK服务,完全免费。
- 首先登录超能云主页 http://www.ptopenlab.com . 如果你之前没有申请过帐号,可以直接申请。新申请的帐号,会收到来自 [email protected] 的邮件,点击里面的链接来激活帐号。
- 登录之后,选择主页上面的"大数据实验室(Big data service)"。
- 登录大数据服务,在登录见面上再次输入你注册的用户名和密码。就可以进入大数据服务页面。
- 点击创建,即可进入创建大数据集群的界面。目前,超能云上提供了MapReduce和SPARK两种环境。我们选择SPARK,选择最小的单节点即可,如下图所示。
- 点击“确认创建”后,大概过30秒钟,单节点的SPARK环境就构建成功。可以看到如下界面。
时间: 2024-08-27 18:22:56