Spark(八) -- 使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址:

官方下载

选择右下角的Community Edition版本下载安装即可

本文中使用的是windows系统

环境为:

jdk1.6.0_45

scala2.10.5

在网上下载jdk和scala的安装包双击运行安装即可

注意:如果之后要将scala文件打包成jar包并在spark集群上运行的话,请确保spark集群和打包操作所在机器 环境保持一致!不然运行jar包会出现很多异常

要使用idea开发spark程序首先要安装scala插件

进入idea主界面

在线安装:

选择Plugins

输入scala

选择安装即可

离线安装:

scala离线插件包

下载完scala插件包之后,在idea主界面的Plugins中选择从本地安装

选择下载好的scala插件安装即可

本文使用的是Idea14.1.3 对应的scala插件版本为1.5

不同版本的Idea对应的scala插件版本可能不同,无法识别

现在可以用idea来新建一个scala项目

New Project->Scala

再此页面中选择jdk和scala安装的目录,Idea会自动识别

Finish完成Project的创建

在File中选择Project Structure对项目进行配置

选中左侧的Mudules,点击+号添加一下新的Module。Idea中的Project相当于Eclipse中的一个WorkSpace,里面的Module相当于Project

新建一个First的Module

在src目下新新建main和scala目录,并设置为Sources类型

点击左侧的Liberaries,点击+进行添加spark的jar包

只要引入图中的那个jar包即可,spark版本为1.3.1,一般下载spark之后可以在其目录下找到

在scala文件夹下右键新建一个scala class,类型选择为Object

编写简单的代码

File->Project Structure->在右侧选择Artifacts->JAR->From modules with dependencies

选择新建的Test

将默认的SparkApp:jar重新名一下,并将依赖包删除,只剩First这个module本身(因为集群上已经安装了jdk,scala和spark,所以那些包可以去掉节省编译时间)

在菜单栏上选择Build->Build Artifacts

如图所示的操作

编译成功后可以在对应的输出文件夹下找到jar包

需要注意:

编译选择Main Class时如果是手动选择Object的话,Idea会弹出错误提示xx is not acceptable,而让其自动过滤选择的时候就不会。。。

scala代码中,如果注释中有中文默认可能会编译错误

在下图设置中加入

-ENCODING UTF-8

即可

时间: 2024-11-04 18:59:17

Spark(八) -- 使用Intellij Idea搭建Spark开发环境的相关文章

IntelliJ IDEA 搭建 Go 开发环境

本文介绍 Windows7 x64 基于 IntelliJ IDEA 搭建 Go 语言开发环境.主要是一些操作过程截图以及简单文字描述,如有不清楚的地方?,欢迎指正.所有软件使用当前(2016.12.02)最新版本,旧版或新版可能存在细微差异. 一.网络代理软件 cntlm 从 这里 下载最新 0.92.3 版本 cntlm.cntlm 作用是方便在 Windows 下执行 go get .参照以下注意事项,并保留监听端口为默认的 3128,其它具体安装及配置参考<cntlm内网代理的代理>.

Intellij Idea搭建Spark开发环境

在Spark高速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置.在那里还介绍了使用spark-submit提交应用.只是不能使用vim来开发Spark应用.放着IDE的方便不用.这里介绍使用Intellij Idea搭建Spark的开发环境. 1.Intellij Idea的安装 因为Spark安装在Ubuntu环境中.这里的Idea也安装在Ubuntu中.首先是下载,到官网下载就可以.下载完后解压到待安装的文件夹: sudo tar -zxvf ideaIU-2016.1

IDEA如何快速搭建Java开发环境,IntelliJ IDEA mac新手入门

作为IntelliJ IDEA mac新手,IDEA如何快速搭建Java开发环境呢?今天小编就给大家带来了IntelliJ IDEA mac使用教程,想知道IDEA如何快速搭建Java开发环境? 全局JDK(默认配置) 具体步骤:顶部工具栏 File ->Other Settins -> Default Project Structure -> SDKs -> JDK 示例: 根据下图步骤设置JDK目录,最后点击OK保存. 注:SDKs全称是Software Development

自定义搭建PHP开发环境

学习了一段时间php了,因为之前是刚接触php,所以用的是集成安装包(wamp).现在想进一步了解apache.mysql.php之间的关系以及提升自己所以进行自定义搭建PHP开发环境.废话不多说,请看一下内容:进行搭建开发环境的准备工作:(window系统)1.尽量将之前的安装的集成环境删除干净.2.先建好安装目录,将apache.mysql.php集成于amp总目录中,不要出现中文目录. 3.将安装包准备好.http://pan.baidu.com/s/1mhxEPkc 开始搭建: 第一步.

搭建vue开发环境的步骤,六步完成

搭建vue开发环境的步骤,其实也挺简单的,之前这环境的配置也困扰着我一:在搭建vue的开发环境之前,一定一定要先下载node.js,vue的运行是要依赖于node的npm的管理工具来实现,下载地址:http://nodejs.cn:注意是32还是64位:二:下载好node之后,打开docs管理工具,先看看node安装成功了没有,输入 node -v ,回车,会输出node的版本号. 三:淘宝镜像安装成功之后,我们就可以全局vue-cli脚手架,输入命令:npm install --global

Android Studio与Genymotion搭建Android开发环境

概述: Android Stduio是Google在推行的Android IDE,前身是IntelliJ IDEA,是一款Android开发的利器.而Genimotion是一款十分流畅的安卓模拟器,相比谷歌自带的安卓模拟器的龟速启动,Genimotion的速度是非常快的,下面我就为大家介绍使用AndroidStduio与Genymotion来在Windows搭建Android开发环境. 安装jdk: 1.在安裝Android Studio前,要先安裝好JDK现在最新的版本是JDK 8,可以到此链

如何为电脑(win7)搭建Android开发环境

对于Android初学者来说,熟练掌握搭建Android开发环境能提高对它的理解.具体分为两个部分:下载工具和安装测试. 第一部分:下载工具. 需要下载,jdk,Android SDK,IDE. 1.jdk是Java开发工具.进入Oracle首页,找到Java SE标签,进入标签有download子标签,在此标签下提供最新版本的jdk开发工具,下载面向软件开发人员的版本即可. 2.Android SDK是Android 软件开发工具包.进入Android首页,首页会更新最新版本的Android,

使用BAE3.0搭建微信开发环境

前言 花了一晚上的时间把微信开发者文档看了一遍,一直处于跃跃欲试的状态,但是找不到有公网IP的服务器,合租房的路由器,不知道用户名密码,也没法设置DDNS.然后就想到了之前用过的SAE,以前只用SAE搭建过一个WordPress,没部署过JavaEE应用,看了一下,发现JDK是OpenJDK6,想到JDK7都不更新了,顿时没了兴致:然后就想到了BAE,OpenJDK7,凑合用吧. 开发部署流程 搭建好开发环境之后,我的开发流程是这样的,eclipse创建maven项目,编写完代码后,maven

Windows+Apache搭建PHP开发环境

本文详细介绍了在Windows8.1(X64)下使用Apache2.4.12-x64-vc11/php-5.6.7-Win32-VC11-x64/Mysql5.6.24/phpMyAdmin4.4.2搭建php开发环境. 第一步:下载安装的文件 1. 建议选择无SSL功能的Apache版本来完成开发. 2. Windows下安装MySQL就选择.msi安装包格式,双击根据向导安装即可,简单方便. 3. PHP我们选择用Windows的.zip版本.从安全性和性能来说,都是zip版本的好,一般服务

搭建PHP开发环境 apache+MySQL+PHP 安装phpMyAdmin模块

该博文参考的资料来源于: http://wenku.baidu.com/view/0e4c569ddd3383c4bb4cd267.html http://www.cnblogs.com/pharen/archive/2012/02/06/2340628.html http://www.admin10000.com/document/54.html http://blog.csdn.net/zutsoft/article/details/21651041 昨天花了差不多一天的时间,跳过无数“坑”