使用Intellij IDEA构建spark开发环境

近期开始研究学习spark,开发环境有多种,由于习惯使用STS的maven项目,但是按照许多资料的方法尝试以后并没有成功,也可能是我环境问题;也可以是用scala中自带的eclipse,但是不太习惯,听说支持也不太好,好多问题;咨询一些人后说,IDEA对scala的支持比较好。所以尝试使用IDEA来构建Spark开发环境;

1.  安装JDK

2.  安装IDEA最新版,目前是IDEA 14,社区免费版就可以;

3.  安装scala插件,运行IDEA,初次运行,可以直接再弹出的tab框中选择“Configure” -> "plugins",如果已经使用过在工程页面,“File” -> "Settings" -> "Plugins" 或者Ctrl + Alt + S, 输入“scala”, 安装插件即可

4.  搭建Spark开发环境

4.1 下载spark的jar包, 在下载页面选择相应的spark版本, 包类型这里选择spark1.2.0, 和Pre-build for Hadoop 2.4进行下载spark-1.2.0-bin-hadoop2.4.tgz,解压, lib下的spark-assembly-1.2.0-hadoop2.4.0.jar是所需要的;

4.2 新建scala项目, “File” -> "New Project", 选择scala,scala,next起名字,finish

4.3 导入spark包

在项目页“File” -> "project structure" -> "Libraries", 点“+”,选“java”,找到spark-assembly-1.2.0-hadoop2.4.0.jar导入,这样就可以编写spark的scala程序了(例子有空补)

4.4 程序导出

如果在spark上运行程序,

时间: 2024-11-01 22:25:03

使用Intellij IDEA构建spark开发环境的相关文章

Intellij Idea搭建Spark开发环境

在Spark高速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置.在那里还介绍了使用spark-submit提交应用.只是不能使用vim来开发Spark应用.放着IDE的方便不用.这里介绍使用Intellij Idea搭建Spark的开发环境. 1.Intellij Idea的安装 因为Spark安装在Ubuntu环境中.这里的Idea也安装在Ubuntu中.首先是下载,到官网下载就可以.下载完后解压到待安装的文件夹: sudo tar -zxvf ideaIU-2016.1

Spark(八) -- 使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址: 官方下载 选择右下角的Community Edition版本下载安装即可 本文中使用的是windows系统 环境为: jdk1.6.0_45 scala2.10.5 在网上下载jdk和scala的安装包双击运行安装即可 注意:如果之后要将scala文件打包成jar包并在spark集群上运行的话,请确保spark集群和打包操作所在机器 环境保持一致!不然运行jar包会出现很多异常 要使用idea开发spark程序首先要安装scala插件 进入idea主界面 在

分别用Eclipse和IDEA搭建Scala+Spark开发环境

开发机器上安装jdk1.7.0_60和scala2.10.4,配置好相关环境变量.网上资料很多,安装过程忽略.此外,Eclipse使用Luna4.4.1,IDEA使用14.0.2版本. 1. Eclipse开发环境搭建 1.1. 安装scala插件 安装eclipse-scala-plugin插件,下载地址http://scala-ide.org/download/prev-stable.html 解压缩以后把plugins和features复制到eclipse目录,重启eclipse以后即可.

spark开发环境配置

以后spark,mapreduce,mpi可能三者集于同一平台,各自的侧重点有所不用,相当于云计算与高性能计算的集合,互补,把spark的基础看了看,现在把开发环境看看,主要是看源码,最近Apache Spark源码走读系列挺好的,看了些.具体环境配置不是太复杂,具体可以看https://github.com/apache/spark 1.代码下载 git clone https://github.com/apache/spark.git 2.直接构建spark 我是基于hadoop2.2.0的

Spark入门三部曲之第二步Spark开发环境搭建

使用Scala+IntelliJ IDEA+Sbt搭建开发环境 提示 搭建开发环境常遇到的问题: 1.网络问题,导致sbt插件下载失败,解决方法,找到一个好的网络环境, 或者预先从我提供的网盘中下载jar(链接:http://pan.baidu.com/s/1qWFSTze 密码:lszc) 将下载的.ivy2压缩文件,解压后,放到你的用户目录下. 2.版本匹配问题,版本不匹配会遇到各种问题,解决方法,按照如下版本搭建, scala(2.10.3),sbt(0.13),sbt-assembly(

Mac上搭建spark开发环境

本文将介绍在Mac os上搭建Spark开发环境. 在安装spark环境之前,需要确保配置相应的java环境,jdk或者jre的版本需要在1.8.0版本以上. (1)首先下载开发IDE,目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用,下载地址:https://www.jetbrains.com/idea/.(2)Spark环境搭建:mac上启动终端,使用brew install scala命令(brew是一个软件包管理工具,类似于centos下的yum或者ubuntu下的a

【React】使用 create-react-app 快速构建 React 开发环境

create-react-app 是来自于 Facebook,通过该命令我们无需配置就能快速构建 React 开发环境. create-react-app 自动创建的项目是基于 Webpack + ES6 . 1.$ cnpm install -g create-react-app 2.$ create-react-app my-app 3.$ cd my-app/ $ npm start 项目目录 create-react-app 执行慢的解决方法

Maven构建Hadoop开发环境

Maven构建Hadoop开发环境 软件环境:Eclipse Kepler x64 & Hadoop 1.2.1 & Maven 3 硬件环境:Centos 6.5 x64 1.Maven创建项目 使用CMD命令在工作空间执行 E:\ws\mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.conan.myhadoop.mr -DartifactId=myHadoop -Dp

JDK1.7+eclipse 4.4(luna)+pydev4.4.5构建django开发环境

最近一直用pycharm搞django学习,但是到2017年随着版本的不断更新,启动之慢,吃资源吃内存越来越严重.果然想找一个IDE替代品. 之前用java开发分布式WEB应用,用eclipse开了N多个tomcat服务也不觉得慢太多.对eclipse印象很是不错. 经过一两天的摸索,也走了一些弯路,终于搞定JDK1.7+eclipse 4.4(luna)+pydev4.4.5构建django开发环境,分享记录一下: 1.第一个坑就是JDK与eclips的位数要一致,必须同为32或64位.版本不