在eclipse中配置spark 0.9.1源码的开发环境

一、准备工作:

1、下载release版spark 0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。

2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。

二、配置工作

1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图:

2、找到spark-0.9.1-bin-cdh4\core\src\main,目录下java、resources、scala三个目录,如下图

找到spark-0.9.1-bin-cdh4\repl\src\main,目录下有sacla一个目录,如下图

将java、resources、scala、scala共4个目录及文件到项目ide的src目录下,repl\src\main下的sacla目录在ide里改为repl,ide中的目录结构如下:

然后在ide中刷新,更新项目目录。

3、在ide弹出项目的“properties”窗口。

A、在”Java Build
Path\Libraries”找到添加Hadoop和Spark的包,如下图所示:

其中,对spark-assembly_2.10-0.9.1……cdh4.2.0.jar文件做修改,把里边的org\apache\spark目录删除掉。

B、在”Java Build
Path\Source”页面点击“Link Source……”

操作4次,分别添加java、resources、scala、repl目录,然后“Remove”按钮,删除项目原有的src目录,结果如下:

最终的项目结构如下图所示:

此时,ide已经可以编译,但有错误,原因是编译配置不对。

4、编译设置

A、java编译配置

B、scala编译配置

5、运行。

在ide中找到org\apache\spark\repl包下的Main.scala,打开后运行应该可以看到如下内容:

启动完后,与spark-shell的操作界面一样,如下图:

时间: 2024-10-19 13:16:28

在eclipse中配置spark 0.9.1源码的开发环境的相关文章

阅读源码的重要性:如厨师选食材,耍厨具——在Eclipse中如何查看Java、Android源码

首先,很多人说,不会看jdk中的源码就不叫学过Java.显然这是肯定的.打个比方:真正的厨师需要从食材的选取.加工,到最后的烹饪.装盘成型,甚至到最后给用户介绍食用方法等一整套流程走下来.而实际上很多厨师只是做了其中的一小部分,所以最多也只能叫得上"炒菜的",而不是一个厨师.而很多顶级餐厅强调选材,就是从源头上找到适合做某道菜的原料,甚至是反过来,得到一个供应链供应某种独特食材而专门为该材料设计某种烹饪技术.这就是从头至尾的资源最大化利用,其体现创新及内功的地方贯穿整个流水线!特别的,

在Eclipse中配置Tomcat7.0

为了在Eclipse中进行struts2的测试,才发现自己机器上的Eclipse没有集成Tomcat,在网上找了半天,不是这个插件没有下载地址,就是那个有好多注意事项或者版本问题.结果,自己到tomcatforEclipse的插件的网上直接下载了一个,按照提供的说明一下子就配成了.网上的那么多配置文章,唉,不说啥了.看看我的配置步骤吧. 1,Eclipse的安装.这个是从Eclipse的官方网站下载的.不用教吧,下载后exe文件执行安装. 2,下载一个tomcat,从apache的官方网站上下载

在Eclipse中配置Tomcat 创建和运行Servlet/JSP

在Eclipse中配置Tomcat 创建和运行Servlet/JSP 步骤一:在Eclipse中配置Tomcat(注意下载Eclipse IDE for Java EE Developers) (1)在Eclipse中配置Tomcat.选择Window→Preferences命令,在打开的对话框左边列表框中选择Server节点中的Runtime Environments.单击窗口右侧的Add按钮,打开New Server Runtime Environmen对话框,在该对话框中可选择服务器的类型

如何在eclipse中配置反编译工具JadClipse

Q:为什么有必要在开发环境中配置反编译工具呢? A:  当运行引用了第三方jar包项目时,突然报出了jar包中的某个类的某一行出现异常.我们想看一下这个class文件的代码时,经常出现了如下图所示的场景: god ,我的内心是崩溃的. 去找源码吗?可以,but很浪费时间(除非是maven项目,在pom.xml中引入依赖jar包会连同源文件下载下来). so ,在eclipse中配置反编译工具,就可以随时查看class文件的内容了. 下面就以JadClipse为例,讲述一下配置过程,如有高见,不吝

在Eclipse中配置Heritrix

一.新建项目并将Heritrix源码导入 1.下载heritrix-1.14.4-src.zip和heritrix-1.14.4.zip两个压缩包,并解压,以后分别简称SRC包和ZIP包: 2.在Eclipse下新建Java项目,取名Heritrix.1.14.4: 3.复制SRC包下面src/java文件夹下org和st两个文件夹到项目中的src包下: 4.复制SRC包下src下conf文件夹到项目根目录: 5.复制SRC包下lib文件夹到项目根目录: 6.复制ZIP包下webapps文件夹到

在Eclipse中配置Struts2

下面介绍在Eclipse中配置Struts2的过程: 一.下载Struts2,因为Struts2是开源的,百度或者google一下就可以找到下载地址.我下载的是struts-2.3.1.2版本 的,解压之后入下图: apps目录:Struts2的范例 docs目录:Struts2的文档 lib目录:Struts2的类库 src目录:关于Struts2的一些资源 二.现在是利用apps中的范例实现一个helloworld的action,在apps目录下有几个war文件,如下图: 这几个文件可以用W

如何在Eclipse中配置Tomcat(免安装版)

如何在Eclipse中配置Tomcat(免安装版) 2013-10-09 23:19wgelgrsh | 分类:JAVA相关 | 浏览642次 分享到: 2013-10-10 17:10提问者采纳 一.确定你的Tomcat的安放路径. 这里我以自己的为例子:“E:\安装包\Apache-tomcat-6.0.29-windows-x86\apache-tomcat-6.0.29”.二.安装Eclipse和jdk(推荐1.4以上)(这个就不详细说了)三.下载插件TomcatPlugin 这里我用的

在eclipse中配置maven

在eclipse中配置maven 2012-08-27 22:53:30|  分类: java |  标签:eclipse  安装maven  |举报|字号 订阅 maven下载地址: http://maven.apache.org/download.cgi 默认STS和myeclipse都自带了maven的支持,如果使用eclipse开发maven项目,需要先安装m2eclipse这个eclipse的插件. 一.安装插件 Help - Install New Software... 在Inst

Eclipse中配置Tomcat并创建Web项目

Eclipse中配置Tomcat并创建Web项目一.在Eclipse中设置Tomcat1.Tomcat位置的设定eclipse要启动Tomcat,必须知道所在位置.在菜单window—Preferences中,选择Tomcat,根据目前的版本(6.0),选择“Version 6.x”.然后点“Browse...”按钮,选择Tomcat home. 2.在对具体服务器进行管理的“Servers”子窗口中,点鼠标右键“New”-“Server” 3.双击新建的Server,在“Overview”窗口