eclipse创建maven管理Spark的scala

说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。那么作为一个程序员首先是必须要把手中的宝剑给磨砺了。那就是创建好编写scala的代码环境。在这里由于我个人之前比较熟悉eclipse(虽然觉得他有点掉档次,踏实工具嘛,当然最好是选择自己最熟悉的辣)。好了,那么我想实现的就是在eclipse中创建maven工程来管理spark的scala的代码。在这个过程中,遇到了几个问题:

1、如何在eclipse中安装scala的插件

安装scala的插件可以在scala-IDE的官网上下载:http://scala-ide.org/,写在好了之后,相应的IDE往往是集成最新的版本的scala,如果你是纯粹的写scala的代码的话,是没有任何问题的。但是如果写有关spark的代码的话,就可能需要安装scala-2.10了。

实际上你可以直接下载对应的Scala For Eclipse的IDE即可。

2、如何用maven工程写scala的代码

往往上面在创建maven工程的时候,会没有scala-archetype-simple的模型,因此需要手动添加自定义的catalog,添加的方法就是如下所示:

步骤:window-->preferences--->maven--->Archetype  接下来的操作如下图所示:

网址:http://repo1.maven.org/maven2/archetype-catalog.xml

下一步:

3、最后一个问题最重要,由于spark是用scala2.10.4写的,那么你在写有关spark的代码的时候,当然也必须用scala2.10.4咯

ok,现在可以创建了maven的scala的工程了,但是还有一个小小的问题,原因是spark是用scala-2.10.x写的。因此,你在创建maven工程写spark的scala的代码的时候,需要修改一下对应的pom.xml中scala的版本即可。如下所示:

将上面的红色部分的版本进行修改,修改成如下所示:

保存即可。此时你创建的开发spark的环境已经搭建好了。接下来就愉快的玩spark吧

时间: 2024-10-11 23:06:19

eclipse创建maven管理Spark的scala的相关文章

使用eclipse创建maven管理的web项目(一)

一.简介 应对公司需求,对于传统项目管理方式,maven有许多的优点,比如依赖库明确.项目发布方便.统一的项目结构目录等. 二.创建步骤 1.打开eclipse,右键new-->other,如下图找到maven project 2.选择maven project,显示创建maven项目的窗口,直接next 3.填写maven基本信息 4.点击完成,这时候创建的maven项目并不完整,需要配置 5.右键project,点击properties配置jdk 6.配置,src/main/webapp为&qu

eclipse创建maven工程

Maven的常见打包方式:jar.war.pom Pom工程一般都是父工程,管理jar包的版本.maven插件的版本.统一的依赖管理.聚合工程. itrip-parent:父工程,打包方式pom,管理jar包的版本号. |           项目中所有工程都应该继承父工程. |-- itrip -common:通用的工具类通用的pojo.打包方式jar |-- itrip -manager:服务层工程.聚合工程.Pom工程 |-- itrip -manager-dao:打包方式jar |--

eclipse 创建maven 项目 动态web工程(出现问题)

Eclipse 创建maven 项目 动态web工程 注:Eclipse版本为(Version: Mars.1 Release (4.5.1))maven版本为(apache-maven-3.3.9) 1. 此处是在你安装好了maven插件的前提下进行的并且配置好了你的maven环境指定好了你的maven的本地仓库.下面就开始maven web项目的搭建 首先:点击新建一个项目maven 2.点击next 3.选择web选项 4.创建你的项目的坐标点击finish完成 5.项目创建完成但是有错误

eclipse创建maven web项目

eclipse创建maven web项目: 1.安装eclipse maven插件 2.新建maven project选择webapp模板. 3.改造为maven文档结构. 4.添加项目的JAVAEE支持 这里我选择的web modul版本为2.5,因为我平时使用的tomcat版本为tomcat 6.在右侧的runtime处可以配置tomcat 如果web modul版本选择3.0的话,tomcat 6是不能选择的. 添加web modul后目录结构发生了变化: 将WebContent目录内的复

Eclipse创建Maven时提示错误could not resolve archetype

今天用Eclipse创建Maven多模块项目的时候提示错误: could not resolve archetype ******release from any of the configured repositories 这个问题网上主要是两个解决方案: 1.是修改setting.xml文件 详情请见:http://www.cnblogs.com/dingyingsi/p/3616802.html 2.是添加新的Catalog配置 详情请见:http://blog.csdn.net/afga

Eclipse创建Maven Web项目 + 测试覆盖率 + 常见问题(2015.07.14--小赞)

Eclipse创建Maven web项目: 到此,并没有创建好,接下来一步步解决问题: 问题:无法创建src/main/java目录 解决: 右键项目选择[properties] 点击[OK] 问题:Cannot change version of project facet Dynamic web module to ... 解决办法: 改为你要的版本,我设为1.7 改为你要的版本,我设为1.7.0 我设为: 保存,刷新项目: 到此尚未完成,还有一个文件要修改,web.xml: 改为: <?x

用eclipse创建maven项目pom.xml报错的解决办法

最近刚学习Maven,用Eclipse创建Maven项目后,pom.xml文件那老是有一个红叉,真TM烦人. 虽然还不知道原因是什么,但还是找到了一种解决办法. 在项目上右键,maven->update project... 然后选择强制更新,点击OK 稍等片刻,红叉就没有了.

(八)Eclipse创建Maven项目运行mvn命令

1.Eclipse创建Maven项目 使用Eclipse创建一个Maven项目非常的简单,选择菜单项File>New>Other(也可以在项目结构空白处右击鼠标键),在弹出的对话框中选择Maven下的Maven Project,如图: 然后点击Next按钮,Next按钮,选择一个Archetype指定我们要创建的项目类型.我们选择普通的Java项目"maven-archetype-quickstart",如图: 再点击Next按钮,输入Group Id.Artifact I

解决使用eclipse创建maven web项目时报Could not resolve archetype的问题

前两天重装了系统,今天想写一个项目的时候出现了点问题. 在使用eclipse创建maven web项目时,点Finish后报了Could not resolve archetype的问题. Could not resolve archetype org.apache.maven.archetypes:maven-archetype-webapp:1.0 from any of the configured repositories.Could not resolve artifact org.a