使用Scala+IntelliJ IDEA+Sbt搭建开发环境
提示
搭建开发环境常遇到的问题：
1.网络问题，导致sbt插件下载失败，解决方法，找到一个好的网络环境，
或者预先从我提供的网盘中下载jar(链接：http://pan.baidu.com/s/1qWFSTze 密码：lszc)
将下载的.ivy2压缩文件，解压后，放到你的用户目录下。
2.版本匹配问题，版本不匹配会遇到各种问题，解决方法，按照如下版本搭建，
scala(2.10.3)，sbt(0.13)，sbt-assembly(0.11.2)，spark(1.2.0)
3.如果按照本教程 搭建仍不成功，推荐看www.bigdatastudy.cn上我录制的课程Spark开发环境搭建(免费的)
安装Scala
scala下载地址：http://www.scala-lang.org/download/2.10.3.html
本教程中，相关软件下载网盘地址(链接：http://pan.baidu.com/s/1qWFSTze 密码：lszc)
默认安装选项会自动配置环境变量。
如果没有自动配置，进行环境变量配置
SCALA_HOME: C:\Program Files (x86)\scala\
Path后面加上 ;%SCALA_HOME%\bin
IntelliJ IDEA的下载，安装
下载地址：https://www.jetbrains.com/idea/
激活码如下：
key:tommy
value:49164-YPNVL-OXUZL-XIWM4-Z9OHC-LF053
key:itey
value:91758-T1CLA-C64F3-T7X5R-A7YDO-CRSN1
IntelliJ IDEA常用的设置
在IntellJ/bin/idea64.exe.vmoptions(64位，物理内存大，建议增大)，加大IDEA的启动内存：
-Xms512m
-Xmx1024m
-XX:MaxPermSize=512m
主题和颜色：
Settings – IDE Settings – Appearance – Theme:Darcula
然后把下面override font选项勾上，选择Yahei 14号字体。
编辑器界面字体设置：
可以在Editor – Colors&Fonts – Fonts另存为一个新的主题，并在这个新主题中修改配置。
光标所在行背景颜色：
Editor – Colors&Fonts – General – Caret row，选择蓝色背景，以便具有较大色差。
为每个项目指定不同版本的JDK：
IDEA可以为每个项目指定不同版本的JDK，并且需要开发者手动配置项目的所使用的JDK版本。配置方法如下：
单击File | Project Structure菜单项，打开ProjectStructure对话框；
在左侧列表框中，选择SDKs列表项，进入SDK配置页面；
若中间的SDK列表框没有选项，则单击“+”号创建一个JDK列表项；
选择JDK列表项，在SDK ’JDK’选项卡页面中，单击JDK home path项目的浏览按钮，定位JDK安装路径并保存
插件安装
File>Settings>Plugins，搜索Scala直接安装，安装完后会提示重新启动。这个插件中有scala和sbt。
无需再单独下载sbt插件。
build.sbt文件
使用bt 0.13进行编译
build.sbt文件内容如下：
//导入支持编译成jar包的一些函数(这些函数是sbt-assembly插件中的)
import AssemblyKeys._
name := “SparkApp”
version := “1.0”
scalaVersion := “2.10.3”
libraryDependencies ++= Seq(// Spark dependency
“org.apache.spark” % “spark-core_2.10″ % “1.2.0” % “provided”,
“net.sf.jopt-simple” % “jopt-simple” % “4.3”,
“joda-time” % “joda-time” % “2.0”)
//该声明包括assembly plug-in功能
assemblySettings
// 使用 assembly plug-in配置jar
jarName in assembly := “my-project-assembly.jar”
// 从我们的assembly JAR中排除Scala, 因为Spark已经绑定了Scala
assemblyOption in assembly :=(assemblyOption in assembly).value.copy(includeScala = false)
进一步配置
要使sbt-assembly插件生效，在project/目录下新建一个文件，列出这个插件的依赖。
新建project/assembly.sbt 增加如下的配置：
addSbtPlugin(“com.eed3si9n” % “sbt-assembly” % “0.11.2”)
自此，环境搭建完毕。
spark的安装，请参考Spark入门三部曲之第一步Spark的安装
Spark程序的开发和运行，请参考Spark入门三部曲之第三步Spark程序的开发和运行
版权声明：本文为博主原创文章，未经博主允许不得转载。