Spark1.0.0源码阅读环境搭建(win7)

准备工作:


jdk-7u51-windows-i586.exe
scala-2.10.3.msi
sbt-0.13.2.msi
spark-1.0.0.tgz

scala-SDK-3.0.3-2.10-win32.win32.x86.zip

1.1. 安装JDK

安装jdk-7u51-windows-i586.exe,按默认设置即可。假设安装至目录d:\jdk1.7;

安装结束后,将d:\jdk1.7\bin添加至环境变量PATH中;

1.2. 安装Scala

安装scala-2.10.3.msi,按默认设置即可。假设安装至目录d:\scala2.10.3;

安装结束后可以在cmd窗口执行:

可以看到安装的scala版本号;

1.3. 安装sbt

安装sbt-0.13.2.msi,按默认设置即可。假设安装至目录d:\sbt0.13.2;

安装结束后可以在cmd窗口执行:

可以看到安装的sbt的版本号;

1.4. 安装Scala-SDK

直接解压scala-SDK-3.0.3-2.10-win32.win32.x86.zip即可。

1.5. 为Spark创建eclipse工程文件


直接解压spark-1.0.0.tgz,至工程目录,比如e:\java\spark;

在该目录下面执行sbt,编译(耗时较长,耐心等待,直至出现提示符):

在该提示符下面执行eclipse命令,生成eclipse工程文件(这一步耗时更长,耐心等待,
直接再次出现提示符)。

最后打开Scala-SDK,导入Spark工程:

2. 问题

1.5步很可能出现连接超时的问题,如果上外网需要代理,那么需要修改d:\sbt0.13.2\conf\sbtconfig.txt文件。增加如下代理设置:

# Set the java args to high

-Xmx512M

-XX:MaxPermSize=256m

-XX:ReservedCodeCacheSize=128m

# Set the extra SBT options

-Dsbt.log.format=true

-Dsbt.boot.directory=D:/sbt0.13.2/sbt/boot/

-Dsbt.ivy.home=D:/sbt0.13.2/sbt

-Dhttp.proxyHost=*****

-Dhttp.proxyPort=80

-Dhttps.proxyHost=******

-Dhttps.proxyPort=80

注意http和https都要添加。

如果没有代理还连接超时,那么只能多试几次了,还是能成功的。

时间: 2024-11-09 05:17:33

Spark1.0.0源码阅读环境搭建(win7)的相关文章

Hadoop源码阅读环境搭建

Hadoop源码阅读环境搭建 一.说明 作为一个学习hadoop的同学,必须在本机上搭建hadoop源码阅读环境,这样,在方便阅读源码的同时也方便进行调试和源码修改.好了,下面开始搭建环境. 1.环境说明:hadoop 版本:1.2.1. IDE:eclipse.操作系统:centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclipse工程同时导入eclipse,具体做法如下: File-->new-->Java Project-->勾掉Use

基于IntelliJ IDEA 15.0.2的Tomcat7.0.69源码运行环境搭建

由于目前的工作内容调整,及重新进行职业规划,预备进行Tomcat源码学习. 一.准备资源: 1.Java的IDE工具使用:IntelliJ IDEA 15.0.2 版本 2.Tomcat源码使用:apache-tomcat-7.0.69-src.zip 版本 3.使用Maven环境:apache-maven-3.0.4 版本 4.JDK环境:使用 jdk1.7.0_51 版本 二.环境搭建 1.准备Tomcat源码环境 a.解压tomcat7.0.69源码压缩包 b.将tomcat7.0.69转

Spring源码阅读环境搭建

目录 安装gradle 导入Spring源码 创建测试模块my-test 本文思维导图 本文将粗略的搭建一个Spring源码的阅读环境,为后面的源码阅读做一个准备.做任何事情不管是有一个完美的或者是不太完美的开头,只要去做了,那么就是一种胜利. 由于spring使用了gradle构建工具,接下来先安装gradle. 安装gradle 从Gradle官网下载gradle安装包,打开https://gradle.org/releases/ 将下载的安装包gradle-x.x.x-all.zip解压到

android 5.0 (lollipop)源码编译环境搭建(Mac OS X)

硬件环境:MacBook Pro Retina, 13-inch, Late 2013 处理器  2.4 GHz Intel Core i5 内存  8 GB 1600 MHz DDR3 硬盘60G以上 软件环境:OS X 10.9.2 GNU Make 3.81 Python 2.7.5 XCode 5.0.2 java version "1.7.0_55" repo VERSION = (1, 21) 某收费VPN(代理FAN墙是下载不了的,请使用VPN) (软件版本问题非常可能导

windows下kafka源码阅读环境搭建

工具准备:jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz 安装jdk 安装scala 搭建zookeeper kafka源码构建 解压kafka-0.10.0.1-src.tgz,命令行进行kafka-0.10.0.1-src,执行gradle idea 注: 1)gradle idea,用国外的库构建的下载速度很慢,在进入项目里面,找到build.gr

JDK源码阅读环境搭建

内容来源 B站Up主: CodeSheep 视频: https://www.bilibili.com/video/BV1V7411U78L 感谢大佬分享学习心得 Thanks?(?ω?)?~~~ 1. 新建项目 新建JavaSourceLearn项目 新建source包存放源码 新建test包存放测试案例 2. 获取JDK源码 打开Project Structure 选择JDK版本查看安装目录 将src.zip解压到项目source包中 提示: 添加源码到项目之后首次运行需要较长时间进行编译,建

Mac搭建Hadoop源码阅读环境

1.本次Hadoop源码阅读环境使用的阅读工具是idea,Hadoop版本是2.7.3.需要安装的工具包括idea.jdk.maven.protobuf等 2.jdk,使用的版本是1.8版,在jdk官网下载jdk-8u111-macosx-x64.dmg,点击安装,一路next. 3.idea安装,略 4.maven,使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压: tar -zxvf  apache-maven-3.3.9-bin.tar 进入 Mave

【Spark】配置Spark源码阅读环境

Scala构建工具(SBT)的使用 SBT介绍 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建,但SBT的某些特性却让人如此着迷,比如: 使用Scala作为DSL来定义build文件(one language rules them all); 通过触发执行(trigger execution)特性支持持续的编译与

【转】Linux(ubuntu14.04)上编译Android4.4源码的环境搭建及编译全过程

原文网址:http://jileniao.net/linux-android-building.html sublime text让我伤心.本来很信任sublime text的自动保存功能,之前使用一直很给力的,但这次让我伤心欲绝啊. 关于Linux(ubuntu14.04)上编译Android源码的环境搭建详细过程都是在sublime text中编辑好的,无奈,这次的数据丢失让我不得不重新来回想手打一次了.可能很多细节问题,这次重新编辑文章时不会记得那么清晰了,还请有问题的朋友在下面留言给我就