Windows下安装Spark环境

根据博客总结 https://blog.csdn.net/nxw_tsp/article/details/78281533

需要的安装软件可以在网盘下载:

链接:https://pan.baidu.com/s/1BgtNERopcxUf7DwiultMnw
提取码:nvnv

一、安装Scala
下载地址:http://www.scala-lang.org/download/all.html

进入页面后选择一个Scala版本进行下载,我选择的是Scala2.12.0版本。特别注意的是看帖子又的说Scala版本与Spark版本之间是有一定关联的,比如说你的Scala版本是2.12.0,那么就应该下载Spark版本为从1.3.0到Spark 1.6.2之间的各个版本。这种说法不知道准不准确,但是还是注意一下比较好。
Scala安装好之后呢,它会自动在环境变量PATH里面配置。我们不需要进行手动配置了。下面就打开cmd输入Scala看下安装后控制台的输出效果。
如果出现一下信息,那么就证明Scala已经安装成功了。
需要注意的是:如果在控制台输入scala之后输出没有出现版本信息,那么就需要你手动替换掉安装Scala时自动配置的变量。

既然Scala已经安装成功了, 那么我们就可以继续安装我们的主角Spark了

二、安装Spark
同样的我会附上Spark下载地址:http://spark.apache.org/downloads.html

那么,当我们下载好之后,Spark是不需要进行安装的,直接解压到Spark目录,然后配置一下Path环境变量就可以了
下面我们来验证一下看spark是否能正常启动。
在控制台输入一下命令:spark-shell
注意spark-shell之间是没有空格的,千万不要输错了。
情况看图片

如果你看到上图,那么,恭喜您,spark已经安装成功了!

原文地址:https://www.cnblogs.com/Eng1ne-ty/p/10710949.html

时间: 2024-08-29 11:28:26

Windows下安装Spark环境的相关文章

windows下安装spark

1.安装jdk 2.安装scala 3.下载spark spark下载地址 3.1安装spark 将下载的文件解压到一个目录,注意目录不能有空格,比如说不能解压到C:\Program Files 作者解压到了这里, 将spark的bin路径添加到path中 cmd输入spark-shell,成功安装啦,有个报错是因为还没安装Hadoop, 4.安装hadoop 由于spark版本为spark-2.3.3-bin-hadoop2.7,我们选择下2.8.5版本的Hadoop hadoop下载地址 解

Docker的学习(一)Windows下安装docker环境以及基础的配置

Docker是什么我这里就不多做介绍了,相信大家都清楚,网上有很多介绍的文章所以作为菜鸟的我就不用我的眼光以及理解来为大家介绍了,还是那句话,这篇文章主要是用作记录学习过程,希望不会误导新人,也希望各位大神看到后可以点评一下不足的地方. 本次操作系统为win10,在Windows下Docker的安装方式有2种(对于Windows10的用户),一种是使用Docker for Windows这种方式只能在Win10使用(部分Win10用户也是不可以的,好比我“学习版系统”),这种方式从安装到配置都比

windows下安装PyQt5环境

可以PyQt5官网下载,但是采用pip install在线安装更为便捷 win+R输入cmd进入DOS,在后面加上“-i https://pypi.douban.com/simple”表示使用豆瓣所提供的镜像: pip install PyQt5 -i https://pypi.douban.com/simple 接着输入指令下载图形界面开发工具qt designer.翻译工具liguist等等的工具: pip install PyQt5-tools -i https://pypi.douban

Windows 下安装 Python环境安装

下载地址 https://www.python.org/downloads/ 下载 Python 3 以上版本 安装时记得勾选 Add Python To PATH 命令窗口中输入python进行查询,如显示下图一的信息则表示成功了,如显示第二张图的信息则表示出错了. 原文地址:https://www.cnblogs.com/wodemingtian/p/8960968.html

在Windows/Ubuntu下安装OpenGL环境(GLUT/freeglut)与跨平台编译(mingw/g++)

GLUT/freeglut 是什么? OpenGL 和它们有什么关系? OpenGL只是一个标准,它的实现一般自带在操作系统里,只要确保显卡驱动足够新就可以使用.如果需要在程序里直接使用OpenGL,会有很多非常恶心的预备工作要做,而且可能还要专门为平台的差异写一些代码.要跳过这些工作,可以用一个utility库,直接使用它提供的函数,就不用操心那些细节了.这样的库新一点的有GLEW,因为开源所以安装相对方便(大不了丢进去一起编译),但各种教程和书里常见的是闭源的GLUT.由于GLUT的作者已经

(转)windows下安装Ionic

原文:http://www.itwap.net/ArticleContent.aspx?id=26 Ionic官方教程: http://learn.ionicframework.com/videos/windows-android/ 以下内容参考官方教程得出.         1.下载JDK并配置好Java运行环境   下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

windows 下安装nodejs 要怎么设置环境变量

windows 下安装nodejs 了,也安装了npm, 但是有时候切不能直接用request(‘ws’)这一类的东西.我觉得是确实环境变量或其他设置有问题,能否给个完整的设置方案: 要设置两个东西,一个是PATH上增加node.exe的目录C:\Program Files\nodejs,一个是增加环境变量NODE_PATH,值为C:\Program Files\nodejs\node_modules

《Go语言入门》如何在Windows下安装Go语言编程环境

概述 本文为Go语言学习入门第一篇,<Go语言入门>如何在Windows下安装Go语言编程环境 . 主要讲Go语言编译环境的安装以及基于Notepad++(Go语言插件.语法高亮)的开发环境配置. 下载安装包 安装包下载地址:https://golang.org/dl/ 这里选择下载Windows版本,点击链接打开的页面可能不会开始下载:地址栏里会显示完整的下载地址,如:https://golang.org/doc/install?download=go1.5.1.windows-amd64.

Python学习笔记(三)windows下安装theano

早就听说theano很难安装,这一次算是初步尝试,不知道会不会有其它问题. 0 参考材料 (1)win 8.1 64bit 深度学习theano 安装设置 (2)Windows下安装theano成功,但一import就报decode错是什么原因? (3)Wndows8.1 64bit环境下搭建深度学习平台之Theano安装配置 (4)deep learning学习环境Theano安装(win8+win7) 1 简单记录过程 (1)安装anaconda:Download Anaconda now!