windows下安装spark

1、安装jdk

2、安装scala

3、下载spark

spark下载地址

3.1安装spark

  • 将下载的文件解压到一个目录,注意目录不能有空格,比如说不能解压到C:\Program Files
  • 作者解压到了这里,
  • 将spark的bin路径添加到path中
  • cmd输入spark-shell,成功安装啦,有个报错是因为还没安装Hadoop,

4、安装hadoop

  • 由于spark版本为spark-2.3.3-bin-hadoop2.7,我们选择下2.8.5版本的Hadoop
    hadoop下载地址
  • 解压
  • 添加环境变量,新建一个HADOOP_HOME
  • 在path添加
  • 到此运行spark-shell还会有没安装的时候那个报错,接下来需要替代Hadoop里的bin文件来解决这个错。

    5、下载winutils

  • 下载地址
  • 笔者用的是hadoop2.8.5版本的,下载的winutils上hadoop2.8.3版本的bin,实测也是可行的。
  • 接下来将bin替换原来Hadoop中的bin

    6、运行spark-shell成功啦

原文地址:https://www.cnblogs.com/twodoge/p/10740791.html

时间: 2024-09-30 20:08:53

windows下安装spark的相关文章

Windows下安装Spark环境

根据博客总结 https://blog.csdn.net/nxw_tsp/article/details/78281533 需要的安装软件可以在网盘下载: 链接:https://pan.baidu.com/s/1BgtNERopcxUf7DwiultMnw 提取码:nvnv 一.安装Scala 下载地址:http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载,我选择的是Scala2.12.0版本.特别注意的是看帖子又的说S

Python学习笔记(三)windows下安装theano

早就听说theano很难安装,这一次算是初步尝试,不知道会不会有其它问题. 0 参考材料 (1)win 8.1 64bit 深度学习theano 安装设置 (2)Windows下安装theano成功,但一import就报decode错是什么原因? (3)Wndows8.1 64bit环境下搭建深度学习平台之Theano安装配置 (4)deep learning学习环境Theano安装(win8+win7) 1 简单记录过程 (1)安装anaconda:Download Anaconda now!

windows下安装redis

1.redis简介redis是一个key-value存储系统.和Memcached类似,它支持存 储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hashs(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都 是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是red

在 Windows 下安装 GruntJS

在你安装 Grunt.js 之前你需要先安装 Node.js.对于本教程而言,我已经安装好了 node.js v0.10.0. 我将要安装 Grunt.js v0.4.1.警告:如果你已经安装了 Grunt.js 0.3.x 或者更低的版本,请先卸载它. Grunt 的命令行界面 为了安装 grunt.js,我们需要要安装好全局的 Grunt 命令行界面(CLI),当前的 CLI 版本是 1.0.6.打开 Windows 命令窗口(CMD)并输入以下指令: npm install grunt-c

在windows下安装OpenDaylight的Helium(氦)版本

前言 OpenDaylight(以下简写为ODL)的Helium(氦)版本已经成为相对稳定的版本(相对于Li版本).Helium(氦)版本下载链接地址为http://www.opendaylight.org/software/downloads/helium.官网中分别共享了版本.安装向导.用户向导.开发者向导手册,可进行下载学习.在本篇文章中,着重讲一下在Windows下的安装过程. 1 Helium安装 虽然官方要求ODL Helium(氦)版本是基于Ubuntu的,但是在实际学习过程中,U

Windows下安装使用curl命令

本机环境 Windows 7 方法/步骤 1.进入网站 https://curl.haxx.se/download/?C=M;O=D网站 2.根据自己的操作系统位数和是否需要SSL下载相应的版本. 这里下载curl-7.33.0-win64-ssl-sspi.zip,下载完成之后解压到需要使用curl命令的目录.这里为了方便我先直接解压到当前目录. 3.在本窗口下打开运行该命令 [没有建立系统环境变量,所以只能在本目录下运行],检测是否可以正常运行 注意: 想得到上面的"在此处打开命令窗口(W)

windows下安装imagick扩展(转)

最近项目中需要用到图片的一些特殊处理——比如:根据用户请求生成任意尺寸的图像.经过一些资料的查找,最终选用了php_imagick.利用 ImageMagick,你可以根据web应用程序的需要动态生成图片, 还可以对一个(或一组)图片进行改变大小.旋转.锐化.减色或增加特效等操作,并将操作的结果以相同格式或其它格式保存.本节我们就来介绍一下如何在 windows下安装php_imagick拓展. 1. 下载 Download ImageMagick #下载页面: http://www.image

【PostgreSQL学习之旅】第一篇:Linux和Windows下安装PostgreSQL9.4

一.简介 PostgreSQL是目前世界上最丰富的数据类型的支持,其中有些数据类型可以说连商业数据库都不具备, 比如 IP 类型和几何类型等:其次,PostgreSQL 是全功能的自由软件数据库,很长时间以来,PostgreSQL 是唯一支持事务.子查询.多版本并行控制系统(MVCC).数据完整性检查等特性的唯一的一种自由软件的数据库管理系统. 二.Linux下安装 1) 环境:RedHat Enterprise 6.5 x64(2.6.32-431.el6.x86_64) PostgreSQL

(转)windows下安装Ionic

原文:http://www.itwap.net/ArticleContent.aspx?id=26 Ionic官方教程: http://learn.ionicframework.com/videos/windows-android/ 以下内容参考官方教程得出.         1.下载JDK并配置好Java运行环境   下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html