Windows上安装运行Spark

1.下载Scala: https://www.scala-lang.org/download/

①注意：必须下载官方要求的JDK版本，并设置JAVA_HOME,否则后面将出现很多麻烦！

②Scala当前最新版本为

2.安装后在cmd中输入scala出现如下提示表示成功

3.下载Spark:http://spark.apache.org/downloads.html

4.进入spark-2.3.3-bin-hadoop2.7\bin，cmd中输入spark-shell

①出现下面错误，表示需要安装python。安装时选择加到系统路径中，安装完cmd中输入python验证是否安装成功。

②出现下面错误，表示找不到Hadoop。需要安装Hadoop并设置HADOOP_HOME的系统路径。关于Windows下的Hadoop安装，可以参考《Windows上安装运行Hadoop》。

③出现下面的WARN可以不用理会，正常使用。

如果实在受不了WARN的话，则在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默认是有template后缀的，直接去掉这个后缀)中增加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

④屏蔽后的显示

以上。

原文地址：https://www.cnblogs.com/chevin/p/11064854.html

时间： 2024-10-07 13:23:18

Windows上安装运行Spark的相关文章

Windows上安装运行hadoop

0.自己编译安装步骤在这里,有英文版本连接:<英文传送门>. 自己编译尝试后不成功,换为下面使用别人编译好的版本的方法.参考博客:<初学hadoop,windows下安装> 1.下载JDK,并设置JAVA_HOME.(使用不带空格的路径,比如Program Files,将在后面的配置中报错!) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载hadoop.下载地址:http://hadoop.apache.org/releases.html 这里下载使用

Windows上安装运行 cnpm, 来代替 npm

现在记录一下,再有遇到这种SB系统问题的就可以搞定了. 1.找大盘建一个目录 npmConfig(随便什么名字) 2.批处理执行 npm config set prefix "C:\npmConfig\npm" npm config set globalconfig "C:\npmConfig\npm\etc\npmrc" npm config set globalignorefile "C:\npmConfig\npm\etc\npmignore&quo

在Windows Service上安装运行Redis

CSDN下载RedisWatcher,运行InstallWatcher.msi,默认安装在C:\Program Files (x86)\RedisWatcher,修改watcher.conf 1 # required exepath and exename are combined to form full path 2 exepath D:\Demos\redisdev\redis 3 exename redis-server.exe 4 5 # optional fastfailMS is

Windows OS上安装运行Apache Kafka教程

本文转自:http://geek.csdn.net/news/detail/52976 下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper. Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作.更多信息请参见http://kafka.apache.

在 Windows 上安装 Hadoop 教程（转）

在 Windows 上安装 Hadoop 教程一见 2010.1.6 www.hadoopor.com/[email protected] 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://jav

windows上安装db2 spatial extender和ArcSDE的问题

因客户的DB2版本是9.7的版本,所以测试环境也只能安装这个版本,但在ArcSDE的最小支持版本里至少需要V9.7 pack 4的版本,低于这个版本是不行的. 安装DB2和spatial extender 安装好DB2后创建空间数据库(假如名字叫mysdedb),这里最好能优化一下以下的配置: 1.注意创建数据库时的字符编码. 2.最好创建自己的缓存池(使用16或者32k的pagesize). create bufferpool sdepool size 12800 pagesize 32K c

在Windows上安装MongoDB

原文官方文档:https://docs.mongodb.org/v2.6/tutorial/install-mongodb-on-windows/ 基于版本:MongoDB 2.6 概览通过这个示例在Windows上安装MongoDB. 平台支持: 从2.2版本开始,MongoDB不支持Windows XP了,请使用最新版本的Windows使用较新的MongoDB的版本. 重要: 如果你使用的Windows Server 2008 R2的edition版本或者是Windows 7,请安装a h

在Windows上安装Nexus 3.2.0-01

在Windows上安装Nexus 环境: Windows 7 apache-maven-3.3.9 JDK 1.8 下载Nexus: https://sonatype-download.global.ssl.fastly.net/nexus/3/nexus-3.2.0-01-win64.zip 解压后看可以到nexus-3.2.0-01和sonatype-work两个文件夹: 配置到系统环境Path:\Path\to\nexus 运行: Path\to\nexus\nexus-3.2.0-01\

在Windows上安装PyCUDA和Theano

最近几个月在学习Deep Learning,刚开始的时候什么条件都不具备.自己从淘宝上面买了一个GT 240,搭建一个GPU环境用于程序的调试.折腾了几个月,以前PyCUDA总是搭建失败,最近几天才尝试成功.为了学习Deep Learning的源代码,自己又搭建了Theano环境.由于时间紧张,自己概略总结如下,以备忘记. 一. 在Windows上安装PyCUDA 1. 安装条件 (1) pytools库安装PyCUDA还需要pytools库,而pytools库又需要six,appdirs,d