Windows环境下在IDEA编辑器中spark开发安装步骤

以下是windows环境下安装spark的过程：

　　1.安装JDK（version：1.8.0.152）

　　2.安装scala（version：2.11/2.12）

　　3.安装spark（version：spark-2.3.0-bin-hadoop2.6.tgz）

　　4.安装wintuils（设置windows系统的环境变量HADOOP_HOME）

以下是spark开发环境搭建：

　　1.scala插件安装

　　2.全局JDK和Library的设置

　　3.配置全局的scala SDK

　　4.导入spark依赖包（spark-2.3.0-bin-hadoop2.7\spark-2.3.0-bin-hadoop2.7\jars）

原文地址：https://www.cnblogs.com/xiaoshayu520ly/p/9920650.html

时间： 2024-11-05 14:45:16

Windows环境下在IDEA编辑器中spark开发安装步骤的相关文章

Windows环境下使用Clover四叶草引导双硬盘安装OSX 10.11.5原版镜像

作为一个穷逼大学生,想搞iOS开发买不起Mac只能鼓捣鼓捣黑苹果啦........ 之前我的电脑通过变色龙引导的方式装了个OSX10.10和win8.1双系统,因为自学的是Swift语言之前装的OSX10.10.4的Xcode(6.多版本的)只支持到Swift1.2,所以现在要装个OSX10.11.5的系统搞搞iOS开发.电脑硬盘差不多快装满了所以这次准备把OSX10.11.5装到我的移动硬盘上.因为电脑已经装过一个OSX10.10所以还用变色龙的话出了一堆奇奇怪怪的问题.扯淡的不行.所以这

windows环境下搭建ffmpeg开发环境

ffmpeg是一个开源.跨平台的程序库,可以使用在windows.linux等平台下,本文将简单讲解windows环境下ffmpeg开发环境搭建过程,本人使用的操作系统为windows 7,集成开发环境为Visual Studio 2005,ffmpeg版本为2.2.有人可能会说都什么年代了,还VS 2005,现在VS 2010/2012/2013都出了.本人电脑也安装了VS2010,每次打开,伴随着硬盘指示灯的闪烁,以及硬盘的吱吱响声,过了许久才弹出闪屏页面,此时你的思绪可能已经飘到了南极,启

4.1. 如何在Windows环境下开发Python

4.1. 如何在Windows环境下开发Python 4.1. 如何在Windows环境下开发Python 4.1.1. Python的最原始的开发方式是什么样的 4.1.1.1. 找个文本编辑器,新建个.py文件,写上Python代码 4.1.1.2. 打开Windows的cmd,并且切换到对应的python脚本所在目录 4.1.1.2.1. 方法1:手动打开cmd,并cd到对应路径 4.1.1.2.2. 方法2:通过Notepad++的Open current dir cmd 4.1.1.3

Windows环境下Android Studio V1.2.2系列3—简单设置

参考资料 [1] Android Studio简单设置, http://ask.android-studio.org/?/article/14 [2] Windows环境下Android Studio V1.2.2系列1-下载与安装, http://my.oschina.net/1pei/blog/467210 [3] Windows环境下Android Studio V1.2.2系列2-初次运行, http://my.oschina.net/1pei/blog/467736 界面设置在系列2

《高可用MySQL》1 – Windows环境下压缩版MySQL安装

近日在读O'REILIY系列的<高可用MySQL>, 自然少不了主从(Master-Slave)配置和横向扩展相关的内容. Master-Slave这东西吧.在很多公司都是标配.开发中基本天天都用.遇到的问题自然也不少(如主从不同步,Master宕机).但操作权限很有限.有些东西,仅仅有自己看了.做了,才干真正知道原理是什么,也才干更好的去把握. 本文是高可用MySQL的第一篇读书笔记,主要记录Windows环境下压缩版MySQL(基于安装版的傻瓜式安装过程这里不再提及)的安装过程. 1. 从

python MySQLdb在windows环境下的快速安装、问题解决方式

使用Python访问MySQL,需要一系列安装 Linux下MySQLdb安装见 Python MySQLdb在Linux下的快速安装 http://blog.csdn.net/wklken/article/details/7271019 ------------------------------------------------------------- 以下是windows环境下的: 1. 安装数据库mysql 下载地址:http://www.mysql.com/downloa

Windows环境下Android Studio v1.0安装教程

Windows环境下Android Studio v1.0安装教程 Windows环境下Android Studio v1.0安装教程准备工具 JDK安装包. 要求:JDK 7以及以上版本. Android Studio安装文件. Windows: exe(包含SDK) (813 MB) exe(不包含SDK) (250 MB) zip (235 MB) Mac dmg (234 MB) zip (233 MB) Linux: zip (233 MB) 说明: 32位系统和64位系统是同一个安

手把手教你在Windows环境下升级R

在Windows环境下,我们可以使用installr包自动将R升级到最新版本.并且可以安装软件.下面主要演示如何在Windows环境下升级R,并将旧版本安装的R包复制到更新版本的R. 1.加载installr包 install.packages("installr") library(installr) 2.在“installr”菜单中选择“update R” 3.installr将会检测是否发布了新版本的R,如果检查到有单击“确定”即可更新R. 4.如果想了解新版本R的相关特性介绍,

[转]Windows环境下尝试安装并配置PHP PEAR备忘

转自:http://wangye.org/blog/archives/266/ 什么是PEAR 来自百度百科:PEAR 是PHP扩展与应用库(the PHP Extension and Application Repository)的缩写.它是一个PHP扩展及应用的一个代码仓库,简单地说,PEAR之于PHP就像是CPAN(Comprehensive Perl Archive Network)之于Perl. 由此可见PEAR是PHP代码的仓库,在这里可以找到很多有用的代码,避免我们重复写一些功能,