Spark 2.2.0 安装与配置

下载Spark

解压并移动到/software目录:

tar -zxvf spark-2.2.0-bin-without-hadoop.tgz
mv spark-2.2.0-bin-without-hadoop /software/spark

在/etc/profile文件添加:

export SPARK_HOME=/software/spark
export PATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$PATH

保存并更新/etc/profile:source /etc/profile

复制spark-env.sh.template并重命名为spark-env.sh

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

spark-env.sh中添加:

export JAVA_HOME=/software/jdk
export SCALA_HOME=/software/scala
export HADOOP_HOME=/software/hadoop
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1G
export SPARK_DIST_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)

启动

$SPARK_HOME/sbin/start-all.sh

测试Spark是否安装成功:

$SPARK_HOME/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

输出信息比较多,使用grep命令过滤:

检查WebUI,浏览器打开端口:http://localhost:8080

停止

$SPARK_HOME/sbin/stop-all.sh

安装完成。

时间: 2024-10-11 16:38:09

Spark 2.2.0 安装与配置的相关文章

CUDA 6.0 安装及配置( WIN7 64位 / 英伟达G卡 / VS2010 )

前言 本文讲解如何在VS 2010开发平台中搭建CUDA开发环境 当前配置: 系统:WIN7 64位 开发平台:VS 2010 显卡:英伟达G卡 CUDA版本:6.0 若配置不一样,请勿参阅本文. 第一步 点击这里下载 cuda最新版,目前最高版本是6.0.下载完毕后得到 cuda_6.0.37_winvista_win7_win8.1_general_64.exe 文件. 第二步 运行安装程序,弹出安装过程中转文件路径设定框: 这个路径随便填无所谓,安装完后就会自动删除的,我就直接设置为默认的

hadoop 2.5.0安装和配置

安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http://www.cnblogs.com/stardjyeah/p/4641524.html 3.linux静态ip配置,教程在 http://www.cnblogs.com/stardjyeah/p/4640691.html 准备好以后就可以进行hadoop 2.5.0安装和配置了 1)        

VMware Workstation 10.0 安装与配置

VMware Workstation 10.0虚拟机 1.先安装VMware Workstation 10.0原版, 2.然后用下面的任意一个VMware Workstation序列号注册(或者你也可以用注册工具) 1Y0LW-4WJ9N-LZ5G9-Z81QP-92PN7 JU052-F4J41-HZGM8-QU056-93P6Y 0Y6DK-8H1DH-UZ249-X2A5M-3AM2M MA664-AF2E5-6ZAD9-GU15K-1AR1N 3,新建一个VMware的虚拟机 ultra

MySQL Server 5.0–安装及配置/MySQLInstanceConfig.exe用法详解

MySQL Server 5.0–安装及配置/MySQLInstanceConfig.exe用法详解 http://blog.csdn.net/feihong247/article/details/7791105 配置MySQL步骤: 1.       运行MySQL Server安装目录下bin/MySQLInstanceConfig.exe.出现如下所示的向导界面 . 点击"Next"进入下一步. 2.       如果MySQLInstanceConfig在MySQL Serve

烂泥:zabbix3.0安装与配置

这个月又快过完了,最近也比较忙,没时间写文章,今天挤点时间把zabbix3.0安装与配置的文章写下来. 其实zabbix3.0的安装很简单,但是由于个人比较懒,所以一直不喜欢使用源码方式进行安装,而且管理的服务器多了,源码安装也感觉不方便,所以现在大部分安装软件我都会首先选择yum或者apt-get方式进行. 本篇文章,我也不多介绍zabbix3.0安装的详细步骤了,只列出centos.ubuntu下zabbix3.0的相关安装命令以及zabbix的基本配置. zabbix3.0对OS的要求:m

CentOS 6.0安装和配置ssh服务

/* 传统的网络服务程序,如:ftp.pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据.而且,这些服务程序的安全验证方式也是有其弱点的, 就是很容易受到“中间人”(man-in-the-middle)这种方式的攻击.所谓“中间人”的攻击方式, 就是“中间人”冒充真正的服务器接收你传给服务器的数据,然后再冒充你把数据传给真正的服务器.服务器和你之间的数据传送被“中间人”一转手做了手脚之后,就会出现很严重的问题.通过使用SS

macOS下MySQL 8.0 安装与配置教程

原文:macOS下MySQL 8.0 安装与配置教程 一.前言 1.本教程主要内容 适用Homebrew安装MySQL MySQL 8.0 基础适用于配置 MySQL shell管理常用语法示例(用户.权限等) MySQL字符编码配置 MySQL远程访问配置 2.本教程环境信息与适用范围 环境信息 软件/环境 版本/说明 macOS macOS High Sierra MySQL MySQL 8.0.12 适用范围 软件 版本 macOS macOS MySQL 8.0.x 二.MySQL安装

Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)

Spark版本:spark-1.1.0-bin-hadoop2.4 (下载:http://spark.apache.org/downloads.html) 服务器环境的情况,请参考上篇博文 hbase centOS生产环境配置笔记 (hbase-r是ResourceManager; hbase-1, hbase-2, hbase-3是NodeManager) 1. 安装和配置 (yarn-cluster模式的文档参考:http://spark.apache.org/docs/latest/run

tomcat 6.0 安装及配置

前提:安装并配置好jdk 1.免安装版存放目录:D:\01Install\tomcat 2.配置环境变量 在环境变量中新建CATALINA_HOME,值:D:\01Install\tomcat 在PATH中增加:%CATALINA_HOME%\lib;%CATALINA_HOME%\bin; 3.测试,先启动tomcat服务,双击:D:\01Install\tomcat\bin 中 startup.bat,如下图 在浏览器中输入:http://localhost:8080/,访问成功,如下图: