Spark2.0安装配置文档

Spark安装指南

该文档是建立在已经安装好hadoop和jdk的基础上,并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量,测试和现网环境需要在原来的hadoop环境中安装。

1   下载安装包从scala官网下载scala-2.11.8.tgz、spark-2.0.0-bin-hadoop2.7.tgz两个安装包到集群各个节点机器上。(下面是两个官网地址)

http://www.scala-lang.org/files/archive/scala-2.11.8.tgz

http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
 

  2      安装Scala

解压安装包:tar -zxvf scala-2.11.8.tgz,可以解压到/usr/local目录下(根据自己需要解压到某个路径),配置环境变量/etc/profile,

添加如下两行:

export SCALA_HOME=/usr/local/scala-2.11.8

export  PATH=$PATH:$SCALA_HOME/sbin

测试输入scala命令,返回如下界面,安装成功

3    配置Spark

1、解压添加环境变量

解压安装包:tar -zxvf  spark-2.0.0-bin-hadoop2.7.tgz,可以解压到/usr/local/hadoop/下(可根据具体环境修改),配置环境变量/etc/profile,添加如下两行内容。

export SPARK_HOME=/housr/local/hadoop/spark-2.0.0-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

2、修改配置文件 spark-env.sh

在主节点上进入spark安装目录 conf目录执行如下命令:

  • cp spark-env.sh.template  spark-env.sh
  • vi  spark-env.sh
  • 添加 hadoop、scala 、java环境变量

3、编辑slaves文件,你可以执行如下命令:

  • cp slaves.template  slaves
  • vi  slaves
  • 添加集群里面所有主机名(注,需在hosts文件中添加各主机的hostname和ip的对应关系)

   至此,master节点上的Spark已配置完毕。

把master上Spark相关配置复制到集群从节点中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。

5      启动

执行如下命令:

1、cd $SPARK_HOME/bin

2、./start-all.sh

6      测试

通过浏览器输入 主节点集群ip地址加上默认8080端口号访问,出现如下图所示界面,表示安装成功。

时间: 2024-10-25 20:16:21

Spark2.0安装配置文档的相关文章

Hadoop集群安装配置文档

Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新             目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统安装... 9 3.2系统配置... 10 3.2.1防火墙配置... 10 3.2.2 SElinux配置... 10 3.2.3 IP配置... 11 3.2.4安装vim

ceph安装配置文档(centos6.6)

Ceph安装部署文档 目录 一:简介... 1 二:部署环境介绍... 1 三:集群配置准备工作... 2 四:安装ceph软件包... 6 五:安装ceph对象网关... 9 六.搭建ceph集群... 10 6.1.配置mon节点... 10 6.2:添加osd节点... 13 6.2.1.添加第一块osd节点... 13 6.3:添加元数据服务器... 17 6.3.1.添加第一个元数据服务器... 17 七:安装client端RBD.cephFS挂载演示... 18 7.1:客户端内核要

NAGIOS安装配置文档

目录 1. 下载所需软件包 1 1.1 nagios.3.2.0.tar.gz Nagios的主程序 1 2. 安装Nagios  1 2.1 安装前的依赖检查  1 2.2 创建Nagios账户和组  1 2.3 编译安装  1 2.4 为Nagios设置Web验证的密码 2 2.5 设置Nagios的开机启动 2 2.6 修改SELinux 两种方法: 2 2.7 (三)安装Nagios的插件nagios-plugin  3 2.8 (四)配置检测主机是否存活  3 2.8.1 配置文件概述

zabbix3.0安装部署文档

zabbix v3.0安装部署 摘要: 本文的安装过程摘自http://www.ttlsa.com/以及http://b.lifec-inc.com ,和站长凉白开的<ZABBIX从入门到精通v3.0.1 - 运维生存时间(2016)>一书. 关于zabbix及相关服务软件版本: Linux:centos 6.6 nginx:1.9.15 MySQL:5.5.49 PHP:5.5.35 一.安装nginx: 安装依赖包: yum -y install gcc gcc-c++ autoconf

Centos6.5 + Nginx +mysql + php 安装配置文档

一.安装环境准备 yum -y install vim lrzsz 上传mysql.nginx.php安装包 (1)Nginx的下载地址: http://nginx.org/en/download.html (2)PHP安装包的下载 http://php.net/downloads.php        (3)MySQL的下载 https://www.mysql.com/downloads/             (4)安装包上传到服务器 /usr/local/src文件夹目录下: mkdir

Weblate 2.11安装配置文档

一.系统环境: OS:CentOS 6.8 x64 Minimal HostName:Weblate IP:192.168.75.153 Python:2.7.13 pip:9.0.1 Weblate:2.11 Nginx:1.10.1 MySQL:5.5.54 Uwsgi:2.0.14 SELinux:关闭 Iptables:关闭 二.系统设置: 修改机器名: [[email protected] /]# vim /etc/sysconfig/network 修改如下项目: HOSTNAME=

MySQL中文全文索引插件 mysqlcft 1.0.0 安装使用文档[原创]

[文章+程序 作者:张宴 本文版本:v1.0 最后修改:2008.07.01 转载请注明原文链接:http://blog.zyan.cc/post/356/] MySQL在高并发连接.数据库记录数较多的情况下,SELECT ... WHERE ... LIKE '%...%'的全文搜索方式不仅效率差,而且以通配符%和_开头作查询时,使用不到索引,需要全表扫描,对数据库的压力也很大.MySQL针对这一问题提供了一种全文索引解决方案,这不仅仅提高了性能和效率(因为MySQL对这些字段做了索引来优化搜

RobotFramework-AutoItLibrary安装&amp;配置文档

操作系统:Win7_64bit 一.准备阶段 安装包: 1.pywin32-219.win-amd64-py2.7.exe http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/pywin32-219.win-amd64-py2.7.exe/download 2.autoit-v3-setup.exe https://www.autoitscript.com/cgi-bin/getfile.pl?autoit3/aut

tomcat 8.0虚拟机配置文档

omcat 默认启动的是 8080,如果你想修改为 80,则需要修改 server.xml 文件:# vim /usr/local/tomcat/conf/server.xml找到:<Connector port="8080" protocol="HTTP/1.1"修改为:<Connector port="80" protocol="HTTP/1.1"保存后,重启 tomcat:service tomcat sto