Spark安装和配置

hadoop2的安装教程

Spark可以直接安装在hadoop2上面,主要是安装在hadoop2的yarn框架上面

安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本,选择对应的Scala和jdk

Scala的安装就是解压缩,然后配置环境变量,将Scala的执行命令配置到Path上。

Spark的安装和Scala一样,但是Spark还需要对配置文件进行配置

这里给出环境配置:/etc/profile文件

export JAVA_HOME=/usr/local/jdk1.7.0
export HADOOP_HOME=/usr/local/hadoop-2.0.0-cdh4.2.1
export SCALA_HOME=/usr/local/scala-2.10.5
export SPARK_HOME=/usr/local/spark-1.5.0-bin-cdh4

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

Spark的配置文件相对hadoop的比较简单,只要对spark/conf文件目录下的spark-env.sh和slaves进行配置。

1、spark-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0
export SCALA_HOME=/usr/local/scala-2.10.5
export SPARK_MASTER_IP=192.168.59.100
export SPARK_WORKER_MEMORY=1g
export HADOOP_HOME=/usr/local/hadoop-2.0.0-cdh4.2.1

2、slaves

hadoop100
hadoop101
hadoop102

将Spark和scala分配到所有的机器上,这样就搭好了一个Spark集群

启动Spark

使用Spark的sbin目录下“start-all.sh”脚本文件启动spark

时间: 2024-11-06 02:20:23

Spark安装和配置的相关文章

Hive on Spark安装与配置(无数坑)

一.版本如下    注意:Hive on Spark对版本有着严格的要求,下面的版本是经过验证的版本 apache-hive-2.3.2-bin.tar.gz hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar mysql-connector-java-5.1.43-bin.jar spark-2.0.0.tgz(spark源码包,需要从源码编译) Redhat Linux

即时通信Spark安装和配置

spark:Cross-platform real-time collaboration client optimized for business and organizations.Spark is a full-features instant messaging (IM) and groupchat client that uses the XMPP protocol. 下载地址:http://www.igniterealtime.org/downloads/index.jsp Spar

CentOS 7.0下面安装并配置Spark

安装环境: 虚拟机:VMware® Workstation 8.0.1(网络桥接) OS:CentOS 7 JDK版本:jdk-7u79-linux-x64.tar Scala版本:scala-2.11.7 Spark版本:spark-1.4.0-bin-hadoop2.4 用户:hadoop安装Centos时创建的,属于管理员组 第一步:配置SSH 使用hadoop登录系统,在终端运行: yum install openssh-server 如果提示: 则是因为yum服务被占用,需要强制解锁:

openfire+spark+smack 即时通讯(一)---Openfire 的安装和配置

openfire是一个即时通讯服务器,也称之为即时通讯平台.它是基于XMPP协议的,大家所熟悉的通讯软件QQ.MSN和Gtalk等等,其中Gtalk就是基于XMPP协议的实现. 在即时通讯中往往因为需要保存一些状态或者数据所以不能采用点对点通讯,而是需要搭建服务器来转发. 下载地址:http://www.igniterealtime.org/downloads/index.jsp 下载完毕以后根据提示安装.配置,然后访问所配置的服务器地址上的9090端口即可访问官方为我们实现好了的openfir

Spark(三): 安装与配置

参见 HDP2.4安装(五):集群及组件安装 ,安装配置的spark版本为1.6, 在已安装HBase.hadoop集群的基础上通过 ambari 自动安装Spark集群,基于hadoop yarn 的运行模式. 目录: Spark集群安装 参数配置 测试验证 Spark集群安装: 在ambari -service 界面选择 “add Service",如图: 在弹出界面选中spark服务,如图: "下一步”,分配host节点,因为前期我们已经安装了hadoop 和hbase集群,按向

hadoop&spark安装(上)

硬件环境: hddcluster1 10.0.0.197 redhat7 hddcluster2 10.0.0.228 centos7  这台作为master hddcluster3 10.0.0.202 redhat7 hddcluster4 10.0.0.181 centos7 软件环境: 关闭所有防火墙firewall openssh-clients openssh-server java-1.8.0-openjdk java-1.8.0-openjdk-devel hadoop-2.7.

spark开发环境配置

以后spark,mapreduce,mpi可能三者集于同一平台,各自的侧重点有所不用,相当于云计算与高性能计算的集合,互补,把spark的基础看了看,现在把开发环境看看,主要是看源码,最近Apache Spark源码走读系列挺好的,看了些.具体环境配置不是太复杂,具体可以看https://github.com/apache/spark 1.代码下载 git clone https://github.com/apache/spark.git 2.直接构建spark 我是基于hadoop2.2.0的

Scala2.10.4在CentOS7中的安装与配置

随着基于内存的大数据计算框架——spark的火爆流行,用于编写spark内核的Scala语言也随之流行开来.由于其编写代码的简洁性,受到了越来越多程序员的喜爱.我今天给大家展示的时Scala2.10.4在CentOS 7下的安装与配置: 一.Scala下载 我们需要在Scala官网下载Scala2.10.4压缩包 二.Scala的安装 a)         我们登录超级用户,在超级用户目录root下建立一个目录app: su root  #然后输入密码 mkdir app b)        

windows下spark开发环境配置

http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件,前提是你已经安装了eclipse.maven.jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8 我选择的spark是spark-1.4.0