在Ubuntu下搭建Spark群集

前一篇文章中,我们已经搭建好了Hadoop的群集,接下来,我们就是需要基于这个Hadoop群集,搭建Spark的群集。由于前面已经做了大量的工作,所以接下来搭建Spark会简单很多。

首先打开三个虚拟机,现在我们需要安装Scala,因为Spark是基于Scala开发的,所以需要安装Scala。在Ubuntu下安装Scala很简单,我们只需要运行

sudo apt-get install scala

就可以安装Scala了。

安装完成后运行scala -version可以看到安装的Scala的版本,我现在2.11版,安装目录是在/usr/share/scala-2.11 。

接下来下载Spark。到官方网站,找到最新版的Spark的下载地址,选择Hadoop版本,

http://spark.apache.org/downloads.html

wget http://spark下载地址

当下载完毕后解压文件:

tar xvf spark-2.0.2-bin-hadoop2.7.tgz

接下来我们需要将解压的文件夹移动到指定目录,因为之前我们Hadoop安装到/usr/local/hadoop,所以我们也可以把Spark放在/usr/local/spark下:

sudo mv spark-2.0.2-bin-hadoop2.7 /usr/local/spark

进入spark文件夹下的conf文件夹,里面有个spark-env.sh.template文件,是spark环境变量设置的目标,我们可以复制一个出来:

cp spark-env.sh.template spark-env.sh

然后编辑该文件

vi spark-env.sh

在文件的末尾我们添加上以下内容:

export SCALA_HOME=/usr/share/scala-2.11
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/spark
SPARK_DRIVER_MEMORY=1G
export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native/:$LD_LIBRARY_PATH

这里的内容是根据我虚拟机的环境来的,如果安装的版本和路径不一样,可以根据实际情况更改。

接下来设置slaves文件。

cp slaves.template slaves
vi slaves

将内容改为

slave01

slave02

Spark在一台机器上就算配置完毕,接下来在另外两台机器上也做一模一样的配置即可。

启动Spark

在master上,我们先启动Hadoop,然后运行

/usr/local/spark/sbin/start-all.sh

便可启动Spark。

运行jps看看Java进程:

2929 Master
2982 Jps
2294 SecondaryNameNode
2071 DataNode
1929 NameNode
2459 ResourceManager
2603 NodeManager

发现比Hadoop启动的时候多了Master进程。

切换到slave01节点上,运行JPS,看看进程:

1889 Worker
1705 NodeManager
1997 Jps
1551 DataNode

这里比Hadoop的时候多了一个Worker进程。说明我们的Spark群集已经启动成功。

下面访问Spark的网站:

http://192.168.100.40:8080/

可以看到2个worker都启动。

最后,我们运行一下Spark的示例程序:

/usr/local/spark/bin/run-example SparkPi 10 --slave01 local[2]

可以在结果中找到

Pi is roughly 3.14XXXXX

说明我们运行成功了。

时间: 2024-10-13 02:43:33

在Ubuntu下搭建Spark群集的相关文章

在Docker下搭建Spark+HDFS集群

在Docker下搭建Spark+HDFS集群 1.      在VM中安装Ubuntu OS并实现root登录 (http://jingyan.baidu.com/article/148a1921a06bcb4d71c3b1af.html) 安装Vm增强工具 http://www.jb51.net/softjc/189149.html 2.      安装Docker docker安装方法一 ubuntu14.04以上的版本都是自带docker安装包的:所以可以直接安装:但是这个一般不是最先版本

ubuntu下搭建android开发环境之超顺畅模拟器

如果说android系统的卡,像耳边蚊子让人抓狂,那么android模拟器的卡,那就像午睡时的苍蝇.大概就是一样的恶心~~ 那么,这样的问题对于开发者肯定忍无可忍,我也一样,虽然我还没有入门,但我也一样纠结,为什么会这么卡??这么卡?我是i5 4G内存啊~~ 解决: 第一种解决方法(也算是比较直接,比较烧包的办法): 用真机调试~方法上篇文章有谈论,请看ubuntu下搭建android开发环境: 烧包原因:我不能兼容每个系统版本,每种型号机器,每种屏幕大小,都去搞台真机对吧~ 第二种解决方法:

ubuntu下搭建svn环境及其使用

ubuntu下搭建svn环境 软件下载安装: 我选用的是apt-get install subversion   操作系统自带的包管理工具安装,采用此法安装的软件方便管理,可以用dpkg -L subversion命令查看其所在安装目录. 注:ubuntu也有像archlinux相似的软件包搜索功能 , 搜索subversion 可以这么写apt-cache search subversion,就会列出所有匹配到的可选软件. 软件配置使用: 本环节其实就是在安装好subversion的操作系统中

在64位Ubuntu下搭建Java web +mysql

今天搭建了一个ubuntu 64位的tomcat + java + mysql的环境,现在总结一下: 1.下载jdk 地址: http://download.oracle.com/otn-pub/java/jdk/7u51-b13/jdk-7u51-linux-x64.tar.gz?AuthParam=1394967394_1531ce17d13be0962e25ec8fe3e45f1d 安装: tar xvf 解压刚下载的jdk压缩包. 然后到/etc/profile(注释:使用vi命令)文件

cocos2d-x-2.2.3在Windows7和Ubuntu下搭建桌面开发环境(非Android环境)

要cocos2d-x-2.2.3搭建环境需要有以下的几个基本要求:(在我的小本本上) 1.一个操作系统(Win7或Ubuntu[只在这两个系统下测试过]): 2.在Win7下需要的是VS2010以上的版本(我用的是VS2012,虽然我不想用VS,但是现在我还没有办法不用IDE就编译代码),在Ubuntu下不需要,然后安装好VS2012,我没有安装那个VS2012.4的更新照样没事: 3.Python开发环境:(这个跟正常配置一样,一路Next再把Python安装目录(我用的2.7.x,因此是C:

Ubuntu下搭建L2TP VPN Server

这是本人第一篇博客,也算是自己的尝试,以前学习东西,一般都是以文档的方式记录.文档有时候容易丢失,所以开始尝试用博客记录学习历程.毕业在即,在此记录毕设的一部分内容. 内容:Ubuntu下搭建L2TP VNP服务器(校园网Intranet VPN)   1 查看服务器主机网络信息 :$ ifconfig eth0      Link encap:Ethernet  HWaddr fa:16:3e:a0:64:0c             inet addr:172.16.0.61  Bcast:

ubuntu下搭建android开发环境(四)核心篇安装AndroidStudio、sdk、jdk(by 星空武哥)

转载请标注原创地址:http://blog.csdn.net/lsyz0021/article/details/52215996 所有的软件均在ubuntu 14.04 LTS下测试 ubuntu下搭建android开发环境(一)安装ubuntu系统 ubuntu下搭建android开发环境(二)设置ubuntu的root管理员密码 ubuntu下搭建android开发环境(三)ubuntu安装搜狗输入法 ubuntu下搭建android开发环境(四)核心篇安装AndroidStudio.sdk

ubuntu下搭建android开发环境(一)安装ubuntu系统(by 星空武哥)

    转载请标注原创地址:http://blog.csdn.net/lsyz0021/article/details/52187026 ubuntu下搭建android开发环境(一)安装ubuntu系统 ubuntu下搭建android开发环境(二)设置ubuntu的root管理员密码 ubuntu下搭建android开发环境(三)ubuntu安装搜狗输入法 虽说已经有很多ubuntu的安装教程了,但是今天我还是要写一篇这样的文章,因为这篇文章是为了在ubuntu下搭载android开发环境所

Ubuntu下搭建Tomcat服务器

安装JAVA环境 apt-get update apt-get install openjdk-7-jdk 配置JAVA环境变量 vi /etc/environment JAVA_HOME=JDK目录(一般在=/usr/lib/jvm/jdk1.7.0_04/) CLASSPATH=.:/usr/lib/jvm/jdk1.7.0_04/lib 获取Tomcat安装包 官方下载一个解压即可 #添加一个系统用户tomcat,并且设置为不可登录系统. useradd -d /tomcat解压目录 -s