在centos 6.5 x64中安装 spark-1.5.1

以下内容参考:http://blog.csdn.net/lovehuangjiaju/article/details/48494737

1.解压安装文件,设置环境变量

这里我们使用的安装文件是已经编译好的spark,需要搭配hadoop-2.6.0使用。下载链接是:http://pan.baidu.com/s/1gdnW5mr

解压安装文件至/cloud目录

设置spark的环境变量:

export SPARK_HOME=/cloud/spark-1.5.1

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

2.设置相关配置文件

(1)spark-env.sh

cd /cloud/spark-1.5.1/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

在该文件中加入以下start-master.sh内容:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64

export SCALA_HOME=/cloud/scala-2.10.6

export HADOOP_CONF_DIR=/cloud/hadoop-2.6.0/etc/hadoop

(2)slaves

cp slaves.template slaves

slaves文件指明worker在哪些主机上运行

在该文件中添加以下内容

master

slave1

slave2

即worker将在master,slave1,slave2上运行。

(3)因为storm web-ui已经占用了8080端口,需要更改spark端口,这里我们更改为8888

cd ../sbin

vi start-master.sh

修改后的端口号如下:

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then

SPARK_MASTER_WEBUI_PORT=8888

fi

3.分发安装文件

cd /cloud

scp -r spark-1.5.1/ [email protected]:/cloud

scp -r spark-1.5.1/ [email protected]:/cloud

4.启动spark集群(注意要先启动hadoop集群)

cd /cloud/spark-1.5.1/sbin

./start-all.sh

master 进程情况:

slave1和slave2进程情况:

5.测试集群工作是否正常

(1)访问spark master web_ui

http://master:8888

(2)运行spark版WordCount

①首先将spark的介绍文件提交到hdfs

cd /cloud/spark-1.5.1

hdfs dfs -put README.md

②启动spark-shell

cd bin

./spark-shell

②统计hdfs中README.md文件中文本行中包含单词Spark的数目

val textCount = sc.textFile("README.md").filter(line => line.contains("Spark")).count()

可见,spark已经安装成功,运行无误。

来自为知笔记(Wiz)

时间: 2024-12-24 18:58:28

在centos 6.5 x64中安装 spark-1.5.1的相关文章

CentOS 5.5 x64下安装升级Python3.3

1.下载linux版本的Python3.3.5,以下是我共享的百度云盘的下载地址 http://pan.baidu.com/s/1kT3IHLH 2.解压: tar -zxvf Python-3.3.5.tgz 3.进入解压后的目录: cd Python-3.3.5 4.创建安装目录,这里我将其安装在/usr/local下 mkdir /usr/local/python3.3 5.编译python3.3 ./configure --prefix=/usr/local/python3.3 6.执行

centos 6.9 x64 yum安装PHP 7.1.8

centos 6.9 x64 yum安装PHP 7.1.8 安装源 yum install epel-release rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm 根据你的需要安装PHP的组件,下面我就安装所有的了. yum install php71w php71w-mysql php71w-odbc php71w-common php71w-embedded php71w-pgsql php71w-xml  php71w-lda

CentOS 6.X x64 编译安装 Countly

CentOS 6.X  x64 编译安装Countly 安装所需的软件 yum -y install supervisor ImageMagick sendmail 1. 安装 node.js wget http://nodejs.org/dist/v0.10.1/node-v0.10.1.tar.gz tar zxvf node-v0.10.1.tar.gz cd node-v0.10.1 ./configure --prefix=/opt/local/node make make insta

CentOS 6.5系统中安装配置MySQL数据库

就像Windows server 2003,2008中一般安装的是Sql Server 数据库,在linux系统中一般安装的是mysql数据库,而且Mysql数据库的第一个版本就是发行在Linux系统上的. 一.mysql简介 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司.MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性.MySQL的SQL语言是用于访问数据库的

在Centos 6.3 X64平台安装11.2.0.1时,Hang到65%不动

在本机用vmware虚拟机安装Oracle grid的时候,总是安装到65%系统就不动了,然后查看日志发现日志也没有响应: [[email protected] app]# tail -f  /app/oraInventory/logs/installActions2015-08-17_05-51-32PM.log         at oracle.sysman.oii.oiic.OiicInstallAPISession.access$000(OiicInstallAPISession.ja

在centos 6.9 x64下安装code::blocks步骤

1.yum groupinstall "Development tools" 2.yum install gtk2* 3.安装wxWidgets 下载地址:https://www.wxwidgets.org/downloads/(注:一定要下载stable release版本,否则会被自己坑死) ./configure --prefix=/usr --enable-xrc --enable-monolithic --enable-unicode make make install ld

centos 6.5 x64 上安装mariadb10

1.# tar zxvf  mariadb-10.0.14-linux-x86_64.tar.gz 2.# cp -R mariadb-10.0.14-linux-x86_64 /usr/local/mysql 3.# useradd  mysql 增加 mysql 用户并归于mysql 属组 4.# chown mysql:mysql -R  /usr/local/mysql 设置 mysql 目录的用户及用户组归属. 5.# chmod +x -R /usr/local/mysql 赐予可执

在 Azure HDInsight 中安装和使用 Spark

Spark本身用Scala语言编写,运行于Java虚拟机(JVM).只要在安装了Java 6以上版本的便携式计算机或者集群上都可以运行spark.如果您想使用Python API需要安装Python解释器(2.6或者更高版本),请注意Spark暂不支持Python 3. 下载Spark 首先下载Spark并解压,我们从下载预编译版本的Spark开始.在浏览器中访问 http://spark.apache.org/down loads.html 选择"Pre-built for Hadoop 2.

在 VirtualBox 中安装最小化版 CentOS

在 VirtualBox 中安装最小化版 CentOS 发表于 2013-08-27 作者 Haoxian Zeng 浏览 3,062 次 7 在刚开始接触 VPS 服务器的时候,为了测试各种程序和配置是否能用,就在本地使用 VirtualBox创建了一个与 VPS 配置差不多一样的虚拟机,也装上了 Linux 的 CentOS 发行版,内存大小.系统和软件都照着 VPS 的模式来.这是个练手的好方法. 因为只是将它当作一个 VPS 来用的,安装之前考虑这么几件事情: 操作系统.Linode V