spark cdh5编译安装[spark-1.0.2 hadoop2.3.0 cdh5.1.0]

前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.0

1、下载maven包

2、配置M2_HOME环境变量,配置maven 的bin目录到path路径

3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

4、到官方下载spark-1.0.2.gz压缩包、解压

5、进入spark解压包目录

6、执行./make-distribution.sh --hadoop 2.3.0-cdh5.1.0 --with-yarn --tgz

7、漫长的等待

8、完成后会在当前目录下生成spark-1.0.2-bin-2.3.0-cdh5.1.0.tgz

9、复制到安装目录解压

10、配置conf下的配置文件

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

配置参数:对应即可

export JAVA_HOME=/home/hadoop/jdk
export HADOOP_HOME=/home/hadoop/hadoop-2.3.0-cdh5.1.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.3.0-cdh5.1.0/etc/hadoop
export SPARK_YARN_APP_NAME=spark-on-yarn
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_EXECUTOR_CORES=2
export SPARK_EXECUTOR_MEMORY=3500m
export SPARK_DRIVER_MEMORY=3500m
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=3500m
export SPARK_WORKER_INSTANCES=1

11、配置slaves

slave01
slave02
slave03
slave04
slave05

12、分发

拷贝spark安装目录到各个slave节点

13、启动

sbin/start-all.sh

14、运行实例

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi     --master yarn-client     --num-executors 3     --driver-memory 4g     --executor-memory 2g     --executor-cores 1     /home/hadoop/spark/lib/spark-examples-1.0.2-hadoop2.3.0-cdh5.1.0.jar     100

15、发送实例竟然没成功

在yarn监控界面点击日志出现一堆这些错误

INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s).

INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s).

INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s).

INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s).

16、解决问题

将spark目录下lib包的spark核心包拿到本地,发现里面有一个yarn-defaul.xml文件,打开发现

  <!-- Resource Manager Configs -->
  <property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
    <value>0.0.0.0</value>
  </property> 

可想而知,到本地找resorcemanager,如果运行节点不是在yarn节点的resourcemanager上运行,怎么可能找到呢

17、修改这个配置如下

  <!-- Resource Manager Configs -->
  <property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property> 

18、打包重新分发spark到各个节点

时间: 2024-10-24 15:09:27

spark cdh5编译安装[spark-1.0.2 hadoop2.3.0 cdh5.1.0]的相关文章

编译安装spark

1.官网下载未编译的spark的jar包,选择下载的时候选择source code 2.安装jdk,maven. 3.修改spark根目录下的pom.xml文件(这一步可以忽略).主要是修改版本.里面有很多版本,只要修改你本身的对应的版本,比如:jdk 1.7,hadoop 2.3.0,hbase 0.98.1-hadoop2,hive 0.12.0等等.你本身没用到的版本不用配置. 4.添加maven参数:export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=51

编译安装MariaDB-10.0.21

一.源码编译安装gcc-5.1.0 1.下载gcc源码包 Download (HTTP): http://ftpmirror.gnu.org/gcc/gcc-5.2.0/gcc-5.2.0.tar.bz2 Download (FTP): ftp://ftp.gnu.org/gnu/gcc/gcc-5.2.0/gcc-5.2.0.tar.bz2 2.解压压缩包 1 [[email protected] ~]# tar -xf  gcc-5.1.0.tar.gz 3.下载编译所需的依赖包 这个步骤有

gcc 9.2.0 编译安装mysql 8.0.17

环境说明: CentOS Linux release 7.4.1708 (Core)内核版本: 3.10.0-693.el7.x86_64工作目录:/usr/local/src/mysql 安装目录:/apps/program其它程序安装目录:/usr/local/程序名+版本号 安装源码准备 cd /usr/local/src/ wget https://mirrors.ustc.edu.cn/gnu/gmp/gmp-6.1.2.tar.xz wget https://mirrors.ustc

编译安装LAMP及分离式LAMP平台构建

前言 LAMP网站架构是目前国际流行的Web框架,该框架包括:Linux操作系统,Apache网站服务器,MySQL数据库,Perl.PHP或者Python编程语言,所有组成产品均是开源软件,是国际上成熟的架构框架,很多流行的商业应用都是采取这个架构,和Java/J2EE架构相比,LAMP具有Web资源丰富.轻量.快速开发等特点,与微软的.NET架构相比,LAMP具有通用.跨平台.高性能.低价格的优势,因此LAMP无论是性能.质量还是价格都是企业搭建网站的首选平台.但由于MySQL作为SUN公司

编译安装LAMP之httpd

编译安装httpd(httpd 2.4.4,相关软件包可到apache官网上下载) # hwclock -s 将软件时间同步为硬件时间,防止安装软件时出错 1.解决依赖关系 httpd-2.4.4需要较新版本的apr和apr-util,因此需要事先对其进行升级.这里使用源码包进行升级(apr-1.5.2,apr-util-1.5.4 ) (1) 编译安装apr # tar xf apr-1.5.2.tar.bz2 # cd apr-1.5.2 # ./configure --prefix=/us

运维工作必备----------编译安装LAMP

1.编译安装介绍 在工作中,基于各种生产环境下,可能yum安装不能满足我们的需求.这个时候我们就得自己动手编译安装软件包,当然只要掌握了技巧,其实编译安装也非常的简单.本文将介绍如何在CentOS 6.7系统下编译安装:httpd-2.4.6 + php-5.6.4 + xcache-3.2.0 + mariadb-5.5.43,编译完成后基于LAMP环境搭建一个Wordpress 和phpMyAdmin. 2.编译安装 2.1 mariadb-5.5.43 准备数据存放的文件系统 新建一个逻辑

OpenSSL之编译安装

OpenSSL编译安装for Linux: 安装环境:          操作系统:CentOS release 6.5           OpenSSL版本:openssl-1.0.1h 下载源码包:          源码包名称:openssl-1.0.1h.tar.gz          下载地址:http://www.openssl.org/source/          校验源码包:                  [[email protected] ~]# sha1sum o

Ubuntu14.04 64Bit 中从源码编译安装Gtk-3.16.3

(一)从源码编译安装GTK开发环境 为了便于获取源码,截止2015-05-26的gtk相关源码的存放于网盘中: 1. 相关网址 1)GTK+ Website 2)Compiling the GTK+ libraries  Overview of GTK+ and its Libraries 2.下载和编译源码包 1)下载源码:  (版本:gtk+-3.16.3.tar.xz) 2)解压配置gtk源码 $ tar xvfJ gtk+-3.16.3.tar.xz $ cd gtk+-3.16.3/

lamp之编译安装httpd

编译安装LAMP顺序: httpd--> mysql --> php -->XCache httpd: apr--> apr-util -->httpd 0.确保安装环境 #yum groupinstall "Development Tools" "Compatibility Libraries" #yum -y install pcre-devel openssl-devel 1.安装apr和apr-util: apr(Apache