伪分布式Spark + Hive on Spark搭建

　　Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。

　　Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是默认的MapReduce。

　　可以查阅官网的资源Hive on Spark: Getting Started。

一 、安装基础环境

1.1 Java1.8环境搭建

　　1) 下载jdk1.8并解压：

# tar -zxvf  jdk-8u201-linux-i586.tar.gz  -C /usr/local

　　2) 添加Java环境变量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

　　3) 保存后刷新环境变量：

# source /etc/profile

　　4) 检查Java是否配置成功，成功配置会有如下图所示。

# java -version

1.2 Scala环境搭建

　　1）下载Scala安装包并解压

# tar -zxf scala-2.11.12.tgz -C /usr/local

　　2) 添加Scala环境变量，在/etc/profile中添加：

export SCALA_HOME=/usr/local/scala-2.11.12
export PATH=${SCALA_HOME}/bin:$PATH

　　3) 保存后刷新环境变量

# source /etc/profile

　　4) 检查Scala是否配置成功，成功配置会有如下图所示。

# scala -version

1.3 Maven安装

　　1）下载安装Maven

# tar -zxf  apache-maven-3.6.1-bin.tar.gz -C /usr/local

　　2）添加到环境变量中

export MAVEN_HOME=/usr/local/maven-3.6.1
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH　

　　3) 保存后刷新环境变量

# source /etc/profile

　　4)检查Maven是否配置成功，成功配置会有如下图所示

# mvn -version

　　5）更换中央仓库镜像为阿里云中央仓库镜像

# vim /usr/local/maven-3.6.1/conf/settings.xml

　　找到mirrors元素， 在它里面添加子元素mirror：

　　 <!-- 阿里云中央仓库 -->
    <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

　　添加结果如下：

二、Spark2.3.3源码编译

　　由官方文档可知Hive on Spark只使用特定版本的Spark进行测试，所以给定版本的Hive只能保证使用特定版本的Spark。其他版本的Spark可能适用于给定版本的Hive，但这并不能保证。下面是Hive版本及其相应的兼容Spark版本的列表。

　　在本文中，小编搭建的版本为：Hive 3.1.1，Spark 2.3.3，在这里默认Hive已经成功安装好。

　　1）下载并解压Spark源码

# wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.3/spark-2.3.3.tgz
# tar -zxf spark-2.3.3.tgz

　　2）编译Spark源码

　　下面是参考Spark官方文档给出的教程而定制的命令，因为Spark要结合Hadoop(伪分布式Hadoop部署可以参考我之前的文档)与Hive一起使用，下面命令是Spark自带的Maven编译的脚本：

# ./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7"

　　也可以直接通过Maven命令进行编译：

# ./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package

　　出现下图所示也就代表着编译成功：

　　将编译后的Spark压缩包解压到/usr/local路径并改名：

# tar -zxf spark-2.3.3-bin-hadoop2-without-hive.tgz -C  /usr/local# mv spark-2.3.3-bin-hadoop2-without-hive spark-2.3.3

　　3）配置伪分布式Spark

　　配置SPARK_HOME环境变量后并刷新：

export SPARK_HOME=/usr/local/spark-2.3.3
export PATH=$PATH:$SPARK_HOME/bin

　　进入Spark根目录下conf目录并生成slaves文件：

# cd $SPARK_HOME/conf
# cp slaves.template slaves  //复制模板生成slaves文件，伪分布式不用修改该文件

　　接下来修改spark-env.sh文件，修改前先复制后重命名:

# cp spark-env.sh.template spark-env.sh
# vim spark-env.sh

　　添加如下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_201
export SCALA_HOME=/usr/local/scala-2.11.12
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=2048m
export SPARK_MASTER_IP=hadoop
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/local/spark-2.3.3
export SPARK_LIBRARY_PATH=/usr/local/spark-2.3.3/libexport SPARK_DIST_CLASSPATH=${hadoop classpath}  //hadoop classpath在终端上输入即可查看

　　

　　4）启动Spark

　　第一步，启动之前要保证Hadoop启动成功，先使用jps看下进程信息：

　　

　　五个进程都启动并没有自动断开，说明Hadoop启动成功。

　　第二步，启动Spark：

　   进入Spark的sbin目录下执行start-all.sh启动Spark，启动后，通过jps查看最新的进程信息：

　　

　　访问http://ip:8080

　　

　　从页面可以看到一个Worker节点信息。

　　通过访问http://ip:4040进入spark-shell web控制台页面（需先使用命令./bin/spark-shell启动SparkContext），出现下面的Web界面信息：

　　

　　如果某台机器上运行多个SparkContext，它的Web端口会自动连续加一，例如4041，4042，4043等。为了浏览持久的事件日志，设置spark.eventLog.enabled就可以了。

　　5）验证Spark是否配置成功

　　注意：在启动Spark之前，要确保Hadoop集群和YARN均已启动

    • 在$SPARK_HOME目录下启动Spark：
# $SPARK_HOME/sbin/start-all.sh
    • 在$SPARK_HOME目录下，提交计算Pi的任务，验证Spark是否能正常工作，运行如下命令：
# ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.3.3.jar 10

　　若无报错，并且算出Pi的值，说明Spark集群能正常工作。

　　

　　6）关闭Spark

　　进入Spark目录，执行：

# cd $SPARK_HOME# ./sbin/stop-all.sh

　　7）关闭Hadoop

　　进入Hadoop目录，执行：

# cd $HADOOP_HOME
# ./sbin/stop-yarn.sh
# ./sbin/stop-dfs.sh

　　（./sbin/stop-all.sh也可以执行上述的操作，但有警告该命令已被丢弃，应使用上面的两个命令代替）

三、Hive on Spark

　　1）将编译好的Spark依赖添加到$HIVE_HOME/lib目录下

# cp $SPARK_HOME/jars/* $HIVE_HOME/lib

　　2）配置hive-site.xml

　　配置的内容与spark-defaults.conf相同，只是形式不一样,以下内容是追加到hive-site.xml文件中的,并且注意前两个配置，如果不设置hive的spark引擎用不了，在后面会有详细的错误说明。

<property>
  <name>hive.execution.engine</name>
  <value>spark</value>
</property>

<property>
  <name>hive.enable.spark.execution.engine</name>
  <value>true</value>
</property>
<property>
  <name>spark.home</name>
  <value>/usr/local/spark-2.3.1-bin-hadoop2.7</value>
</property>
<property>
  <name>spark.master</name>
  <value>yarn-client</value>
</property>
<property>
  <name>spark.eventLog.enabled</name>
  <value>true</value>
</property>
<property>
  <name>spark.eventLog.dir</name>
  <value>hdfs://Goblin01:8020/spark-log</value>
</property>
<property>
  <name>spark.serializer</name>
  <value>org.apache.spark.serializer.KryoSerializer</value>
</property>
<property>
  <name>spark.executor.memeory</name>
  <value>1g</value>
</property>
<property>
  <name>spark.driver.memeory</name>
  <value>1g</value>
</property>
<property>
  <name>spark.executor.extraJavaOptions</name>
  <value>-XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"</value>
</property>

　　3）验证Hive on Spark是否可用

　　命令行输入hive，进入hive CLI：

　　

　　set hive.execution.engine=spark; (将执行引擎设为Spark，默认是mr，退出hive CLI后，会回滚到默认设置。若想让执行引擎默认为Spark，需要在hive-site.xml里设置)

　　接下来执行一条创建测试表语句：

hive> create table test(ts BIGINT,line STRING);

　　然后执行一条查询语句：

hive> select count(*) from test;

　　

　　若上述整个过程都没有报错，并出现正确结果，则Hive on Spark搭建成功。

四、遇到的问题

1. get rid of POM not found warning for org.eclipse.m2e:lifecycle-mapping

　　stackoverflow印度阿三们的解决方案已成功解决上述的问题：参考网址：https://stackoverflow.com/questions/7905501/get-rid-of-pom-not-found-warning-for-org-eclipse-m2elifecycle-mapping/

2. Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile

　　这报错主要出现在Spark-SQL编译出错，原因在maven本地仓库中scala依赖冲突，第一次编译的时候没有配置scala版本，默认用了2.10版本，这次是编译成功的，但后面再编译的时候，我选择了2.11版本，然后在spark-sql模块编译失败，然后去google找解决方案，链接如下所示： https://github.com/davidB/scala-maven-plugin/issues/215

　　通过以下命令删除maven本地仓库（默认路径）的scala依赖：

# rm -r ~/.m2/repository/org/scala-lang/scala-reflect/2.1*

　　如果编译还无法成功，则在源码根目录pom.xml文件添加依赖：

<dependency>
    <groupId>net.alchim31.maven</groupId>
　 <artifactId>scala-maven-plugin</artifactId>
    <version>3.2.0</version>
</dependency>

3. Error: A JNI error has occurred, please check your installation and try again

　　原因：启动编译好的Spark，出现如上的错误，是因为没有在spark-env.sh导入hadoop classpath

　　解决方案：在shell终端上输入hadoop classpath：

　　然后再spark-env.sh添加上去：

4. 启动Hive时报错，缺少spark-assembly-*.jar

　　

　　其主要的原因是：在hive.sh的文件中，发现了这样的命令，原来初始当spark存在的时候，进行spark中相关的JAR包的加载。而自从spark升级到2.0.0之后，原有的lib的整个大JAR包已经被分散的小JAR包的替代，所以肯定没有办法找到这个spark-assembly的JAR包。这就是问题所在。

　　

　　解决方案：将这个spark-assembly-*.jar`替换成jars/*.jar，就不会出现这样的问题。

　　

参考资料：http://spark.apache.org/docs/2.3.3/building-spark.html

　　　　    https://www.cnblogs.com/xinfang520/p/7763328.html

　　　　    https://blog.csdn.net/m0_37065162/article/details/81015096

　　　　    https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

原文地址：https://www.cnblogs.com/luengmingbiao/p/11216383.html

时间： 2024-10-17 16:40:58

伪分布式Spark + Hive on Spark搭建的相关文章

伪分布式模式的Hadoop环境搭建

一.本文说明:     本次测试在一台虚拟机系统上进行伪分布式搭建.Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式.Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似.唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器. 二.环境说明:      操作系统:Cent Os 6.7      hadoop版本:hadoop-2.7.2      JDK版本:jdk1.8_77     备注:

hadoop三----基于hadoop伪分布式整合hive和hbase

hadoop的生态圈: ETL 数据的抽取.转换.加载 1)安装hive 1.解压   # tar zvxf hive-0.13.0.tar.gz -C /usr/local   # cd /usr/local   # ln -sv  /usr/local/hive-0.12.0 /usr/local/hive 2.替换jar包,保持hbase0.98与hadoop1.2一致   # cd /usr/hive/lib   # rm -rf hbase-0.94*   # find /usr/hb

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭

Hadoop+HBase+Spark+Hive环境搭建

杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包 本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安

Spark集群框架搭建【VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive】

目录 1 目的 2 准备工作 3 安装过程 3.1 在虚拟机中安装CentOS7 3.1.1 虚拟机设置 3.1.2 安装Linux系统 3.2 JAVA环境 3.2.1 卸载Linux自带的jdk 3.2.2 下载并安装最新版本的jdk 3.2.3 环境变量设置 3.3 SSH免密登陆 3.3.1 准备工作 3.3.2 设置免密登陆 3.4 Hadoop2.7.2安装及集群配置 3.4.1 Hadoop安装 3.4.2 伪分布式集群配置 3.4.3 启动hadoop 3.5 Spark安装及环

spark伪分布式安装与测试

1.下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2.安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profile 第三步 source 使配置环境变量生效: 第四步 验证scala: 3.下载spark 1.2.0,具体下载地址:http://spark.apache.org/downloads.html 4.安装和配置spark: 第

Apache Spark源码走读之12 -- Hive on Spark运行环境搭建

欢迎转载,转载请注明出处,徽沪一郎. 楔子 Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常

有米实习-Ubuntu 14.04 LTS 安装 spark 1.6.0 （伪分布式）

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet

Spark 伪分布式 & 全分布式 安装指南

0.前言 3月31日是 Spark 五周年纪念日,从第一个公开发布的版本开始,Spark走过了不平凡的5年:从刚开始的默默无闻,到13年的鹊起,14年的大爆发.Spark核心之上有分布式的机器学习,SQL,streaming和图计算库. 4月1日 spark 官方正式宣布 Spark 2.0 对Spark重构,更好支持手机等移动终端.Databricks创始人之一hashjoin透漏了相关的重构方法:利用Scala.js项目把Spark代码编译成JavaScript,然后利用Safari / C