Spark和Hive的整合

Spark和Hive的整合

node1 spark master

node2 hive 的服务端-->metastore server

1.拷贝 hive-site.xml 到 spark master的 conf 下

node1

1. <configuration>
2. <property>
3. <name>hive.metastore.uris</name>
4. <value>thrift://node2:9083</value>
5. <description>Thrift uri for the remote metastore.Used by metastore client to connect to remote metastore.</description>
6. </property>
7. </configuration>

2.开启hive的元数据服务

node2   hive --service metastore

3.启动HDFS和Spark集群

因为hive中源数据是在hdfs上的，所以需要启动hdfs

启动zookeeper 

zkServer.sh start

启动hdfs

start-all.sh 

启动spark集群

spark-start-all.sh

4.测试 

进入node1spark中bin下启动 spark-shell

spark-shell --master spark://node1:7077 --executor-memory 1G

先导入HiveContext的包

scala>import org.apache.spark.sql.hive.HiveContext

scala> val hiveContext = new HiveContext(sc)

scala> hiveContext.sql("show tables").show

这一步可能会出现资源问题！

出错原因：确保每个节点有足够的资源，因为一开始启动spark shell的时候指定--executor-memory 1G，表明每个executor进程需要1G的资源，但是实际运行时master不能为executor分配足够的资源，所以就报了如上的错误。

解决办法：

在web端把其他无关的Applications kill（Application ID下方有kill）掉即可

出现如下结果，表明Spark和hive整合ok

如果看不到打印信息，在spark shell 中设置

scala>：sc.setSetLogLevel(INFO)