spark整合hive后,hive启动报错:
ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory
原因:spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
解决方法:打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如下一行:
sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
修改为如下一行:
sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
原文地址:https://www.cnblogs.com/mediocreWorld/p/11621090.html
时间: 2024-11-04 17:01:59