spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题

spark版本为2.0

在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文件应该会存在本地电脑上,但是为什么会报这个错误呢?这个问题非常诡异,有的同事会报此错误,有的则不会。都是同样的配置。

这是在2016/10/31 报的错误,之前在本地测试从来不会报这个错误,但是在这天早上2个同事反映起不来项目,我自己试了一下也起不来,同样的错误。

最终发现spark报的错误不准确,如果在windows环境下spark会去某一个盘下创建“tmp/hive/用户名” 的文件夹,在这个文件夹下存放一些临时文件,注意,这里并不是数据文件,数据文件的地址另有设置。我们发现报错的同事都是只创建了“tmp/hive”的文件夹,下面的用户名文件夹并没有创建成功,可以推断,spark在下次启动的时候,创建此文件夹出错了,所以我们把“tmp/hive”的文件夹删除,再次启动,spark就可以正常运行了,运行成功后会创建“tmp/hive/用户名” 的文件夹。

值得一提的是,本机测试之前没有出现此问题,之前都是创建在E盘下

而2016/10/31(周一)来时,spark却选择了C盘,期间,代码,配置,环境等都没有变化,这个原因到目前未能解开。

这个xiaokan的文件夹也是一定要在第一次spark启动失败后(创建了tmp/hive),后将tmp/hive删除后才能创建起来,具体原理,至今未明确。

这里补充一句,在后续我们使用spark2.1版本后,再也没有出现此问题,可能是spark2.0的坑吧。

时间: 2024-10-13 00:53:32

spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题的相关文章

在idea中调试spark程序-配置windows上的 spark local模式

spark程序大致有如下运行模式: standalone模式:spark自带的模式 spark on yarn:利用hadoop yarn来做集群的资源管理 local模式:主要在测试的时候使用, 这三个模式先大致了解,目前我用到的就是local和yarn.其中,我们写spark程序,一般在idea上写,若每次都要将程序打包,再上传到集群,再运行,将严重影响我们效率,所以在调试代码的时候,一般用local模式,在windows的idea上直接操作. 环境配置步骤如下:只做简要说明,各个步骤的具体

hive 报错/tmp/hive on HDFS should be writable. Current permissions are: rwx--x--x

启动hive时报如下错误:/tmp/hive on HDFS should be writable. Current permissions are: rwx--x--x 这是/tmp/hive目录权限不够,需要提升权限 操作如下命令即可解决问题: hadoop fs -chmod -R 777 /tmp 版权声明:本文为博主原创文章,未经博主允许不得转载.

windows下jdk、hadoop、Scala、Spark的调试环境配置(jdk路径的空格问题, /tmp/hive on HDFS should be writable问题)

1.首先是jdk的路径问题 为了和以后出现的hadoop,spark出现 路径带有空格导致 调用失败的情况, 直接把 jdk的路径 剪切到 没有空格的目录下. D:\>echo %JAVA_HOME% C:\Java\jdk1.8.0_202 到这里,在cmd下,能 看到 scala -version和 spark-shell . 2.spark出现The root scratch dir: /tmp/hive on HDFS should be writable %HADOOP_HOME%\b

Spark中的local模式的配置以及测试

一:介绍 1.Spark的模式 Local:本地运行模式,主要用于开发.测试 Standalone:使用Spark自带的资源管理框架运行Spark程序,30%左右 Yarn: 将spark应用程序运行在yarn上,绝大多数使用情况,60%左右 Mesos: 二:安装 1.解压 2.建立软连接 3.复制配置文件 4.修改env.sh文件 三:运行测试 1.启动HDFS 2.准备测试路径 3.开始测试 ./run-example SparkPi 10<----------------10代表迭代的次

Spark SQL 使用beeline访问hive仓库

一.添加hive-site.xml 在$SPARK_HOME/conf下添加hive-site.xml的配置文件,目的是能正常访问hive的元数据 vim hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.1.201:3306/hiveDB?createDatabaseIf

Spark Standalone模式

Spark Standalone模式 安装Spark Standalone集群 手动启动集群 集群创建脚本 提交应用到集群 创建Spark应用 资源调度及分配 监控与日志 与Hadoop共存 配置网络安全端口 高可用性 基于Zookeeper的Master 本地系统的单节点恢复 除了运行在mesos或yarn集群管理器中,spark也提供了简单的standalone部署模式.你可以通过手动启动master和worker节点来创建集群,或者用官网提供的启动脚本.这些守护进程也可以只在一台机器上以便

spark standalone模式 zeppelin安装

1.  前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:mvn clean package -DskipTests 集群模式:  mvn clean package -Pspark-1.4 -Dspark.version=1

Hive异常 -- Cannot create directory /tmp/hive. Name node is in safe mode.

环境信息 虚拟机:Centos 7 . Hive版本:1.2.1 异常信息 Cannot create directory /tmp/hive. Name node is in safe mode. 异常处理 正常根据提示,使用 hdfs dfsadmin -safemode leave 即可 但是我遇到了特殊情况,我使用命令hdfs dfsadmin -safemode leave,不生效,幸亏看到一篇文章说可能虚拟机磁盘满了,df -h 看了一眼,果然满了. 记得以前也遇到过类似的事.命令失

Spark部署模式

1.1. Spark部署模式 Spark支持多种集群管理器(Cluster Manager),主要为: Standalone:独立集群模式,Spark原生的简单集群管理器,自带完整的服务,可单独部署到一个集群中,无需依赖任何其他资源管理系统,使用Standalone可以很方便地搭建一个集群: Apache Mesos:一个强大的分布式资源管理框架,它允许多种不同的框架部署在其上,包括yarn: Hadoop YARN:统一的资源管理机制,在上面可以运行多套计算框架,如map reduce.sto