Hadoop 从 hdfs 中拷出文件权限不够

问题:使用-get命令从hdfs中拷出文件时,提示权限不够,如下:

?
?

分析:

可能有三方面原因:

  1. hdfs 中的文件或文件夹 没有读取权限;
  2. hdfs 的配置中未允许拷出文件;
  3. linux 文件夹没有写入权限

解决办法:

针对3种可能,分别解决办法如下:

1 增加hdfs文件夹权限

hadoop fs -chmod 777 /user/hadoop

2 修改hdfs配置文件

# 在 $HADOOP_HOME/etc/hadoop/目录中,找到hdfs-site.xml,添加或更改以下属性:

<property>

<name>dfs.permissions</name>

<value>false</value></property>

# 将true该为false。

3 增加linux文件夹权限

sudo chmod 777 /home/daniel/tmp

实操:做了第1.3步后就成功了

?
?

?
?

?
?

原文地址:https://www.cnblogs.com/PomeloYe/p/11783536.html

时间: 2024-10-19 09:42:05

Hadoop 从 hdfs 中拷出文件权限不够的相关文章

hadoop的hdfs中的javaAPI操作

package cn.itcast.bigdata.hdfs; import java.net.URI; import java.util.Iterator; import java.util.Map.Entry; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache

hadoop hdfs中删除文件恢复

hadoop的hdfs中删除的文件恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件存在了hdfs的.Trash文件夹中,恢复时只需要将该文件夹中文件拿出即可.具体操作如下: 1 设置trash 如果需要恢复hdfs中文件,就需要设置trash,hadoop的trash默认是关闭的.具体设置如下: <property>          <name>fs.trash.interval</name>          <value>10080

Hadoop如何恢复被删除的文件

hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件被移动到了hdfs的.Trash文件夹中,恢复时只需将该文件夹中文件拿出即可.具体操作如下: 1 设置.Trash文件夹 如果需要恢复hdfs中文件,就需要设置.Trash,hadoop的.Trash默认是关闭的.具体设置如下: <property>          <name>fs.trash.interval</name>          <value&

Linux中文件权限的一些知识

读<Linux命令行和shell脚本编程大全>,想起来在入侵中一些Linux文件权限的一些问题,简单记一下要点: umask中 0022中第一个0带便粘着位,八进制含义为: 0      0       0 SUID SGID T位 看到关于应急响应中出现的问题,作者说设置了facl会造成一些root用户的读写问题.[我手工设置了 发现依然能编辑.删除,存疑] https://www.91ri.org/10394.html 作者还提到了,因为隐藏属性会导致文件无法被删除: 关于这个找到一个 h

HBase结合MapReduce批量导入(HDFS中的数据导入到HBase)

HBase结合MapReduce批量导入 1 package hbase; 2 3 import java.text.SimpleDateFormat; 4 import java.util.Date; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.apache.hadoop.hbase.client.Put; 8 import org.apache.hadoop.hbase.mapreduce.TableOutput

每天收获一点点------Hadoop之HDFS基础入门

一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多台机器上的文件,于是就产生了分布式文件管理系统,英文名成为DFS(Distributed File System). 那么,什么是分布式文件系统?简而言之,就是一种允许文件通过网络在多台主机上分享的文件系统,可以让多个机器上的多个用户分享文件和存储空间.它最大的特点是“通透性”,DFS让实际上是通过网络来

Hadoop的HDFS总结

HDFS 提供分布式存储机制, 提供可线性增长的海量存储能力 自动数据冗余, 无须使用Raid, 无须另行备份 为进一步分析计算提供数据基础 HDFS设计基础与目标 硬件错误是常态, 因此需要冗余 流式数据访问. 即数据批量读取而非随机读写, hadoop擅长做的是数据分析而不是事务处理 大规模数据集 简单一致性模型. 为了降低系统复杂度, 对文件采用一次性写多次读的逻辑设计, 即是文件一写入, 关闭, 就再也不能修改. 程序采用 "数据就近" 原则分配节点执行 Namenode 管理

Hadoop之HDFS读写原理

一.HDFS基本概念 HDFS全称是Hadoop Distributed System.HDFS是为以流的方式存取大文件而设计的.适用于几百MB,GB以及TB,并写一次读多次的场合.而对于低延时数据访问.大量小文件.同时写和任意的文件修改,则并不是十分适合. 目前HDFS支持的使用接口除了Java的还有,Thrift.C.FUSE.WebDAV.HTTP等.HDFS是以block-sized chunk组织其文件内容的,默认的block大小为64MB,对于不足64MB的文件,其会占用一个bloc

深入理解Hadoop之HDFS架构

Hadoop分布式文件系统(HDFS)是一种分布式文件系统.它与现有的分布式文件系统有许多相似之处.但是,与其他分布式文件系统的差异是值得我们注意的: HDFS具有高度容错能力,旨在部署在低成本硬件上.(高容错)HDFS提供对数据的高吞吐量访问,适用于具有海量数据集的应用程序.(高吞吐量)HDFS放宽了一些POSIX要求,以实现对文件系统数据的流式访问.(流式访问) HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的.HDFS是Apache Hadoop Core项目的