HDFS权限

1.1 超级用户

启动namenode服务的用户就是超级用户, 该用户的组是supergroup

1.2 文件权限管理

1.2.1 创建时的owner和group

文件或者目录被创建之时,服从BSD规则,owner是客户端进程的用户,group是父目录的group

1.2.2 访问权限说明

object r w x stick bit(restricted deletion flag)
file 读文件 写或者追加写文件   无效
directory 列出目录的内容 创建或者删除子文件或子目录 访问子文件或者子目录 阻止移动或者删除该目录内的文件或目录(超级用户,owner和group不会被stick bit阻止)
         

1.2.3 应用示例

  • 创建/input目录,用于接收外部写入的数据
    • input目录的group也是input,owner是lisa(超级用户),
    • 创建/input/dean目录,用于接收dean用户写入的数据, owner是dean用户,group用户允许写入数据
  • 创建目录
    $ hdfs dfs -mkdir -p /input/dean
    $ hdfs dfs -ls /
    Found 3 items
    drwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /input
    drwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /test
    drwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp
    $ hdfs dfs -ls /input
    Found 1 items
    drwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /input/dean
    • 修改input目录的owner为lisa,group从supergroup改为input
    $ hdfs dfs -chown lisa:input /input
    $ hdfs dfs -ls /
    Found 3 items
    drwxr-xr-x   - lisa input               0 2015-11-08 17:26 /input
    drwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /test
    drwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp
    • 修改/input/dean目录的ower和group都为dean
    $ hdfs dfs -ls /input
    Found 1 item
    drwxrwxr-x   - dean dean           0 2015-11-21 16:24 /input/dean

    注意,客户机上创建linux 用户dean,无需在namenode节点上创建该用户

  • 允许input group用户写入/input/qoros目录
    1. 先要设置目录权限,让input组用户都能读,写,执行该目录

      $ hdfs dfs -chmod -R g+w /input/qoros
    2. 然后在客户机上
      • 创建guoqiang帐号和组input
      useradd guoqiang
      groupadd input
      • 改guoqiang用户组为input
      usermod -g input guoqiang

      在namenode所在的服务器上添加相同的用户和组,这点很奇怪,如果不这么干写操作会被拒绝,这会造成麻烦,因为两个namenode节点都要这么干

      useradd guoqiang
      usermod -g input guoqiang
  • 取消其他用户的所有权限
    $ hdfs dfs -chmod -R o-r /input/dean
    $ hdfs dfs -ls /input
    Found 1 items
    drwxrwx--x   - lisa supergroup          0 2015-11-08 17:26 /input/dean
    $ hdfs dfs -chmod -R o-x /input/dean
    $ hdfs dfs -ls /input
    Found 1 items
    drwxrwx---   - lisa supergroup          0 2015-11-08 17:26 /input/dean

1.3 POSIX ACLs(目前尚未使用)

为特定的用户和组提供细致粒度的权限管理, 而不只是owner,group。该功能默认关闭, 需要如下设置打开

dfs.namenode.acls.enabled true

具体配置实在hdfs-site.xml中

<property>
<name>dfs.permissions.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.namenode.acls.enabled</name>
<value>true</value>
</property>

在core-site.xml设置用户组默认权限.

<property>
<name>fs.permissions.umask-mode</name>
<value>002</value>
</property>
时间: 2025-01-15 00:47:38

HDFS权限的相关文章

spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题

spark版本为2.0 在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文件应该会存在本地电脑上,但是为什么会报这个错误呢?这个问题非常诡异,有的同事会报此错误,有的则不会.都是同样的配置. 这是在2016/10/31 报的错误,之前在本地测试从来不会报这个错误,但是在这天早上2个同事反映起不来项目,我自己试了一下也起不来,同样的错误. 最终发现spark报的错误不准确

HADOOP docker(九):hdfs权限

1. 概述2. 用户身份标识3. 组映射4.关于权限的实现5.文件系统API的变更6.应用程序shell的变更7.超级用户8.ACLs9.ACL 文件系统API10.ACL命令11.参数配置12.总结 骚年们,我们今天来学习hdfs的权限~ 请忽略4,5两段内容~ 文档:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 中文文档参考:http://hadoo

【异常】访问HDFS权限异常:Permission denied: user=С&#206;&#247;?&#206;&#232;, access=WRITE, inode=&quot;/&quot;:hadoop:supergroup:drwx

IDEA中的scala项目访问HDFS,程序运行,可能出现的异常: 权限问题:Permission denied: user=СÎ÷?Îè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数,因为HDFS上的文件所属的用户是hadoop,所以这里的用户也改成hadoop: ? -DHADOOP_USER_NAME=hadoop: ? 原文地址:https://www.cnblogs.com/huomei/p/121

HDFS权限问题

Win下Eclipse提交hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=mango, access=WRITE 描述:在window下使用Eclipse进行hadoop的程序编写,然后Run on hadoop 后,出现如下错误: 11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_

hadoop系列二:HDFS文件系统的命令及JAVA客户端API

转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6391518.html 一:说明 此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列一:hadoop集群安装 二:HDFS的shell命令 上一章说完了安装HADOOP集群部分,这一张讲HDFS. 其实基本上操作都是通过JAVA API来操作,所以这里的s

HADOOP docker(七):hive权限管理

1. hive权限简介1.1 hive中的用户与组1.2 使用场景1.3 权限模型1.3 hive的超级用户2. 授权管理2.1 开启权限管理2.2 实现超级用户2.3 实现hiveserver2用户名密码2.4 授权2.4.1 角色管理2.4.2 权限管理2.4.3 操作与权限对应关系 文档链接: hive权限管理 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Authorization#LanguageManu

Hadoop 3、Hadoop 分布式存储系统 HDFS(好多彩色图)

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统. 一.HDFS的优缺点 1.HDFS优点: a.高容错性 .数据保存多个副本 .数据丢的失后自动恢复 b.适合批处理 .移动计算而非移动数据 .数据位置暴露给计算框架 c.适合大数据处理 .GB.TB.甚至PB级的数据处理 .百万规模以上的文件数据 .10000+的节点 d.可构建在廉价的机器上 .通过多副本存储,提高可靠性 .提供了容错和恢复机制 2.HDFS缺点 a.低延迟数

cdh权限测试示例

1. 准备测试数据 cat /tmp/events.csv 10.1.2.3,US,android,createNote 10.200.88.99,FR,windows,updateNote 10.1.2.3,US,android,updateNote 10.200.88.77,FR,ios,createNote 10.1.4.5,US,windows,updateTag 2. 创建用户2.1. 创建系统用户在集群所有节点创建系统用户并设置密码 useradd user1 passwd user

HDFS的基本shell操作

(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 .它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 而它最主要的特性就是通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般.即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失 分布式文件管理系