hadoop重启后,hdfs目录权限问题

今天重启了下Hadoop集群,使用Eclipse调试hdfs api的时候报错:

[WARNING]
java.lang.NullPointerException
    at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50)
    at org.conan.kafka.SingleTopicConsumer.run(SingleTopicConsumer.java:144)
    at java.lang.Thread.run(Thread.java:745)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

查找HdfsUtil.java 第50行

os.write(buff, 0, buff.length);

发现是写的时候报错,然后折腾了一会儿,也没找到原因,后来想会不会是权限问题(电脑不是管理员身份,hadoop集群是以root身份运行),但是之前已经把hdfs文件夹的权限改为了777。不管了,在试试,hdfs dfs -chmod -R 777 /input,然后再次调试,OK。

那么问题来了,Hadoop集群难道在每次重启后(没有进行namenode format)都要修改文件(夹)的权限?

依据实践来看,应该是的。

时间: 2024-08-25 02:39:00

hadoop重启后,hdfs目录权限问题的相关文章

lvm的逻辑卷经过parted分区重启后消失

正确的lvm操作步骤pvcreate /dev/vdbpvsvgcreate -hman vgcreatevgcreate data_vg /dev/vdbvgsman lvcreatelvcreate --size 1000G -n log_lv data_vglvsls /dev/mapper/mkfs.ext4 /dev/mapper/data_vg-log_lvecho "/dev/mapper//data_vg-log_lv /data ext4 defaults 0 0"

hadoop hdfs访问权限更新延迟问题

最近我遇到过一次solr的文件权限问题,导致索引崩溃.同事也遇到一次FS的类似现象问题.多次经历发现hadoop目前对目录的权限管理有同步问题. 正常情况下,以某个用户启动,则目录权限会变成该用户.至于用户所在的组,可以直接忽略,没有看到用处.但是有时候会出现这样的情形.明明运行程序是超级用户,也就是缺省使用hdfs用户(如果有设置缺省),但是可以访问solr, 权限的目录,而且一直稳定运行. 但是某一天,也许你忽然想改变一些配置.重启了一些应用.也许就忽然它就权限变更了.除非你用正确的用户启动

HADOOP docker(九):hdfs权限

1. 概述2. 用户身份标识3. 组映射4.关于权限的实现5.文件系统API的变更6.应用程序shell的变更7.超级用户8.ACLs9.ACL 文件系统API10.ACL命令11.参数配置12.总结 骚年们,我们今天来学习hdfs的权限~ 请忽略4,5两段内容~ 文档:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 中文文档参考:http://hadoo

HDFS目录(文件 )权限管理

用户身份 在1.0.4这个版本的Hadoop中,客户端用户身份是通过宿主操作系统给出.对类Unix系统来说, 用户名等于`whoami`: 组列表等于`bash -c groups`. 将来会增加其他的方式来确定用户身份(比如Kerberos.LDAP等).期待用上文中提到的第一种方式来防止一个用户假冒另一个用户是不现实的.这种用户身份识别机制结合权限模型允许一个协作团体以一种有组织的形式共享文件系统中的资源. 不管怎样,用户身份机制对HDFS本身来说只是外部特性.HDFS并不提供创建用户身份.

Linux--/tmp目录文件重启后自动删除

源博客 http://blog.itpub.net/24996904/viewspace-769327/ 在/etc/default/目录下有个rcS文件,文件内容如下:## /etc/default/rcS## Default settings for the scripts in /etc/rcS.d/## For information about these variables see the rcS(5) manual page.## This file belongs to the

hadoop教程之HDFS常用文件操作命令

北京尚学堂提供 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file> < hdfs file > hdfs file的父目录一定要存在,否则命令不会执行 hadoop fs -put < local fileor dir >-< hdfs dir > hdfs dir 一定要存在,否则

Hadoop备战:hdfs常用命令(可能有你不知道的)

除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法. 下面是所有命令的介绍,介绍之前先定义一下参数的意义: 1.    斜体:表示用户输入的变量. 2.  path:表示文件名或目录名. 3.    path-:表示一个或多个文件名或目录名. 4.    file:表

【大数据系列】HDFS文件权限和安全模式、安装

HDFS文件权限 1.与linux文件权限类型 r:read w:write x:execute权限x对于文件忽略,对于文件夹表示是否允许访问其内容 2.如果linux系统用户sanglp使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是sanglp 3.HDFS的权限目的:阻止好人做错事,而不是阻止坏人做坏事. 安全模式 1. namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作. 2. 一旦在内存中成功建立文件系

Hadoop 3、Hadoop 分布式存储系统 HDFS(好多彩色图)

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统. 一.HDFS的优缺点 1.HDFS优点: a.高容错性 .数据保存多个副本 .数据丢的失后自动恢复 b.适合批处理 .移动计算而非移动数据 .数据位置暴露给计算框架 c.适合大数据处理 .GB.TB.甚至PB级的数据处理 .百万规模以上的文件数据 .10000+的节点 d.可构建在廉价的机器上 .通过多副本存储,提高可靠性 .提供了容错和恢复机制 2.HDFS缺点 a.低延迟数