Hadoop技巧(01):插件,终端权限

阅读目录

  • HDFS权限
  • 系列索引

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

在hadoop开发或者使用中,可能会使用到一些插件或3方软件,比如:Eclipse的Hadoop插件,ETL的Kettle。那么就存在一个hdfs目录权限的问题。

下面就这个权限问题进行阐述。

HDFS权限

一:目录结构

  Hadoop文件系统HDFS的用户为hdfs,默认密码为空。HDFS根目录下还有一个tmp目录,这个目录是可以任何用户进行操作的,包括新建、删除目录和文件(tmp下原有的其他用户创建的文件及文件夹则不能访问)。

二:默认权限

我们在这个权限下只能操作tmp目录,如下,其他的目录不能操作。

  右键tmp,新建目录test-1,刷新。

  结果如下

  右键test-1,上传文件test.txt到DFS

  其他现有目录就没法向上面那样操作成功了

三:增加环境变量

  在环境变量用增加两个环境变量:

  HADOOP_HOME

D:\02.Code\hadoop-2.7.1

  HADOOP_USER_NAME

hdfs

四:Eclipse插件

  重启Eclipse,然后我们可以对tmp外其他目录进行操作,我们也可以在根目录下新建新的目录。

点击根目录,新建test-1,刷新

  结果。

五:Kettle

  新建一个转换,在Hadoop clusters中新建一个集群h188

  点击测试,我们可以看到User Home Directory Access是红叉

  说明是不能访问的。

  

  我们设置了环境变量后。

  再点测试,发现可以访问了。

--------------------------------------------------------------------

  到此,本章节的内容讲述完毕。

系列索引

  Hadoop技巧系列索引

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

时间: 2024-10-07 06:33:28

Hadoop技巧(01):插件,终端权限的相关文章

使用Hadoop ACL 控制訪问权限

使用Hadoop ACL 控制訪问权限 一.HDFS訪问控制 hdfs-site.xml设置启动acl <property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <property> <name>dfs.namenode.acls.enabled</name> <value>true&l

Hadoop技巧(04):简易处理solr date 时区问题

阅读目录 序 创建collection 模拟程序 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 在cdh集成的solr cloud中,我们可以通过solr管理界面进行查询,也可以通过java的api进行查询,但查询过程中,如果是时间类型的,可能会存在两者在界面上看上去不一致的问题,两者时间刚好相差本地的时区. 创建collection 一:上传配置文件 为了模拟现象,

win7 64位下安装hadoop的eclipse插件并编写运行WordCount程序

win7 64位下安装hadoop的eclipse插件并编写运行WordCount程序 环境: win7 64位 hadoop-2.6.0 步骤: 1.下载hadoop-eclipse-plugin-2.6.0.jar包 2.把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下的plugins目录下 3.打开eclipse发现左边多出来一个DFS Locations 4.在win7上解压hadoop-2.6.0. 5.下载hadoop.dll.winuti

Hadoop2 自己动手编译Hadoop的eclipse插件

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Pur

Hadoop技巧(02):时间同步

阅读目录 序 时间同步 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 在实际部署过程中,Hadoop中服务器节点之间需要时间同步,但Hadoop集群可能需要和其他业务系统的时间进行同步,那么就会存在其他偶尔发生的问题. 下面就这种场景进行描述. 时间同步 一:说明 在实际部署过程中,Hadoop集群需要跟业务系统的服务器集群需要时间同步,如果时间跳动较小,娜ntp会自己纠正过来

编译hadoop eclipse的插件(hadoop1.0)

原创文章,转载请注明: 转载自工学1号馆 欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章 在hadoop-1.0中,不像0.20.2版本,有现成的eclipse-plugin源码包,而是在HADOOP_HOME/src/contrib/eclipse-plugin目录下放置了eclipse插件的源码,这篇文章 ,我想详细记录一下自己是如何编译此源码生成适用于Hadoop1.0的eclipse插件 1.安装环境 操作系统:Ubuntu14.4软件:eclip

【hadoop】——修改hadoop FileUtil.java,解决权限检查的问题

在Hadoop Eclipse开发环境搭建这篇文章中,第15.)中提到权限相关的异常,如下: 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/01/30 10:08:17 ERROR security.UserGroupInformation:

修改hadoop FileUtil.java,解决权限检查的问题

    在Hadoop Eclipse开发环境搭建这篇文章中,第15.)中提到权限相关的异常,如下: 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/01/30 10:08:17 ERROR security.UserGroupInformati

Linux 系统管理 01:文件权限管理

这篇文章主要包括如下主题: 一.基础概念 二.安全上下文 三.基本权限 四.特殊权限 五.文件访问控制列表 一.基础概念 1.文件拥有者:属主 2.文件拥有组:属组 二.安全上下文 1.进程是以某用户发起从而运行的,故进程会以运行其用户的权限完成所有操作 2.进程访问文件的权限应用模型 (1)如果"进程的属主 == 被访问文件的属主",则应用属主的权限,否则进入(2) (2)如果"进程的属主 in 被访问文件的属组中",则应用属组的权限,否则进入(3) (3)直接应