hadoop1.2.1 datanode 由于权限无法启动 expected: rwxr-xr-x

/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = hdp122s1.test.com/192.168.56.101
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.7.0_80
************************************************************/
2017-04-08 22:30:09,924 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-04-08 22:30:09,935 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2017-04-08 22:30:09,935 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2017-04-08 22:30:09,935 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2017-04-08 22:30:10,178 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2017-04-08 22:30:10,221 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2017-04-08 22:30:10,312 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for file:/home/hdp/hadoop/data, expected: rwxr-xr-x, while actual: rwxr----x
2017-04-08 22:30:10,312 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2017-04-08 22:30:10,312 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2017-04-08 22:30:10,312 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

设置满足条件的权限

chmod 755 /home/hdp/hadoop/data
时间: 2024-10-08 12:34:16

hadoop1.2.1 datanode 由于权限无法启动 expected: rwxr-xr-x的相关文章

Hadoop集群启动之后,datanode节点未正常启动的问题

Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示 master的进程: 两个slave的节点进程 发现salve节点上竟然没有datanode进程. 查看了日志,发现有这样一句话: 这句话的意思是:datanode上的data目录权限是765,而期望权限是755,所以使用chmod 755 data命令,将目录权限改为755. 再次重启hadoop集群,发现datanode节点已经正常启动.

linux 系统下配置tomcat,并给tomcat赋予最高操作权限,启动tomcat和关闭tomcat

配置tomcat服器 红颜色的字是路径,蓝颜色字是命令 (1)官方网站下载tomcat压缩包.apache-tomcat-7.0.57.tar.gz (2)进入你指定的tomact目录下,将压缩包放入该目录下,利用命令解压该压缩包. 命令:sudo tar apache-tomcat-7.0.57.tar.gz(3)该tomcat能否运行的前提是,你已经在linux系统环境下成功配置了jdk环境 (4)由于权限问题,可能不能启动tomcat.因此要给该tomcat赋予最高权限 命令:进入到tom

为Activity设置特定权限才能启动

1.在AndroidManifest文件中,声明一个权限,并在activity中添加属性 <!--声明权限,权限名一般为包名+permission+类名 --> <permission android:name="com.jikexueyuan.notepad.specpermission.permission.MyAty"/> <activity android:name=".MyAty" android:permission=&qu

重新格式化hadoop的namenode导致datanode无法启动的最简单解决办法

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动.在datanode日志中会有类似如下的报错信息: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8

hadoop动态添加datanode启动失败的经验

动态添加datanode节点,主机名node14.cnshell>hadoop-daemon.sh start datanodeshell>jps #查看datanode进程是否已启动发现DataNode进程启动后立即消失,查询日志发现一下记录: 2018-04-15 00:08:43,158 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers for [TERM, HUP,

hadoop1.1.0的伪分布搭建步骤

-------------------------------------------------- 一.单节点的安装 1.伪分布式的安装 1.1 改动ip (1)打开VMWare或者VirtualBox的虚拟网卡 (2)在VMWare或者VirtualBox设置网络连接方式为host-only (3)在linux中,改动ip.有上角的图标,右键,选择Edit  Connections.... ****ip必须与windows下虚拟网卡的ip在同一个网段,网关必须是存在的. (4)重新启动网卡.

centOS6.5 Hadoop1.0.4安装

前段时间去培训,按照教程装了一遍Hadoop.回来又重新装一次,捋下思路,加深理解. 基本配置如下,三个节点,一个namenode,两个datanode. Namenode 192.168.59.144 Datanode1 192.168.59.145 Datanode2 192.168.59.146 在虚拟机上做实验,暂且就使用nat和dhcp吧. (一)把网卡设置成开机自启动: # vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=et

hadoop2对比hadoop1

1.体系结构 HDFS+MapReduce,共同点都是分布式的,主从关系结构. HDFS=一个NameNode+多个DataNode, NameNode含有我们用户存储的文件的元数据信息.数据本身是放在硬盘上的,但是在运行时是加载在内存里的. 缺点:(1)当我们的NameNode无法在内存中加载全部元数据信息的时候,集群的寿命就到头了. (2)权限设计不够彻底的,hadoop1使用的是linux权限系统. (3)大量小文件存储时,会造成NameNode的内存压力剧增. 改进:(1)2个NameN

[Nutch]Hadoop动态增加DataNode节点和TaskTracker节点

在之前的博文有对分布式模式做负载均衡设置,那么这次我们就来说明一下如果动态增加DataNode结点和TaskTracker结点. 1. 在host1上增加host4 使用如下命令: vi conf/slaves 如下: 2. 将host1上的公钥加入到host4中 使用如下命令: ssh-copy-id -i .ssh/id_rsa.pub [email protected] 如下: 将host1的公钥添加到host4中,可以免密码登录.如下: 3. 将hadoop拷贝到host4上 使用如下命