hadoop datanode 不能连接 namenode

start-dfs.sh
进程都启动成功
master:
65456 Jps
64881 NameNode
65057 DataNode

7380 NodeManager

65276 SecondaryNameNode
slave:
3607 DataNode

7380 NodeManager
3675 Jps

hadoop下：
slaves文件设置：
master
slave1
slave2
----------------------------------------------
netstat -anp|grep 9000
tcp        0      0 192.168.1.200:9000      0.0.0.0:*               LISTEN      64881/java          
tcp        0      0 192.168.1.200:9000      192.168.1.200:42846     ESTABLISHED 64881/java          
tcp        0      0 192.168.1.200:42853     192.168.1.200:9000      TIME_WAIT   -                   
tcp        0      0 192.168.1.200:42846     192.168.1.200:9000      ESTABLISHED 65057/java          
-----------------------------------------------
问题描述：
在http://master:50070/  监控页面下。
live nodes  为1.
       只有master 的 datanode 可以看到，另外两台slave 虽有进程但无法连接到master.
而且在 slave 下  dfs/data 下 都没有生成 current 文件
查看日志为：

2016-11-08 13:12:31,099 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.0.100:9000. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

原因在于centos7 
关闭 selinux 和 iptables 不行 要关闭动态防火墙

关闭防火墙：***********非常重要***********
        # systemctl status firewalld.service  --查看防火墙状态
        # systemctl stop firewalld.service    --关闭防火墙
        # systemctl disable firewalld.service --永久关闭防火墙
时间： 2024-08-03 08:51:07

hadoop datanode 不能连接 namenode的相关文章

hadoop源码解读namenode高可靠：HA;web方式查看namenode下信息；dfs/data决定datanode存储位置

点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改 usr/local/hadoop 是我存放hadoop文件夹的地方 几个关于namenode的重要文

【Hadoop】Hadoop DataNode节点超时时间设置

hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长.HDFS默认的超时时长为10分钟+30秒.如果定义超时时间为timeout,则超时时长的计算公式为: timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval. 而默认的heartbeat.reche

hadoop datanode 启动出错

FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-336454126-127.0.0.1-1419216478581 (storage id DS-445205871-127.0.0.1-50010-1419216613930) service to /192.168.149.128:9000org.apache.hadoop.ipc.

hadoop中HDFS的NameNode原理

1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等. 1.2. HDFS架构原理 比如现在要上传一个1T的大文件,提交给HDFS的Active NameNode(用以存放文件目录树,权限设置,副本数设置等),它会在指定目录下创建一个新的文件对象,比如access_20180101.log 至于具体数据,它会将它拆分后进行分布式存储,分散在各个DataNode节点,且默认都会

hadoop的eclipse连接-PC端

参考 ant安装目录/usr/apache-ant-1.9.7 成功安装ant 在PC端给eclipse安装hadoop插件,连接另一台电脑的hadoop伪分布式. 未成功[忧伤][忧伤]

Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）

Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/local/hadoop-2.4.0/dfs/data" at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocat

Hadoop Eclipse远程连接出现：Error：Call to /10.10.10.10:9000 failed on local exception: java.io.EOFException

异常截图: 原因很简单,Hadoop对应的eclipse插件jar包版本不对,更换至响应版本即可. Hadoop Eclipse远程连接出现:Error:Call to /10.10.10.10:9000 failed on local exception: java.io.EOFException,布布扣,bubuko.com

Hadoop datanode无法启动的错误

在启动Hadoop分布式部署的过程中,发现datanode没有正常启动,查看了一下日志发现报错: java.io.IOException: Incompatible clusterIDs in /opt/hadoop-2.5/dfs/data: namenode clusterID = CID-adf01a94-ae34-4313-acf9-3781a425de66; datanode clusterID = CID-e00fcbab-47c2-4e73-8a4b-c8754dc9960e 原因

hadoop datanode启动失败

问题导读: 1.Hadoop出现问题时,该如何入手查看问题?2.datanode无法启动,我们该怎么解决?3.如何动态加入DataNode或TaskTracker? 一.问题描述当我多次格式化文件系统时,如 [email protected]:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format 复制代码 会出现datanode无法启动,查看日志,发现错误为: 2012-04-20 20:39:46,501 ERROR org.apache.h