hadoop 开始时间datanode一个错误 Problem connecting to server

刚刚配置hadoop,namenode常开,但datanode但保留了错误。但不启动:

2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:hadoop1/192.168.10.22:9000

2014-05-04 10:43:55,009 INFOorg.apache.hadoop.ipc.Client: Retrying connect to server:hadoop1/192.168.10.22:9000. Already tried 0 time(s); retry policy isRetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2014-05-04 10:43:56,012 INFOorg.apache.hadoop.ipc.Client: Retrying connect to server:hadoop1/192.168.10.22:9000. Already tried 1 time(s); retry policy isRetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

假设你已经检查了datanode以及namenode的连通性,ip都正确,可是仍然没法解决这个问题。那么能够接着往下看了。

事实上根本原因还是无法连接到192.168.10.22:9000 对应ip的对应port。

查看一下namenode的port坚挺情况:

[[email protected] sbin]$ netstat -an | grep 9000

tcp        0      0 127.0.0.1:9000              0.0.0.0:*                   LISTEN

tcp        0     0 127.0.0.1:37072            127.0.0.1:9000             TIME_WAIT 
 

事实上问题就再这里。hadoop启动的时候仅仅监听了127.0.0.1一个port,而不是192.168.10.22:9000。这样的情况下,也就仅仅有本机才干联通127.0.0.1:9000了。

看来是ip解析的问题。看一下namenode的hosts文件(仅仅列出了重要部分):

127.0.0.1              hadoop1localhost.localdomainlocalhost

::1            localhost6.localdomain6 localhost6

事实上主要问题就在标红的部分,仅仅要将hadoop1去掉就可以。

重新启动hdfs后检查一下port监听情况:

[[email protected] network-scripts]# netstat -an | grep 9000

tcp        0      0 192.168.10.22:9000          0.0.0.0:*                   LISTEN

tcp        0      0 192.168.10.22:9000          192.168.10.24:51040         ESTABLISHED

tcp        0      0 192.168.10.22:41116         192.168.10.22:9000          TIME_WAIT

tcp        0      0 192.168.10.22:9000          192.168.10.23:46070         ESTABLISHED

改动后datanode它将能够正确连接namenode该。

版权声明:本文博主原创文章,博客,未经同意不得转载。

时间: 2024-11-03 21:14:02

hadoop 开始时间datanode一个错误 Problem connecting to server的相关文章

hadoop 启动的时候datanode报错 Problem connecting to server

刚配置好的hadoop,namenode可以正常开启,但是datanode却不停的报错,并且不能正常启动: 2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:hadoop1/192.168.10.22:9000 2014-05-04 10:43:55,009 INFOorg.apache.hadoop.ipc.Client: Retry

hdfs启动后进入safe mode,Problem connecting to server

原创文章:http://blog.csdn.net/renfengjun/article/details/25320043 DN中日志如下: 2017-06-17 06:35:59,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: node1/192.168.1.128:90002017-06-17 06:36:05,246 INFO org.apache.hadoop.

Hadoop配置常见Log错误指导

Master节点Log篇 1.   WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位:hdfs-site.xml 问题原因: 1)   不合规范的URI格式 解决办法: 1)   把dfs.namenode.name.dir.

hadoop namenode datanode hdfs工作机制

大家都知道namenode是hadoop中的一个很重要的节点,因为他存在着跟datanode的交互跟客户端的交互,存储着dotanode中的元数据,所以就很想学习他们是如何沟通并能保证数据在任何情况下都不会丢失那? namenode的作用: 1.维护元数据信息. 2.维护hdfs的目录树. 3.相应客户端的请求. 我们先来看一下namenode大致的工作流程 可以看到namenode这边里面有三个存储单位,edits文件,edits.new 文件 ,fsimage文件,还有内存. edits文件

【Ubuntu】Windows 远程桌面连接ubuntu及xrdp的一些小问题(远程桌面闪退、连接失败、tab补全功能,无菜单栏,error - problem connecting )【转】

转:https://blog.csdn.net/u014447845/article/details/80291678 1.远程桌面闪退,shell可以用的问题:(1)需要在该用户目录创建一个.xsession:touch .xsession(2)里面写"xfce4-session"一句话就行:echo xfce4-session >~/.xsession .(3)然后进入到用户目录下,sudo chown username:username .xsession 2.window

SQL On Hadoop 设计的一个基本原则是:将计算任务移动到数据所在的节点而不是反过来

3.1 数据本地化 SQL On Hadoop 设计的一个基本原则是:将计算任务移动到数据所在的节点而不是反过来.这主要出于网络优化的目的,因为数据分布在不同的节点,如果移动数据那么将会产生大量的低效的网络数据传输.数据本地化一般分为三种:节点局部性 (Node Locality), 机架局部性 (Rack Locality) 和全局局部性 (Global Locality).节点局部性是指将计算任务分配到数据所在的节点上,此时无需任何数据传输,效率最佳.机架局部性是指将计算任务移动到数据所在的

hadoop的第一个hello world程序(wordcount)

在hadoop生态中,wordcount是hadoop世界的第一个hello world程序. wordcount程序是用于对文本中出现的词计数,从而得到词频,本例中的词以空格分隔. 关于mapper.combiner.shuffler.reducer等含义请参照Hadoop权威指南里的说明. 1.hadoop平台搭建 参照之前的帖子搭一个伪分布式的hadoop就可以.链接:https://www.cnblogs.com/asker009/p/9126354.html 2.新建一个普通conso

Spring中的一个错误:使用Resources时报错(The annotation @Resources is disallowed for this location)

在学习Spring的过程中遇到一个错误:在使用注解@resources的时候提示:The annotation @Resources is disallowed for this location 后来来在学问Java网友的时候解决了. 原来的代码是这样的: 1 package com.show.biz; 2 3 import javax.annotation.Resources; 4 5 import com.show.biz.UserBiz; 6 import com.show.dao.Us

VS2013 C# 调用 cognex 的QuickBuild做程序时发生一个错误

今天在用 VS2013 C# 调用 cognex 的QuickBuild做程序时发生一个错误,如下所示 混合模式程序集是针对"v2.0.50727"版的运行时生成的,在没有配置其他信息的情况下,无法在 4.0 运行时中加载该程序集 网上搜索得到解决办法: 在app.config中添加一个配置节:startup <startup useLegacyV2RuntimeActivationPolicy="true"> <supportedRuntime