hadoop配置错误

经过上一周的郁闷期(拖延症引发的郁闷),今天终于开始步入正轨了。今天主要是解决hadoop配置的错误以及网络时断时续的问题。

首先说明一下之前按照这篇文章的方法配置完全没有问题,但是等我配置好了发现hadoop的版本和我的需求有点不一样,于是重新安装低版本的hadoop,结果就遇到问题了。

一,Hadoop错误


1. dataNode总是启动不了?  no datanode to
stop

怎么解决的呢。不需要hadoop namenode -format;把 dfs/data 删除即可,restart就可以了 。你可以先用hadoop
namenode -format命令:

[[email protected] hadoop]# bin/hadoop namenode
-format
11/12/30 18:19:21 INFO namenode.NameNode:
STARTUP_MSG: 
/************************************************************
STARTUP_MSG:
Starting NameNode
STARTUP_MSG:   host =
localhost.localdomain/127.0.0.1
STARTUP_MSG:   args =
[-format]
STARTUP_MSG:   version =
0.20.203.0
STARTUP_MSG:   build =
[url]http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203[/url]
-r 1099333; compiled by ‘oom‘ on Wed May  4 07:57:50 PDT
2011
************************************************************/
Re-format
filesystem in /tmp/hadoop-root/dfs/name ? (Y or
N)

此时你就找到dfs文件夹了,然后删除里面的data子文件夹jiiuhaole。

参考: http://bbs.hadoopor.com/archiver/tid-3954.html

2. nameNode总是启动不了?  no namenode to
stop


  重新定义pid文件的存放位置:在启动hadoop的用户.bashrc内或者hadoop/conf/hadoop-env.sh内增加配置:

 export HADOOPPIDDIR=/home/hadoop/pids

Hadoop在执行stop-all.sh或stop-dfs.sh的时候,经常会遇到’no namenode to
stop’这个错误,结果就是你stop了Hadoop或者DFS,使用jps查看时,namenode的进程还是存在。
如果start-hadoop.sh或start-dfs.sh后直接执行stop-hadoop.sh或者stop-dfs.sh,则不会发生这个现象。

为什么会这样呢?


因为Hadoop用来保存进程id的文件默认是在/tmp目录下,而/tmp会被系统定期清理,这样stop-all.sh或stop-dfs.sh的时候就有可能找不到namenode的进程pid。不能正常关闭namenode。

如何解决呢?


重新定义pid文件的存放位置:在启动hadoop的用户.bashrc内或者hadoop/conf/hadoop-env.sh内增加配置:

export HADOOPPIDDIR=/home/hadoop/pids

这样就OK了。

网上很多帖子说执行hadoop namenode -format,然后重启hadoop,这是错误的做法。这样直接格式化DFS,导致丢失数据。

参考:http://blog.ownlinux.net/2012/06/no-namenode-to-stop-error-in-hadoop.html

3. Bad connection to FS. command aborted.

Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:88

88 failed on connection exception: java.net.ConnectException: Connection refused

: no further information

错误提示“Bad connection to FS. command aborted. exception: Call
tolocalhost/127.0.0.1:88

88failed on connection exception: java.net.ConnectException:
Connection refused

:no further information”

起初怀疑是fs服务没有启动,但反复关闭启动多次后仍没用,请教高手后,被建议重新格式化namenode,就可以了。

格式化指令如下(在hadoop的bin目录下):

Shell代码  

1.           $ ./hadoop namenode -format

成功之后重启hadoop就可以了

2如果错误还存在,那么手动删除文件

把/tmp目录下面跟hadoop有关的文件全部删除,把home/hadoop/pids也删掉,反正多多删掉就好了。

参考:http://blog.csdn.net/yangkai_hudong/article/details/18731395

二,网络时断时许错误


最近用实验室的网络,总是时断时续,一会儿网页瞬间打开,更多的时候压根打不开网页。

试了很多方法,神码arp病毒啊,神码网络连接啊,。神码神码的。。

结果将自己的有限网络IP设为固定的就好了,不要用动态分配的IP  (DHCP 协议)。

hadoop配置错误,布布扣,bubuko.com

时间: 2024-10-17 13:19:58

hadoop配置错误的相关文章

hadoop配置错误总结

2016-06-02 17:33:04,163 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM2016-06-02 17:33:04,173 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemove

hadoop常见错误

hadoop常见错误集锦: 1.DataXceiver error processing WRITE_BLOCK operation ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: 192-168-11-58:50010:DataXceiver error processing WRITE_BLOCK operation src: 1)修改进程最大文件打开数 vi /etc/security/limits.conf 添加: # End

kerberos 配置错误记录

服务端错误记录: 1.服务端在创建数据库的时候报如下错误: # kdb5_util -s -r HADOOP.HOME 错误提示:kdb5_util: Improper format of Kerberos configuration file while initializing Kerberos code 原因以及解决办法:这是由于/etc/krb5.conf 配置错了或者配置了无效项.检查这个文件. 2.服务端在获取或者显示票据的时候,出现如下错误 klist: Credentials c

【JSP】配置错误页面

1,使用JSP方式 如果配置是Jsp时,需要把isErrorPage设置为true, 以及设置 <%@ page language="Java" contentType="text/html; charset=UTF-8"  pageEncoding="UTF-8" isErrorPage="true"%> 错误页面: <%@page import="java.io.PrintStream"

配置错误定义了重复的“system.web.extensions/scripting/scriptResourceHandler” 解决办法

今天遇到了这个问题, 电脑系统:vs2010 win7系统 iis7 我运行在iis中配置的那个网站后,报错:错误代码 0x800700b7 配置错误定义了重复的"system.web.extensions/scripting/scriptResourceHandler"节 这个问题原因在于window7的IIS默认用的是ASP.NET v4.0应用程序池. 解决方法:把这个网站的应用程序池的.netframework版本改为 v2.0的,如图: 1:选中应用程序池-->在右侧右

hadoop配置名称节点HA基本流程

hadoop配置HA(NN) 配置信息参考hadoop配置名称节点HA原理 1.停止所有进程 stop-dfs.sh 2.配置hdfs-site.xml和core-site.xml 3.将s201的id_rsa发送到s205(确保两个NN能同时ssh到各个DN) 4.将s201的工作目录复制到s205 5.启动服务journalnode hadoop-daemons.sh start journalnode 6.初始化journalnode hdfs namenode -initializeSh

ORACLE10g时区配置错误问题

ORACLE10g打开EM后提示java.lang.Exception: Exception in sending Request::null http://localhost:1158/em 登录em后,提示java.lang.Exception: Exception in sending Request :: null 原因:时区配置错误引起: 修改:(1)打开 E:\oracle\product\10.2.0\db_1\USER-AM_orcl\sysman\config \emd.pro

Hadoop配置过程!

1             Hadoop配置 注意事项:关闭所有防火墙 服务器 IP 系统 Master 10.0.0.9 Centos 6.0 X64 Slave1 10.0.0.11 Centos 6.0 X64 Slave2 10.0.0.12 Centos 6.0 X64 Hadoop版本:hadoop-0.20.2.tar.gz 1.1      在master:(在slave1和slave2上操作和以下相同) #vi /etc/hosts        三台机器相同配置 10.0.0

AIX HACMP系统错误--NODE同步配置错误

AIX HACMP系统错误--NODE同步配置错误 环境: 操作系统: AIX 5300-08 集群软件: CRS 10.2.0.1 数据库:   Oracle 10.2.0.1 故障现象:    在构建AXI RAC时,从一个node同步hacmp配置到另一个node时,出现以下错误: Verification to be performed on the following: Cluster Topology Cluster Resources Verification will autom