hadoop一些常见报错的解决方案

  • Failed to set setXIncludeAware(true) for parser

遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包,重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便,但是这不是一种好习惯,我们应该通过修改CLASSPATH的方式指定jar包路径。

* Cannot lock storage /tmp/hadoop-root/dfs/name. The directory isalready locked

这个错误一般是我们在某次配置失败后,hadoop创建该目录,锁定之后失败退出造成的。解决方案就是删除tmp目录下hadoop创建的相关目录,然后重新配置。

  • localhost Name or service not known

在配置hadoop单节点环境时,需要利用ssh登录localhost。如果按照网上的方式配置之后还是不能正确登录localhost,并报上述错误,可以检查/etc/sysconfig/network和 /etc/hosts下的localhost名字是否一致。有时在某个文件中localhost是注释掉的。

  • ls: Cannot access .: No such file or directory.

当在hadoop中运行ls命令时常会出现这个错误,这个错误是指hdfs文件系统中当前目录为空,并不是指本地文件系统中当前目录为空。当我们使用hdfs文件系统时,会默认进入/user/username下,这个目录不存在于本地文件系统,而是由hdfs内部管理的一个目录。当我们第一次使用ls命令时,/user/username下是空的,所以会提示上述错误。当我们添加新的文件之后就不再报该错。

  • Call to localhost/127.0.0.1:9000 failed on connection exception

当在伪分布式环境下运行wordcount示例时,如果报上述错误说明未启动hadoop,利用start-all.sh脚本启动hadoop环境。

  • jps命令没有datanode运行

一个原因是执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。解决方案是清空hadoop的tmp文件,重启格式化hdfs。

Retrying connect to server: localhost/127.0.0.1:9000

说明hadoop的namenode进程没有启动,导致与namenode无法连接而报错。可以先执行stop-all.sh脚本停止hadoop,然后调用start-all.sh重启hadoop。

  • jps命令没有namenode运行

一个可能原因是tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失,于是我们得重新配置一个tmp文件目录。可以通过修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:

          <name>hadoop.tmp.dir</name>

         <value>/home/chjzh/hadoop_tmp</value>

          <description>A base for othertemporary directories.</description>

然后重新格式化hdfs。

此外,我们可以通过查看hadoop的logs目录下相关namenode日志查看问题来源。datanode不能启动时也可查看日志查找问题来源。

  • Input path does not exist: hdfs://localhost:9000/user/root/inputfile

运行hadoop程序的时候,输入文件必须先放入hdfs文件系统中,不能是本地文件,如果是本地文件就会报上述找不到文件的错误。解决方案是首先利用put或者copyFromLocal拷贝文件到hdfs中,然后再运行hadoop程序。

提示

利用jps命令查看当前运行的hadoop进程时,和hadoop相关的一系列进程jobtracker、tasktracker、datanode、namenode和SecondaryNameNode的进程号也是非常接近的,不会出现上千的差异。如果发现它们的进程号差异过大,则往往会出错,这时可以通过重启解决问题。如果多次重启某些进程依旧没有改变,还可以利用kill -9命令强制杀死进程,然后再重启。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-20 05:25:11

hadoop一些常见报错的解决方案的相关文章

hadoop一些常见报错的解决方式

Failed to set setXIncludeAware(true) for parser 遇到此问题通常是jar包冲突的问题. 一种情况是我们向java的lib文件夹加入我们自己的jar包导致hadoop引用jar包的冲突.解决方式就是删除我们自己向系统加入的jar包,又一次配置.将自己的jar包或者外部jar放入系统文件夹会在编译程序时带来方便,可是这不是一种好习惯,我们应该通过改动CLASSPATH的方式指定jar包路径. Cannot lock storage /tmp/hadoop

Ubuntu常见报错及解决方案汇总

作者:郭孝星 微博:郭孝星的新浪微博 邮箱:[email protected] 博客:http://blog.csdn.net/allenwells Github:https://github.com/AllenWells 一 卡在登录界面,输入用户密码后总是返回登录界面 原因分析 /etc/profile 中环境变量配置错误,导致系统无法正常启动. 解决方案 按Ctrl+Alt+F1进入Ubuntu命令行模式,修改/etc/profile文件,这是个环境变量配置文件,之前最后作备份. 打开/e

WebService CXF调试常见报错及解决方案

1.CXF java.lang.RuntimeException: Cannot create a secure XMLInputFactory 解决方案:从apache-cxf/lib下寻找Woodstox jar包添加至buildpath 2.Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/stax2/XMLOutputFactory2 解决方案:缺少stax2-api jar包 3.F

Android Studio常见报错及解决方案汇总

一 unknown host services.gradle.org 原因分析 在国内,services.gradle.org被墙了,无法连接. 解决方案 方案一:使用代理 方案二:使用本地Gradle进行编译 版权声明:本文为博主原创文章,未经博主允许不得转载.

phpMyAdmin常见报错的解决方案

1.权限过大,提示配置文件不能有写的权限 I get this error when I try to access localhost/phpmyadmin: Wrong permissions on configuration file, should not be world writable! 解决办法: sudo chmod 755 /opt/lampp/phpmyadmin/config.inc.php OK,success! 2.声明:MySQL和phpMyAdmin不在同一主机

swift 常见报错及解决方案

当你初学swift,或者你从2.0转到3.0,见点红是在所难免再寻常不过的事情,其实一般也都是一些小的语法问题,度娘一般都有能力告诉你答案,但是凡事做个总结做到心中有数毕竟是比度娘靠谱的. 1.cannot load underlying module for   无法加载底层模块 solve:Cocoapods 引入的第三方  找不到头文件  需要在 build setting里面进行如下设置.这点和oc是一样的 2. type of expression is ambiguous witho

cocos2d-js运行游戏常见报错

作为新手,参考官网案例自己再打一遍代码运行游戏时常会出现许多相同报错,有的是由于自己单词拼写错误,或者文件未加载等,在写代码的时候一定要细心细心再细心,下面是我这两天运行出现的一些报错及我的解决方法,多是自己搜索外带摸索总结的,有什么不对的敬请指正,当然,运行过程中也许会有各种问题,我这边也可能只是极少数,后续碰到的会继续更新,希望大家看到并可以解决的也可以共享下. 运行游戏常见报错: 1.loader for [null] not exists! 尝试方法:极有可能是加载什么类型的资源没有后缀

android开发_git操作中常见报错及解决办法

Focus on technology, enjoy life!-- QQ:804212028 浏览链接:http://blog.csdn.net/y18334702058/article/details/44624305 主题:git操作中常见报错 - 如果输入$ git remote add origin [email protected]:xxx(github帐号名)/yyy(项目名).git 提示出错信息:fatal: remote origin already exists. 解决办法

web报表工具FineReport使用中遇到的常见报错及解决办法(一)

FineReport使用中遇到的常见报错及解决办法(一) 这里写点抛砖引玉,希望大家能把自己整理的问题及解决方法晾出来,Mark一下,利人利己. 出现问题先搜一下文档上有没有,再看看度娘有没有,再看看论坛有没有.有报错要看日志.下面简单罗列下常见的问题,大多文档上都有提到的. 1.address pool is full: 含义:地址池满,连接数超过并发数上限. 解决办法: 若在FineReport的连接池属性的设置中,已将最大连接数设置得过大,还出现如上的报错,此时通常就是数据库进程(proc