hadoop常见问题

1。运行mapreduce程序出错，
connection to resourcemanager
retrying ...
retrying ...
原因是没有启动yarn或者启动失败

2.hdfs namenode -format 只是初始化了namenode的工作目录
而datanode的工作目录是在datanode启动后自己初始化的

3。datanode 不被namemode识别的问题
namenode在format初始化的时候会形成两个标识
blockpoolId
clusterId
新的datanode加入时，会获取这两个标识作为自己工作目录中的标识
一旦namenamenode重新format后，namenode的身份标识已经改变，而datanode如果依然持有原来的ID，就不会被namenode识别
解决办法是删除（清空）datanode的工作目录

4。datanode下线后多久看到效果，（页面上不会立即显示出已经下线）
有一个超时时间，超过了这个时间才被认定下线

5.关于副本数量的问题
副本数由客户端的参数dfs.replication决定（优先级：代码中的conf.set> 自定义配置文件>jar包中的hdfs-default.xml)

上传数据时 datanode的选择策略
1第一个副本先考虑跟client最近的datanode
第二个副本再考虑跨机架挑选一个datanode，增加副本的可靠性
3.选择同机架的一个datanode

文件传输是以packet为单位的64kb ,在packet中有chunk概念，chunk是512字节会校验一次

时间： 2024-10-06 14:49:32

hadoop常见问题的相关文章

hadoop常见问题总结1

本文地址:http://www.cnblogs.com/archimedes/p/hadoop-problem1.html,转载请注明源地址. 问题1:http://localhost:50030 HTTP ERROR: 404 /jobtracker.jspRequestURI=/jobtracker.jsp Powered by Jetty:// 解决办法: buid本地库存后,应该把build目录删除,否则启动脚本会把目录重定向到build目录中,导致web管理页面打不开,启动脚本中,如果

hadoop常见问题汇集

1 hadoop conf.addResource http://stackoverflow.com/questions/16017538/how-does-configuration-addresource-method-work-in-hadoop How does Configuration.addResource() method work in hadoop up vote 0 down vote favorite Does Configuration.addResource() me

hadoop 常见问题

1.Eclipse 读取hdfs文件错误:  java.io.IO Exception : Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log 出现这种情况大多是结点断了,没有连接上.重启Hadoop.

hadoop常见问题收集

hadoop 搭建 常用命令记录 快捷键安装在/user/local/bin目录下 nano 文件名 ctrl + k 剪切一行 ctrl + o 保存并重命名,不重命名直接enter ctrl + x 退出 ctrl + u 粘贴 启动: start-dfs.sh + start-yarn.sh hdfs 文件目录 root01的:/usr/local/centos/hadoophdfs 文件目录 root01的:/usr/local/centos/hadoop 修改hdfs文件目录的权限:

学习Hadoop的资料

1)Cygwin相关资料 (1)Cygwin上安装.启动ssh服务失败.ssh localhost失败的解决方案 地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ (2)windows2003+cygwin+ssh 地址:http://wenku.baidu.com/view/3777b8bc960590c69ec3765e.html (3)Cygwin 安裝和SSH設定教學 地址:http://blog.faq

Hadoop等软件常见运行问题及解决办法

Hadoop常见问题及解决办法 1.问题:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries  解决:在程序中添加hadoop.home.dir设置,如:“System.setProperty("hadoop.home.dir", "D:\\desktop\\hadoop-2.6.0");”,并将winutils.exe拷贝至D:\

关于学习Hadoop中未总结的资料

出自:http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html 1)Cygwin相关资料 (1)Cygwin上安装.启动ssh服务失败.ssh localhost失败的解决方案 地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ (2)windows2003+cygwin+ssh 地址:http://wenku.baidu.com/view/37

Hadoop 2.2.0 常见问题之：Ubuntu 64环境下“Unable to load native-hadoop library for your platform”问题”

问题 最近在学习Hadoop(2.2.0),打算写一个MapReduce的小程序在Ubuntu 64位的环境下测试一把,一切环境配置完毕后,执行的过程中,控制台输出下面的内容: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因 在网上搜索了一番,得出如下结论: "The reason

使用Eclipse运行Hadoop 2.x MapReduce程序常见问题

1. 当我们编写好MapReduce程序,点击Run on Hadoop的时候,Eclipse控制台输出如下内容: 这个信息告诉我们没有找到log4j.properties文件.如果没有这个文件,程序运行出错的时候,就没有打印日志,因此我们会很难调试. 解决方法:复制$HADOOP_HOME/etc/hadoop/目录下的log4j.properties文件到MapReduce项目 src文件夹下. 2.当执行MapReduce程序的时候,Eclipse可能会报告堆益处的错误. 此时,MapRe