hadoop遇到的坑

坑1:STARTUP_MSG: host = java.net.UnknownHostException: slavel3: slavel3: 域名解析暂时失败


答案:我/etc/hosts配置的确实没错。

   我/etc/sysconfig/network 里面配置错了。slave13  和 slavel3  你能看出2个的区别吗?一个是字母L.一个是数字1.

   修改完/etc/sysconfig/network 以后,再# hostname slave13.  让它临时生效。要不然还得重启。




坑2:java.net.BindException:Address already in use

我是通过下面这篇文章解决的:


集群某节点DataNode服务无法启动解决(报java.net.BindException:Address already in use错误) - 小河001 - 博客园

http://www.cnblogs.com/xiaohe001/p/6427413.html

坑3:上传文件报错:

然后,我就看datanode的日志,结果,就把坑2,给引出来了。

解决了坑2以后,又引出了了坑1.

时间: 2024-10-05 04:59:55

hadoop遇到的坑的相关文章

HADOOP的那些坑

踩坑贴,自己记录一下,免得以后再掉进去 当前版本: HADOOP 2.7.1 1. 主机名和IP地址 尽管hadoop文档里说了可以用ip地址配置,但却行不通,必须要配置主机名. 主机名的坑:不允许包含下划线,如果包含下划线,报错信息更是让人看不懂. 2. hive serve的坑 hiveserve2和在服务器上执行hive命令不一样,前者容易内存溢出 持续更新中...

Ubuntu搭建Hadoop的踩坑之旅(三)

之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程,本来这篇文章是打算介绍搭建伪分布式集群的.但是后来想想反正伪分布式和完全分布式差不多,所幸直接介绍完全分布式了. 如果你想自己搭建伪分布式玩的话,参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客 这一篇主要参考这篇文章:Hadoop2.6.0安装 - 集群(搭建的过程中没截图,大家可以到原博客看) 一.所需的环境和软件:(以下是我们的环境,仅供参考) 1. 操作系统:Window

Hadoop编程踩坑

Hadoop踩坑 在hadoop所有组件编程中,遇到在Windows下运行程序出现 1 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 2 at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:356) 3 at org.apache.hadoop.util.Shell.getWinU

hadoop安装踩坑

切记!!!!! 没有比官网教程更详细,更靠谱的教程!!!!! 其他的基本都是官网的翻译,但是官网的教程是实时更新的,要是不注意版本,坑根本就踩不完!!! 附上官网部署教程: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 单节点的安装只需要关注两个点: 1.linux安装的java版本,各个版本的hadoop对java版本是要求的,具体信息如下: https://

从ftp上传文件到hadoop的一个坑

执行如下命令,发现报错 [[email protected] ~]$ hadoop distcp ftp://ftp01:[email protected]/test hdfs:///user/data Error: java.net.SocketException: 网络不可达 at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(Abstra

hadoop系列 第一坑: hdfs JournalNode Sync Status

今天早上来公司发现cloudera manager出现了hdfs的警告,如下图: 解决的思路是: 1.首先解决简单的问题,查看警告提示的设置的阀值时多少,这样就可以快速定位到问题在哪了,果然JournalNode Sync Status提示最先消去: 2.然后解决Sync Status问题,首先找到提示语的解释,在官网上可见.然后查看配置参数有无问题,没问题就看log,果然在log中看到了报错信息: 3.最后可定位到该提示是由于JournalNode节点间同步文件没有保持一致,那么使用修复(优雅

Hadoop EC 踩坑 :data block 缺失导致的 HDFS 传输速率下降

环境:hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略 状况:某天,往 HDFS 上日常 put 业务数据时,发现传输速率严重下降 分析: 检查集群发现,在之前的传输中,发生过个别 datanode 临时不可用的状况. 而由于 hadoop EC 机制,当失效 datanode 小于容忍值 (这里是3),put 等传输任务仍然成功.但 hadoop 当时会报错,用于提示程序员,这个报错不会影响当此传输任务,故 put 等传输请求会返回成功.然后,缺失的 dat

HADOOP HA 踩坑 - 所有 namenode 都是standby

报错: 无明显报错 状况: 所有namenode都是standby,即ZK服务未生效 尝试一:手动强制转化某个namenode为active 操作:在某台namenode上,执行 hdfs haadmin -transitionToActive --forcemanual nn1 (nn1是你的某台nameservice-id) 结果:nn1被成功转为active.但是在stop-dfs.sh后再一次start-dfs.sh后,所有namenode仍然都是standby 结论:果然因该是ZK的问

Hadoop与HBase中遇到的问题

1. Hadoop中遇到的问题 以前所遇到的问题由于没有记录,所以忘了 (1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点, 该文件位于hdfs-site配置文件中dfs.data.dir参数所指定的路径下的current文件夹