hadoop2.2.0安装需要注意的事情

今天在安装hadoop2.2.0时遇到若干问题,解决这些问题有些心得,记录下来以备不时之需。

问题1、master和slave之间不能相互ssh免密码登陆

  问题表象此处略过,直接说解决办法:

  1、查看.ssh 目录权限是否正确。700、600 经测试都没有问题。

  2、查看.ssh 目录里面文件权限是否正确。最好600.因为ssh服务需要保证此部分文件不能有篡改的风险。

  3、删除id_rsa.pub文件,因为ssh登陆到对端时,对端若存在id_rsa.pub文件,则优先使用这个文件进行公钥验证,而不会使用authorized_keys文件里面保存的公钥。

  4、确保/etc/hosts文件里面主机名和IP地址设置正确

  5、最好把master的authorized_keys文件scp到其他salve节点中。不要文本黏贴复制,容易出错并且不好检查原因。

以上就是今天遇到的ssh不能登录的原因。

问题2、启动namenode时报错,日志显示端口已被绑定

  1、重点检查core-site.xml 、 hdfs-site.xml 、hdfs-site.xml 和yarn-site.xml 四个文件里面是否有端口服用的情况。

  2、使用netstat -anl|grep 端口号  检查是否有其他进程占用此端口

问题3、执行job任务时,job状态为pending状态,不执行

  出现job挂起的情况,则表明hadoop集群未成功启动,至少有一些模块没有正常启动。首先检查master和slave各节点服务是否正常。

  master正常情况存在:NameNode、SecondaryNameNode、ResourceManager

  slave正常情况存在:DataNode、NodeManager

  如果节点服务不正常,则在$HADOOP_HOME/logs里面检查日志中是否有报错。

问题4、slave节点启动nodeManager显示连接master节点RM报错

  首先在master检测端口是否启动。如果没有启动,则在logs目录里面检查是否有报错日志。

  如果master里面端口启动了,那么在slave节点中telnet masterIP Port,看是否可以连通。(此步骤用来确定master绑定的IP和Port是否正确。)

  如果telnet不同,那么检查一下master的/etc/hosts里面的127.0.0.1是否也指定为主机名了,因为操作系统会首先使用第一个主机名所对应的IP地址。(如果正式环境中各节点IP和主机名不会频繁变化,那么还是在配置文件中直接指定IP地址吧)

  今天遇到的问题就是上述三个原因,也可能还有其他原因引起此种情况,但没有遇到。

问题5、job在run时,报JAVA异常,UnknownHostException:XXX  

  需要看一下这个错误是哪台节点报出来的。今天遇到的都是master报出来的。开始以为是master连接不上对应节点,导致排查方向出错。后来才搞清楚,slave节点报错也会显示在master。因此master报错不一定表示是master节点的问题,也有可能是某一台slave节点的问题。

  问题原因是slave1的/etc/hosts没有配置slave2的主机名,导致两台slave再通讯时异常,配置/etc/hosts后恢复正常。

hadoop2.2.0安装需要注意的事情

时间: 2024-11-09 10:21:02

hadoop2.2.0安装需要注意的事情的相关文章

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目

Hadoop-2.4.0安装和wordcount执行验证

Hadoop-2.4.0安装和wordcount执行验证 下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行 系统自带的WordCount样例来验证服务正确性的步骤. 建立文件夹 /home/QiumingLu/hadoop-2.4.0,以后这个是hadoop的安装文件夹. 安装hadoop-2.4.0,解压hadoop-2.4.0.tar.gz到文件夹 /home/QiumingLu/hadoop-2.4.0就可以 [[email protected]

Hadoop2.2.0安装过程记录

1    安装环境1.1    客户端1.2    服务端1.3    安装准备    2    操作系统安装2.1.1    BIOS打开虚拟化支持2.1.2    关闭防火墙2.1.3    安装VNC3    JAVA安装    3.1    配置目的3.2    配置过程3.3    结果验证4    主机名配置4.1    配置目的4.2    配置过程4.3    结果验证5    增加hadoop用户5.1    配置目的5.2    配置过程5.3    结果验证6    Had

hadoop2.2.0安装笔记

NameNode 192.168.1.122  hadoop/hadoop VM  192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一.在所有机器上安装openssh-server sudo apt-get install openssh-server 如果没有找到openssh-ser

Hadoop2.6.0安装—单机/伪分布

目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止Hadoop 作者: vincent_zh时间:2016-10-16 出处:http://www.cnblogs.com/vincentzh/p/5967274.html 声明:本文以学习.研究和分享为主,如需转载,标明作者和出处,非商业用途! 环境准备 此处准备的环境是Virtual Box虚拟机

linux上hadoop2.4.0安装配置

1 环境准备 安装java-1.6(jdk) 安装ssh 1.1 安装jdk (1)下载安装jdk 在/usr/lib下创建java文件夹,输入命令: cd /usr/environment mkdir java 输入命令: sudo apt-get install sun-java6-jdk 下载后执行安装文件 (2)配置环境变量 输入命令: sudo gedit /etc/environment 将如下内容加入其中: JAVA_HOME=/usr/lib/java/jdk1.6.0_45 P

hadoop-2.10.0安装hive-2.3.6

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive,将安装包解压到/opt/soft下,并建立软链接 tar -zxvf apac

基于Hadoop2.5.0的集群搭建

http://download.csdn.net/download/yameing/8011891 一. 规划 1.  准备安装包 JDK:http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz Hadoop:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz Hive:http://apac

【目录】 hadoop2.6.0

hadoop2.6.0 安装+例子运行 数据丢失问题解决 通过代码运行程序流程 利用Hadoop的 Java API 利用JAVA API 实现数据上传