Hadoop之—— CentOS Warning: $HADOOP_HOME is deprecated解决方案

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46389499

启动Hadoop时报了一个警告信息,我安装的Hadoop版本是hadoop1.0.4,具体警告信息如下:

[[email protected] hadoop-1.0.4]# ./bin/start-all.sh
Warning: $HADOOP_HOME is deprecated.

网上的说法是因为Hadoop本身对HADOOP_HOME做了判断,具体在bin/hadoop和bin/hadoop-config.sh里。在hadoop-config.sh里有如下的配置:

if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then
  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2
  echo 1>&2
fi

对于这个警告问题,解决方法如下:

1.注释掉hadoop-config.sh里的上面给出的这段if fi配置(不推荐)

2.在/etc/profile里增加一个环境变量:

export HADOOP_HOME_WARN_SUPPRESS=1

注:修改完profile后需要执行source操作使其生效

source /etc/profile

备注:在ubuntu下应该是修改/home/.bashrc文件,增加一行 export HADOOP_HOME_WARN_SUPPRESS=1

执行完后我们可以检验一下配置是否成功,重新执行start-all.sh脚本:

[[email protected] hadoop-1.0.4]# ./bin/start-all.sh
starting namenode, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-namenode-localhost.out
localhost: starting datanode, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-localhost.out
localhost: starting secondarynamenode, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynamenode-localhost.out
starting jobtracker, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-localhost.out
localhost: starting tasktracker, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-localhost.out

没有出现Warning: $HADOOP_HOME is deprecated,说明问题已经解决。

时间: 2024-12-23 00:58:27

Hadoop之—— CentOS Warning: $HADOOP_HOME is deprecated解决方案的相关文章

Hadoop日记Day4---去除HADOOP_HOME is deprecated

去除hadoop运行时的警告 1. 档hadoop运行时,我们会看到如下图1.1所示的警告. 图 1.1 2. 虽然不影响程序运行,但是看到这样的警告信息总是觉得自己做得不够好.一步步分析,先看一下启动脚本start-all.sh的源码,执行命令cd  /usr/local/hadoop/bin目录下,执行命令more start-all.sh,脚本start-all.sh的源码如下图1.2所示. 图 1.2 3. 虽然我们看不懂shell脚本的语法,但是可以猜到可能和文件hadoop-conf

Hadoop1.2.1 出现Warning: $HADOOP_HOME is deprecated.的解决方案

通过启动或停止hadoop我们会发现会出现 “Warning: $HADOOP_HOME is deprecated” 这样一个警告,下面给出解决方案: 不过我们一般推荐第二种,因为我们还是需要$HADOOP_HOME的,方便引用. 所以我们一般在/etc/profile 文件最后加上 export HADOOP_HOME_WARN_SUPPRESS=1 ,然后输入命令[source /etc/profile]使其生效即可.

07_Warning $HADOOP_HOME is deprecated.去除办法

Warning $HADOOP_HOME is deprecated.去除办法 警告的出现: 解决方案: 第一种: 去除[/etc/profile]文件中[export HADOOP_HOME=/opt/modules/hadoop-1.2.1],并且使其生效, 命令如下: # source /etc/profile 出现的原因:在 hadoop-config.sh 脚本中,有如下代码片段: 第二种 如果要解决这个问题,只要让上述中的 [$HADOOP_HOME_WARN_SUPPRESS]不为

hadoop在CentOS下的安装配置

版本:CentOS-6.8-x86_64-minimal,hadoop2.6.4,jdk1.7.0 首先把jdk.hadoop压缩包下载发送到CentOS下并解压 下载发送不多赘述,解压命令tar -zxvf 压缩包 mv 原文件名 新文件名 (注意空格) 先配置jdk 进入jdk目录 pwd 查看当前目录复制备用/apps/jdk1.7.0_25 配置环境变量 vi ~/.bash_profile JAVA_HOME=/apps/jdk1.7.0_25PATH=$PATH:$HOME/bin:

去除HADOOP_HOME is deprecated

去除hadoop运行时的警告 1. 档hadoop运行时,我们会看到如下图1.1所示的警告. 图 1.1 2. 虽然不影响程序运行,但是看到这样的警告信息总是觉得自己做得不够好.一步步分析,先看一下启动脚本start-all.sh的源码,执行命令cd  /usr/local/hadoop/bin目录下,执行命令more start-all.sh,脚本start-all.sh的源码如下图1.2所示. 图 1.2 3. 虽然我们看不懂shell脚本的语法,但是可以猜到可能和文件hadoop-conf

Hadoop之——CentOS构造ssh否password登录注意事项

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46388809 前提配置:使用root登录改动配置文件:/etc/ssh/sshd_config.将当中三行的凝视去掉,例如以下 然后重新启动ssh服务:service sshd restart.最后退出root,下面全部操作都在hadoop用户下进行. 主机信息例如以下: 如上图,当前登录用户为hadoop,主机名为slave.hadoop.与master.hadoop主机的网络

Hadoop之——CentOS配置ssh无密码登录注意事项

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46388809 前提配置:使用root登录修改配置文件:/etc/ssh/sshd_config,将其中三行的注释去掉,如下 然后重启ssh服务:service sshd restart.最后退出root,以下所有操作都在hadoop用户下进行. 主机信息如下: 如上图,当前登录用户为hadoop,主机名为slave.hadoop,与master.hadoop主机的网络是通畅的.

java.io.FileNotFoundException: /usr/local/hadoop/logs/fairscheduler-statedump.log(权限不够)解决方案

问题描述:Linux虚拟机内使用hadoop 解决方案: 1 $ su 2 密码:****** 3 # chown hadoop 文件名 进入超级管理员,为hadoop用户分配该文件的权限. 完美解决: 原文地址:https://www.cnblogs.com/mawangwang/p/11218709.html

Hadoop 2.0 上深度学习的解决方案

原文连接:https://www.paypal-engineering.com/tag/data-science/ 摘要:伴随着数据的爆炸性增长和成千上万的机器集群,我们需要使算法可以适应在如此分布的环境下运行.在通用的分布式计算环境中运行机器学习算法具有一系列的挑战.本文探讨了如何在一个Hadoop集群中实现和部署深度学习. 波士顿的 数据科学团队正在利用尖端工具和算法来优化商业活动,且这些商业活动是基于对用户数据中的深刻透析.数据科学大量使用机器算法,可以帮助我们在数据中识别和利用模式.从互