Hadoop日记Day4---去除HADOOP_HOME is deprecated

去除hadoop运行时的警告

1. 档hadoop运行时,我们会看到如下图1.1所示的警告。

图 1.1



2. 虽然不影响程序运行,但是看到这样的警告信息总是觉得自己做得不够好。一步步分析,先看一下启动脚本start-all.sh的源码,执行命令cd  /usr/local/hadoop/bin目录下,执行命令more start-all.sh,脚本start-all.sh的源码如下图1.2所示。

图 1.2



3. 虽然我们看不懂shell脚本的语法,但是可以猜到可能和文件hadoop-config.sh有关,我们再看一下这个文件的源码。该文件特大,我们只截取最后一部分,见下图1.3所示。

图 1.3



4. 从图中的黑色框框中可以看到,脚本判断变量HADOOP_HOME_WARN_SUPPRESS和HADOOP_HOME的值,如果前者为空,后者不为空,则显示警告信息“Warning……”。所以是,我们在安装hadoop时,设置了环境变量HADOOP_HOME造成的。



5. 网上有的说新的hadoop版本使用HADOOP_INSTALL作为环境变量,我还没有看到源代码,并且担心其他框架与hadoop的兼容性,所以暂时不修改,那么只好设置HADOOP_HOME_WARN_SUPPRESS的值了。

修改配置文件/etc/profile(我原来一直在这里设置环境变量,操作系统是rhel6.3),增加环境变量HADOOP_HOME_WARN_SUPPRESS,如下图1.4所示。

图 1.4



6. 保存退出,再次启动hadoop,就不会出现警告信息了,如下图1.5所示。

图 1.5

时间: 2025-01-16 00:50:15

Hadoop日记Day4---去除HADOOP_HOME is deprecated的相关文章

Hadoop之—— CentOS Warning: $HADOOP_HOME is deprecated解决方案

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46389499 启动Hadoop时报了一个警告信息,我安装的Hadoop版本是hadoop1.0.4,具体警告信息如下: [[email protected] hadoop-1.0.4]# ./bin/start-all.sh Warning: $HADOOP_HOME is deprecated. 网上的说法是因为Hadoop本身对HADOOP_HOME做了判断,具体在bin/h

去除HADOOP_HOME is deprecated

去除hadoop运行时的警告 1. 档hadoop运行时,我们会看到如下图1.1所示的警告. 图 1.1 2. 虽然不影响程序运行,但是看到这样的警告信息总是觉得自己做得不够好.一步步分析,先看一下启动脚本start-all.sh的源码,执行命令cd  /usr/local/hadoop/bin目录下,执行命令more start-all.sh,脚本start-all.sh的源码如下图1.2所示. 图 1.2 3. 虽然我们看不懂shell脚本的语法,但是可以猜到可能和文件hadoop-conf

Hadoop日记系列目录

下面是Hadoop日记系列的目录,由于目前时间不是很充裕,以后的更新的速度会变慢,会按照一星期发布一期的原则进行,希望能和大家相互学习.交流. 目录安排 1>  Hadoop日记Day1---Hadoop介绍 2>  Hadoop日记Day2---虚拟机中搭建Linux 3>  Hadoop日记Day3---Hadoop的伪分布式安装 4>  Hadoop日记Day4---去除HADOOP_HOME is deprecated 5>  Hadoop日记Day5---HDFS介

07_Warning $HADOOP_HOME is deprecated.去除办法

Warning $HADOOP_HOME is deprecated.去除办法 警告的出现: 解决方案: 第一种: 去除[/etc/profile]文件中[export HADOOP_HOME=/opt/modules/hadoop-1.2.1],并且使其生效, 命令如下: # source /etc/profile 出现的原因:在 hadoop-config.sh 脚本中,有如下代码片段: 第二种 如果要解决这个问题,只要让上述中的 [$HADOOP_HOME_WARN_SUPPRESS]不为

Hadoop1.2.1 出现Warning: $HADOOP_HOME is deprecated.的解决方案

通过启动或停止hadoop我们会发现会出现 “Warning: $HADOOP_HOME is deprecated” 这样一个警告,下面给出解决方案: 不过我们一般推荐第二种,因为我们还是需要$HADOOP_HOME的,方便引用. 所以我们一般在/etc/profile 文件最后加上 export HADOOP_HOME_WARN_SUPPRESS=1 ,然后输入命令[source /etc/profile]使其生效即可.

Hadoop日记Day3---安装Hadoop步骤

一.准备工作 比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的

Hadoop日记Day3---Hadoop的伪分布式安装

导录 比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop只是不同的主机名,他们的目录结构都是一样的.还有就是一下的软件下载地址:http://pan.bai

Hadoop日记Day13---使用hadoop自定义类型处理手机上网日志

测试数据的下载地址为:http://pan.baidu.com/s/1gdgSn6r 一.文件分析 首先可以用文本编辑器打开一个HTTP_20130313143750.dat的二进制文件,这个文件的内容是我们的手机日志,文件的内容已经经过了优化,格式比较规整,便于学习研究,感兴趣的读者可以尝试一下. 我从中截取文件中的一行记录内容进行分析: 1363157985066     13726230503    00-FD-07-A4-72-B8:CMCC    120.196.100.82    i

Hadoop日记Day5---HDFS深入浅析

本文用到了查看hadoop源码,关于hadoop源码导入Eclipse方式见第一期 一.HDFS的背景介绍 随着数据量越来越大,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统. 学术一点的定义就是:分布式文件系统是一种允许文件通过网络在多台主机上分享的文件的系统,可让多机器上的多用户分享文件和存储空间.分布式文件管理系统很多,hdfsHDFS 只是其中一种.适用于一次写入.多次查询的