Hadoop它——跑start-all.sh时间namenode不启动

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46353211

近期遇到了一个问题,运行start-all.sh的时候发现JPS一下namenode没有启动

每次开机都得又一次格式化一下namenode才干够

事实上问题就出在tmp文件,默认的tmp文件每次又一次开机会被清空,与此同一时候namenode的格式化信息就会丢失

于是我们得又一次配置一个tmp文件文件夹

首先在home文件夹下建立一个hadoop_tmp文件夹

sudo mkdir ~/hadoop_tmp

然后改动hadoop/conf文件夹里面的core-site.xml文件,增加下面节点:

<property>

<name>hadoop.tmp.dir</name>

<value>/home/chjzh/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

注意:我的用户是chjzh所以文件夹是/home/chjzh/hadoop_tmp

OK了,又一次格式化Namenode

hadoop namenode -format

然后启动hadoop

start-all.sh

跑JPS命令将可以看到NameNode该

版权声明:本文博客原创文章。博客,未经同意,不得转载。

时间: 2024-10-14 05:17:28

Hadoop它——跑start-all.sh时间namenode不启动的相关文章

让python在hadoop上跑起来

duang~好久没有更新博客啦,原因很简单,实习啦-好吧,我过来这边上班表示觉得自己简直弱爆了.第一周,配置环境:第二周,将数据可视化,包括学习了excel2013的一些高大上的技能,例如数据透视表和mappower绘制3d地图,当然本来打算是在tkinter里面运用matplotlib制作一个交互式的图表界面,然而,画出来的图简直不是excel2013能比的,由于对界面和matplotlib研究的也不是很深,短时间是没法研究出来,上周真是多灾多难:现在,第三周,开始接触hadoop,虽说大多数

Hadoop Namenode不能启动

自己在虚拟机上建立伪分布环境,第一天还一切正常,后来发现每次重新开机以后都不能正常启动,在start-dfs.sh之后jps一下发现namenode不能正常启动,按提示找到logs目录下namenode的启动log发现如下异常. [email protected]:~$ jps 5096 ResourceManager 5227 NodeManager 5559 Jps 4742 DataNode 4922 SecondaryNameNode org.apache.hadoop.hdfs.ser

在虚拟机环境下,电脑间拷贝配置好的伪分布式Hadoop环境,出现namenode不能启动的问题!

原因:在原来的电脑上配置伪分布的时候,已经将hostname与IP绑定了,所以拷贝到别的电脑的时候,重新启动的时候就会失败,因为新的电脑的IP不见得就和原来的电脑的IP一样!因为在不同的网络中,在NAT模式下Linux的IP肯定是位于不同的网段的!! 解决方法:vi /etc/hosts  将原来的电脑的IP改成新的电脑的IP即可. 另外:重新格式化hadoop的时候,要把原来的hadoop下的tmp目录下的所有文件都删除掉,然后停止所有的进程,如datanode等.然后 利用hadoop na

Hadoop namenode无法启动

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动        每次开机都得重新格式化一下namenode才可以        其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失        于是我们得重新配置一个tmp文件目录        首先在home目录下建立一个hadoop_tmp目录                sudo mkdir ~/hadoop_tmp        然后修

Hadoop学习笔记_6_分布式文件系统HDFS --NameNode体系结构

分布式文件系统HDFS --NameNode体系结构 NameNode 是整个文件系统的管理节点. 它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中], 文件/目录的元信息和每个文件对应的数据块列表. 接收用户的操作请求. Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中. 文件包括: fsimage:元数据镜像文件.存储某一时段NameNode内存元数据信

hadoop 的HDFS 的 standby namenode无法启动事故处理

standby namenode无法启动 现象:线上使用的2.5.0-cdh5.3.2版本Hadoop,开启了了NameNode HA,HA采用QJM方式.hadoop的集群的namenode的standby节点宕掉,重启无法启动成功. 1. standby namenode出现异常时的现象 异常现象1: hadoop的集群的namenode的standby节点宕掉,重启无法启动成功.查看hadoop-hdfs-namenode-hostname.log,发现报出如下异常:" org.apach

namenode未启动

1.问题:start-all.sh结果jps发现namenode没有启动,其它进程都启动 2.查看日志,没有namenode生产的日志 3.奇了,检查其它进程的日志,都在重新连接namenode Zzzzzzz..... 4.记得虚拟机是直接关机的,未执行stop-all.sh 5.删除tmp目录(metdata所在的目录) 6.重新格式化 hadoop namenode -format 7.启动,正常了. 8.具体原因还未知. namenode未启动

namenode 无法启动之每次开机需要重新格式化-tmp

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动        每次开机都得重新格式化一下namenode才可以        其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失        于是我们得重新配置一个tmp文件目录        首先在home目录下建立一个hadoop_tmp目录                sudo mkdir ~/hadoop_tmp        然后修

namenode无法启动(namenode格式化失败)

格式化namenode [email protected] bin]# sudo -u hdfs hdfs namenode –format 16/11/14 10:56:51 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = node04/172.