hadoop 启动问题

namenode进程没有启动原因是
没有创建该目录!可以日志进行查看错误,或者配置文件的ip不对
datanode进程没有启动的原因是:dir中所指向的目录权限不对,权限755必须一模一样,如果在start-all.sh后权限恢复,则可以删除文件夹,在建立

datanode 没有启动原因是 hdfs-site.xml中,多配置两个propty
这个dfs.client.read.shortcircuit会将datanote、dir的目录权限自动恢复,并且datanode无法启动
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/lib/hadoop-hdfs/dn_socket</value>
</property>
检查hadoop-env.sh 正确配置为
export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER}

ResourceManager等服务启动不来原因可能是各个配置文件用的namenode:port,应该换成ip地址!

时间: 2024-09-19 05:15:24

hadoop 启动问题的相关文章

去除hadoop启动过程中的警告信息

安装完hadoop后启动hadoop 会报一个Warning.解决办法 vi  /etc/profile 进入编辑模式,添加下面这行 export HADOOP_HOME_WARN_SUPPRESS=1 保存退出 立即生效:source /etc/profile 重新启动hadoop 消除警告成功! 去除hadoop启动过程中的警告信息,布布扣,bubuko.com

hadoop启动后jps没有namenode(转)

hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中), 目的是两者一致. 但是查看后,两者的ID是一样的, 于是查看/usr/local/ha

hadoop启动start-all.sh出错(master: ssh: connect to host master port 22: Connection refused)

当我们打开系统输入hadoop启动命令start-all.sh时出现以下错误: [[email protected] ~]# start-all.sh starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-namenode-master.out master: ssh: connect to host master port 22: Network is unreachable master: ss

hadoop启动,DataNode报错”Incompatible clusterIDs“

启动namenode,通过50070端口查看,发现livenode只有一个--namenode,查看datanode日志,发现有”Incompatible clusterIDs“错误,提示很明显,namenode和datanode的集群id不一致 解决办法:找到core-site.xml配置文件,进入”dfs.datanode.data.dir“配置项下的目录,在current目录下有一VERSION文件,比较namenode和datanode里这个文件中的clusterID,发现不一致,因此只

hadoop启动后,jps命令后发现nodename启动失败,检查日志报错:FSNamesystem initialization failed

1. 基本信息 hadoop    版本 hadoop-0.20.205.0.tar.gz 操作系统   ubuntu 2. 问题 在使用Hadoop开发初期的时候遇到一个问题. 每次重启系统后发现不能正常运行hadoop.必须执行  bin/hadoop namenode -format  进行格式化才能成功运行hadoop,但是也就意味着以前记录的name等数据丢失. 查询日志发现错误: 21:08:48,103 INFO org.apache.hadoop.hdfs.server.name

hadoop启动jobhistoryserver

hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动,启动的方法是通过: mr-jobhistory-daemon.sh start historyserver 命令还启动. 由于前面有过一篇通过web查看job的运行情况的文章(文章的出处:http://www.cnblogs.com/ljy2013/p/4485949.html),文中介绍的是当作业在运行时,如何通

hadoop启动守护进程报JAVA_HOME is not set and could not be found

hadoop启动守护进程 sbin/start-dfs.sh 报如下错误:JAVA_HOME is not set and could not be found 解决办法(JAVA_HOME修改为具体的路径):vim etc/hadoop/hadoop-env.sh

hadoop 启动后执行wordcount解析(No such file or directory错误)

hadoop 启动后执行wordcount解析 第一个  hadoop fs -mkdir input 结果出现了错误No such file or directory 查资料,应该是 执行命令为:hadoop fs -mkdir /input 1.x是可以执行的,而2.x的执行命令为:hadoop fs -mkdir /

hadoop 启动的时候datanode报错 Problem connecting to server

刚配置好的hadoop,namenode可以正常开启,但是datanode却不停的报错,并且不能正常启动: 2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:hadoop1/192.168.10.22:9000 2014-05-04 10:43:55,009 INFOorg.apache.hadoop.ipc.Client: Retry

hadoop启动报错:localhost: ssh: Could not resolve hostname localhost

hadoop启动journalnode时报错:localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution 解决办法:将高亮部分补充到/etc/profile中,然后source生效 export JAVA_HOME=/opt/module/jdk1.8.0_144 export HADOOP_HOME=/opt/ha/hadoop-2.7.4 export HADOOP_CO