启动hadoop。start-all.sh 缺少datanode进程

1）修改每个Slave的namespaceID使其与Master的namespaceID一致。

　　或者

2）修改Master的namespaceID使其与Slave的namespaceID一致。

　　该"namespaceID"位于"/usr/hadoop/tmp/dfs/data/current/VERSION"文件中，前面蓝色的可能根据实际情况变化，但后面红色是不变的。

　　例如：查看"Master"下的"VERSION"文件

查看错误日志访问http://localhost:50070，点击页面中的Namenode logs链接，在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接，

发现在日志中有此提示：Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/hdfs/data, expected: rwxr-xr-x, while actual: rwxr-xrwx 。原因是data文件夹权限问题，执行：chmod g-w /usr/local/hadoop/hdfs/data，修改文件夹权限后，再次启动Hadoop，问题解决。

时间： 2024-08-30 07:45:26

启动hadoop。start-all.sh 缺少datanode进程的相关文章

hadoop在子节点上没有datanode进程

经常会有这样的事情发生:在主节点上start-all.sh后,子节点有TaskTracker进程,而没有DataNode进程.环境:1NameNode 2DataNode三台机器,Hadoop为1.2.1解决办法:1.先停止Hadoop,bin/stop-all.sh2.三台机器都把hadoop1.2.1/tmp下所有文件删除,rm -rf tmp/*3.重新格式化DFS bin/hadoop namenode -format4.再重启bin/start-all.sh5.查看各节点jps,

Hadoop问题：DataNode进程不见了

DataNode进程不见了问题描述最近配置Hadoop的时候出现了这么一个现象,启动之后,使用jps命令之后是这样的: 看不到DataNode进程,但是能够正常的工作,是不是很神奇啊? 在一番百度谷歌之后,得出了结论: 我在启动Hadoop之前和启动之后,曾经多次使用如下命令,针对NameNode进行格式化: hadoop namenode -format 这个问题,还不是你直接多次格式化造成的,而是你格式化之后,启动了Hadoop,然后将Hadoop关闭,重新格式化,再启动Hadoop造成

启动hadoop，没有启动namenode进程。log4j:ERROR setFile(null,true) call faild.

解决办法: cd /home/hadoop/hadoop-env/hadoop-1.0.1/log less hadoop-hadoop-namenode-localhost.localdomain.log --查看该日志,发现是权限问题 chmod 777 hadoop-hadoop-namenode-localhost.localdomain.log --root用户下操作,赋权限关闭hadoop后在启动hadoop,发现虽然没有报错,但还是没有启动namenode进程. 则还是进入ha

【hadoop学习】--（2）安装和启动hadoop

9 安装hadoop <1>安装 tar -zvxf hadoop-1.1.2.tar.gz mv hadoop-1.1.2 /usr/lib/hadoop <2>环境变量执行gedit /etc/profile添加和修改后为: export JAVA_HOME=/usr/lib/jvm export HADOOP_HOME=/usr/lib/hadoop/ export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /

启动Hadoop HA Hbase zookeeper spark

备注:我的公钥文件在/home/hxsyl/.ssh下不在/root/hxsyl下,通过 find / -name id_rsa 查找 1.分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令.然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain. 可通过zkServer.sh status命令来查看Zookeeper状态.正常是机器中只有一个leader,其他的

shell启动hadoop集群

原创,转载请注明.谢谢 shell启动hadoop集群1:明确启动顺序 1)启动zookeeper集群(分别在centos 4-02,centos6-02,centos7-02) app/zookeeper-3.4.5/bin/zkServer.sh start //启动进程 app/zookeeper-3.4.5/bin/zkServer.sh status //查看状态 2)启动journalnode(分别在centos 4-02,centos6-02,centos7-02) app/had

启动hadoop集群

1.配置core-site.xml(每个节点上都要配置) 路径: /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 作用: 告诉所有机器master的相关信息配置项: name: fs.defaultFS vale: hdfs://master的地址:端口例如: <property> <name>fs.defaultFS</name> <value>hdfs://192.168.0.104:9000<

Linux下Tomcat的启动和停止（包括杀死tomcat进程）

打开终端 cd /java/tomcat #执行 bin/startup.sh #启动tomcat bin/shutdown.sh #停止tomcat tail -f logs/catalina.out #看tomcat的控制台输出: #看是否已经有tomcat在运行了 ps -ef |grep tomcat #如果有,用kill; kill -9 pid #pid 为相应的进程号例如 pe -ef |grep tomcat 输出如下 sun 5144 1 0 10:21 pts/1 00:0

启动hadoop的节点

1.启动hadoop的节点 start-dfs.sh