hadoop cdh 后启动群起脚本总是起不起来的一些坑

    最近都在流行大数据什么的,然后偶然之间加入了一个物联网的小公司,可以使用hadoop 来做数据分析,于是心中窃喜,可以有机会接触大数据了,从此走上人生巅峰赢取白富美。

    可是成功的道路总不是一帆风顺滴,从我开始接触这玩意儿,到现在大概有一个多月了,但是我居然还在搭环境。。。我丢你老牟,这个hadoop的环境怎么这么复杂,这是人干的事?能不能像springboot 一样做一些简单化的配置就行呢?搞死我了。。

    首先第一个问题:

      因为启动haoop要启动好多相关联的东西比如说:

      hadoop-daemon.sh start namenode

      hadoop-daemon.sh start datanode

      hadoop-daemon.sh start secondarynamenode

      yarn-daemon.sh start resourcemanager

      yarn-daemon.sh start nodemanager

      mr-jobhistory-daemon.sh start historyserver

      一个启动要启动这个多命令,你咋不上天呢?,我写命令 的时候写错了几个字就一直报错找不到主类异常,我顶你个肺,又没有详细的明细,搞得我查了半天以为是配置错了,搞半天是命令打错了。。。

    第二个:

      启动namenode没启动起来,然后报错一直报文件夹没有找到data这个文件夹,然后我创建了,不行,又少了一个文件夹,我又创建了一个。。结果我顶你个肺搞半天是namenode没有格式化,然后我又起来格式化,格式化不成功,又爆了一个错是说链接不上其他的节点然后我顶你个肺,我就ping了一下,ping德通啊。。是什么元婴呢?

      于是我到网上各种找解决方案,终于找到了一个。。

      解决方案一:

      在各JournalNode节点上,输入以下命令启动journalnode服务:

      sbin/hadoop-daemon.sh start journalnode:

      然后格式化就没问题了

      解决方案二:

      HA模式第一次或删除格式化版本后格式化失败,报如上错误:

      解决方案: 

      先启动 ./start-dfs.sh
      再进行 格式化,则成功

      我用的是第二个解决方案,终于解决了,搞半天要先启动dfs才能格式化,我顶你个肺然后继续踩坑了。。我觉得我一定要征服hadoop因为如果不能走入潮流的就会被淘汰,所以我得做潮流中的嫩草儿嘻嘻

原文地址:https://www.cnblogs.com/rey888/p/11211671.html

时间: 2024-10-10 22:47:24

hadoop cdh 后启动群起脚本总是起不起来的一些坑的相关文章

spark 与 Hadoop 融合后启动 slf4j提示Class path contains multiple SLF4J bindings

相关参考文献: https://www.oschina.net/question/93435_174549 警告信息如下: 看起来明明就是一个文件,怎么还提示multiple bindings呢,slf4j这货一直没用明白,求解 其它参考文献: http://www.slf4j.org/news.html August 19th, 2011 - Release of SLF4J 1.6.2 本文解决方法: find ./ -name "slf4j*" 分别找出 hadoop 和 spa

Zookeeper群起脚本启动失败及查看状态出现:Error contacting service. It is probably not running

1.问题: 群起脚本启动后查看jps没有出现:QuorumPeerMain Zookeeper正常启动但是群起脚本查状态出现:Error contacting service. It is probably not running错误 ZooKeeper JMX enabled by default Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg Error contacting service. It is prob

cdh hadoop 安装包自动下载脚本

cdh hadoop 安装包自动下载脚本 下面的shell脚本用于自动下载cdh5.2.1的hadoop rpm包. 测试通过. #!/bin/bash # # @file # cdh5_rhel6_x64_cdh5.2.1-downloads.sh # # @date # 2014-12-18 # # @author # cheungmine # # @version # 0.0.1pre # # download all RPMS from: # -- http://archive.clou

【kafka】一键启动kafka脚本

3.1 创建文件cd bin 跳转到bin文件夹里touch  start-kafka-cluster.sh --新建一键启动文件touch  stop-kafka-cluster.sh --新建一键停止文件 3.2 编写startstart-kafka-cluster.sh内容:#!/bin/bashbrokers="hadoop01 hadoop02 hadoop03"KAFKA_HOME="/home/hadoop/kafka_2.12-2.3.0"KAFKA

linux系统最小化安装后的初始化脚本

作为运维人员,经常会初始化系统,系统在安装过程中基本都会选择最小化安装,这样安装好的系统里会缺少很多环境. 下面分享一个系统安装后的初始化脚本: #!/bin/bash #系统时最小化安装的,这里要安装系统的软件库yum groupinstall -y "development tools" #创建目录[ ! -d /server/tools ] && mkdir -p /server/tools[ ! -d /application ] && mkdi

Nginx和PHP-FPM的启动/重启脚本 [转发]

Nginx和PHP-FPM的启动/重启脚本 [转发] (2012-07-27 16:07:52) 标签: it 分类: 学习 转载自:http://blog.sina.com.cn/s/blog_539d6e0c0101357j.html 服务器上的Nginx和PHP都是源码编译安装的,不支持类似以前的nginx (start|restart|stop|reload)了.自己动手丰衣足食.以下脚本应该在RHEL, Fedora, CentOS下都适用. 一.Nginx启动脚本/etc/init.

cm 安装cdh 后添加hive服务

cm 安装cdh 后添加hive服务,出现错误提示 添加服务时候hive 配置如下: 错误信息提示: 错误日志: xec /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hadoop/bin/hadoop jar /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hive/lib/hive-cli-1.1.0-cdh5.4.7.jar org.apache.hive.beeline.Hi

利用bat批处理做启动mongodb脚本

http://www.cnblogs.com/pingfan1990/p/4558630.html 主题 MongoDBLinux 如: choice /c:dme defrag,mem,end 将显示 defrag,mem,end[D,M,E]? Sample: Sample.bat的内容如下: @echo off choice /c:dme defrag,mem,end if errorlevel 3 goto defrag (应先判断数值最高的错误码) if errorlevel 2 go

记一次写Java项目启动管理脚本

最近将大概每天三分之一的精力放到了改造Ambry上(改造后的叫AmbryX,项目地址),Ambry原来最蛋疼的一点就是居然没有启动shell脚本和终止shell脚本,对于运维太不友好了.昨天下午做了个Ambry的启动管理脚本,并且推到了github上,记录下写的思路. 首先,确定下需求. 需求 网上有一个标准的java启动脚本模板,感觉上和我的需求不太符合.他的脚本一个机器上限制只能启动一个JVM进程,我的不是这样,Ambry可能在同一个机器上启动多个JVM进程,每个JVM进程的主类不一样的.我