启动hadoop集群

1.配置core-site.xml(每个节点上都要配置)
  路径:
    /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
  作用:
    告诉所有机器master的相关信息
  配置项:
    name: fs.defaultFS
    vale: hdfs://master的地址:端口
  例如:
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.0.104:9000</value>
    </property>

2.配置hosts文件(每个节点上都要配置)
  路径:
    /etc/hosts
  作用:
    告诉集群中每个节点彼此的名字和ip地址
  配置项:
    ip hostname
  例如:
    192.168.0.104 master
    192.168.0.105 slave1
    192.168.0.107 slave2
  如果不配置在启动node的时候会报类似于:java.net.UnknownHostException: master: master: unknown error
3.在master上启动namenode
  格式化namenode
    命令:hdfs namenode -format
    地址:/tmp/hadoop-root/dfs/name
  启动namenode
    命令:hadoop-daemon.sh start namenode
    日志记录在:/usr/local/hadoop-2.7.3/logs/hadoop-root-namenode-master.out
  验证:jps
4.在所有slave上启动datanode
  命令:hadoop-daemon.sh start datanode
  验证:jps
5.查看集群
  在master上执行netstat -tnpl
  tcp 0 0 192.168.0.104:9000 0.0.0.0:* LISTEN 2853/java
  tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 2853/java
  会发现,hadoop启动后,会监听9000端口和50070端口
  9000端口是namenode和datanode通信的端口
  50070端口是提供的web监控界面端口(需要关闭防火墙,否则无法访问)
  web界面地址:http://192.168.0.104:50070/dfshealth.html#tab-overview
6.关闭集群
  hadoop-daemon.sh stop namenode
  hadoop-daemon.sh stop datanode
7.一键式启动
  配置/usr/local/hadoop-2.7.3/etc/hadoop/slaves
    [[email protected] hadoop]# cat slaves
    slave1
    slave2
    这里需要关闭slave1和slave2的防火墙,否则不成功
    slave1和slave2也是通过hosts里去找的
    如果没有设置ssh登录,这里需要输入密码,建议设置ssh登录
    start-dfs.sh也需要登录自己,如果做ssh登录也需要给自己的authorized_keys添加自己的id_rsa.pub
  启动脚本:
    master上执行:start-dfs.sh
8.一键式停止
  master上执行:stop-dfs.sh

  

原文地址:https://www.cnblogs.com/413xiaol/p/9938405.html

时间: 2024-08-29 17:27:27

启动hadoop集群的相关文章

shell启动hadoop集群

原创,转载请注明.谢谢 shell启动hadoop集群1:明确启动顺序 1)启动zookeeper集群(分别在centos 4-02,centos6-02,centos7-02) app/zookeeper-3.4.5/bin/zkServer.sh start //启动进程 app/zookeeper-3.4.5/bin/zkServer.sh status //查看状态 2)启动journalnode(分别在centos 4-02,centos6-02,centos7-02) app/had

启动hadoop集群的时候只能启动一个namenode,另一个报错There appears to be a gap in the edit log. We expected txid 6, but got txid 10.

背景:昨晚11点40几分,终于各个集群组件都启动成功了,然后心满意足的去睡觉了,但是今早再起来再去启动的时候就出现了namenode的问题,然后就开始了查找原因的艰辛历程. 查看报错的log日志: 2019-04-07 13:22:57,746 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimagejava.io.IOException: There appea

Hadoop集群启动、初体验

1. 启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群.注意:首次启动HDFS时,必须对其进行格式化操作.本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的.hdfs namenode–format或者hadoop namenode –format1.1. 单节点逐个启动在主节点上使用以下命令启动HDFS NameNode:hadoop-daemon.sh start namenode在每个从节点上使用以下命令启动HDFS DataNode:hadoop-dae

操作Hadoop集群

所有必要的配置完成后,将文件分发到所有机器上的HADOOP_CONF_DIR目录.这应该是所有机器上相同的目录. 一般来说,建议HDFS和YARN作为单独的用户运行.在大多数安装中,HDFS进程作为"hdfs"执行.YARN通常使用"纱线"帐户. Hadoop启动 要启动Hadoop集群,您需要启动HDFS和YARN集群. 首次升级HDFS时,必须格式化.将新的分布式文件系统格式化为hdfs: [hdfs] $ $ HADOOP_HOME / bin / hdfs

Linux 下 LXD 容器搭建 Hadoop 集群

配置要求 主机内存 4GB . 磁盘 100 GB 以上. HOST 机安装常用 Linux 发行版. Linux Container ( LXD ) 以主机 ubuntu 16.04 为例. 安装 LXD . $ sudo apt-get install lxd $ newgrp lxd $ sudo lxd init 查看可用的镜像源,如果使用默认的 image ,可以跳过下面两步,直接进入后面的 launch . $ lxc remote list 选取上一步喜欢的 image ,复制链接

docker搭建Hadoop集群

一个分布式系统基础架构,由Apache基金会所开发. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力高速运算和存储. 首先搭建Docker环境,Docker版本大于1.3.2 安装主机监控程序和加速器(curl -sSL https://get.daocloud.io/daomonit/install.sh | sh -s 7a029f60d36056fe1b85fabca6a133887245abe6) docker pull daocloud.io/library

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

大数据系列(2)——Hadoop集群坏境CentOS安装

前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题. 技术准备 VMware虚拟机.CentOS 6.8 64 bit 安装流程 因为我的笔记本是Window7操作系统,然后内存配置,只有8G,内存配置太低了,当然为了演示,我会将Hadoop集群中的主节点分配2GB内存,然后剩余的三个节点都是1GB配置. 所有的节点存储我都设置为50GB. 在安装操作系统之前,我们需要

Hadoop集群完全分布式模式环境部署和管理的5大工具

当你利用 Hadoop 进行大数据分析和处理时,首先你需要确保配置.部署和管理集群.这个即不容易也没有什么乐趣,但却受到了开发者们的钟爱.本文提供了5款工具帮助你实现. Apache Ambari Apache Ambari是对Hadoop进行监控.管理和生命周期管理的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari向Hadoop MapReduce.HDFS. HBase.Pig, Hive.HCatalog以及Zookeeper提供服务. Apache M