Hadoop运行模式:本地模式、伪分布模式、完全分布模式

1、本地模式:默认模式

  - 不对配置文件进行修改。

  - 使用本地文件系统,而不是分布式文件系统。

  - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。

  - 用于对MapReduce程序的逻辑进行调试,确保程序的正确。

2、伪分布模式:等同于完全分布式,只有一个节点

  - 分为在HDFS上执行和在YARN上执行

  - Hadoop启动NameNode、DataNode、ResourceManager、NodeManager这些守护进程都在同一台机器上运行,是相互独立的Java进程。

  - 在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由ResourceManager服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。

  - 修改配置文件:

  • HDFS上:

  hadoop-env.sh(JAVA_HOME)、core-site.xml(配置Namenode,Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)

  • YARN上:

  yarn-env.sh(配置JAVA_HOME)、yarn-site.xml(配置nodemanager、resourcemanager)、mapred-env.sh(配置JAVA_HOME)、mapred-site.xml(配置MapReduce集群的属性,指定运行在yarn上)

  - 分布式文件系统

3、完全分布式模式:多个节点一个运行

  - Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。

  - 在所有的主机上安装JDK和Hadoop,组成相互连通的网络。

  - 在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。

  - 修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和ResourceManager的位置和端口,设置文件的副本等参数

  - 分布式文件系统

原文地址:https://www.cnblogs.com/MWCloud/p/11212814.html

时间: 2024-10-06 19:43:18

Hadoop运行模式:本地模式、伪分布模式、完全分布模式的相关文章

Linux下的Hadoop安装(本地模式)

系统为CentOS 6.9,Hadoop版本2.8.3,虚拟机VMware Workstation 主要介绍Linux虚拟机安装.环境配置和Hadoop本地模式的安装.伪分布式和Windows下的安装将另作补充. 网络上关于Hadoop安装的教程非常多,这里主要是归纳出安装过程的简要步骤和可能碰到的问题. Linux环境安装 NAT Linux 设置网络 HOST 其他环境设置 Java环境配置 Hadoop本地模式安装 Linux环境安装 NAT Linux 设置网络 HOST 其他环境设置

Hadoop学习笔记(2)-搭建Hadoop本地模式

0.前言 hadoop总共有三种运行方式.本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode).后面足一讲解搭建本地以及伪分布式,分布式读者自行搭建. 参考资料(官网为主,网络资料为铺): http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Stan

Mapreduce程序运行的多模式

Mapreduce程序可在多种模式下运行: 本地模式: 1)         本地文件,本地处理:将MR的输入输出路径设置为本地路径: 2)         集群文件,本地处理:将MR的输入输出设置为HDFS的路径,job在本地进行处理; 2.集群模式:集群文件,集群处理:将MR的输入输出设置为HDFS的路径,并将Job提交到集群里面(Yarn)处理:其中以集群模式运行的时候还可通过以下几种方式对Job作业进行提交(前提是在集群里面已经启动HDFS以及Yarn): 1)         在Ecl

55.storm 之 hello word(本地模式)

strom hello word 概述 然后卡一下代码怎么实现的: 编写数据源类:Spout.可以使用两种方式: 继承BaseRichSpout类 实现IRichSpout接口 主要需要实现或重写几个方法:open.nextTuple.declareOutputFields 继续编写数据处理类:Bolt.可以使用两种方式: 继承BaseBasicBolt类 实现IRichBolt接口 终点实现或重写几个方法:execute.declareOutputFields 最后编写主函数(Topology

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Hadoop在处理海量数据分析方面具有独天优势.今天花时间在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.

Hadoop运行模式

Hadoop运行模式 (1)本地模式(默认模式): 不需要启用单独进程,直接可以运行,测试和开发时使用. 即在一台机器上进行操作,仅为单机版. 本地运行Hadoop官方MapReduce案例 操作命令: 执行案例: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.2.jar wordcount xxx(文件位置) xxx(输出位置) (2)伪分布式模式: 等同于完全分布式,只有一个节点. 配置集群: 配置:core-s

【node.js】本地模式安装express:'express' 不是内部或外部命令,也不是可运行的程序或批处理文件。

今天闲来无事想起了node.js,因此到网上下载了一个node.js的安装程序进行安装.其中: 安装程序:node-v0.11.13-x64.msi PC系统:Windows 7 自定义安装路径:D:\TOOLS\NodeJs 安装完成后,执行: D:\TOOLS\NodeJs>node -v v0.11.13 安装框架express,从网站上下载了一个安装文档,说安装express可分全局模式和本地模式,个人觉得全局模式就是默认的没什么意思,就选择本地模式进行安装,执行: D:\TOOLS\N

express在本地模式下:'express' 不是内部或外部命令,也不是可运行的程序或批处理文件。

今天突然来了兴致,准备玩玩nodeJS,安装nodeJS的时候没有任何问题,一路next就完成了. node -v 没问题 可以检测到版本号,node环境ok~ 本地模式安装express框架:npm install express 检测express是否安装成功:express -V 窗口打印出:'express' 不是内部或外部命令,也不是可运行的程序或批处理文件. 我去,一口老血吐出,什么情况... 经历了一番谷百后发现,因express默认安装是最新的版本,已经是4.x.x的版本.而最新