二、运行模式

1、单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途

2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary 　　namenode等5个进程，模拟分布式运行的各个节点

　　安装与配置步骤：

　　　　下载并解压Hadoop安装包（0.20.2）

　　　　进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件(注意0.23版后的配置文件的位置有所　　　变化)

　　　　编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件

　　　　配置ssh，生成密钥，使到ssh可以免密码连接到localhost

　　　　格式化HDFS

　　　　使用bin/start-all.sh启动Hadoop

　　　　使用bin/stop-all.sh关闭Hadoop

3、完全分布式模式：正常的hadoop集群，由多个各司其职的节点构成

时间： 2024-10-15 12:16:32

二、运行模式的相关文章

理解Spark运行模式（二）(Yarn Cluster)

上一篇说到Spark的yarn client运行模式,它与yarn cluster模式的主要区别就是前者Driver是运行在客户端,后者Driver是运行在yarn集群中.yarn client模式一般用在交互式场景中,比如spark shell, spark sql等程序,但是该模式下运行在客户端的Driver与Yarn集群有大量的网络交互,如果客户端与集群之间的网络不是很好,可能会导致性能问题.因此一般在生产环境中,大部分还是采用yarn cluster模式运行spark程序. 下面具体还是

Java魔法堂：JVM的运行模式（转）

一.前言 JVM有Client和Server两种运行模式.不同的模式对应不同的应用场景,而JVM也会有相应的优化.本文将记录JVM模式的信息,以便日后查阅. 二.介绍在$JAVA_HOME/jre/bin下有client目录,分别代表JVM的两种运行模式. client运行模式,针对桌面应用,加载速度比server模式快10%,而运行速度为server模式的10分之一.client下默认的堆容量 -Xms1M -Xmx64M server运行模式,针对服务器应用.server下默认的堆

Java魔法堂：JVM的运行模式

一.前言 JVM有Client和Server两种运行模式.不同的模式对应不同的应用场景,而JVM也会有相应的优化.本文将记录JVM模式的信息,以便日后查阅. 二.介绍在$JAVA_HOME/jre/bin下有client和server两个目录,分别代表JVM的两种运行模式. client运行模式,针对桌面应用,加载速度比server模式快10%,而运行速度为server模式的10分之一.client下默认的堆容量 -Xms1M -Xmx64M server运行模式,针对服务器应用.ser

php在apache中运行模式

php在apache中运行模式 (2011-12-18 02:38:27) 标签: 杂谈分类: 服务器及软件一.php在php在三种工作方式:Apache 模块DLL) 以下分别比较: 1. php在CGI模式.PHP 在中的 # 对 PHP 4 用这行 Action application/x-httpd-php "/php/php.exe" # 对 PHP 5 用这行 Action application/x-httpd-php "/php/php-Apache 2

【Nutch基础教程之七】Nutch的2种运行模式：local及deploy

在对nutch源代码运行ant runtime后,会创建一个runtime的目录,在runtime目录下有deploy和local 2个目录. [[email protected] runtime]$ ls deploy local 这2个目录分别代表nutch的2种运行方式:部署模式及本地模式. 以下以inject为例,示范2种运行模式. 一.本地模式 1.基本用法: $ bin/nutch inject Usage: InjectorJob <url_dir> [-crawlId <

[转]php 在各种web服务器的运行模式

一.php在apache中运行模式 php在apache中一共有三种工作方式:CGI模式.FastCGI模式.Apache 模块DLL) 以下分别比较: 1. CGI模式与模块模式比较: php在apache中两种工作方式的区别(CGI模式.Apache 模块DLL)这两种工作方式的安装: PHP 在 Apache 2.0 中的 CGI 方式ScriptAlias /php/ "c:/php/"AddType application/x-httpd-php .php # 对 PHP 4

pig的各种运行模式与运行方式详解

一.pig的运行模式: Pig 有两种运行模式: Local 模式和 MapReduce 模式.当 Pig 在 Local 模式运行的时候, Pig 将只访问本地一台主机:当 Pig 在 MapReduce 模式运行的时候, Pig 将访问一个 Hadoop 集群和 HDFS 的安装位置.这时, Pig 将自动地对这个集群进行分配和回收.因为 Pig 系统可以自动地对 MapReduce 程序进行优化,所以当用户使用 Pig Latin 语言进行编程的时候,不必关心程序运行的效率, Pig 系统

tomcat运行模式APR安装

centos6.2下,Tomcat运行模式apr安装过程,如下: 一.安装apr [[email protected] /]# cd /usr/local/ [[email protected]-m5 local]# tar zxvf apr-1.4.2.tar.gz[[email protected] local]# ./configure --prefix=/usr/local/ap 如果报错误:rm: cannot remove `libtoolT': No such file or di

Jetty入门（1-2）配置Jetty - 独立运行模式

本文详述如何安装和配置Jetty服务器,主要讲述Jetty的独立运行模式(Standalone).随后介绍它的配置选项,以及模块化的架构. Jetty有独立运行模式.嵌入运行模式和Jetty Maven插件操作模式. 本文是独立运行模式为准. 一.部署环境两个软件: 1)Java 8u60 http://download.Oracle.com/otn-pub/Java/jdk/8u60-b27/jdk-8u60-windows-x64.exe 2)Jetty 9.3.2 http://ecli

shell的运行模式

一.什么是登陆shell?什么是非登陆shell? 1.登陆shell是指: (1)用户登陆时,输入用户名和密码后启动的shell: (2)通过带--login参数的命令:bash --login而启动的shell. 2.非登录shell指: 用户登录后,直接运行bash命令启动的shell. 3.对于用户来说,登陆shell和非登陆shell的主要区别是:启动shell时所执行的startup文件不同. (1)登录shell的启动文件是/etc/profile.~/.bash_profile