Hadoop 2.0 安装配置

1. install jdk

2. install hadoop.

安装包hadoop-2.2.0.tar.gz存放在一个目录。并解压。

3. 修改配置文件,一般配置文件在/etc/hadoop下面。

(1) hadoop-env.sh修改配置文件:

export JAVA_HOME=/home/jdk/jdk_version

(2)  mapred-site.xml

<property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
           </property>

(3) core-site.xml

<property>
           <name>fs.default.name</name>
           <value>hdfs://YARN001:8020</value>
           </property>
    (4) yarn-site.xml:

<property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>

<property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
         </property>
     (5)hdfs-site.xml:
        

(6) yarn-stie.xml

4. 启动hadoop服务

a. sbin/start-all.sh 启动所有服务。

1) bin/hadoop namenode format 这个命令是格式化整个集群。操作一定要小心。一般只建议搭建时候第一次用。

2) sbin/hadoop-daemon.sh start namenode 启动namenode

3)

时间: 2024-11-09 22:57:26

Hadoop 2.0 安装配置的相关文章

Hadoop 2.0安装以及不停集群加datanode

Hadoop2.0是对Hadoop1.0全面升级,诞生了通用的计算框架YARN,很多计算框架或者应用程序不再基于传统的操作系统开发,而是基于YARN这个云操作系统.典型的代表是DAG计算框架Tez,当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本,比如Storm-on-yarn,Spark-on-yarn.我们先安装一个Hadoop2.0环境,作为一切的开始. 单机环境中,Hadoop有伪分布式模式,即"单点集群",在该模式下,所有的守护集成均会运行在单个节点上. 伪

Hadoop集群安装配置文档

Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新             目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统安装... 9 3.2系统配置... 10 3.2.1防火墙配置... 10 3.2.2 SElinux配置... 10 3.2.3 IP配置... 11 3.2.4安装vim

CentOS 7.0安装配置Vsftp服务器步骤详解

安装Vsftp讲过最多的就是在centos6.x版本中了,这里小编看到有朋友写了一篇非常不错的CentOS 7.0安装配置Vsftp服务器教程,下面整理分享给各位. 一.配置防火墙,开启FTP服务器需要的端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止

CentOS 7.0安装配置LAMP服务器(Apache+PHP+MariaDB)

原文 CentOS 7.0安装配置LAMP服务器(Apache+PHP+MariaDB) 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum insta

CentOS 7.0 安装配置LAMP服务器方法(Apache+PHP+MariaDB)

一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/ip

Centos6.3下Ganglia3.6.0安装配置

最近安装Ganglia,由于之前Linux基础基本为0,因此费了很大的周折.最后在失败了好多次之后终于看到了梦寐以求的web界面.下面总结下这几天来的工作. ganglia是一个监控软件,他包含三部分:Gmond,Gmetad和Gweb.在需要监控的主机上安装Gmond,他会采集当前主机上的一些信息:Gmetad部署在服务器端,它轮训主机,收集Gmond采集的主机信息,然后存在在rrdtool数据库中:Gweb是一个前台显示的界面,他读取Gmetad保存的rrd文件,显示在web界面上. 部署规

开源免费ERP/CRM/SCM:iDempiere 2.0 安装配置

首先简单介绍一下iDempiere:iDempiere是一款Java平台的基于Compiere/ADempiere的?开源企业级开源ERP/CRM/SCM系统?, 由于是在ADempiere基础上用OSGi进行了重构,这为后续的商务解决方案的开发.扩展扫平了道路. 最近更新到2.0稳定版. webUI界面: Swing界面: iDempiere官方网页 iDempiere WIKI网站 iDempiere下载地址 WIKIQSS Red1HengSinJIRA Source jenkins So

实战:ADFS3.0单点登录系列-ADFS3.0安装配置

本文为系列第三章,主要讲下ADFS3.0的安装和配置.本文和前面的文章是一个系列,因此有些地方是有前后关联,比如本文中使用的通配符证书就是第二篇讲解的,因此需要连贯的进行阅读. 全文目录如下: 实战:ADFS3.0单点登录系列-总览 实战:ADFS3.0单点登录系列-前置准备 实战:ADFS3.0单点登录系列-ADFS3.0安装配置 实战:ADFS3.0单点登录系列-集成SharePoint 实战:ADFS3.0单点登录系列-集成MVC 实战:ADFS3.0单点登录系列-集成Exchange 实

CentOS 7.0安装配置Vsftp服务器

一.配置防火墙,开启FTP服务器需要的端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/ip