Hadoop本地模式部署

系统支持:CentOS 6.3

部署资源:JDK1.7、Hadoop-2.2.0

hostname:reagina01

ipaddress:192.168.8.201

java version "1.7.0_80"

安装Hadoop

[[email protected] ~]# mkdir /reagina
[[email protected] ~]# tar -zxvf hadoop-2.2.0-64bit.tar.gz -C /reagina/

修改/reagina/hadoop-2.2.0/etc/hadoop/目录下5个配置文件:

1、hadoop-env.sh

2、core-site.xml

3、hdfs-site.xml

4、mapred-site.xml

5、yarn-site.xml

将Hadoop添加到环境变量,编辑/etc/profile:

格式化HDFS(namenode)第一次使用时要格式化:

[[email protected] hadoop]# hadoop namenode -format

启动Hadoop(先启动HDFS,再启动YARN):

[[email protected] hadoop]# start-dfs.sh

[[email protected] hadoop]# start-yarn.sh

使用jps命令验证是否启动成功:

访问HDFS的管理界面:

访问MapReduce管理界面:

时间: 2024-12-24 05:19:47

Hadoop本地模式部署的相关文章

Hadoop学习笔记(2)-搭建Hadoop本地模式

0.前言 hadoop总共有三种运行方式.本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode).后面足一讲解搭建本地以及伪分布式,分布式读者自行搭建. 参考资料(官网为主,网络资料为铺): http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Stan

Hadoop 本地模式安装

0. 说明 本地模式:使用的存储系统,是Linux系统 1. 将 Hadoop 的安装包通过 Xftp 发送到centos 用户的 home 目录 2. 解压安装包到 /soft下 tar -xzvf hadoop-2.7.3.tar.gz -C /soft 3. 进入到 /soft 下,建立符号链接 cd /soft ln -s hadoop-2.7.3/ hadoop 4. 配置 Hadoop 环境变量 sudo vim /etc/profile 添加以下内容 # hadoop 环境变量 e

Hadoop单机模式部署

一.Hadoop部署模式 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行 完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境 二.添加用户和组 $ sudo adduser hadoop                         ##创建用户hadoop $ sudo usermod -G sudo hadoop                 

hadoop本地模式配置

我使用的是VMware虚拟机,ubuntu14.04LTS,64位,已经安装java,如果不知道如何配置网上有很多教程,不再赘述,我安装的是1.6.0_30版本.建议不要安装太高版本,我原来安装了1.8版本的,尝试配置hadoop-2.6,死活都不成功,最后改成1.7版本的才配置成功. 此处再温馨提示一下,很多人使用命令:wget  http://www.us.apache....... 去下载压缩包,但是总是下载失败,原因是时间隔太久下载地址变了.在我写这篇博文的时候可以通过以下地址下载到2.

Linux下的Hadoop安装(本地模式)

系统为CentOS 6.9,Hadoop版本2.8.3,虚拟机VMware Workstation 主要介绍Linux虚拟机安装.环境配置和Hadoop本地模式的安装.伪分布式和Windows下的安装将另作补充. 网络上关于Hadoop安装的教程非常多,这里主要是归纳出安装过程的简要步骤和可能碰到的问题. Linux环境安装 NAT Linux 设置网络 HOST 其他环境设置 Java环境配置 Hadoop本地模式安装 Linux环境安装 NAT Linux 设置网络 HOST 其他环境设置

Windows8.1+Eclipse搭建Hadoop2.7.2本地模式开发环境

下面介绍如何在Windows8.1上搭建hadoop2.7.2的本地模式开发环境,为后期做mapreduce的开发做准备. 在搭建开发环境之前,首先选择开发工具,就是大家都很熟悉的Eclipse(本人这次使用的是eclipse4.4.2版本),Eclipse提供了hadoop的插件,我们通过这个插件,就可以在eclipse中编写mapreduce.但是,这个插件可能会随着hadoop的版本升级或者eclipse的版本升级,而需要相应的去进行编译.所以,在我们开发之前,学会编译这个eclipse的

阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Hive:apache-hive-2.3.6-bin.tar.gz Mysql: Mysql 5.7 MySQL Connector-J:mysql-

Hadoop运行模式:本地模式、伪分布模式、完全分布模式

1.本地模式:默认模式 - 不对配置文件进行修改. - 使用本地文件系统,而不是分布式文件系统. - Hadoop不会启动NameNode.DataNode.ResourceManager.NodeManager等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的. - 用于对MapReduce程序的逻辑进行调试,确保程序的正确. 2.伪分布模式:等同于完全分布式,只有一个节点 - 分为在HDFS上执行和在YARN上执行 - Hadoop启动NameNode.DataNo

Hadoop单机模式的配置与安装

Hadoop单机模式的配置与安装 版权所有 前言: 由于Hadoop属于java程序,所以,安装Hadoop之前需要先安装jdk. 对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点. 分别是: JobTracker:负责Hadoop的Job任务分发和管理. TaskTracker:负责在单个节点上执行MapReduce任务. 对于Hadoop里面的HDFS的节点又有 NameNode:主节点,负责管理文件存储的名称节点 DateNode:数据节点,负责具体的文