Hadoop配置安装手册

本次Hadoop集群安装一共使用四个节点,各节点IP如下:


Master


172.22.120.191


Slave1


172.22.120.192


Slave2


172.22.120.193


Slave3


172.22.120.193

系统版本CentOS 6.2L

JDK版本:1.7

Hadoop版本:1.1.2

完成四个节点系统安装后,开始安装hadoop:

1. 配置hosts文件

2. 配置SSH免密码登录

3. 安装JDK

4. 下载并解压hadoop

5. 配置namenode,修改site文件

6. 配置hadoop-env.sh文件

7. 配置masters和Slaves文件

8. 向各节点复制hadoop

9. 格式化namenode

10. 启动hadoop

11. Jps检测是否启动成功

12. 通过网站查看集群情况

1 配置hosts文件

Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙

CentOS命令为:

chkconfig iptables off

service iptables stop

为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP

2 配置SSH免密码登录

因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。

返回hadoop账号,创建hadoop用户的密钥:

生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:

输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。

最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。

如果成功,则可以直接使用 ssh slave 连接其他节点。

3 安装JDK

先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK

查看openJDK依赖包,依次卸载

将jdk文件复制到master节点 /usr/local 目录下并解压。

修改 /etc/profile 文件,添加Jdk目录

输入 source /etc/profile 使配置生效

最后查看java版本

尽量保持各节点jdk版本和路径一直,方便后续安装

4 下载并解压hadoop

修改 /etc/profile文件,添加hadoop路径

最后使 profile文件生效,输入 source /etc/profile

5 配置namenode,修改site文件

6 配置hadoop-env.sh文件

7 配置masters和Slaves文件

8 向各节点复制hadoop

对其他节点执行相同操作,将Hadoop文件发送到节点

9 格式化namenode

在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致

10 启动hadoop

11 Jps检测是否启动成功

12 通过网站查看集群情况

时间: 2024-08-29 02:23:44

Hadoop配置安装手册的相关文章

Hadoop学习之第一章节:Hadoop配置安装

一.配置虚拟机三台 1.网络配置 虚拟化软件: Vmware Workstations  10.7z Linux系统:  Centos 6.5-x86_64 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 集群机器详细信息 1.虚拟化的网络配置方式:桥接网络 2.IP地址设置为固定IP地址 3.主机名配置,需要修改一下地方 (1)配置vi  /etc/hostname (2)配置vi /etc/sysconfig/network (3)配置vi /etc/hosts 4.关闭防火

hadoop配置安装

必备软件 这里以Hadoop 1.1.2为学习的版本. jdk-6u24-linux-i586.bin hadoop-1.1.2.tar hbase-0.94.7-security.tar hive-0.9.0.tar sqoop-1.4.3.bin__hadoop-1.0.0.tar zookeeper-3.4.5.tar 2. 安装步骤 linux系统环境配置,jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archive/2012/05/16/

Centos 安装R 集成 Hadoop、RHive 配置安装手册

RHive 是一种通过HIVE高性能查询来扩展R计算能力的包.它可以在R环境中非常容易的调用HQL, 也允许在Hive中使用R的对象和函数.理论上数据处理量可以无限扩展的Hive平台,搭配上数据挖掘的利器R环境, 堪称是一个完美的大数据分析挖掘的工作环境. 资源包下载地址: http://pan.baidu.com/s/1ntwzeTb 安装 首先hadoop 以及hive 的安装这里就跳过了.这里主要介绍在Centos 中如何安装R 语言以及如何集成Rhive 到hadoop 中. 本次实验节

Hadoop Hive安装,配置mysql元数据库

由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述. 1.下载Hive安装包 下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压: tar -zxvf apache-hive-1.0.1-bin.tar.gz 在apache的下载列表

Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)

注:本文有参考 这篇文章 ,但因其中有部分错误,所以在实际操作中遇到了很大的困扰,于是写成了这篇文章供大家使用 一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码 $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限 $ su - hado

Hadoop 2.2 配置安装

环境:centos 5.5, Hadoop 2.2 第一步: 安装JDK7 1.1 下载jdk7 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html, 我用的jdk1.7.0_51 1.2 下载完成后解压到某个目录,这里举例解压在/home/software/下. 1.3 正常情况下,centos已经带了某个版本的jdk,但是可能不是jdk7. 这样的话,就需要用jdk7替换当前版

Hadoop1.2.1安装笔记3:hadoop配置

在/usr目录下建立 hadoop文件夹,赋予hadoop用户权限 (master) [[email protected] usr]$ sudo mkdir hadoop [[email protected] usr]$ ls -al  total 156  drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop  [[email protected] usr]$ sudo chown -R hadoop:hadoop hadoop [[email pr

hadoop的安装和配置——第二章:伪分布模式

这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修改配置文件: core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml4 备注:本地模式见hadoop的安装与配置--第一章:本地模式 思路: |----------| | ①:ssh免密登陆   | | ②:修改配置文件   | | ③:格式化hadoop  | | ④:启动hadoop     | |----------| 一:ssh的免密登陆

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H