WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备

1.创建3台虚拟机并装好系统,这里使用64位CentOS.

2.Ping测试[确保两两能ping通]: [ping xxx.xxx.xxx.xxx]

3.安装SSH:[yum install ssh rsync]

4.按下图重命名主机、修改host文件:

master:

slave1:

slave2:

具体虚拟机的IP地址根据实际情况配置。

5.重启每台机器,检查ip和host配置是否正常,然后使用主机名来进行ping测试:

6.创建hadoop的用户和用户组[每台机器上执行]

sudo groupadd Hadoop

sudo useradd -s /bin/bash -d /home/hadooper -m hadooper -g hadoop -G root

passwd hadooper  [密码设置成和用户名相同便于记忆]

7.SSH无验证双向登陆配置

如master上的执行截图:

上述操作生成一对密钥[ssh-keygen -t rsa -P ‘‘],并将公钥保存至文件[cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys]

授权[chmod 600 ~/.ssh/authorized_keys]。

切换至root用户[su root]

取消被注释的公钥字段[vi /etc/ssh/sshd_config]:

文件打开后如下:

将红圈中的三行代码前面的#号去掉,如下:

保存并退出[按Esc后输入  :wq!   命令]

切换到root用户,重启一下SSHD服务:service sshd restart

至此SSH配置完毕,下面可以尝试自身无验证的SSH登陆(注意切换到hadooper用户):

可以看到无论是使用localhost还是IP或者主机名master都是可以无验证登陆的。首次登陆会提示主机无法识别,后面再次使用ssh登陆就不会有提示了(其实可以看到已经在/home/hadooper/.ssh/下生成了一个known_hosts文件)。

同样在slave1和slave2上做类似的配置和验证。

8.接下来开始配置不同主机间的无验证SSH登录:

将master的公钥文件复制到slave1节点的hadooper用户上:[scp ~/.ssh/id_rsa.pub [email protected]:~/]

拷贝完成之后,去Slave1机上进行,公钥追加授权文件,并赋权限:

然后切换root用户,进行sshd配置,并重启ssh服务:

(即:切换用户、编辑sshd_config文件vi /etc/ssh/sshd_config 重启SSHD服务)

至此,salve1配置完毕,可以去master上无验证ssh登陆salve1了

在master上测试无验证SSH登陆slave1(注意切换到hadooper用户)

重复步骤8,完成master到slave2的无验证SSH登陆。

即:

在master上scp传送id_rsa.pub到132机器[scp ~/.ssh/id_rsa.pub [email protected]:~/]

去Slave2机上进行,公钥追加授权文件,并赋权限

切换root用户,进行sshd配置,并重启ssh服务。

做完后验证一下master是否可以无验证SSH登陆slave2.

9.接下来反过来,让salve1和slave2可以无验证登陆master

需要分别将slave1的公钥和slave2的公钥scp传输到master,在master上导入,重启sshd服务即可。

去slave1,传输公钥文件到master的/home/hadooper/目录(即hadooper登陆后的~目录)

去master导入这个公钥:

(即在master上追加salve1的公钥到授权文件authorized_keys中,重启SSHD服务(注意使用root用户否则权限不足,囧))

测试一下,slave1可以无验证SSH登陆到master:(注意切换到hadooper用户)

验证成功,下面差最后一步,slave2到master的无验证SSH登陆。

由于已经将salve1的公钥id_rsa.pub文件放在了master的/home/hadooper/下面(即hadooper用户的~目录),接下来要把slave2的id_rsa.pub放到这个位置,所以先删掉slave1的这个文件(在master上,切换到hadooper用户,执行 rm /home/hadooper/id_rsa.pub 即可)

去slave2传输公钥到master,然后在master上执行导入操作并重启sshd服务即可。方法同步骤12。

10.最后做一次“总体验证”即可:

master上自身无验证SSH登陆、master到slave1、master到slave2:

slave1上自身无验证SSH登陆+slave1到master:

slave2上自身无验证SSH登陆+slave2到master:

至此,安装Hadoop框架的基础环境配置完毕,后面记录安装Hadoop过程。

时间: 2024-10-31 03:28:29

WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备的相关文章

Hadoop 分布式环境搭建

Hadoop 分布式环境搭建 一.前期环境 安装概览 IP Host Name Software Node 192.168.23.128 ae01 JDK 1.7 NameNode, SecondaryNameNode, DataNode, JobTracker, TaskTracker 192.168.23.129 ae02 JDK 1.7 DataNode, TaskTracker 192.168.23.130 ae03 JDK 1.7 DataNode, TaskTracker 若使用虚拟

Hadoop分布式环境搭建

作者:gqk: 使用多个服务器访问hadoop的各个进程: Hadoop分布式环境搭建准备工作: 克隆三个虚拟机: 机器规划: 更改两个机器的MAC的地址 更改网卡并配置: 1)修改网卡:克隆的机子网卡默认为eth1 改为eth0,,MAC改为本机的 vim /etc/udev/rules.d/70-persistent-net.rules  (注意:出现修改后 不管用的 ) eth0配文件中的mac地址改成了ifocnfig中出来的mac地址,然后再次删除/etc/udev/rules.d/7

【转】Hadoop HDFS分布式环境搭建

原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust.小记一下,以备将来进一步研究和记忆. HDFS简介 全称 Hadoop Distributed File System, Hadoop分布式文件系统. 根据Google的GFS论文,由Doug Cutting使用JAVA开发的开源项目

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在

【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所有的守护进程全部运行在K-Master节点之上.在本篇blog我们将搭建完全分布式环境,运行NameNode.SecondaryNameNode.JobTracker守护进程在主节点上,运行DataNode.TaskTracker在从节点上. 开发环境 硬件环境:Centos 6.5 服务器

Hadoop 2.x伪分布式环境搭建测试

Hadoop 2.x伪分布式环境搭建测试 标签(空格分隔): hadoop hadoop,spark,kafka交流群:459898801 1,搭建hadoop所需环境 卸载open JDK rpm -qa |grep java rpm -e –nodeps [java] 1.1,在/opt/目录下创建四个目录: modules/ software/ datas/ tools/ 解压hadoop-2.5.0及jdk-7u67-linux-x64.tar.gz至modules目录下. $tar -

一、Hadoop伪分布式环境搭建

Hadoop 2.x伪分布式环境搭建步骤: 1.修改hadoop-env.sh.yarn-env.sh.mapred-env.sh 方法:使用notepad++(beifeng用户)代开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml配置文件 1)修改core-site.xml <configuration> <

【Hadoop】伪分布式环境搭建、验证

Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares # 安装apt依赖包 apt-get update -y && apt-get install supervisor -y && apt-get install python-dev python-pip libmysqlclient-dev -y # 安装pip.python

Hadoop之环境搭建

初学Hadoop之环境搭建 阅读目录 1.安装CentOS7 2.安装JDK1.7.0 3.安装Hadoop2.6.0 4.SSH无密码登陆 本文仅作为学习笔记,供大家初学Hadoop时学习参考.初学Hadoop,欢迎有经验的朋友进行指导与交流! 1.安装CentOS7 准备 CentOS系统镜像CentOS-7.0-1406-x86_64-Everything.iso vmware workstation 11 安装 1.点击创建一个新的虚拟机,选择"典型"配置,下一步. 2.选择&