Hadoop完全分布式环境搭建(二)——基于Ubuntu16.04设置免密登录

在Windows里,使用虚拟机软件Vmware WorkStation搭建三台机器,操作系统Ubuntu16.04,下面是IP和机器名称。

【实验目标】:在这三台机器之间实现免密登录

【搭建准备】

1、三台机器上已建立一个共同的账号:hadoop,口令一致

【设置步骤】

1、在主节点master上设置

1)、$cd ~/.ssh

使用ll命令查看,当前~/.ssh文件夹下是空的

2)、生成一对密钥,本机的密钥,放在.ssh文件夹下

$ ssh-keygen -t rsa

生成过程中,一路回车即可。

3)使用ll命令查看,可看到生成了两个文件id_rsa和id_rsa.pub

4)、让主节点能够免密登录到主节点,把密钥传到授权Keys里

$ cat ./id_rsa.pub >> ./authorized_keys

使用ll查看,在.ssh文件夹下,新生成了authorized_keys

5)、使用ssh 登录主节点,$ssh master ,会询问yes/no,输入yes,如下图,使用logout退出ssh登录到本机

6)、再次登录,则不再提示是否yes/no,直接免密登录到本机

7)、在使用ssh登录主节点以后,在.ssh文件夹里新增了一个文件:known_hosts

8)、把主节点master上生成的公钥id_rsa.pub传到其它两台机器,以实现免密登录其它两台机器

$ scp ~/.ssh/id_rsa.pub [email protected]:/home/hadoop/

其中,[email protected],@前面的hadoop是账号,@后面的slave1是目标机器的机器名称,也可以写成IP地址

/home/hadoop/是传到目标机器上的存储路径

在传的过程中,会询问yes/no,输入yes,会询问目标机器的登录口令,输入指令里@前所用账号的口令

注意:这三台机器的文件路径都是:/home/hadoop/.ssh

home后面的hadoop是作为账号hadoop生成的相应文件夹

从其它机器传过来的密钥,放在.ssh的上一级目录,即:/home/hadoop下,在.ssh里存放的是本机的密钥

更改指令$ scp ~/.ssh/id_rsa.pub [email protected]slave2:/home/hadoop/ 传到另一台机器上

8)、分别在另外两台机器上,以hadoop账号登录,把传过来的公钥钥传到授权Keys里

先切换目录:$cd ~

使用ll查看,发现已经有了从主节点传过来的id_rsa.pub

使用指令把传过来的公钥传入授权Keys里:$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

再另外一台机器上也进行此项操作

9)、从主节点使用ssh测试是否能免密登录到其它两台机器

输入指令:$ssh slave1

由下图可以看出,已经可以免密登录,输入logout退出

同样,从主节点测试免密登录另一台从节点。

10)、清理两台从节点上由主节点传过来的公钥

cd ~

rm -f id_rsa.pub

11)、如果想让两台从节点也能分别访问另外一台从节点和主节点,则参照上面的步骤,把从节点生成的公钥传到另一台从节点上和主节点上,传到授权Key里

2、

原文地址:https://www.cnblogs.com/SH170706/p/10312117.html

时间: 2024-10-29 20:51:36

Hadoop完全分布式环境搭建(二)——基于Ubuntu16.04设置免密登录的相关文章

【转】Hadoop HDFS分布式环境搭建

原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust.小记一下,以备将来进一步研究和记忆. HDFS简介 全称 Hadoop Distributed File System, Hadoop分布式文件系统. 根据Google的GFS论文,由Doug Cutting使用JAVA开发的开源项目

一、Hadoop伪分布式环境搭建

Hadoop 2.x伪分布式环境搭建步骤: 1.修改hadoop-env.sh.yarn-env.sh.mapred-env.sh 方法:使用notepad++(beifeng用户)代开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml配置文件 1)修改core-site.xml <configuration> <

安装hadoop和配置hadoop,启动namenode和设置免密登录的详细解析!

首先安装hadoop要安装好java的开发环境,配置好jdk 其实创建一个hadoop的用户 cd到这个用户的目录下 创建一个apps的目录.以后所有的东西都解压进入apps 解压后的目录中的文件如下 这里lib是本地的库! bin是自己的操作命令, sbin是启动命令! etc是配置文件 include是本地库的头文件! 我们的jar包在share文件中! 下图是share包中的目录 剩下就在前面的etc/hadoop/目录下的配置文件进行配置对红线标注的配置文件进行修改 这里我们先配置had

《OD大数据实战》hadoop伪分布式环境搭建

一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod 775 /opt/* chown beifeng:beifeng /opt/* 最终效果如下: [[email protected]02 opt]$ pwd /opt [[email

Hadoop学习笔记之Hadoop伪分布式环境搭建

搭建为伪分布式Hadoop环境 1.宿主机(Windows)与客户机(安装在虚拟机中的Linux)网络连接. a) Host-only 宿主机与客户机单独组网: 好处:网络隔离: 坏处:虚拟机和其他服务器之间不能通讯: b) Bridge 桥接 宿主机与客户机在同一个局域网中. 好处:窦在同一个局域网,可以互相访问: 坏处:不完全. 2.Hadoop的为分布式安装步骤 a) 设置静态IP 在centos下左面上右上角图标右键修改: 重启网卡service network restart; 验证:

hadoop伪分布式环境搭建

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:1

hadoop完全分布式环境搭建

1,设置Java环境 rpm -ivh jdk-8u73-linux-x64.rpm 添加环境变量到启动文件vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_73 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar 测试java环境 [[email protected] ~]# more test.j

hadoop伪分布式环境搭建:linux操作系统安装图解

本篇文章是接上一篇<新手入门篇:虚拟机搭建hadoop环境的详细步骤>,上一篇有人问怎么没写hadoop安装.在文章开头就已经说明了,hadoop安装会在后面写到,因为整个系列的文章涉及到每一步的截图,导致文章整体很长.会分别先对虚拟机的安装.Linux系统安装进行介绍,然后才会写到hadoop安装,关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop.(三节点的DKHadoop发行版可以自己去大快网站页面下载,目前是开放所有权限的,也就是免费版本和付费版本的权限一样,不知道以后

hadoop学习(一) &#160; hadoop伪分布式环境搭建

前期准备 1.创建hadoop相关目录(便于管理) 2.给/opt/*目录赋予hadoop用户及所有组权限 sudo chrown -R hadoop:hadoop /opt/* 3.JDK安装与配置 配置HDFS/YARN/MAMREDUCE 1.解压hadoop tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/ (删除doc下的帮助文档,节省空间) rm -rf /opt/modules/hadoop-2.5.0/share/doc/ 2.配置had