3.1 准备软件
HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。
1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft
3-1 Hadoop存储路径图
有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习,待stable版本出来后,可以直接替换上生产环境。
2. 下载JDK
Hadoop是用java编写的,JDK提供了java程序的运行环境,因此,需要下载JDK。
Hadoop3.0版本要求JDK1.8以上,不兼容JDK1.7以及之前的版本。
JDK1.8有32bit和64bit两种,那么我们应该选哪一个版本呢?
Java程序本身不区分32bit和64bit,因为它面对的是一个统一的JVM;JDK则区分32bit和64bit,JDK 32bit表示它运行在32位机器上,JDK 64bit则表示它运行在64位的机器上。
我们安装的Centos7是64位的,因此,要选择64bit的JDK。
同样保存到d:\hdfs3\soft
3.2 配置Centos网络
我们下载的Hadoop3.0.0和JDK1.8保存在Host(Win7)上,需要通过网络上传到Guest(Centos7)。因此,需要配置Guest上的网络,使得Host和Guest能够联通。
Host和Guest之间的网络连接如下图所示:
3-2 Vmware workstation host-only虚拟网络连接图
1. Host和Guest之间是通过Host-only虚拟网络连接的。
注意:Host和Guest之间有3种类型的虚拟网络可以连接,分别是Bridged、NAT和Host-only。其中Bridge可以使得Guest能够被Host所连接的网络上的机器所访问,但它需要Host真正连接到了一个物理网络;NAT可以共享Host的外部IP上互联网;Host-only是Guest和Host之间的一个私有网络,它不要求Host真正连接到一个物理网络,因此,最方便。有关这三种网络的原理和使用,请参考艾叔的高清视频《VMware Workstation虚拟机实战入门》,视频中有详细的说明。
2. Host连接到虚拟网络的网卡名字是VMNet1。这是如何知道的呢?我们可以打开VMware workstation的Virtual Network Editor,如下图。
3-3 Vmware workstation 虚拟网络编辑器
然后,我们可以看到虚拟网络的信息,我们看到的VMnet0对应Bridged虚拟网络,VMnet1对应Host-only虚拟网络;VMnet8对应NAT虚拟网络。
选中VMnet1,向下红色的部分,我们可以看到“Host virtual adapter name: VMware Network Adapter VMnet1”,这个就是Host-only虚拟网络中,Host主机的虚拟网卡名。如果我们选中VMnet0,则可以看到Bridged虚拟网络中,Host主机的虚拟网卡名为VMnet0。
3-4 Vmware workstation host-only虚拟网络配置界面
3. VMnet1的IP地址是192.168.182.1。这个是如何知道的呢?
首先,我们看VMnet1虚拟网络子网地址是:192.168.182.0。VMnet1网卡具体的IP地址,要到Windows的网络连接里去看。
打开Windows的网络连接,找到网卡VMnet1,如下。
3-5 Vmware workstation host虚拟网卡
查看IP地址,可以看到是192.168.182.1。
3-6 Vmware workstation host-only虚拟网络连接图
验证,在CMD中ping 192.168.182.1。
注意:这一步非常重要!!!
3-7 Vmware workstation host ping自己
注意:如果Ping不通的话,Guest关机,然后尝试恢复虚拟机网络的默认值,如下,点击Restore Default。
恢复需要等待一段时间,然后Host-only的子网地址会改变,VMnet1的IP同样会改变。因此,需要再次查看VMnet1的IP,然后ping这个新的IP。
3-8 Vmware workstation 恢复默认网络设置图
4. 我们要检查Guest是否选择了Host-only网络
首先,确认下面的Device status的复选框都选中;
其次,Network connection下面的单选框要选中:Host-only,如下红线所示。
3-9 Vmware workstation 网络设备状态图
5. 查看Guest上的网络的网卡和IP
Guest登录
输入命令:ip a
将显示Guest上的网卡和IP信息,我们可以看到Guest上有一块网卡,名字为ens33,它的Mac地址为:00:0C:29:77:B8:70,IP地址由于没有设置,因此,在mac地址下面没有显示。
3-10 CentOS网络设备查看图
6. 设置IP
使用文本编辑器vi(有关Linux命令,vi的使用,请参考高清视频《艾叔:Linux入门-零基础会用Linux》,精选了Linux下使用最频繁的命令进行讲解,用最短的时间掌握最有用的操作。)打开网卡的配置文件。
3-11 vi编辑网卡配置文件
内容如下
3-12 CentOS网卡配置图
按下i,应该可以看到左下角出现INSERT
3-13 vi插入状态图
编辑下面红色的部分
3-14 新的CentOS网卡配置图
按下ESC,应该可以看到左下角的INSERT消失
输入引号:,左下角应该出现一个引号
3-15 vi末行状态
输入wq
3-16 vi保存退出
回车,此时保存文件并退出
关闭网卡
3-17 CentOS关闭网络
启动网卡,将加载我们刚才的配置
3-18 CentOS开启网络
验证,可以看到网卡ens33的IP已经设置
3-19 CentOS查看网络
重启,看配置是否仍然生效
3-20 CentOS重启
重启登录,查看IP地址,可以看到192.168.182.11,说明配置已经生效
3-21 CentOS查看IP地址
验证Guest和Host是否联通
从Host去Ping Guest,看是否能够Ping通,如下所示,是可以Ping通的。
3-22 Host ping Guest
3.3 上传软件到Centos
1. 创建普通用户
在上传软件之前,我们要在Centos上创建一个普通用户,在Linux下,我们要尽可能地在普通用户下工作,这是一个好习惯。
使用下面的命令创建一个普通用户,用户名为user,并且为该用户?????????建它的home目录。
3-23 创建普通用户及其home目录
设置user用户的密码,为简单起见,我们密码同样设置为123456。
注意,设置密码的命令为:passwd user
在下面的横线处,输入123456,注意123456不会有回显。
3-24 设置普通用户密码
如果我们可以看到sucessfully,则说明设置成功。
切换到user,切换过去后,我们可以看到#变成了$,$表示当前用户为普通用户。
3-25 切换到普通用户
打印当前工作路径,是/home/user,这个是user的home目录,后续我们将软件上传到此目录下。
3-26 显示当前工作路径
2. 确认sshd服务
通过sshd服务,我们可以软件从Host上传到Guest,下面的命令将确认Centos上是否开启了sshd服务,如果可以看到红圈内的22,则说明服务已经开启。
3-27 显示当前端口
3. 下载WinSCP
WinSCP是一个Windows(Host)下的软件,它与Guest上的sshd交互,可以完成文件的传输。
下载后,直接解压即可,无需安装。
3-28 解压目录
点击WinSCP
在右侧文件协议中选择SCP
主机名:192.168.182.11
端口号:22
用户名:user,密码:123456
点击登录
3-29 winscp连接配置界面
在弹出的对话框中选择Y
3-30 winscp连接对话框
登录,界面如下,左侧为Host主机的目录,右侧为Guest主机的目录
3-31 winscp传输界面
右侧Guest目录为/home/user
在左侧找到我们要上传的文件,然后将其拖拽到右侧,如下,注意红线所指的路径是/home/user。
3-32 winscp本地存储路径
上一篇:《hadoop-3.0.0-beta1运维手册(002):安装Guest操作系统》
原创文章,转载请注明: 转载自大数据学习网,作者:艾叔
本文链接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8