hadoop-3.0.0-beta1运维手册(003):安装全分布式HDFS3.0.0-准备软件

3.1 准备软件

HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。

1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft

3-1 Hadoop存储路径图

有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习,待stable版本出来后,可以直接替换上生产环境。

2. 下载JDK

Hadoop是用java编写的,JDK提供了java程序的运行环境,因此,需要下载JDK。

Hadoop3.0版本要求JDK1.8以上,不兼容JDK1.7以及之前的版本。

JDK1.8有32bit和64bit两种,那么我们应该选哪一个版本呢?

Java程序本身不区分32bit和64bit,因为它面对的是一个统一的JVM;JDK则区分32bit和64bit,JDK 32bit表示它运行在32位机器上,JDK 64bit则表示它运行在64位的机器上。

我们安装的Centos7是64位的,因此,要选择64bit的JDK。

下载jdk-8u152-linux-x64.tar.gz

同样保存到d:\hdfs3\soft

3.2 配置Centos网络

我们下载的Hadoop3.0.0和JDK1.8保存在Host(Win7)上,需要通过网络上传到Guest(Centos7)。因此,需要配置Guest上的网络,使得Host和Guest能够联通。

Host和Guest之间的网络连接如下图所示:

3-2 Vmware workstation host-only虚拟网络连接图

1. Host和Guest之间是通过Host-only虚拟网络连接的。

注意:Host和Guest之间有3种类型的虚拟网络可以连接,分别是Bridged、NAT和Host-only。其中Bridge可以使得Guest能够被Host所连接的网络上的机器所访问,但它需要Host真正连接到了一个物理网络;NAT可以共享Host的外部IP上互联网;Host-only是Guest和Host之间的一个私有网络,它不要求Host真正连接到一个物理网络,因此,最方便。有关这三种网络的原理和使用,请参考艾叔的高清视频《VMware Workstation虚拟机实战入门》,视频中有详细的说明。

2. Host连接到虚拟网络的网卡名字是VMNet1。这是如何知道的呢?我们可以打开VMware workstation的Virtual Network Editor,如下图。

3-3 Vmware workstation 虚拟网络编辑器

然后,我们可以看到虚拟网络的信息,我们看到的VMnet0对应Bridged虚拟网络,VMnet1对应Host-only虚拟网络;VMnet8对应NAT虚拟网络。

选中VMnet1,向下红色的部分,我们可以看到“Host virtual adapter name: VMware Network Adapter VMnet1”,这个就是Host-only虚拟网络中,Host主机的虚拟网卡名。如果我们选中VMnet0,则可以看到Bridged虚拟网络中,Host主机的虚拟网卡名为VMnet0。

3-4 Vmware workstation host-only虚拟网络配置界面

3. VMnet1的IP地址是192.168.182.1。这个是如何知道的呢?

首先,我们看VMnet1虚拟网络子网地址是:192.168.182.0。VMnet1网卡具体的IP地址,要到Windows的网络连接里去看。

打开Windows的网络连接,找到网卡VMnet1,如下。

3-5 Vmware workstation host虚拟网卡

查看IP地址,可以看到是192.168.182.1。

3-6 Vmware workstation host-only虚拟网络连接图

验证,在CMD中ping 192.168.182.1。

注意:这一步非常重要!!!

3-7 Vmware workstation host ping自己

注意:如果Ping不通的话,Guest关机,然后尝试恢复虚拟机网络的默认值,如下,点击Restore Default。

恢复需要等待一段时间,然后Host-only的子网地址会改变,VMnet1的IP同样会改变。因此,需要再次查看VMnet1的IP,然后ping这个新的IP。

3-8 Vmware workstation 恢复默认网络设置图

4. 我们要检查Guest是否选择了Host-only网络

首先,确认下面的Device status的复选框都选中;

其次,Network connection下面的单选框要选中:Host-only,如下红线所示。

3-9 Vmware workstation 网络设备状态图

5. 查看Guest上的网络的网卡和IP

Guest登录

输入命令:ip a

将显示Guest上的网卡和IP信息,我们可以看到Guest上有一块网卡,名字为ens33,它的Mac地址为:00:0C:29:77:B8:70,IP地址由于没有设置,因此,在mac地址下面没有显示。

3-10 CentOS网络设备查看图

6. 设置IP

使用文本编辑器vi(有关Linux命令,vi的使用,请参考高清视频《艾叔:Linux入门-零基础会用Linux》,精选了Linux下使用最频繁的命令进行讲解,用最短的时间掌握最有用的操作。)打开网卡的配置文件。

3-11 vi编辑网卡配置文件

内容如下

3-12 CentOS网卡配置图

按下i,应该可以看到左下角出现INSERT

3-13 vi插入状态图

编辑下面红色的部分

3-14 新的CentOS网卡配置图

按下ESC,应该可以看到左下角的INSERT消失

输入引号:,左下角应该出现一个引号

3-15 vi末行状态

输入wq

3-16 vi保存退出

回车,此时保存文件并退出

关闭网卡

3-17 CentOS关闭网络

启动网卡,将加载我们刚才的配置

3-18 CentOS开启网络

验证,可以看到网卡ens33的IP已经设置

3-19 CentOS查看网络

重启,看配置是否仍然生效

3-20 CentOS重启

重启登录,查看IP地址,可以看到192.168.182.11,说明配置已经生效

3-21 CentOS查看IP地址

验证Guest和Host是否联通

从Host去Ping Guest,看是否能够Ping通,如下所示,是可以Ping通的。

3-22 Host ping Guest

3.3 上传软件到Centos

1. 创建普通用户

在上传软件之前,我们要在Centos上创建一个普通用户,在Linux下,我们要尽可能地在普通用户下工作,这是一个好习惯。

使用下面的命令创建一个普通用户,用户名为user,并且为该用户?????????建它的home目录。

3-23 创建普通用户及其home目录

设置user用户的密码,为简单起见,我们密码同样设置为123456。

注意,设置密码的命令为:passwd user

在下面的横线处,输入123456,注意123456不会有回显。

3-24 设置普通用户密码

如果我们可以看到sucessfully,则说明设置成功。

切换到user,切换过去后,我们可以看到#变成了$,$表示当前用户为普通用户。

3-25 切换到普通用户

打印当前工作路径,是/home/user,这个是user的home目录,后续我们将软件上传到此目录下。

3-26 显示当前工作路径

2. 确认sshd服务

通过sshd服务,我们可以软件从Host上传到Guest,下面的命令将确认Centos上是否开启了sshd服务,如果可以看到红圈内的22,则说明服务已经开启。

3-27 显示当前端口

3. 下载WinSCP

WinSCP是一个Windows(Host)下的软件,它与Guest上的sshd交互,可以完成文件的传输。

下载后,直接解压即可,无需安装。

3-28 解压目录

点击WinSCP

在右侧文件协议中选择SCP

主机名:192.168.182.11

端口号:22

用户名:user,密码:123456

点击登录

3-29 winscp连接配置界面

在弹出的对话框中选择Y

3-30 winscp连接对话框

登录,界面如下,左侧为Host主机的目录,右侧为Guest主机的目录

3-31 winscp传输界面

右侧Guest目录为/home/user

在左侧找到我们要上传的文件,然后将其拖拽到右侧,如下,注意红线所指的路径是/home/user。

3-32 winscp本地存储路径

上一篇:《hadoop-3.0.0-beta1运维手册(002):安装Guest操作系统》

原创文章,转载请注明: 转载自大数据学习网,作者:艾叔

本文链接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8

时间: 2024-10-03 23:33:10

hadoop-3.0.0-beta1运维手册(003):安装全分布式HDFS3.0.0-准备软件的相关文章

hadoop-3.0.0-beta1运维手册(001):定制虚拟机

1.1 什么是虚拟机 虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机. 虚拟机和真实的物理机器一样,也有CPU.硬盘.网卡.内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样. 利用虚拟机软件,我们可以在一台物理服务器上运行多个虚拟机,从而模拟多机环境,既经济又方便. 定制虚拟机的就是根据我们自己的需要,来配置一台虚拟机. 1.2 软件版本 虚拟机软件有很多,我们这里选择最常用的VMware WorkStation,版本是9,安装好后,

hadoop-3.0.0-beta1运维手册(002):安装Guest操作系统

2.1 什么是Guest操作系统 Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统. 我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛.具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Everything-1511.整个光盘有7GB多,因为它包含了更多的安装包(软件),我们在安装的时候,可以根据需要来选择安装哪些软件.因此,实际装出来

ES 2.0 集群运维命令整理

ES 2.0 集群运维命令整理 _cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次 基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为help. 某些命令部分列默认不显示,可通过help该命令可显示的所有列 示例: curl localhost:9200/_cat/master?help bytes: 数值列还原为原始值. 如

nagios运维手册

1      前言 1.1  系统功能概述 Nagios是一款开源的免费网络监视工具,能有效监控Windows.Linux和Unix的主机状态,交换机路由器等网络设置,打印机等.在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知. Nagios 可以监控的功能有: 1.监控网络服务(SMTP.POP3.HTTP.NNTP.PING等): 2.监控主机资源(处理器负荷.磁盘利用率等): 3.简单地插件设计使得用户可以方便地扩展自己服务的检测方法:

oracle 10g运维手册

1.    检查数据库基本状况... 4 1.1.     检查Oracle实例状态... 4 1.2.     检查Oracle服务进程... 4 1.3.     检查Oracle监听状态... 5 2.    检查系统和oracle日志文件... 6 2.1.     检查操作系统日志文件... 6 2.2.     检查oracle日志文件... 6 2.3.     检查Oracle核心转储目录... 7 2.4.     检查Root用户和Oracle用户的email. 7 3.  

运维手册

运维手册,又叫软件运维手册,或者operational manu,到底要放哪些章节是因公司而异,但是因为IT运维都是有很多的共性的,所以应该有很多相同的内容. 我给公司的运维部门写了一个手册,包含以下内容: 1.目的 42.适用范围 43. 运维团队 43.1 运维的目标 43.2 运维的职责范围 44. 系统及运维服务 54.1系统 54.2运维服务 54.2.1 监控 54.2.1.1端口监控 54.2.1.1服务监控 84.2.1.3日志监控 84.2.1.4 Gearman backlo

openstack运维手册(个人实际工作中整理)

openstack运维手册,是本人在实际工作中整理的,现分享!!!因水平有限,欢迎广大朋友指正.具体文档见附件.

DayDayUP_Linux运维学习_oracle11g安装教程

1. 安装环境介绍 系统环境 虚拟机测试机 系统版本 linux redhat 6.5 x64 软件版本 linux.x64_oracle_11gR2 系统内存 2G 系统存储 40G 主机名 vmdbs ip地址 192.168.1.189 192.168.128.189 笔者当时安装操作系统时所选的安装包 1.1 Base System Base System 安装 8 个套件 Base System > Base Base System > Client management tools

菜鸟运维笔记:安装MySQL及phpMyAdmin

阿里云提示我备案,挺烦人的.前天通过github的学生开发包.免费获得了DigitalOcean的100刀消费券(要花5美元来激活账户),购置了一个每月10刀的主机,实际是按小时收费的,日结,很划算的.机器配置如下: 1 GB/ 1 CPU 30 GB SSD 硬盘 2 TB流量 CentOS7.0 旧金山机房 旧金山机房是几个国外机房里面比较稳定的,虽然ping有170+,但也比其他的快,强烈不建议新加坡机房,卡飞,而且经常断线. 关于lamp,lnmp网上已经有了wdcp,lnmp一键安装包