Hadoop大象之旅003-配置CentOS操作系统

Hadoop大象之旅003-配置CentOS操作系统

老帅

上一章中,我们已经在VMWare虚拟机中安装好了CentOS操作系统,为了后面即将安装的Hadoop能够正常运行,还需要对CentOS操作系统进行相关的配置。

1.激活CentOS网卡   

在虚拟机中安装完CentOS系统之后,在CentOS桌面右上角网络连接的图标是无效的;在命令行中执行ifconfig也看不到IP地址;这是因为在安装CentOS操作系统过程中,网卡没有被激活。所以首先我们要激活CentOS的网卡。

执行下面的命令来打开并编辑网卡配置文件:

vi/etc/sysconfig/network-scripts/ifcfg-eth0;

打开配置文件,看到如下图所示内容;
    按下  i        键,进入文件编辑状态,将ONBOOT=no,修改为ONBOOT=yes;
    按下  esc     键,退出文件编辑状态;
    按下  shif:  组合键,进入命令行状态,输入命令wq,保存并退出;

修改完成并保存退出后,立刻可以看到,在CentOS桌面右上角网络连接的图标变成有效的。

2. 设置CentOS静态IP地址

    为了使宿主Window7操作系统和虚拟机中的CentOS操作系统能互相访问,必须使两者的IP地址在同一个网段;为了避免每次重启虚拟机后IP地址都发生变化,需要指定一个固定不变的静态IP地址。

安装完虚拟机VMWare软件后,在Window7下会多出两块虚拟网卡,如下图所示:

 

我们这里操作VMnet1虚拟网卡,为它指定一个固定不变的静态IP地址,如下图所示:

点击“确定”按钮以后,在Window7命令行中,就能ping到这个IP地址了,也就是说Window7已经可以和虚拟网卡VMnet1通信了;但我们最终是要和虚拟机中的CentOS系统通信,所以VMnet1要和CentOS在同一个网段。有两种方法可以完成这个目标;

方法1:执行下面的命令来设置CentOS的静态IP地址

vi/etc/sysconfig/network-scripts/ifcfg-eth0;

打开配置文件,看到如下图所示内容;
    按下  i        键,进入文件编辑状态,将内容改为如下图所示;
    按下  esc     键,退出文件编辑状态;
    按下  shif:  组合键,进入命令行状态,输入命令wq,保存并退出;

执行命令使网络设置生效: service network restart

  

方法2:通过桌面右上角网络连接的右键菜单命令来设置静态IP

点击“编辑连接”菜单后,显示如下窗口

点击编辑按钮,显示如下窗口,修改为手动方式,并指定一个固定IP即可

通过使用以上的方法进行设置后,CentOS的IP地址是192.168.253.66,VMnet虚拟网卡的IP地址是192.168.253.1,两者就在同一个网段了;此时,在Window7命令行中,就能ping到CentOS的IP地址了,也就是说Window7已经可以CentOS通信了。

3.修改主机名

    为了更好的识别主机,需要给主机设置一个有意义的名字。

使用如下命令来修改主机名称

vi/etc/sysconfig/network

设置完成后,重启使其生效:reboot -h now

执行命令hostname 查看一下主机名

4. 设置DNS解析,绑定主机名和IP

     一般我们访问一台电脑是通过IP地址,当然也可以通过主机名,如果IP地址是动态分配的,则使用主机名访问电脑,就更稳定。通过以下方法来进行绑定。

vi/etc/hosts;

打开配置文件,看到如下图所示内容;
    按下  i        键,进入文件编辑状态 ;

增加一行:192.168.253.66 hadoop001
    按下  esc     键,退出文件编辑状态;
    按下  shif:  组合键,进入命令行状态,输入命令wq,保存并退出;

 验证:使用命令ping hadoop001

5.关闭防火墙

为了使多个hadoop主机之间正常的通信,需要关闭防火墙。

使用如下命令来关闭IP防火墙

serviceiptables stop

验证:serviceiptables status 

    结果如下图所示

这个时候虽然关闭了IP防火墙,但是它其实是个服务,可能处于自动启动状态,下次启动电脑时就会再次启动,需要关闭其自动启动状态。我们通过下面这个命令查看服务的启动状态。

chkconfig--list | grep iptables

我们需要彻底关闭防火墙,避免后顾之忧,使用如下命令关闭防火墙

chkconfigiptables off

验证一下,我们再次通过下面这个命令查看服务的启动状态。

chkconfig--list | grep iptables

6.设置SSH(Secure Shell)

    因为最终hadoop是集群,集群中有很多电脑,每次电脑间互相访问如果都输入用户名和密码很麻烦。我们可以通过使用SSH安全连接的方式建立电脑间的连接。

执行如下命令,在~/.ssh文件夹中生成rsa私钥和公钥

ssh-keygen-t rsa

    使用如下命令,查看一下生成的秘钥

ls~/.ssh

    因为ssh在验证的时候,读取的是authorized-keys文件,所以我们复制一份公钥到这个文件中
    执行如下命令,将公钥复制到到改文件中

cp~/.ssh/id_rs.pub ~/.ssh/authorized_keys

    验证一下:

sshlocalhost

当第一次使用ssh登录远程主机时,会出现没有找到主机密钥的提示信息。输入"yes"后,系统会将远程主机的密钥加入到主目录下的.ssh/known_hosts中,这样你就可以继续操作了。

至此,我们的CentOS操作系统配置完毕,后面就可以安装Hadhoop环境了。

时间: 2024-10-05 20:22:22

Hadoop大象之旅003-配置CentOS操作系统的相关文章

adoop大象之旅002-安装CentOS操作系统

Hadoop大象之旅002-安装CentOS操作系统 老帅 上一章中,我们已经准备好了VMWare虚拟机环境,这一章,我们就在虚拟机中安装操作系统.由于Hadoop环境是建立在Linux系统下,所以需要在VMWare中虚拟一个Linux系统,这次采用的Linux系统为CentOS6.5.大家可以在CentOS官网http://www.centos.org/中下载到. 有了CentOS软件包以后,接下来就开始在VMware中安装CentOS6.5操作系统. 首先启动VMware,如下所示: 选择"

Hadoop大象之旅006-安装Hadoop环境

Hadoop大象之旅006-安装Hadoop环境 老帅 我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45,并也准备好了连接CentOS的工具软件SecureCrSecureFx. 万事具备,应该安装Hadoop了,但是Hadoop有很多版本,我们怎么选择呢? 从这里我们可以看出,hadoop-1.1.X 对 hbase0.94 和 hbas

Hadoop大象之旅001-安装VMware虚拟机

Hadoop大象之旅001-安装VMware虚拟机 老帅 VMware虚拟机允许一台真实的电脑在一个操作系统中同时开启并运行数个操作系统,我的操作系统是Windows7x64,而Hadoop需要运行在Linux系统上.我们就需要在Windows7上安装VMWare虚拟机软件,再把Linux操作系统安装在VMWare中,虚拟出一个操作系统作为我们的Hadoop环境.我们这里使用VMWare10虚拟机. 安装步骤: 双击安装文件VMware-workstation-full-10.0.0-12959

Hadoop大象之旅005-安装JDK环境

Hadoop大象之旅005-安装JDK环境 老帅 由于Hadoop 需要运行在JAVA平台,所以我们还需要在CentOS中安装java的环境,在这里,我们选择java的版本是jdk-6u45-linux-i586.bin: 1.将JDK文件上传到CentOS中 参照前面章节中所述方法,使用SecureFXPortable.exe在CentOS中建立/usr/local文件夹,将jdk-6u45-linux-i586.bin上传到/usr/local中 2.安装JDK 参照前面章节中所述方法,使用

Hadoop大象之旅008-启动与关闭Hadoop

Hadoop大象之旅008-启动与关闭Hadoop 老帅 Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动. 1.Hadoop的启动命令存储位置 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"cd/usr/local/hadoop"或者"cd $HADOOP_HOME"进入到Hadoop根目录; 使用命令"ll"查看一下目录结构,如下图所示: 其中d开头的表示文

Hadoop大象之旅009-通过Shell操作hdfs

Hadoop大象之旅009-通过Shell操作hdfs 老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args>的形式. 1.查看hdfs都有哪些Shell命令 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"hadoopfs"查看hdfs的命令列表,如下图所示: hdfs的所有命令的格式,都为:hadoop fs –xx,具体使用方法,可参考官方文档: http://h

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码 老帅 我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到: 官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/ 1.将hadoop-1.1.2.tar.gz解压缩 文件夹结构如下所示: 2.在MyEclipse中新建一个JavaProject 工程名称为hadoop 3.复制源码到我们的工程中 复制hadoop-1.1.2源码文

centos 操作系统 mysql5.7 配置远程登陆操作

centos 操作系统: mysql5.7 配置远程登陆操作: 首先登陆服务器,进入数据库: mysql -u root -p show databases; use mysql; show tables; #Field 'ssl_cipher' doesn't have a default value : 创建用户时候报错:ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 解决办

王家林的云计算分布式大数据Hadoop征服之旅:HDFS&amp;MapReduce&amp;HBase&amp;Hive&amp;集群管理

一:课程简介: 作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的.高效,的.可伸缩的,能够使用普通的社区服务器出来PB级别的数据,是分布式大数据处理的存储的理想选择. 本课程会助你深入浅出的掌握Hadoop开发(包括HDFS.MapReduce.HBase.Hive等),并且在此基础上掌握Hadoop集群的配置.维