CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍

文件配置：

（注：修改配置文件需要使用root用户，否则修改失败）

vim /etc/sysconfig/network

修改主机名为：HOSTNAME=Master

vim /etc/sysconfig/network-scripts/ifcfg-eth0

查看IP地址、网关、DNS服务器是否正确

vim /etc/sysconfig/network-scripts/ifcgf-eth0

如果不正确，进行修改

ifconfig

修改后的结果

vim /etc/hosts

配置hosts文件，主机和IP地址映射

（注：IP地址根据要求而定）

192.168.1.2 Master

192.168.1.3 Slave1

修改后的结果

SSH配置：

（注：如果ssh没有安装，可在root下安装）

yum install ssh

安装SSH协议

yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

service sshd restart

启动服务

（注：以下操作在普通用户下操作）

ssh Master

登录本机，此时需要密码

（注：设置无密码登录本机）

exit

退出刚才的 ssh Master

cd ~/.ssh/

若没有该目录，请先执行一次ssh Master

ssh-keygen -t rsa

会有提示，都按回车就可以

cat id_rsa.pub >> authorized_keys

加入授权

（注：经过上述步骤，还是会提示输入密码，要做下面两个修改）

chmod 600 ~/.ssh/authorized_keys

修改文件"authorized_keys"权限

su -

进入root用户，在root用户下操作

vim /etc/ssh/sshd_config

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容

###############

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

###############

service sshd restart

重启

exit

退出root用户

ssh Master

登录本机，此时不需要密码

scp ~/.ssh/id_rsa.pub [email protected]:~/

复制文件"id_rsa.pub"到服务器IP为"192.168.1.3"的用户为"hadoop"的"/home/hadoop/"下面

（注：下面在Slave1上操作）

mkdir ~/.ssh

在"/home/hadoop/"下创建".ssh"文件夹

这一步并不是必须的，如果在Slave1的"/home/hadoop"已经存在就不需要创建了，因为我们之前并没有对Slave机器做过无密码登录配置，所以该文件是不存在的。用下面命令进行创建。

（注：用hadoop登录系统，如果不涉及系统文件修改，一般情况下都是用我们之前建立的普通用户hadoop进行执行命令）

chmod 700 ~/.ssh

修改文件夹".ssh"的用户权限，把他的权限修改为"700"

（注：如果不进行，即使你按照前面的操作设置了"authorized_keys"权限，并配置了"/etc/ssh/sshd_config"，还重启了sshd服务，在Master能用"ssh localhost"进行无密码登录，但是对Slave1进行登录仍然需要输入密码，就是因为".ssh"文件夹的权限设置不对。这个文件夹".ssh"在配置SSH无密码登录时系统自动生成时，权限自动为"700"，如果是自己手动创建，它的组权限和其他权限都有，这样就会导致RSA无密码远程登录失败）

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

把Master的公钥追加到Slave1的授权文件"authorized_keys"中去

（注：用root用户修改"/etc/ssh/sshd_config"，方法同上）

su -

进入root用户

vim /etc/ssh/sshd_config

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容

###############

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

###############

service sshd restart

重启

exit

退出root用户

（注：在Master上登录Slave1）

ssh Slave1

登录Slave1，不需要密码

Java环境配置：

计划：

使用U盘将hadoop-2.6.0.tar和jdk-7u51-linux-x64.tar拷贝到CentOS系统中

备选计划1：

修改主机IP，直接上网下载

备选计划2：

按照教程要求，搭建VSFTP服务器

（注：CentOS系统不能识别NTFS格式的U盘，将U盘重新格式化成FAT32的，可读取）

采用U盘方式，将所需文件拷贝到/home/hadoop/下

（注：使用root用户）

mkdir /usr/local/java

在"/usr/local"下创建"java"文件夹

cp /home/hadoop/jdk-7u51-linux-x64.tar.gz /usr/local/java

把"jdk-7u51-linux-x64.tar.gz"复制到"/usr/local/java"文件夹中

cd /usr/local/java

打开/usr/local/java文件夹

tar -zxvf jdk-7u51-linux-x64.tar.gz -C  /usr/local/java

解压到/usr/local/java文件夹

（注：设置环境变量）

vim /etc/profile

编辑/etc/profile文件

（注：在文件末尾插入下列内容）

# set java environment

export JAVA_HOME=/usr/local/java/jdk1.7.0_51

export JRE_HOME=/usr/local/java/jdk1.7.0_51/jre

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/profile

使配置生效

java -version

查看版本信息，验证是否安装成功

（注：设置环境变量，转到普通用户下）

vim ~/.bashrc

编辑.bashrc文件

（注：在文件末尾插入下列内容）

# set java environment

export JAVA_HOME=/usr/local/java/jdk1.7.0_51

export JRE_HOME=/usr/local/java/jdk1.7.0_51/jre

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

（注：在文件末尾插入上列内容）

source ~/.bashrc

使配置生效

（注：在root和普通用户下验证配置是否成功）

java -version

查看版本信息，验证是否安装成功

（注：信息如下所示）

[[email protected] ~]# java -version

java version "1.7.0_51"

Java(TM) SE Runtime Environment (build 1.7.0_51-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

（注：信息如上所示）

（注：安装其他主机）

scp /home/hadoop/jdk-7u51-linux-x64.tar.gz [email protected]:~/

把"Master.Hadoop"文件夹"/home/hadoop/"的JDK复制到其他Slave的"/home/hadoop/"下面

（注：格式为：scp /home/hadoop/jdk-6u31-linux-i586.bin 远程用户名@远程服务器IP:~/）

安装Hadoop：

cp /home/hadoop/hadoop-2.6.0.tar.gz /usr/local

把"hadoop-2.6.0.tar.gz"复制到"/usr/local"目录下面

cd /usr/local

进入"/usr/local"目录

tar -zxvf hadoop-2.6.0.tar.gz

解压"hadoop-2.6.0.tar.gz"安装包

mv hadoop-2.6.0 hadoop

将"hadoop-2.6.0"文件夹重命名"hadoop"

chown -R hadoop:hadoop hadoop

（注：chown -R hadoop:hadoop（用户名：用户组） hadoop（文件夹））

将文件夹"hadoop"读权限分配给hadoop用户

rm -rf hadoop-2.6.0.tar.gz

删除"hadoop-2.6.0.tar.gz"安装包

mkdir /usr/local/hadoop/tmp

在"/usr/local/hadoop"创建"tmp"文件夹

vim /etc/profile

配置"/etc/profile"，配置信息如下

（注：信息如下所示）

# set hadoop path

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

（注：信息如上所示）

（注：上面的信息不能多打空格，否则，会报not a valid identifier错误）

配置Hadoop：

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

配置hadoop-env.sh文件，注意它的目录，配置信息在下面

（注：信息如下所示）

# set java environment

export JAVA_HOME=/usr/local/java/jdk1.7.0_51

（注：信息如上所示）

（注：配置其他文件）

cd /usr/local/hadoop/etc/hadoop

打开路径，需要配置的文件都保存在这里

vim slaves

将原来 localhost 删除，把所有Slave的主机名写上，每行一个，例如我只有一个 Slave节点，那么该文件中就只有一行内容：Slave1

vim core-site.xml

配置core-site.xml

（注：修改配置信息如下所示）

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://Master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

</configuration>

（注：修改配置信息如上所示）

vim hdfs-site.xml

配置hdfs-site.xml

（注：修改配置信息如下所示）

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>Master:50090</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

（1代表Slave机的个数）

（注：修改配置信息如上所示）

文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

配置mapred-site.xml

（注：修改配置信息如下所示）

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

（注：修改配置信息如上所示）

vim yarn-site.xml

配置yarn-site.xml

（注：修改配置信息如下所示）

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>Master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

复制Hadoop文件到Slave主机：

cd /usr/local

打开usr路径

rm -r ./hadoop/tmp

删除tmp文件夹，原因是前面如果做过伪分布式实验，会留下一些内容，影响后面的实验；如果没有做过伪分布式实验，则不需要删除

sudo tar -zcf ./hadoop.tar.gz ./hadoop

压缩

scp ./hadoop.tar.gz Slave1:/home/hadoop

复制到Slave1主机上

接下来在Slave主机上操作：

sudo tar -zxf /home/hadoop/hadoop.tar.gz -C /usr/local

复制到/usr/local路径下

chown -R hadoop:hadoop /usr/local/hadoop

要给"Slave1"服务器上的用户hadoop添加对"/usr/local/hadoop"读权限。

启动及验证：

（注：一下步骤在普通用户下进行）

在Master主机上操作：

cd /usr/local/hadoop/

打开/usr/local/hadoop/路径

bin/hdfs namenode -format

（注：在root用户下关闭防火墙）

service iptables stop

关闭防火墙

（注：重新转到普通用户下）

首次初始化

sbin/start-dfs.sh

sbin/start-yarn.sh

启动

bin/hdfs dfsadmin -report

检查是否成功，查看Hadoop集群的状态

http://master:50070/

通过Web页面看到查看DataNode和NameNode的状态

http://master:8088/cluster

通过Web界面查看任务进度

sbin/stop-dfs.sh

sbin/stop-yarn.sh

关闭

Hadoop2.6.0下载地址：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/

或

http://hadoop.apache.org/releases.html

JDK下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

版权声明：本文为博主原创文章，未经博主允许不得转载。

时间： 2024-08-09 14:47:47

CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍的相关文章

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool

Windows系统中IIS 6.0+Tomcat服务器环境的整合配置过程

IIS6.0+Tomcat整合 1.首先准备工作 Windows IIS 6.0 apache-tomcat-7.0.26.exe tomcat-connectors-1.2.33-windows-i386-iis.zip jdk-7u1-windows-7.0.exe 软件都下载好了,现在我们就来开始安装软件. 1.       先安装java 根据自己的爱好把java安装到指定的目录里面去.我装在D:/Java 安装好了之后会有一个jre目录.其实用到的主要是这个目录,现在开始来设置java

Windows下python 3.0版本django的安装、配置、与启动

使用的环境是Windows操作系统,python的环境是3.6,django是官网上最新的版本1.10.6,本文介绍从安装python之后怎样用过pip管理工具安装django,以及django的项目创建,项目启动. 如果你的电脑里没有安装python,Windows的安装方法很简单,只需要去官网下载安装包,双击exe安装即可:需要注意的是,安装完成之后,勾选 Add Python 3.6 to PATH 选项,勾选会自动添加python的执行文件的路径至环境变量,否则就要手动进行添加.具体参考

_00014 hadoop-2.2.0 伪分布式环境搭建

http://passport.baidu.com/?business&un=%E5%B0%8F%E5%A7%90%5F%E6%B5%B7%E5%AE%81%5F%E6%89%BE%5F#0 http://passport.baidu.com/?business&un=%E5%B0%8F%E5%A7%90%E6%B5%B7%E5%AE%81%E6%8C%89%E6%91%A9%E6%89%BE#0 http://passport.baidu.com/?business&un=%E5

Ubuntu14.04下Hadoop2.2.0集群搭建

系统版本: master: Ubuntu 14.04  salve1: Ubuntu 14.04 hadoop: hadoop 2.2.0 1.系统配置以及安装SSH无密码登陆环境(master&slaves): 修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件 sudo gedit /etc/hostname (修改后需重启才能生效) 修改host文件(映射各个节点IP): sudo gedit /etc/hosts 在后面添加内容为: 172.22.

Centos6.3系统下Smokeping2.6.8安装教程

Centos6.3系统下Smokeping2.6.8安装教程 smokeping是对IDC网络质量,稳定性等最好的检测工具,包括常规的 ping,dig,echoping,curl等,可以监视www服务器性能,监视dns查询性能,监视ssh性能等. 1.关闭防火墙和selinux服务 [[email protected] ~]# service iptables stop [[email protected] ~]# setenforce 0 2.用yum安装httpd服务以及一些库文件 [[e

CentOS6.4系统下FastDFS部署

    (一)   概述 FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage).跟踪器主要做调度工作,在访问上起负载均衡的作用. FastDFS系统结构如下图所示: 上传文件交互过程: 1. client询问tracker上传到的storage,不需

琐碎-hadoop2.2.0伪分布式和完全分布式安装（centos6.4）

环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1hqIeBGw 和1.x.0.x有些不同,特别是yarn.

Linux系统下磁盘配额、软RAID及LVM的配置与管理

Linux系统下磁盘配额.软RAID及LVM的 配置与管理 一.设定文件系统配额 1.概述:配额是操作系统的一个可选的功能, 它允许管理员以文件系统为单元, 限制分派给用户或组成员所使用的磁盘空间大小或是使用的总文件数量.这经常被用于那些分时操作的系统上, 对于这些系统而言, 通常希望限制分派到每一个用户或组的资源总量, 从而可以防止某个用户占用所有可用的磁盘空间. 2.配置文件系统配额(基于用户): (1)配置配额前准备工作: 1)备份/home目录,创建分区,进行挂载,将/home目录下的数