记安装hadoop-2.3.0-cdh5.1.2全过程

工欲善其事，必先利其器，啥都不说，hadoop下载：http://archive.cloudera.com/cdh5/cdh/5/  选择好相应版本搞起

在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。（安装环境为自己在VMWare 10里面搭建的三台linux 虚拟机）

1、hadoop 是大apache开源的分布式离线计算框架，语言：java，既然这样，要想搭建hadoop环境（不管伪分布式 还是多机集群），那必须在服务器上安装好jdk。

简单过程简单说，简要描述下jdk安装配置过程（据说，hadoop-2.3.0需要jdk1.7+版本支持，咱也不管了，那就装吧，版本：jdk-7u67-linux-i586.tar.gz，安装新jdk之前记得找到linux自带的jdk版本并删除，不明白处自百之）

a、解压到/usr/java目录下

tar  xvf jdk-7u67-linux-i586.tar.gz  -C /usr/java

b、 vi /etc/profile

export   JAVA_HOME=/usr/java/jdk1.7.0_67

export   CLASSPATH=/usr/java/jdk1.7.0_67/lib

export   PATH=$JAVA_HOME/bin:$PATH

c、source /etc/profile //不重启服务器情况下，这句让配置文件生效

d、java -version  //验证jdk是否正确安装

2、我们先规划好三台机，并制定好 三台机之后的角色：

主机名    ip                            角色

master  192.168.140.128    NameNode    ResourceManager

slave1   192.168.140.129    DateNode     NodeManager

slave2    192.168.140.130    DateNode     NodeManager

3、修改 主机名：

root 权限下：vi /etc/sysconfig/network

修改内容：HOSTNAME=master （同理 两台slave主机也要修改此配置，并分配相应的名字）

同时 vi  /etc/hosts          （ 同理 两台slave主机也要修改此配置，并分配相应的hosts对应关系）

127.0.0.1 master

192.168.140.129 slave1

192.168.140.130 slave2

修改完重启：reboot

4、建立hadoop用户（包括两台slave）：

useradd hadoop

passwd hadoop

5、master上配置SSH免密码登录

su  hadoop  //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车 生成密钥)

cd/home/hadoop/.ssh/

ls  //查看是否有生成两个文件 id_rsa.pub id_rsa

6、同步ssh信息到两台slave,  登录两台slave

mkdir /home/hadoop/.ssh

scp  id_rsa.pub [email protected]:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

7、新建hadoop安装目录  （root权限下操作）

mkdir -p /data/hadoop

8、 解压下载下来的hadoop安装包到安装目录（root权限下操作）

tar xvf hadoop-2.3.0-cdh5.1.2.tar.gz -C/data/hadoop

9、将安装目录权限赋予给 hadoop用户：（root权限下操作）

chown -R hadoop.hadoop /data/hadoop/

10、配置hadoop安装信息和路径（root权限下操作）

vi /etc/profile （在最后加上下面内容）

export HADOOP_HOME=/data/hadoop

export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

source /etc/profile  //让配置生效

11、master上/data/hadoop/etc/hadoop

vi slaves

slave1

slave2

vi masters

master

12、修改如下几个文件，并在中间添加以下相应内容：

a、vi core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/data/hadoop/tmp</value>

</property>

</configuration>

b、vi hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/data/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.namenode.data.dir</name>

<value>file:/data/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

c、vi yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

d、mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

至此 配置文件基本配置完毕。

13、将master上的hadoop安装文件同步到slave1 slave2，(hadop用户权限下即可)

cd /data/hadoop

scp -r /data/hadoop/*[email protected]:/data/hadoop/         //同步到slave1

scp -r /data/hadoop/*[email protected]:/data/hadoop/         //同步到slave2

14、最后我们来到 /data/hadoop/bin目录下

./hadoop namenode -format   //启动hadoop

15、如果没有报错信息，基本是可以说 hadoop起来了,随便截取了最后几段日志：

15/01/13 18:08:10 INFO util.GSet:VM type       = 32-bit

15/01/13 18:08:10 INFO util.GSet:0.25% max memory 966.7 MB = 2.4 MB

15/01/13 18:08:10 INFO util.GSet:capacity      = 2^19 = 524288 entries

15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033

15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0

15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000

15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache on namenode is enabled

15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cacheentry expiry time is 600000 millis

15/01/13 18:08:10 INFO util.GSet:Computing capacity for map NameNodeRetryCache

15/01/13 18:08:10 INFO util.GSet:VM type       = 32-bit

15/01/13 18:08:10 INFO util.GSet:0.029999999329447746% max memory 966.7 MB = 297.0 KB

15/01/13 18:08:10 INFO util.GSet:capacity      = 2^16 = 65536 entries

15/01/13 18:08:10 INFOnamenode.AclConfigFlag: ACLs enabled? false

Re-format filesystem in StorageDirectory /data/hadoop/dfs/name ? (Y or N) Y

15/01/13 18:08:17 INFOnamenode.FSImage: Allocated new BlockPoolId:BP-729401054-127.0.0.1-1421143697660

15/01/13 18:08:17 INFOcommon.Storage: Storage directory /data/hadoop/dfs/name has been successfullyformatted.

15/01/13 18:08:18 INFOnamenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

15/01/13 18:08:18 INFOutil.ExitUtil: Exiting with status 0

15/01/13 18:08:18 INFOnamenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting downNameNode at master/127.0.0.1

************************************************************/

程序员干久了，性格沉闷，言辞干瘪，简单的描述只为做个记录，多多指教。

时间： 2024-08-10 02:09:21

记安装hadoop-2.3.0-cdh5.1.2全过程的相关文章

安装hadoop 2.2.0

安装环境为 CentOS 64位系统, 大概分下面几个步奏, 0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop 详细说每个步奏, 0. 安装jdk 下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录 1. 配置SSH hadoop是master/slaver 结构,配置SSH使得从maste

VMware 虚拟机安装 hadoop 2.6.0 完全分布式集群

最近连着搭了两次hadoop的集群,搭建的时候也碰到了一些问题,因为之前对linux 不熟悉,经常遇到各种问题和命令忘记写,幸亏有度娘谷哥,这里做一个记录 下次使用的时候用的上 计算机的配置 计算机: G3440 3.3G 双核 8G内存 虚拟机: vmware workstation 12 pro 系统: centos6.5 节点: 192.168.133.33 master.hadoop 192.168.1.151 slave1.hadoop 192.168.1.151 slave2.had

CentOS 6.5 伪分布式 安装 hadoop 2.6.0

安装 jdk 1 yum install java-1.7.0-openjdk* 3 检查安装:java -version 创建Hadoop用户,设置Hadoop用户使之可以免密码ssh到localhost 1 su - hadoop 2 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 3 cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys 4 5 cd /home/hadoop/.ssh 6 chmod 600 au

Ubuntu14.04用apt安装CDH5.1.2[Apache Hadoop 2.3.0]

--------------------------------------- 博文作者:迦壹 博客名称:Ubuntu14.04用apt安装CDH5.1.2[Apache Hadoop 2.3.0] 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=558 转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作! -----------------------------------

菜鸟玩云计算之十八：Hadoop 2.5.0 HA 集群安装第1章

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个须要极度耐心和体力的仔细工作. 虽然有非常多文档教会大家怎么一步一步去完毕这样的工作,可是百密也有一疏. 现成的工具不是没有,可是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还能够,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群须要对Linux有一定的使用经验.对于全然没有接触Linux的人来说.肯定是

hadoop 2.6.0 安装过程

最近才开始接触hadoop,最先要做的当然是安装hadoop 了,在安装hadoop之前需要作以下的一些准备 一个linux 环境,我使用vmware的虚拟机环境安装了centos 这个请自己百度一下吧,确实是太大了 jdk 1.6 以上的linux安装包 hadoop 2.6.0的安装包 注意,我使用的64位的linux,所以用的Java是64位的安装包 http://pan.baidu.com/s/1kT3PYLL hadoop 集群支持三种模式 1.单机模式 2.伪分布是模式 3.完全分布

hadoop 2.5.0安装和配置

安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http://www.cnblogs.com/stardjyeah/p/4641524.html 3.linux静态ip配置,教程在 http://www.cnblogs.com/stardjyeah/p/4640691.html 准备好以后就可以进行hadoop 2.5.0安装和配置了 1)        

Ubuntu14.0上编译安装Hadoop

Ubuntu14.0上编译安装Hadoop 环境: hadoop-2.5.0.tar hadoop-2.5.0-src.tar jdk-7u71-linux-x64 protobuf-2.5.0.tar Maven3.0 安装步骤: 1 安装jdk ,配置环境变量 2 安装依赖包 3 安装maven 4安装protobuf-2.5.0.tar 5 编译Hadoop 6 安装hadoop 6.1 单机模式 6.2 伪分布模式 6.3 集群模式 1 安装jdk ,配置环境变量 下载jdk版本:jdk

CentOS7上Hadoop 2.6.0集群的安装与配置

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45740791 1．CentOS7安装 (1)最小化安装CentOS7 (2)配置网络连接 vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改:BOOTPROTO=static ONBOOT=yes 添加:IPADDR= ipaddress(ip地址) NETMASK=subnetmask(子网掩码) GATEWAY=gateway(网关)

HBASE 0.98版本安装，一步曲：编译HADOOP 2.2.0 x64版本

1.安装JDK 下载JDK 7u55版本,安装JDK和JRE都需要,JDK里面有tools.jar,这个jar包是一定需要的安装在/java上 2.下载Hadoop 2.2.0源代码 wget http://apache.dataguru.cn/hadoop/common/stable/hadoop-2.2.0-src.tar.gz解压缩tar zxvf hadoop-2.2.0-src.tar.gz -C /tmp 3.安装依赖包 yum -y install lzo-devel zlib-d