Hadoop大象之旅006-安装Hadoop环境

Hadoop大象之旅006-安装Hadoop环境

老帅

我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45,并也准备好了连接CentOS的工具软件SecureCrSecureFx

万事具备,应该安装Hadoop了,但是Hadoop有很多版本,我们怎么选择呢?

从这里我们可以看出,hadoop-1.1.X 对 hbase0.94 和 hbase0.96是支持的,所以,我们这里选择 hadoop1.1.X 的目前最高版本(2014-4-10),也就是hadoop-1.1.2.tar.gz,这个文件可以在下面我提供的地址下载到:

官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/

1.将Hadoop文件上传到CentOS中

参照前面章节中所述方法,使用SecureFXPortable.exe在CentOS中建立/usr/local文件夹,将hadoop-1.1.2.tar.gz上传到/usr/local中

2.安装Hadoop

参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS,进入到/usr/local目录下。

使用命令tar  -xzvf  hadoop-1.1.2.tar.gz”解压hadoop-1.1.2.tar.gz

解压缩完成后,我们使用命令ls”查看到新产生的目录hadoop-1.1.2

使用命令mv  hadoop-1.1.2  hadoop”重命名文件夹名,目的是方便以后引用

3.配置Hadoop环境变量

接下来把Hadoop配置到环境变量中。

使用命令vi/etc/profile”编辑配置文件

使用快捷键i”进入文件编辑模式,文件最后增加以下内容。

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

使用快捷键esc”退出文件编辑模式,使用“Shift”和“:”组合键进入命令模式,输入命令“wq”保存并退出。

这里解释一下:“export”是关键字,用于设置环境变量。我们设置了两个环境变量,一个是 HADOOP_HOME,

一个是 PATH。对于环境变量的引用,使用“$”,多个环境变量之间的连接,使用“:”。

使用命令source  /etc/profile”使上面的配置立即生效

使用命令hadoop version”检测hadoop是否配置成功! 看到如下提示,恭喜,配置成功了~!~

时间: 2024-08-05 03:42:57

Hadoop大象之旅006-安装Hadoop环境的相关文章

Hadoop大象之旅005-安装JDK环境

Hadoop大象之旅005-安装JDK环境 老帅 由于Hadoop 需要运行在JAVA平台,所以我们还需要在CentOS中安装java的环境,在这里,我们选择java的版本是jdk-6u45-linux-i586.bin: 1.将JDK文件上传到CentOS中 参照前面章节中所述方法,使用SecureFXPortable.exe在CentOS中建立/usr/local文件夹,将jdk-6u45-linux-i586.bin上传到/usr/local中 2.安装JDK 参照前面章节中所述方法,使用

Hadoop大象之旅003-配置CentOS操作系统

Hadoop大象之旅003-配置CentOS操作系统 老帅 上一章中,我们已经在VMWare虚拟机中安装好了CentOS操作系统,为了后面即将安装的Hadoop能够正常运行,还需要对CentOS操作系统进行相关的配置. 1.激活CentOS网卡    在虚拟机中安装完CentOS系统之后,在CentOS桌面右上角网络连接的图标是无效的:在命令行中执行ifconfig也看不到IP地址:这是因为在安装CentOS操作系统过程中,网卡没有被激活.所以首先我们要激活CentOS的网卡. 执行下面的命令来

Hadoop大象之旅001-安装VMware虚拟机

Hadoop大象之旅001-安装VMware虚拟机 老帅 VMware虚拟机允许一台真实的电脑在一个操作系统中同时开启并运行数个操作系统,我的操作系统是Windows7x64,而Hadoop需要运行在Linux系统上.我们就需要在Windows7上安装VMWare虚拟机软件,再把Linux操作系统安装在VMWare中,虚拟出一个操作系统作为我们的Hadoop环境.我们这里使用VMWare10虚拟机. 安装步骤: 双击安装文件VMware-workstation-full-10.0.0-12959

Hadoop大象之旅008-启动与关闭Hadoop

Hadoop大象之旅008-启动与关闭Hadoop 老帅 Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动. 1.Hadoop的启动命令存储位置 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"cd/usr/local/hadoop"或者"cd $HADOOP_HOME"进入到Hadoop根目录; 使用命令"ll"查看一下目录结构,如下图所示: 其中d开头的表示文

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码 老帅 我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到: 官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/ 1.将hadoop-1.1.2.tar.gz解压缩 文件夹结构如下所示: 2.在MyEclipse中新建一个JavaProject 工程名称为hadoop 3.复制源码到我们的工程中 复制hadoop-1.1.2源码文

Hadoop大象之旅009-通过Shell操作hdfs

Hadoop大象之旅009-通过Shell操作hdfs 老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args>的形式. 1.查看hdfs都有哪些Shell命令 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"hadoopfs"查看hdfs的命令列表,如下图所示: hdfs的所有命令的格式,都为:hadoop fs –xx,具体使用方法,可参考官方文档: http://h

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004--eclipse安装hadoop插件 1.下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1: 2.如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来: 3.关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse安装目录下的eclipse-x.x\plugins文件夹下,重启eclipse 4.在eclipse中顶

【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所有的守护进程全部运行在K-Master节点之上.在本篇blog我们将搭建完全分布式环境,运行NameNode.SecondaryNameNode.JobTracker守护进程在主节点上,运行DataNode.TaskTracker在从节点上. 开发环境 硬件环境:Centos 6.5 服务器

adoop大象之旅002-安装CentOS操作系统

Hadoop大象之旅002-安装CentOS操作系统 老帅 上一章中,我们已经准备好了VMWare虚拟机环境,这一章,我们就在虚拟机中安装操作系统.由于Hadoop环境是建立在Linux系统下,所以需要在VMWare中虚拟一个Linux系统,这次采用的Linux系统为CentOS6.5.大家可以在CentOS官网http://www.centos.org/中下载到. 有了CentOS软件包以后,接下来就开始在VMware中安装CentOS6.5操作系统. 首先启动VMware,如下所示: 选择"