Hadoop环境搭建

一、安装Java JDK

1.1在这里有jdk1.7的下载

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

如果CPU是32位,选择下载linux x86,如果CPU是64位的,选择下载linux x64。在这个页面,找“java SE Development Kit 7u40”,注意,这里有一个选项,必须选择“Accept License Agreement”,接受License才能下载。

下载的jdk1.7,存放到“/home/chaofn/softwares”目录。(我的是centos6.5)

下载的文件是”java-jdk-7u40-linux-i586.tar.gz”

1.2解压缩jdk的tar包:

tar -zxvf  /home/chaofn/softwares/java-jdk-7u40-linux-i586.tar.gz

将解压缩的文件移到/home/chaofn/setup/目录下

mv  /home/chaofn/softwares/jdk1.7.0_79  /home/chaofn/setup

二、配置java环境变量

2.1编辑/etc/profile文件(必须以root用户),添加内容如下:

#JVAV
export JAVA_HOME=/home/chaofn/opt/setup/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

执行以下命令:source /etc/profile使之即刻生效

2.2测试

命令java -version

显示

java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)

表明jdk环境变量配置成功

三、安装Hadoop

3.1下载Hadoop,选择stable版,其实stable版就是1.2.1版,下载站点如下:

http://mirror.esocc.com/apache/hadoop/common/hadoop-1.2.1/

下载hadoop-1.2.1.tar.gz即可,存放在“/home/chaofn/softwares”目录下。

3.2解压Hadoop

tar -zxvf  /home/chaofn/softwares/hadoop-1.2.1.tar.gz  然后移到/home/chaofn/setup/目录下

3.3配置Hadoop环境变量

编辑/etc/profile文件

#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin

执行以下命令:source /etc/profile使之即刻生效

3.4测试 命令hadoop,显示

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:

......表明Hadoop配置成功

四、配置Hadoop中的jdk安装路径

在/home/chaofn/opt/setup/hadoop-1.2.1/conf目录下有个hadoop-env.sh 文件

编辑该文件,更改红色框标记的地方

将JAVA_HOME路径设成自己的安装路径,保存退出

到这里Hadoop安装基本完成。

时间: 2024-11-20 19:24:52

Hadoop环境搭建的相关文章

完全分布式模式的Hadoop环境搭建

一.本文说明:本次测试在五台虚拟机系统上进行完全分布式搭建.Hadoop分布式模式是在多台机器上分布式部署,配置非常类似于伪分布式,名称节点和数据节点都分布在不同的主机上,每台数据节点上都有相应的任务调度. 二.环境说明:       虚拟软件:VM10.0       操作系统:Cent Os 6.7       hadoop版本:hadoop-2.7.2       JDK版本:jdk1.8_77备注:基于独立模式基础上搭建,参考文章:独立模式的Hadoop环境搭建. 三.基本环境配置   

伪分布式模式的Hadoop环境搭建

一.本文说明:     本次测试在一台虚拟机系统上进行伪分布式搭建.Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式.Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似.唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器. 二.环境说明:      操作系统:Cent Os 6.7      hadoop版本:hadoop-2.7.2      JDK版本:jdk1.8_77     备注:

hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我们这里就讨论完全分布式,关于搭建工具,有hadoop+CentOs+VMware,感觉各个版本还是有一点差异的. 随后可能会整理出一个常用版本,今天先说说VM的静态IP的设置吧: 关于VM,大家可能不陌生,目前也是windows系统搭建模拟hadoop环境的必要软件之一. 但是,由于有些人会经常改变

Nutch+hadoop环境搭建

以前搭建环境或是配置软件从来都没有留Tips的习惯,但实践证明这是错误的--做过不等于记得怎么做,遇到过的错误也不等于今后就不是错误了.Nutch跟Hadoop的搭建困扰了我很久,但回头看看又觉得真正有些问题的其实就几个关键点,所以觉得花些时间写个简单流程,缅怀一下最近的探索,也希望能给想要搭建Nutch或hadoop的同学提供一些帮助.欢迎大家指正. 想要说明一下的是,虽然说hadoop诞生于nutch,但现在hadoop已经完全独立为一个分布式框架,我们可以简 单地理解为nutch只是跑在h

Hadoop HA + HBase环境搭建(一)————zookeeper和hadoop环境搭建

版本信息: Hadoop 2.6.3 HBase 1.0.3 JDK 1.8 Zookeeper 3.4.9 集群信息: RDFMaster 192.168.0.41 (Hadoop主节点,zk节点,HBase主节点) RDFSlave01 192.168.0.42 (Hadoop备份主节点,从节点,zk节点,HBase的RegionServer) RDFSlave02 192.168.0.43 (从节点,zk节点,HBase的RegionServer) RDFSlave03 192.168.0

分享一些Hadoop环境搭建所用到的软件

本来想用土的掉渣的语言说说hadoop配置的,因为最近总有人问我,环境搭建老出莫名其妙的问题,可是写到一半,还是决定不写了,网上教程好多好多,而大家遇到问题有很多是软件版本不对应造成的,因此我就把大家需要用到的软件给共享一下算了,不用到处去找了.不谢,请叫我活雷锋. 1.虚拟机VMWare10,用这个版本吧,我用过其他几个版本,有的时候会出错. 下载地址:http://yunpan.cn/csmATAd8zQz5W  提取码 cf10 2.CentOS6.5系统 下载地址:http://yunp

hadoop环境搭建与测试

搭建参看: http://blog.csdn.net/w13770269691/article/details/16883663/ 查看集群状态: [[email protected] bin]# hdfs dfsadmin -report Configured Capacity: 36729053184 (34.21 GB) Present Capacity: 13322559491 (12.41 GB) DFS Remaining: 13322240000 (12.41 GB) DFS Us

独立模式的Hadoop环境搭建

对于Hadoop来说,最主要的是两个方面,一个是分布式文件系统HDFS,另一个是MapReduce计算模型,搭建Hadoop的运行环境主要分为三种:独立模式环境.伪分布式环境.完全分布式环境.    一.独立模式:也叫单机模式.这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统,没有守护进程,所有程序都运行在同一个JVM中,利于调试和测试,主要用于开发环境.    二.伪分布式:hadoop运行在单机上,但是模拟了一个小的集群,运行在不同的JVM中,用不同的Java

hadoop环境搭建与測试

搭建參看: http://blog.csdn.net/w13770269691/article/details/16883663/ 查看集群状态: [[email protected] bin]# hdfs dfsadmin -report Configured Capacity: 36729053184 (34.21 GB) Present Capacity: 13322559491 (12.41 GB) DFS Remaining: 13322240000 (12.41 GB) DFS Us

linux xshell jdk hadoop(环境搭建) 虚拟机 安装(大数据搭建环境)

[hadoop是2.6.5版本  xshell是6版本 jdk是1.8.0.131 虚拟机是CentOS-6.9-x86_64-bin-DVD1.iso vmware10] 1.创建虚拟机 第一步:在VMware中创建一台新的虚拟机.如图2.2所示. 图2.2 第二步:选择"自定义安装",然后单击"下一步"按钮,如图2.3所示.  图2.3 第三步:单击"下一步" 按钮,如图2.4所示.  图2.4 第四步:选择"稍后安装操作系统&qu