Hadoop的安装

原文:http://www.linuxidc.com/Linux/2016-07/133508.htm

1.下载Hadoop安装包,笔者学习使用的是Hadoop1.2.1。提供一下下载地址吧: http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

2.创建/usr/local目录,进入此目录,下载安装包后解压,解压后出出现一个hadoop-1.2.1的文件夹,修改目录名为hadoop,进入该文件夹,目录结构如下图所示

#进入/usr/local
cd /usr/local
#下载hadoop安装包
wget http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz#等待下载完毕.....#解压刚下载好的安装包(解压完后安装包可以删除,但建议备份到其他目录下)tar -zxvf hadoop-1.2.1.tar.gzmv hadoop-1.2.1 hadoopcd hadoop#查看结构ll

3.下一步我们配置一下环境变量,在/etc目录下新建一个hadoop目录,后期将hadoop相关配置文件放在该目录下,直接使用该目录下的配置文件,然后使用vim编辑/etc/profile文件,追加如下配置并保存,输入source /etc/profile使配置立即生效:

#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

保存修改后执行:source /etc/profile

4.怎么看是否安装成功呢?现在是单机模式,直接进入/usr/local/hadoop/bin目录中执行start-all.sh命令,过程中会询问是否连接,直接输入yes

cd /usr/local/hadoop/bin./start-all.sh

5.使用jps命令查看hadoop进程是否启动成功,如下图所示:

6.因为现在是单机模式,NameNode和JobTracker没有启动,现在就使用hadoop fs -ls查看是否安装成功:

hadoop fs -ls

如上图所示,显示的是当前所在目录的目录结构,这样就说明安装成功了.重复以上步骤,为其他三台虚拟机也安装上吧!!


截止以上步骤,Hadoop的安装已经完成了。在下一篇我们在讲如何进行hadoop的集群配置吧!敬请期待哦!


全部系列见

http://www.linuxidc.com/search.aspx?where=nkey&keyword=44572


更多Hadoop相关信息见:

Hadoop专题页面: http://www.linuxidc.com/topicnews.aspx?tid=13

 
时间: 2024-10-14 07:03:13

Hadoop的安装的相关文章

hadoop&spark安装(上)

硬件环境: hddcluster1 10.0.0.197 redhat7 hddcluster2 10.0.0.228 centos7  这台作为master hddcluster3 10.0.0.202 redhat7 hddcluster4 10.0.0.181 centos7 软件环境: 关闭所有防火墙firewall openssh-clients openssh-server java-1.8.0-openjdk java-1.8.0-openjdk-devel hadoop-2.7.

Hadoop的安装模式

Hadoop的安装模式分为三种:单机模式.伪分布模式.全分布模式 单机模式,这是默认的安装模式,也是占用资源最少的模式,配置文件不用修改.完全运行在本地,不与其他节点交互,也不使用Hadoop文件系统,不加载任何守护进程,主要用于开发调试MapReduce应用程序. 伪分布模式,即单节点集群模式,所有的守护进程都运行在同一台机子上.这种模式增加了代码调试功能,可以查看内存.HDFS的输入/输出,以及与其他守护进程之间的交互. 全分布模式,真正分布式集群配置,用于生产环境.

centos下hadoop的安装

hadoop的安装不难,但是需要做不少的准备工作. 一.JDK 需要先安装jdk.centos下可以直接通过yum install java-1.6.0-openjdk来安装.不同发布版的安装方式可能不一样. 二.设置ssh 之后,需要设置ssh为密钥认证登录.如果没有这一步,那么以后每次hadoop运行的时候都会提示输入密码.可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对,然后进入当前用户的家目录,进入.ssh目录,cp /home/hadoop/.ssh/id_rsa.

hadoop配置安装

必备软件 这里以Hadoop 1.1.2为学习的版本. jdk-6u24-linux-i586.bin hadoop-1.1.2.tar hbase-0.94.7-security.tar hive-0.9.0.tar sqoop-1.4.3.bin__hadoop-1.0.0.tar zookeeper-3.4.5.tar 2. 安装步骤 linux系统环境配置,jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archive/2012/05/16/

hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)

目录 1.hadoop分布式安装 2.zookeeper分布式安装 3.hbase分布式安装 4.pig分布式安装 5.hive客户端安装

Hadoop实战安装

环境:centos 6.4 X64 192.168.2.20 Master 192.168.2.21 Hadoop1 192.168.2.22 Hadoop2 准备工作: 1.安装基本开发工具:(所有服务器) yum groupinstall "Development Tools" -y 2.设置IP和hostname映射关系 (所有服务器) vi /etc/hosts  修改内容如下 192.168.2.20 Master 192.168.2.21 Hadoop1 192.168.2

Hadoop单机版安装

前置条件: 1.ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的) 2.jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784 ?) 3.下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ ) ? ? ? ? 安装hadoop 1.首先将hadoop0.21.0.

Hadoop学习之第一章节:Hadoop配置安装

一.配置虚拟机三台 1.网络配置 虚拟化软件: Vmware Workstations  10.7z Linux系统:  Centos 6.5-x86_64 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 集群机器详细信息 1.虚拟化的网络配置方式:桥接网络 2.IP地址设置为固定IP地址 3.主机名配置,需要修改一下地方 (1)配置vi  /etc/hostname (2)配置vi /etc/sysconfig/network (3)配置vi /etc/hosts 4.关闭防火

Hadoop Linux安装

Hadoop Linux安装 步骤流程 1.硬件准备 2.软件准备(推荐CDH) 3.将Hadoop安装包分发到各个节点下 4.安装JDK 5.修改/etc/hosts配置文件 6.设置SSH免密码登陆 7.修改配置文件 8.启动服务 9.验证 1.下载软件 1.1 apache版本 下载链接:http://www.apache.org/ 1.2 CDH 下载链接:http://www.cloudera.com/ 2.安装JDK.解压Hadoop安装包并分发到各个节点 3.修改/etc/host