Hadoop-1.x安装与配置

1、在安装Hadoop之前,需要先安装JDK和SSH。

Hadoop采用Java语言开发,MapReduce的运行和Hadoop的编译都依赖于JDK。因此必须先安装JDK1.6或更高版本(在实际生产环境下一般采用JDK1.6,因为Hadoop的部分组件不支持JDK1.7及以上版本)。Hadoop利用SSH来启动Slave机器上的守护进程,对于在单机上运行的伪分布式,Hadoop采用了与集群相同的处理方式。所以SSH也是必须安装的。

JDK1.6的安装配置步骤:

(1)从网上下载JDK1.6的安装包

(2)安装JDK1.6

将安装包解压到/Library/Java/JavaVirtualMachines/。

(3)配置环境变量

在.bash_profile添加对Java环境的配置

export JAVA_6_HOME=/Library/Java/JavaVirtualMachines/jdk1.6.0.jdk/Contents/Home
export JAVA_HOME=$JAVA_6_HOME
export PATH=$PATH:$JAVA_HOME/bin

在终端下输入:source .bash_profile,加载配置。

(4)验证JDK是否安装成功

在终端输入命令:java -version

显示如下信息说明JDK安装成功:

[email protected] ~$ java -version
java version "1.6.0_37"
Java(TM) SE Runtime Environment (build 1.6.0_37-b06-434)
Java HotSpot(TM) 64-Bit Server VM (build 20.12-b01-434, mixed mode)

SSH的安装和配置

(1)安装ssh,输入命令:

$sudo apt-get install openssh-server

(2)配置本机为免密码登陆。

建立 SSH key;完了以后将在~/.ssh/目录下生成id_rsa和id_rsa.pub两个文件,这是SSH的一对公私钥。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

(3)验证SSH是否安装成功

输入命令:ssh -version

显示结果:

[email protected] ~$ ssh -version
OpenSSH_6.2p2, OSSLShim 0.9.8r 8 Dec 2011
Bad escape character 'rsion’.

登录一下本机,使用ssh WuCloud或者ssh localhost都行,第一次要输入一个yes,然后退出,再登录,发现不用密码了,这一步便完成了。

2、安装和配置Hadoop

(1)从Hadoop官网下载安装包,并将其解压。我这里采用的版本是hadoop-1.2.1。

$sudo tar -zxvf hadoop-1.2.1.tar.gz

(2)Hadoop配置

现在可以用以下三种支持的模式中的一种启动Hadoop集群:

单机模式;伪分布式模式;完全分布式模式。

与完全分布式部署相比,伪分布式并不能体现出云计算的优势,但是便于程序的开发和测试。由于条件限制,这里采用伪分布式配置Hadoop。需进入hadoop的conf目录,修改下面几个文件。

在hadoop-env.sh中指定JDK安装位置:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.6.0.jdk/Contents/Home

在core-site.xml中,配置HDFS的地址和端口号:

<configuration>
      <property>
          <name>fs.default.name</name>
         <value>hdfs://127.0.0.1:9000</value>
     </property>
 </configuration>

在hdfs-site.xml中,配置HDFS的备份方式。一般默认值为3,在单机版hadoop中需配为1。

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  </configuration>

在mapred-site.xml中,配置JobTracker的地址和端口。

<configuration>
      <property>
          <name>mapred.job.tracker</name>
          <value>localhost:9001</value>
      </property>
 </configuration>

第一次运行hadoop,要格式化Hadoop的文件系统。

在hadoop目录下输入:

$ bin/hadoop namenode -format

启动Hadoop服务:

$ bin/start-all.sh

如果没报错的话,就表示启动成功了。

(3)验证Hadoop是否成功安装。在浏览器输入如下网址:

http://localhost:50030 (MapReduce的Web页面)

http://localhost:50070 (HDFS的Web页面)

如果能正常查看,说明已经安装成功。接着可以运行wordcount例子来检查hadoop能否运行作业。

在hadoop目录下,hadoop-examples-1.2.1.jar这个是测试程序,里面包含了很多测试用的代码。建立一个目录,比如/home/hadoop/input/,拷贝一些文本文件到该目录下

运行以下命令:

$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcout /home/hadoop/input/ /home/hadoop/output/

运行结束后会在/home/hadoop/下生成一个output目录,里面有part-r-00000和_SUCCESS两个文件,看到_SUCCESS就知道已经成功了,打开part-r-00000,可以看到每个单词的出现次数都给统计好了。

时间: 2024-12-14 08:30:20

Hadoop-1.x安装与配置的相关文章

Ubuntu16.04下Hadoop的本地安装与配置

一.系统环境 os : Ubuntu 16.04 LTS 64bit java : 1.8.0_161 hadoop : 2.6.4 二.安装步骤 1.安装并配置ssh 1.1 安装ssh 输入命令:  $ sudo apt-get install openssh-server  ,安装完成后使用命令 $ ssh localhost 登录本机.首次登录会有提示,输入yes,接着输入当前用户登录电脑的密码即可. 1.2 配置ssh无密码登录 首先使用命令 $ exit 退出上一步的ssh,然后使用

linux平台下Hadoop下载、安装、配置

在这里我使用的linux版本是CentOS 6.4 CentOS-6.4-i386-bin-DVD1.iso 下载地址: http://mirrors.aliyun.com/centos/6.8/isos/i386/ 0.使用host-only方式 将Windows上的虚拟网卡改成跟linux上的网卡在同一个网段上 注意:一定要将windowsh 的WMnet1的ip设置和你的虚拟机在同一网段,但是ip不一样 一.前期工作: 1.修改linux ip 手动修改 也可以命令修改 vim /etc/

hadoop(六) - ZooKeeper安装与配置

一. ZooKeeper配置 1.使用winscp上传zk安装包 zookeeper-3.4.5.tar.gz 2.解压安装包tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast 3.配置(先在一台节点上配置) 3.1 添加一个zoo.cfg配置文件 进入 $ZOOKEEPER/conf 执行 mv zoo_sample.cfg zoo.cfg 3.2 修改配置文件(zoo.cfg) dataDir=/itcast/zookeeper-3.4.5/data se

Hadoop单机模式安装

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop. 1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码:shiyanlou.并按照提示输入hadoop用户的密码. 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四.安装及配置依赖的软件包 1. 安装openssh-server.java.rsync等 $ sudo apt-g

3-1.Hadoop单机模式安装

Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 Linux CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有linux基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA 二.H

Hadoop集群内lzo的安装与配置

LZO压缩,可分块并行处理,解压缩的效率也是可以的. 为了配合部门hadoop平台测试,作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包:gcc.ant.lzo.lzo编码/解码器并配置lzo的文件:core-site.xml.mapred-site.xml.希望对大家有所帮助.以下是正文: 最近我们部门在测试云计算平台hadoop,我被lzo折腾了三四天,累了个够呛.在此总结一下,也给大家做个参考. 操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-C

Hadoop完全分布式模式的配置与安装

转自: http://www.cyblogs.com/ 我自己的博客~ 首先, 我们需要3台机器, 这里我是在Vmware里面创建了3台虚拟机, 来保证我的Hadoop完全分布式的最基本配置.我这里选择的CentOS, 因为RedHat系列,在企业中比较的受欢迎.安装好后,最后的环境信息: IP地址 h1: 192.168.230.133 h2: 192.168.230.160 h3: 192.168.230.161 这里遇见到一个小疑问, 就是修改机器的主机名字. vim /etc/sysco

在虚拟机VM中安装的Ubuntu上安装和配置Hadoop

一.系统环境: 我使用的Ubuntu版本是:ubuntu-12.04-desktop-i386.iso jdk版本:jdk1.7.0_67 hadoop版本:hadoop-2.5.0 二.下载jdk和hadoop,并上传到Ubuntu系统中 Vmware中的Linux与主机系统Windows交互文件的方法请参考:http://blog.chinaunix.net/uid-27717694-id-3834143.html 三.设置hadoop用户: sudo addgroup hadoop #创建

Hadoop那些事儿(五)---Hive安装与配置

我在安装Hive的过程中遇到了好多问题,捣鼓了好久,所以下面的有些操作可能不是必要的操作. 1.配置YARN YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度.YARN 运行于 MapReduce 之上,提供了高可用性.高扩展性. 伪分布式环境不启动YARN也可以,一般不影响程序运行,所以在前边的Hadoop安装与配置中没有配置YARN. 我在安装Hive的过程中,由于一个异常牵扯到了yarn下的jar,所以我觉得还是有必要先把yarn配置一下(这步可能不是必要的) 找到

KickStart安装CentOS,同时安装和配置hadoop

声明:这篇文章是前面是拾人牙慧,我是结合 http://www.111cn.net/sys/linux/59969.htm 和 http://www.cnblogs.com/mchina/p/centos-pxe-kickstart-auto-install-os.html 两篇博客写的. 后面关于IP的部分是自己的 一:系统环境 实验平台:win7,VMware 12.0.0 build-2985596 要安装的系统:CentOS 6.7 64位 要安装的软件:hadoop 1.2.1,jav