安装hadoop

1:安装包

http://hadoop.apache.org/releases.html

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

hadoop-2.6.4 （binary）

jdk-8u102-linux-x64.tar.gz

2：节点信息

centos7 * 3

master 10.10.0.115

slave1 10.10.0.116

slave2 10.10.0.117

3:安装过程

3.1 节下初始化（略）

主机名  防火墙  selinux  等

3.2 节点互信

[[email protected] ~]#ssh-keygen

[[email protected] ~]#cat /root/.ssh/id_rsa.pub >  /root/.ssh/authorized_keys

[[email protected] ~]#scp -r /root/.ssh slave1:/root/

[[email protected] ~]#scp -r /root/.ssh slave2:/root/

3.3 在所有节点安装jdk

[[email protected] ~]#tar -zxvf jdk-8u102-linux-x64.tar.gz

[[email protected] ~]#mkdir   /usr/soft

[[email protected] ~]#mv jdk1.8.0_102 /usr/soft/

[[email protected] ~]#vim /etc/profile

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102
   export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$PATH:$JAVA_HOME/bin

[[email protected] ~]#source /etc/profile

[[email protected] ~]#java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

其它节点同样操作

3.4 安装hadoop

先在master上安装配置，然后scp到其它节点即可

[[email protected] ~]#tar -zxvf hadoop-2.6.4.tar.gz

[[email protected] ~]#mv hadoop-2.6.4 /usr/soft/

[[email protected] ~]#cd /usr/soft/hadoop-2.6.4/

[[email protected] ~]#mkdir hdfs

[[email protected] ~]#mkdir hdfs/data

[[email protected] ~]#mkdir hdfs/name

[[email protected] ~]#mkdir tmp

[[email protected] ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.10.0.115:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/soft/hadoop-2.6.4/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

[[email protected] ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/soft/hadoop-2.6.4/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/soft/hadoop-2.6.4/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>10.10.0.115:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>

[[email protected] ~]#cp /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template   /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml

[[email protected] ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml

<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>10.10.0.115:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>10.10.0.115:19888</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.10.0.115:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.10.0.115:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.10.0.115:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>10.10.0.115:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>10.10.0.115:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

[[email protected] ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102

[[email protected] ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/yarn-env.sh

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102

[[email protected] ~]# cat  /usr/soft/hadoop-2.6.4/etc/hadoop/slaves
10.10.0.116
10.10.0.117

[[email protected] ~]#scp -r  /usr/soft/jdk1.8.0_102 slave1:/usr/soft/

[[email protected] ~]#scp -r  /usr/soft/jdk1.8.0_102 slave2:/usr/soft/

[[email protected] ~]#/usr/soft/hadoop-2.6.4/bin/hdfs namenode -format

[[email protected] ~]# /usr/soft/hadoop-2.6.4/sbin/start-all.sh

浏览器打开http://10.10.0.115:8088/
浏览器打开http://10.10.0.115:50070/

时间： 2024-12-25 16:26:34

安装hadoop的相关文章

Linux -&gt;&gt; UBuntu 14.04 LTE下安装Hadoop 1.2.1（集群分布式模式）

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境

一篇文章教你轻松安装hadoop（第2篇）

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装.     第三章 安装hadoop环境 由于大家在学习hadoop时候,主要以Hadoop 1.0环境为主学习就可以,所以这主要介绍如何搭建Hadoop 1.0分布式环境. 整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安装这里暂不做过多介绍. 安装Hadoop分布式环境: 1) 下载H

Ubuntu安装Hadoop与Spark

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

Mac OS X Yosemite安装Hadoop 2.6记录

整个安装过程分为四部分: 一.  安装Homebrew 二.  ssh localhost 三. 安装Hadoop已经进行配置文件设置 (伪分布式) 四. 运行栗子 一. 安装Homebrew 采用Homebrew安装Hadoop非常简洁方便,之前在Windows上Cygwin上安装过Hadoop,感觉好麻烦. 关于Homebrew可以查看其官网 http://brew.sh/ 也可以查看 Homebrew 新一代OS X套件管理工具 一文. $ ruby -e "$(curl -fsSL ht

在 Windows 上安装 Hadoop 教程（转）

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/[email protected] 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://jav

Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文

自己动手一步一步安装hadoop（含编译hadoop的native本地包）

最近项目需要用到hadoop,边学习边应用,第一步无疑是安装hadoop,我安装的是hadoop-2.4.1,下面是详细步骤,做备忘以后查看 一.下载依赖软件 1.java hadoop官网说明只支持java 6和7 ,下载最新的java7 http://download.oracle.com/otn-pub/java/jdk/7u65-b17/jdk-7u65-linux-x64.tar.gz 2.maven 从maven官网下载http://maven.apache.org/download

安装hadoop 2.2.0

安装环境为 CentOS 64位系统, 大概分下面几个步奏, 0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop 详细说每个步奏, 0. 安装jdk 下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录 1. 配置SSH hadoop是master/slaver 结构,配置SSH使得从maste

CentOS 6.7安装Hadoop 2.6.3集群环境

在CentOS 6.7 x64上搭建Hadoop 2.6.3完全分布式环境,并在DigitalOcean上测试成功. 本文假设: 主节点(NameNode)域名(主机名):m.fredlab.org 子节点(DataNode)域名(主机名):s1.fredlab.org s2.fredlab.org s3.fredlab.org 一.配置SSH互信 1.master机上生成公私钥:id_rsa和id_rsa.pub ssh-keygen 2.上传到每个节点机器的.ssh/目录下 .ssh/---