hadoop2.0和2.4安装步骤

hadoop2.2.0安装步骤1.准备Linux环境
    1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok
        回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.110 子网掩码：255.255.255.0 -> 点击确定
        在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
    1.1修改主机名
        vim /etc/sysconfig/network

        NETWORKING=yes
        HOSTNAME=itcast01    ###

    1.2修改IP
        两种方式：
        第一种：通过Linux图形界面进行修改（强烈推荐）
            进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.119 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

        第二种：修改配置文件方式（屌丝程序猿专用）
            vim /etc/sysconfig/network-scripts/ifcfg-eth0

            DEVICE="eth0"
            BOOTPROTO="static"           ###
            HWADDR="00:0C:29:3C:BF:E7"
            IPV6INIT="yes"
            NM_CONTROLLED="yes"
            ONBOOT="yes"
            TYPE="Ethernet"
            UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
            IPADDR="192.168.1.44"       ###
            NETMASK="255.255.255.0"      ###
            GATEWAY="192.168.1.1"        ###

    1.3修改主机名和IP的映射关系
        vim /etc/hosts

        192.168.1.44    itcast01

    1.4关闭防火墙
        #查看防火墙状态
        service iptables status
        #关闭防火墙
        service iptables stop
        #查看防火墙开机启动状态
        chkconfig iptables --list
        #关闭防火墙开机启动
        chkconfig iptables off

    1.5重启Linux
        reboot

2.安装JDK
    2.1上传

    2.2解压jdk
        #创建文件夹
        mkdir /usr/java
        #解压
        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

    2.3将java添加到环境变量中
        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME=/usr/java/jdk1.7.0_55
        export PATH=$PATH:$JAVA_HOME/bin

        #刷新配置
        source /etc/profile
3.安装Hadoop
    3.1上传hadoop安装包

    3.2解压hadoop安装包
        mkdir /cloud
        #解压到/cloud/目录下
        tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/

    3.3修改配置文件（5个）
        第一个：hadoop-env.sh
        #在27行修改
        export JAVA_HOME=/usr/java/jdk1.7.0_55

        第二个：core-site.xml
        <configuration>
            <!-- 指定HDFS老大（namenode）的通信地址 -->
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://itcast01:9000</value>
            </property>
            <!-- 指定hadoop运行时产生文件的存储路径 -->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/cloud/hadoop-2.2.0/tmp</value>
            </property>
        </configuration>

        第三个：hdfs-site.xml
        <configuration>
            <!-- 设置hdfs副本数量 -->
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
        </configuration>

        第四个：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml
        <configuration>
            <!-- 通知框架MR使用YARN -->
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
        </configuration>

        第五个：yarn-site.xml
        <configuration>
            <!-- reducer取数据的方式是mapreduce_shuffle -->
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        </configuration>

    3.4将hadoop添加到环境变量
        vim /etc/profile

        export JAVA_HOME=/usr/java/jdk1.7.0_55
        export HADOOP_HOME=/cloud/hadoop-2.2.0
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

        source /etc/profile
    3.5格式化HDFS（namenode）第一次使用时要格式化
        hadoop namenode -format

    3.6启动hadoop
        先启动HDFS
        sbin/start-dfs.sh

        再启动YARN
        sbin/start-yarn.sh

    3.7验证是否启动成功
        使用jps命令验证
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode

        http://192.168.1.44:50070  (HDFS管理界面)
        在这个文件中添加linux主机名和IP的映射关系
        C:\Windows\System32\drivers\etc\hosts
        192.168.1.119    itcast

        http://192.168.1.44:8088 （MR管理界面）

4.配置ssh免登陆
    生成ssh免登陆密钥
    cd ~，进入到我的home目录
    cd .ssh/

    ssh-keygen -t rsa （四个回车）
    执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
    将公钥拷贝到要免登陆的机器上
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    或
    ssh-copy-id -i localhost

hadoop2.4.0安装步骤1.准备Linux环境
    1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok
        回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.8.100 子网掩码：255.255.255.0 -> 点击确定
        在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
    1.1修改主机名
        vim /etc/sysconfig/network

        NETWORKING=yes
        HOSTNAME=itcast01    ###

    1.2修改IP
        两种方式：
        第一种：通过Linux图形界面进行修改（强烈推荐）
            进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.8.118 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

        第二种：修改配置文件方式（屌丝程序猿专用）
            vim /etc/sysconfig/network-scripts/ifcfg-eth0

            DEVICE="eth0"
            BOOTPROTO="static"               ###
            HWADDR="00:0C:29:3C:BF:E7"
            IPV6INIT="yes"
            NM_CONTROLLED="yes"
            ONBOOT="yes"
            TYPE="Ethernet"
            UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
            IPADDR="192.168.8.118"           ###
            NETMASK="255.255.255.0"          ###
            GATEWAY="192.168.8.1"            ###

    1.3修改主机名和IP的映射关系
        vim /etc/hosts

        192.168.8.118    itcast01

    1.4关闭防火墙
        #查看防火墙状态
        service iptables status
        #关闭防火墙
        service iptables stop
        #查看防火墙开机启动状态
        chkconfig iptables --list
        #关闭防火墙开机启动
        chkconfig iptables off

    1.5重启Linux
        reboot

2.安装JDK
    2.1上传

    2.2解压jdk
        #创建文件夹
        mkdir /usr/java
        #解压
        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

    2.3将java添加到环境变量中
        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME=/usr/java/jdk1.7.0_55
        export PATH=$PATH:$JAVA_HOME/bin

        #刷新配置
        source /etc/profile

3.安装hadoop2.4.1
    注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
    伪分布式需要修改5个配置文件
    3.1配置hadoop
    第一个：hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65

    第二个：core-site.xml
        <!-- 制定HDFS的老大（NameNode）的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://itcast01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/itcast/hadoop-2.4.1/tmp</value>
        </property>

    第三个：hdfs-site.xml
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

    第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

    第五个：yarn-site.xml
        <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>itcast01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    3.2将hadoop添加到环境变量

    vim /etc/proflie
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/itcast/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile

    3.3格式化namenode（是对namenode进行初始化）
        hdfs namenode -format (hadoop namenode -format)

    3.4启动hadoop
        先启动HDFS
        sbin/start-dfs.sh

        再启动YARN
        sbin/start-yarn.sh

    3.5验证是否启动成功
        使用jps命令验证
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode

        http://192.168.8.118:50070 （HDFS管理界面）
        http://192.168.8.118:8088 （MR管理界面）

4.配置ssh免登陆
    #生成ssh免登陆密钥
    #进入到我的home目录
    cd ~/.ssh

    ssh-keygen -t rsa （四个回车）
    执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
    将公钥拷贝到要免登陆的机器上
    ssh-copy-id localhost

时间： 2024-10-03 14:45:35

hadoop2.0和2.4安装步骤的相关文章

QualityCenter10+Oracle10.2.1.0.1+Win2003SP2企业版安装步骤

HpQualityCenter10+Oracle10.2.1.0.1+Win2003SP2企业版安装步骤: 1.点击setup.exe,等待,知道出现以下界面,然后按“下一步” 2.出现如下界面,接受许可条款,然后按“下一步” 3.出现如下界面,然后导入HpQualityCenter10的破解lincese文件,点击“下一步”说明,把license文件后缀名改为qc10.lincense即可(文件名自己任意命名,只要保证后缀名是license即可) 4.进入到如下界面,第一次安装的话,就选“第一

mysql8.0.11 在windows64安装步骤

MySQL8.0 Windows zip包下载地址:https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.11-winx64.zip 环境:Windows 10 1 一.安装 1. 解压zip包到安装目录比如我的安装目录是:D:\Program\MySQL 2.配置文件在Windows系统中,配置文件默认是安装目录下的 my.ini 文件,部分配置需要在初始安装时配置,大部分也可以在安装完成后进行更改.当然,极端情况下,所有的都是可以更改的

redis（版本redis-5.0.2）的安装步骤

Linux版本1.解压redis-5.0.2.tar.gz文件2.进入解压后redis目录,执行make安装命令时提示安装错误(提示gcc命令没有找到,需要安装gcc)解决方案一:通过光盘yum源安装(制作光盘yum源的文章)yum install gcc-c++解决方案二:解决依赖的文章详见(http://blog.csdn.net/ReadyYes/article/details/51848015)a.首先挂载光盘,mount /dev/sr0 /mnt/cdromb.进入到/mnt/cdr

hadoop入门（3）——hadoop2.0理论基础：安装部署方法

一.hadoop2.0安装部署流程 1.自动安装部署:Ambari.Minos(小米).Cloudera Manager(收费) 2.使用RPM包安装部署:Apache hadoop不支持.HDP与CDH提供 3.使用jar包安装部署:各版本均提供.(初期为了理解hadoop,建议使用这种方式) 部署流程: 准备硬件(Linux操作系统) 准备软件安装包,并安装基础软件

Hadoop-2.5.1 编译安装步骤

环境: 系统 CentOS 6.3 64 位 * 2 Master 10.10.55.112 Slave1 10.10.55.133 软件: Hadoop- 2.5.1- src.tar.gz 一.准备环境 1.1 分别设置节点ip地址(固定) 此步骤所有节点都要操作 vi /etc/sysconfig/network- scripts/ifcfg – eth0 1.2 修改节点主机名此步骤所有节点都要操作 vi

CentOS 7.0 Nvidia显卡安装步骤

from: http://blog.sina.com.cn/s/blog_49c0985a0102v3fa.html CentOS 7.0 Nvidia显卡安装步骤: 1 在英伟达官网下载相应驱动搜索出相应的驱动后,不要直接点,而是右健,Save Link as... 否则,会出现下载半天没动静的情况. 存放的路径上最好不要有中文. 我存放的路径是 ~/Downloads/NVIDIA-Linux-x86_64-346.47.run 2 屏蔽默认带有的nouveau 使用su命令切换到root

office2003+photoshop8.0+flash8.0的安装步骤及注意事项

如果你的系统之前安装有office程序,请先卸载后再安装office2003. 卸载工具下载地址:http://pan.baidu.com/s/1i4ZDQWP 1.点击下载地址: http://pan.baidu.com/s/1nu81s5V 下载office2003安装包后如图: 2.双击此exe安装包,如图: 3.会出现以下界面:点击“下一步” 4.点击“完全安装”: 5.点击下一步后会出现:点击“安装”即可 6.安装过程中: 7.安装进度条走完后点击“完成”: 8.安装后桌面上会出现wo

hadoop-2.0.0-cdh4.6.0 安装

1.创建hadoop用户[所有操作都是root,在所有master和slaver上]1).创建hadoop用户:adduser hadoop2).更换密码:passwd hadoop====================================================================================2.安装jdk[所有操作都是root,在所有master和slaver上]将jdk.tar.gz解压到/et/local/:tar –zxvf jdk

Hadoop2.2.0多节点分布式安装及测试

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式