CentOS7下Hadoop Single Node Cluster的安装

一、安装JDK,并配置环境变量。因为Hadoop是以Java开发的,所以必须先安装Java环境
二、安装SSH,设置SSH无密码登录。Hadoop是由很多台服务器所组成的。当我们启动Hadoop系统时,NameNode必须与DataNode连接,并管理这些节点(DataNode)。此时系统会要求用户输入密码。为了让系统顺利运行而不需手动输入密码,就需要SSH设置成无密码登录。
   注意:无密码登录登录并非不需要密码,而是以事先交换SSH Key(密钥)的方式来进行身份验证
 1、安装SSH:CentOS 7 已经安装
 2、安装rsync:CentOS 7 已经安装
 3、产生SSH Key(密钥)进行后续身份验证:
           ssh-keygen  -t  dsa  -P  ‘‘  -f  ~/.ssh/id_dsa
 4、查看产生的SSH Key(密钥):
             ll  ~/.ssh
 5、将产生的Key放置到许可证文件中
            cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

三、下载安装Hadoop
    1、下载Hadoop-2.8.5.tar.gz并解压
     2、设置Hadoop环境变量:
                    sudo  gedit  ~/.bashrc
       输入以下内容:
          #配置JDK安装路径
               export JAVA_HOME=/usr/local/software/jdk1.8.0_211
         #配置hadoop_home的安装路径
                export HADOOP_HOME=/usr/local/software/hadoop
        #配置PATH
                export PATH=$PATH:$HADOOP_HOME/bin
                export PATH=$PATH:$HADOOP_HOME/sbin

#设置hadoop其他环境变量
               export HADOOP_MAPRED_HOME=$HADOOP_HOME
               export HADOOP_COMMON_HOME=$HADOOP_HOME
               export HADOOP_HDFS_HOME=$HADOOP_HOME
               export YARN_HOME=$HADOOP_HOME
         #链接库的相关设置
             export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
             export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
             export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
 
       3、让~/.bashrc设置生效:
                   source  ~/.bashrc
      4、修改Hadoop配置设置文件:
       (1)在hadoop-2.8.5/etc/hadoop文件夹下的配置文件hadoop-env.sh中修改JAVA_HOME设置
               export JAVA_HOME=/usr/local/software/jdk1.8.0_211
        (2)在hadoop-2.8.5/etc/hadoop文件夹下设置core-site.xml:加入HDFS的默认名称
            <configuration>
                <property>
                      <name>fs.default.name</name>
                     <value>hdfs://localhost:9000</value>
               </property>
           </configuration>       
        (3)  在hadoop-2.8.5/etc/hadoop文件夹下设置yarn-site.xml:
             <configuration>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
              </property>
              <property>
                 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
             </property>
        </configuration>
       (4)在hadoop-2.8.5/etc/hadoop文件夹下设置mapred-site.xml:
             A、复制模板文件:由mapred-site.xml.template 到 mapred-site.xml
             B、在mapred-site.xml设置mapreduce框架为yarn
                    <configuration>
                        <property>
                               <name>mapreduce.framework.name</name>
                               <value>yarn</value>
                        </property>
                   </configuration>  
        (5)在hadoop-2.8.5文件夹下创建hadoop_data文件夹,然后在 hadoop_data下创建hdfs文件夹,最后在hdfs文件夹下分别创建namenode和datanode文件夹     
        (6)在hadoop-2.8.5/etc/hadoop文件夹下设置hdfs-site.xml:设置HDFS分布式文件系统
            <configuration>
               <property>
                   <name>dfs.replication</name>
                   <value>3</value>
               </property>
               <property>
                   <name>dfs.namenode.name.dir</name>
                   <value>
                       file:/usr/local/software/hadoop/hadoop_data/hdfs/namenode
                    </value>
              </property>
              <property>
                   <name>dfs.datanode.data.dir</name>
                   <value>
                           file:/usr/local/software/hadoop/hadoop_data/hdfs/datanode
                    </value>
                 </property>
             </configuration>
      5、将HDFS进行格式化:
                   hadoop  namenode  -format             
      6、将Hadoop目录的所有者更改为hduser(名字可变),因为Linux是多人多任务的操作系统,所有的目录或文件都具有所有者。使用chown可以将目录或文件的所有者更改为hduser
                  chown hduser:hduser -R /usr/local/software/hadoop

     四、启动Hadoop(两种方式):
        (1)分别启动HDFS、YARN
                     start-dfs.sh          ------→启动HDFS
                    start-yarn.sh         ------->启动YARN
        (2)同时启动HDFS、YARN
                     start-all.sh

     五、查看NameNode、DataNode进程是否启动
                   jps
      结果为:
            
        因为只有一台服务器,所以所有的功能都集中在一台服务器中

  六、打开Hadoop Resource-Manager Web界面(浏览器地址栏输入:http://localhost:8088/)

      
         Hadoop安装配置成功!

原文地址:https://www.cnblogs.com/lone5wolf/p/11037371.html

时间: 2024-10-08 20:41:30

CentOS7下Hadoop Single Node Cluster的安装的相关文章

Hadoop Single Node Cluster——Hadoop单节点集群的安装

Hadoop Single Node Cluster只以一台机器来建立Hadoop环境,仍然可以使用Hadoop命令,只是无法发挥使用多台机器的威力. 安装JDK 因为Hadoop是以Java开发的,所以必须先安装Java环境.本文是以Ubuntu系统为例 安装前查看java版本 在命令终端输入  java -version 查看 安装成功 返回的是 java 版本,未安装会提示包含在下列软件包中,执行下列命令安装 sudo apt-get update sudo apt-get install

Hadoop single Node cluster

目的: 本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS); 先决条件: 支持的平台 GNU/Linux 可用作开发和生产平台. Hadoop 在2000台GNU/Linux 的集群上做过演示. Windows 平台也是支持的, 下面的步骤仅对linux适用. 要在Windows上安装hadoop, 查看 wiki page. 所需软件: 在linux下,所需的软件如下: 必须安装JAVA. 推荐

Hadoop MapReduce Next Generation - Setting up a Single Node Cluster

Hadoop MapReduce Next Generation - Setting up a Single Node Cluster. Purpose This document describes how to set up and configure a single-node Hadoop installation so that you can quickly perform simple operations using Hadoop MapReduce and the Hadoop

Ubuntu14下Hadoop开发&lt;1&gt; 基础环境安装

准备了一台淘汰的笔记本,单核CPU,3G内存,160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本(麒麟)的ISO,下载UNetbootin(Ubuntu专用U盘安装工具) 使用UNetbootin将ISO文件写入到U盘中,将笔记本设置为U盘启动,将U盘插入笔记本,打开笔记本电源即可,接下来就根据提示一步一步来就可以了 安装过程很快,期间如果有网络的话,可能会比较慢,会下载一些更新包 下载64位的JDK1.7,有个帖子写的很详细,我按照这个来的(根据实际情况进行修改即可),感谢作

Windows下完全卸载node.js并安装node.js的多版本管理工具nvm-windows

前言 由于高版本的node.js导致gulp执行build命令失败,我需要在Windows下卸载掉已有的node.js并安装一个多版本管理工具nvm-windows,方便切换不同版本的node.js. nvm是Linux下常用的一个node.js多版本管理工具,但是nvm不能在Windows下使用,在GitHub上有个项目叫nvm-windows,可以让我们在Windows下对node.js进行多版本管理. nvm-windows的下载地址:https://github.com/coreybut

Installing Apache Hadoop Single Node

platform: Ubuntu 14.04 LTS hadoop 1.2.1 1. install ssh: $sudo apt-get install openssh-server $sudo apt-get install openssh-client 2. ssh no password access: $ssh wubin (your computer) $ssh-keygen $ssh localhost $cat ~/.ssh/id_rsa.put >> ~/.ssh/autho

CentOS系统下Hadoop、Hbase、Zookeeper安装配置

最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3.主要是配置JDK,安装Tomcat,Hadoop.HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾. 首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限 权限修改方法:http://www.linuxidc.com/Linux/2012-03/55629.htm 软件的安装,网上

centos7下使用mysql离线安装包安装mysql5.7

服务器环境: centos7 x64 需要安装mysql5.7+ 一.卸载CentOS7系统自带mariadb # 查看系统自带的Mariadb [root@CDH-141 ~]# rpm -qa|grep mariadb mariadb-libs-5.5.44-2.el7.centos.x86_64 # 卸载系统自带的Mariadb [root@CDH-141 ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 # 删除etc

CentOS7 下 Hadoop 分布式部署

Hadoop 服务划分 使用三台节点,集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager IP地址规划 hadoop1 192.168.123.11 hadoop2 192.168.123.12 hadoop3 192.168.123.13