Hadoop单机版安装配置

[toc]

Hadoop单机版安装配置

前言

Hadoop单机版本的环境搭建比较简单,这里总结一下。

Centos基本配置

网络配置

IPADDR=192.168.43.101
NETMASK=255.255.255.0
GATEWAY=192.168.43.2
DNS1=202.96.128.166
DNS2=202.96.128.86

配置完成后重启网络:

service network restart

修改主机名和IP地址映射文件

vim /etc/sysconfig/network
将HOSTNAME改为uplooking01
保存退出:
vim /etc/hosts
加入一行内容:
192.168.43.101  uplooking01

关闭防火墙,并从开机启动项中去处防火墙

关闭防火墙:
service iptables stop
从开机启动项中移除防火墙
chkconfig iptables off

关闭selinux服务(重启生效)

vim /etc/selinux/config
SELINUX=disabled

jdk安装

    第一步:解压
         tar -zxvf /opt/soft/jdk-8u112-linux-x64.tar.gz [-C /opt/]
    第二步:重命名
         mv jdk1.8.0_112/ jdk
    第三步:配置JAVA_HOME环境变量
        vim /etc/profile.d/hadoop-etc.sh,添加一下内容
            export JAVA_HOME=/opt/jdk
            export PATH=$PATH:$JAVA_HOME/bin
        保存退出,并让环境生效
        source /etc/profile.d/hadoop-etc.sh
    第四步:验证
        java -version

hadoop安装

hadoop的版本:hadoop-2.6.4.tar.gz

1°、解压:
        [[email protected] ~]$ tar -zxvf soft/hadoop-2.6.4.tar.gz -C /home/uplooking/app/
    2°、重命名:
        [[email protected] ~]$ mv /home/uplooking/app/hadoop-2.6.4/ /home/uplooking/app/hadoop
    3°、添加hadoop相关命令到环境变量中
        ~]$ vim ~/.bash_profile
        加入以下内容:
            export HADOOP_HOME=/home/uplooking/app/hadoop
            export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
        生效:
        ~]$ source ~/.bash_profile
    4°、创建数据存储目录:
        1) NameNode 数据存放目录: /home/uplooking/data/hadoop/name
        2) SecondaryNameNode 数据存放目录: /home/uplooking/data/hadoop/secondary
        3) DataNode 数据存放目录: /home/uplooking/data/hadoop/data
        4) 临时数据存放目录: /home/uplooking/data/hadoop/tmp
    5°、配置 hadoop-env.sh 、yarn-env.sh hdfs-site.xml core-site.xml mappred-site.xml yarn-site.xml
        1)、配置hadoop-env.sh
            export JAVA_HOME=/opt/jdk
        2)、配置yarn-env.sh
            export JAVA_HOME=/opt/jdk
        3)、配置hdfs-site.xml
            <configuration>
                <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>/home/uplooking/data/hadoop/name</value>
                    <description>存放元数据的磁盘目录</description>
                </property>
                <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>/home/uplooking/data/hadoop/data</value>
                    <description>存放数据的磁盘目录</description>
                </property>
                <property>
                    <name>dfs.namenode.checkpoint.dir</name>
                    <value>/home/uplooking/data/hadoop/secondary</value>
                    <description>存放检查点数据的磁盘目录</description>
                </property>
                <!-- secondaryName http地址 -->
                <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>uplooking01:9001</value>
                </property>
                <!-- 数据备份数量-->
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                    <description>默认有3分,但是目前只有一台机器,所以备份数设置为1</description>
                </property>
                <!-- 运行通过web访问hdfs-->
                <property>
                    <name>dfs.webhdfs.enabled</name>
                    <value>true</value>
                </property>
                <!-- 剔除权限控制-->
                <property>
                    <name>dfs.permissions</name>
                    <value>false</value>
                </property>
            </configuration>
        4)、配置core-site.xml
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://uplooking01:9000</value>
                    <description>hdfs内部通讯访问地址</description>
                </property>
                <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/uplooking/data/hadoop/tmp</value>
                </property>
            </configuration>
        5)、配置mapred-site.xml
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
                <!-- 历史job的访问地址-->
                <property>
                    <name>mapreduce.jobhistory.address</name>
                    <value>uplooking01:10020</value>
                </property>
                <!-- 历史job的访问web地址-->
                <property>
                    <name>mapreduce.jobhistory.webapp.address</name>
                    <value>uplooking01:19888</value>
                </property>
                <property>
                    <name>mapreduce.map.log.level</name>
                    <value>INFO</value>
                </property>
                <property>
                    <name>mapreduce.reduce.log.level</name>
                    <value>INFO</value>
                </property>
            </configuration>
        6)、配置yarn-site.xml
            <configuration>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>uplooking01</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.address</name>
                    <value>uplooking01:8032</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.scheduler.address</name>
                    <value>uplooking01:8030</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.resource-tracker.address</name>
                    <value>uplooking01:8031</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.admin.address</name>
                    <value>uplooking01:8033</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.webapp.address</name>
                    <value>uplooking01:8088</value>
                </property>
                <property>
                    <name>yarn.log-aggregation-enable</name>
                    <value>true</value>
                </property>
            </configuration>
    格式化hadoop文件系统
        hdfs namenode -format
        当出现Storage directory /home/uplooking/data/hadoop/name has been successfully formatted.则说明格式化成功
        负责失败,如果失败的话:就要检查配置文件,再次进行格式化,如果要再次进行格式化,
        必须要把dfs.namenode.name.dir配置目录下面的数据清空。
    启动hadoop
        start-all.sh
        分为以下
        start-dfs.sh
        start-yarn.sh
        启动成功之后,通过java命令jps(java process status)会出现5个进程:
            NameNode
            SecondaryNameNode
            DataNode
            ResourceManager
            NodeManager
        在启动的时候,提示需要输入的密码,是因为没有配置ssh免密码登录模式,如何配置?
            ssh-keygen -t rsa
            一路回车
            ssh-copy-id -i [email protected]
            根据提示输入当前机器的密码
            验证:ssh [email protected] 不需要再输入密码
    验证:
        1°、在命令中执行以下命令:
            hdfs dfs -ls /
        2°、在浏览器中输入http://uplooking01:50070
        3°、验证mr
            /home/uplooking/app/hadoop/share/hadoop/mapreduce目录下面,执行如下命令:
            yarn jar hadoop-mapreduce-examples-2.6.4.jar wordcount /hello /out
            在执行作业的过程中,也可以在地址栏中输入:http://uplooking01:8088来查看作业的执行状态
    问题:
        如果要进行多次格式化,那么需要将刚才创建的/home/uplooking/data/hadoop/中的文件夹删除重建,
        才能进行二次格式化   

原文地址:http://blog.51cto.com/xpleaf/2082861

时间: 2024-08-10 02:11:27

Hadoop单机版安装配置的相关文章

hadoop单机版安装及基本功能演示

本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装包 1.jdk 到官方下载页面http://www.oracle.com/technetwork/java/javase/downloads/index.html,下载jdk,我下载的版本为jdk-8u151-linux-x64.tar.gz. 2.hadoop安装包 到ha

Hadoop单机版安装

前置条件: 1.ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的) 2.jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784 ?) 3.下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ ) ? ? ? ? 安装hadoop 1.首先将hadoop0.21.0.

Hadoop单机安装配置过程:

1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAVA_HOME=/usr/local/jdk1.6.0_17    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH    export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar 2. 安装ssh,

hadoop2.6和hbase1.0单机版安装配置

环境 系统:Ubuntu 14.04 hadoop版本:2.6.0 hbase版本:1.0 jdk版本:1.8 下载地址:Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧. hadoop安装 1.安装位置:/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 4.给hadoop添加权限 sudo vim /etc/sudoers 在

Hadoop的安装配置

一.安装CentOS 过程略 下载地址:链接:https://pan.baidu.com/s/1nursRf23DjI5ynmuVvUYuw 提取码:76xk 二.配置CentOS网络设置 1.进入网络配置cd /etc/sysconfig/network-scripts 2.打开ens33配置vi ifcfg-ens33 3.编辑配置 将BOOTPROTO改为static静态添加IPADDRIP地址添加NETMASK子网掩码添加GATEWAY网关地址添加DNS1,DNS2域名解析地址TYPE=

hadoop搭建杂记:Linux下hadoop的安装配置

VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作,想要用鼠标点击操作的出门转左不送- 1.hadoop的下载与解压 wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.7.1.tar.gzmkdir /usr/hadooptar -xzvf hadoop-2.7.1

ubuntu14.04LTS 下storm单机版安装配置

1.下载storm 的安装文件 http://www.apache.org/dyn/closer.cgi/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz 1 tar -zxvf apache-storm-0.9.2-incubating.tar.gz 2.修改Storm的配置文件 conf/storm.yaml 1 storm.zookeeper.servers: 2 - "lo

hadoop环境安装配置介绍与步骤

在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结.我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下.个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看.闲话到此结束,本篇重点整理的是服务器操作系统的配置问题,写的可能会有点长,需要一点点耐心看的哦!1.修改权限步骤:在准备工作中拷贝安装包DKHPla

09.Solr单机版安装配置

1.下载开发包 从Solr官方网站(http://lucene.apache.org/solr/ )下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz,windows下需要下载lucene-4.10.3.zip. 2.创建SolrHome(Solr运行的数据以及配置文件) a. 创建SolrHome目录 b. 将 example\solr 内容拷贝到SolrHome下 collection1目录结构 collection1:一个SolrCor