hadoop入门(3)——hadoop2.0理论基础:安装部署方法

一、hadoop2.0安装部署流程

        1、自动安装部署:Ambari、Minos(小米)、Cloudera Manager(收费)

        2、使用RPM包安装部署:Apache hadoop不支持、HDP与CDH提供

        3、使用jar包安装部署:各版本均提供。(初期为了理解hadoop,建议使用这种方式)

        部署流程:

                准备硬件(Linux操作系统)

                准备软件安装包,并安装基础软件(主要是JDK)

                将hadoop安装包分发到各个节点的同一个目录下,并解压

                修改配置文件

                启动服务

                验证是否启动成功

二、hadoop2.0软硬件准备

        硬件准备:测试环境仅需要一台Linux机器。生成环境需要多台Linux机器。

                建议内存不小于4G(性能)

        软件准备:JDK1.6+(CDH5建议JDK7)、hadoop2.0安装包。

        1、建议使用非root用户安装hadoop。(hadoop某些功能不允许在root用户下操作)

        2、配置SSH免密码登录:为了启动hadoop集群方便。

三、hadoop2.0安装包下载

        建议选择商业公司的免费版本:主要是考虑不需要版本的选择。

http://archive.cloudera.com/cdh4/cdh/4

http://archive.cloudera.com/cdh5/cdh/5

        hadoop目录结构分析:

            bin:最基本的管理脚本和使用脚本所在目录。这些脚本是sbin目录下管理脚本的基础实现。

            etc:配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等,yarn-site.xml

            include:对外提供的编程库头文件。通常用于C++程序访问HDFS。

            lib:该目录包含了hadoop对外提供的编程动态库和静态库。

            libexec:各个服务对应的shell配置文件所在目录。

            sbin:hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动关闭脚本。

            share:hadoop各个模块编译后的jar包所在目录。

四、hadoop2.0测试环境(单机)搭建方法

    此处仅为理论说明。

    1、首先将安装包存放到某个目录下,并解压。

    2、修改解压后的目录中的文件夹etc/hadoop下的xml配置文件:

            hadoop-env.sh修改以下配置:export JAVA_HOME=/home/....

            Slaves文件修改为以下配置:YARN001

            mapred-site.xml中:mapreduce.framework.name=yarn

            core-site.xml:fs.default.name=hdfs://YAR001:8020

            yarn-site.xml:yarn.nodenamager.aux-services=mapreduce_shuffle

            core-site.xml:dfs.replication=1

    3、启动服务:

            格式化HDFS: bin/hadoop namenode -format

            启动HDFS:sbin/start-dfs.sh

            启动YART:sbin/start-yarn.sh

    4、验证是否成功:

            jps查看对应的服务是否已经启动:

            NameNode\DataNode\NodeManager\ResourceManager\SecondaryNameNode

            访问yarn:http://yarn001:8088

            访问hdfs:http://yarn001:50070

    常见问题:

        虚拟机搭建重启后无法启动成功:原因是/tmp文件夹被清空了,配置一个非/tmp的文件夹即可。

        在core-site.xml中添加:dfs.namenode.name.dir=/xxx;   dfs.datanode.data.dir=/xxxx;

五、hadoop2.0生产环境(多机)搭建方法

    1、将安装包存放到某一目录下,并解压。

    2、修改解压目录中的文件夹etc/hadoop下的xml配置文件。

    3、格式化并启动HDFS

    4、启动YARN

    与单机环境的不同之处在于步骤2中修改的配置文件的内容有所不同。以及步骤3 的详细步骤不同。

    HDFS HA部署方法:详见后续文章

    HDFS HA+Federation的部署方法:详见后续文章

    YARN部署方法:详见后续文章

时间: 2024-10-27 09:17:28

hadoop入门(3)——hadoop2.0理论基础:安装部署方法的相关文章

Storm-0.9.0.1安装部署 指导

可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工作为什么 2.Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0.1之后,安装部署变得容易得多了,比起Storm0.8.x的版本,Storm少了zeromq和jzmq的安装,也省去了很多编译这些插件时出现的bug. 1.Storm-0.9.0.1 版本的亮点: 1.

大数据篇:DolphinScheduler-1.2.0.release安装部署

大数据篇:DolphinScheduler-1.2.0.release安装部署 1 配置jdk #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx 将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传至每个节点安装 rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 修改配置文件 vim /etc/profile #添加 export JAVA_H

app-v 5.0 sp3 安装部署与维护

App-v 5.0 sp3安装部署与维护 软件介绍: App-v 为应用程序虚拟化, 包含在微软桌面优化包 (Microsoft Desktop Optimization Pack)中: http://www.microsoft.com/zh-cn/windows/enterprise/products-and-technologies/mdop/default.aspx app-v 包含三个程序, 分别是客户端.服务器端(发布端).应用程序序列化端(Sequencer) 下载: MDOP目前最

Redis 第二种安装部署方法

Redis 第二种安装部署方法

【原创 Spark动手实践 1】Hadoop2.7.3安装部署实际动手

目录: 第一部分:操作系统准备工作: 1. 安装部署CentOS7.3 1611 2. CentOS7软件安装(net-tools, wget, vim等) 3. 更新CentOS7的Yum源,更新软件速度更快 4. CentOS 用户配置,Sudo授权 第二部分:Java环境准备 1. JDK1.8 安装与配置 第三部分:Hadoop配置,启动与验证 1. 解压Hadoop2.7.3更新全局变量 2. 更新Hadoop配置文件 3. 启动Hadoop 4. 验证Hadoop =========

大数据笔记(三)——Hadoop2.0的安装与配置

一.Hadoop安装部署的预备条件 准备:1.安装Linux和JDK 2.关闭防火墙    3.配置主机名 解压:tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/ 设置环境变量:vi ~/.bash_profile HADOOP_HOME=/root/training/hadoop-2.7.3 export HADOOP_HOME PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export PATH sourc

Hadoop入门(五) Hadoop2.7.5集群分布式环境搭建

本文接上文内容继续: server01 192.168.8.118 jdk.www.fengshen157.com/ hadoop NameNode.DFSZKFailoverController(zkfc) server02 192.168.8.119 jdk.www.baohuayule.net  hadoop NameNode.DFSZKFailoverController(zkfc) server03 192.168.8.120 jdk.www.thd178.com hadoop Res

【hadoop】hadoop3.2.0的安装并测试

前言:前段时间将hadoop01的虚拟机弄的崩溃掉了,也没有备份,重新从hadoop02虚拟上克隆过来的,结果hadoop-eclipse插件一样的编译,居然用不起了,找了3天的原因,最后还是没有解决,只能用hadoop shell 命令去测试了,反正影响不大,只不过用着不方便而已. 心累中........... 正文: 解压安装Hadoop [[email protected] ~]$ cp /home/hadoop/Resources/hadoop-3.2.0.tar.gz ~/ [[ema

hadoop-3.0.0-alpha4安装部署过程

关闭防火墙 #systemctl stop firewalld.service #停止firewall #systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux #vi /etc/selinux/config SELINUX=disabledSELINUXTYPE=targeted 安装jdk1.8:#cd /usr#tar zxvf jdk-8u131-linux-x64.tar.gz 解压出来的目录改名为java vi /e