CDH使用之CDH 5.3.x安装

前言:CDH是由Cloudera公司发行的Hadoop版本,全称(Cloudera‘s Distribution Including Apache Hadoop)。该版本基于原生Apache Hadoop版本进行改进,添加了补丁和自行开发的组件,更加稳定易用。并且Cloudera公司已将CDH开源,可以不依靠CM也可以进行独立安装,目前来看在国内市场占有比重较大。本文采用CM方式进行安装,安装环境为CentOS6.5,暂不介绍独立安装方式安装。



安装准备
介质准备

    本文采用parcel包方式安装,需要下载相关的3个文件。

    parcel包地址:http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/

    需要下载如下三个文件

    如果采用rpm方式安装,地址为:

    http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/


    系统配置

      a) 用户创建

      CDH安装建议使用普通用户进行安装,使用root用户安装也可以,安装完成之后如果有其他新普通用户需要使用时,添加到对应的hadoop用户组(默认组为supergroup)即可。

      创建用户

      # useradd <用户名称>

      修改密码

      # passwd <用户名称>

      b) host配置

      安装CDH集群之前,必须配置hosts,将需要添加到集群中的机器配置到hosts中:

      # vi /etc/hosts


      安装

      安装方式选择

        • CDH通过CM可以选择的安装方式有采用rpm方式和parcel包方式(官方建议采用parcel包方式安装,便于后期升级维护),本文介绍parcel包方式。安装基于CM安装(CM安装部分请参看CDH使用之CM 5.3.x安装)


      2、启动http服务

      采用parcel包方式安装不需要创建repo文件,浏览器可以访问该地址即可。

      启动http 服务

      # service httpd start

      查看http服务状态

      # service httpd status


      3、开始安装

      此处从CM安装完毕首次打开7180端口界面开始进行安装:

      添加主机IP地址,hostname也可以(主机较多情况下可以填crxy[171-179]),然后点击搜索。

      搜索到主机选择需要安装CDH的主机之后点击继续:

      添加本地parcel包地址(添加时删除其他默认网络地址),其他存储路径默认。

      此处如果没有刷新出对应的CDH版本,检查是否能正常访问parcel包相关3个文件,如果可以正常访问但是仍然没有正常刷新的情况可以重启CM server服务,到cm所在机器执行如下命令:

      重启cm server

      service cloudera-scm-server restart

      重启cm agent

      service cloudera-scm-agent restart

      点击继续:

      开始走进度条,等待一段时间(建议配置内网ip):

      安装完成:

      往主机上分配parcel包:

      安装完成后开始分配服务组件, 选择自定义(可根据实际需要进行选择):

      服务节点分配(根据主机硬件配置合理配置):

      填写存储目录,点击继续开始首次分配服务:

      安装完成之后调转到主页面

      服务显示红色的状态,需要添加NTP server时间同步,不适用CDH的时间同步方式关掉即可。如图方式关闭,保存:

      状态如下,安装完成。

      如果使用普通用户进行安装,主机上切换为普通用户之后,为方便使用hadoop shell命令,可以使用如下方式在hdfs上创建对应的用户(用户名一致):

      创建hdfs用户

      sudo -u hdfs hadoop fs -mkdir /user/test11

      为hdfs用户赋权

      sudo -u hdfs hadoop fs -chown -R test11:test11 /user/test11


      4、错误定位

      注意:如果安装失败,需要到/etc/yum.repos.d/目录查看是否有多余的repo文件生成,repo文件内容是否正确,然后在点击重试。

      CM安装部分请参考 CDH使用之CM 5.3.x安装。

      更多精彩内容请关注:http://bbs.superwu.cn

      关注超人学院微信二维码: 

      时间: 2024-10-29 19:11:12

      CDH使用之CDH 5.3.x安装的相关文章

      在CDH上用外部Spark2.2.1安装和配置 CarbonData

      在CDH上用外部Spark2.2.1 (hadoop free版本)standalone 模式安装和配置 CarbonData ===================================================================== cdh中外部spark(standalone模式安装) ===================================================================== 5.把安装包和配置文件拷贝到其他机器

      0028-如何在CDH未启用认证的情况下安装及使用Sentry

      温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.文档编写目的 CDH平台中的安全,认证(Kerberos/LDAP)是第一步,授权(Sentry)是第二步.如果要启用授权,必须先启用认证.但在CDH平台中给出了一种测试模式,即不启用认证而只启用Sentry授权.但强烈不建议在生产系统中这样使用,因为如果没有用户认证,授权没有任何意义形同虚设,用户可以随意使用任何超级用户登录HiveServer2或者Impala,并不会做密码校验.注:本文档仅适用于测试环境. 本文档主要描述如

      CDH使用之CM 5.3.x安装

      前言:CM全称Cloudera Manager,Cloudera开发公司的产品.其主要功能是对CDH集群进行监控,大大改善原生ApacheHadoop的安装.配置复杂和需要使用第三方开源的监控工具所带来的诸多问题.其中,CDH是Cloudera公司的开源产品,可以不依靠CM独立安装.CM有free版本,提供60天在收费版中才能使用的高级功能的免费使用期限.本文CM安装基于CentOS 6.5,各个系统版本之前可能存在细微的差别,读者请自行查阅,理论上也使用于Red Hat系统. 一.      

      CDH 1、CDH简介

      1.Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐.升级过程复杂 • 兼容性差 • 安全性低 2.Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop(CDH) • Hortonworks Data Platform (HDP) • MapR • EMR • … 3.CDH能解决哪些问题 • 1000台服务器的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive

      通过Cloudera Manager安装CDH 5.6

      CDH的简单介绍 大家经常说CDH,其全称是:Cloudera's Distribution Including Apache Hadoop,简单的说是Cloudera公司的Hadoop平台,是在Apache原生的Hadoop个组件基础上进行了封装和加强.CDH里面有些什么东西呢?如下图: 那么这个CDH软件如何安装呢?Cloudera公司提供了一套安装CDH,管理.维护CDH各组件的一个软件,叫做Cloudera Manager(以下简称为CM).CM本身是一种主从结构,由CM Server和

      使用yum安装CDH 5.1.0

      CDH简介: 在Hadoop生态系统中,规模最大.知名度最高的公司则是Cloudera.现在国内很多公司也都选用他们的发行版本(CDH). CDH:一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装.CDH有企业版和免费版,下面介绍一下免费版可以使用的功能: 1.可以使用的组件    HDFS ,MapReduce,Hive,hue,impala,oozie,sqoop,zookeeper,hbase2.集群管理可以使用的功能    节点的启

      CDH 离线安装部署

      CDH相关介绍:  参考链接: https://blog.csdn.net/u013061459/article/details/73368929 https://www.cnblogs.com/raphael5200/p/5293960.html 为了构建一个以数据为驱动的业务场景,我们需要一个强大的管理工具去统一并安全地管理我们的业务数据,Cloudera做为一个强大的数据中心管理工具为此孕育而生.Cloudera不光提供了自己衍化重新封装的市场领先并100%开源的商业化Apache Had

      0030-如何在CDH中安装Kudu&amp;Spark2&amp;Kafka

      温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.概述 在CDH的默认安装包中,是不包含Kafka,Kudu和Spark2的,需要单独下载特定的Parcel包才能安装相应服务.本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用Cloudera Manager通过Parcel包方式安装Kudu.Spark2和Kafka的过程. 内容概括 Kudu安装 Spark2安装 Kafka安装 服务验证 测试环境 操作系统版本:CentOS6.5 C

      CDH使用之CM、CDH4、5卸载

      前言:无论是CM或者CDH使用的过程中,学习研究CDH使用.CDH升级.CM升级等等原因而考虑卸载CM.CDH,本教程使用于基于CM安装的CDH的卸载.当然,如果CDH采用独立安装方式安装,在删除对应目录时,更改相应目录即可,主要分为CM卸载和CDH卸载两部分,理论上使用于CDH4和CDH5的卸载(新版本如有更改则不适用). 一.卸载CM:(CM主机执行)1.移除所有服务 先在Cloudera Manager管理端停止集群所有组件服务,然后删除所有服务. 2.删除Manager Server(一