CM+CDH大数据平台

我这里搭建的是3节点,centos6.5的静态ip ,ssh免密码登录,防火墙关闭,时钟同步等等一些准备工作我这里就不多说了

我们可以进官网看看

https://www.cloudera.com/

我们进来看看

https://www.cloudera.com/documentation.html

我们先部署我们的本地yum源

安装完之后, 我们可以发现多了这么一个目录

下面我们把httpd服务启动一下

直接用我们的ip地址登录

我们在http://archive.cloudera.com/cm5/repo-as-tarball/5.8.0/下载cm的tar包

我们下载这个

下载好了

我们上传到cm1这个节点上

上传完了之后我们在html目录下创建目录

把这个包移动到这个路径下

我们进去解压一下这个tar包

我们直接在浏览器输入http://192.168.86.141/cm-5.8.0/

把压缩包干掉

我们使用下面的命令先来安装创建本地源的工具

yum install yum-utils createrepo

createrepo  /var/www/html/cm-5.8.0

在浏览器里可以看到多了这个目录,本地yum仓库的目录

接下来我们修改本地源的地址

[myrepo]
  name=myrepo
 baseurl=http://192.168.86.141/cm-5.8.0
 enabled = 1
 gpgcheck = 0

保存退出后我们把这个源文件分发给另外两个节点

[[email protected] yum.repos.d]#  scp myrepo.repo [email protected]:/etc/yum.repos.d
myrepo.repo                                                                                 100%   93     0.1KB/s   00:00
[[email protected] yum.repos.d]#  scp myrepo.repo [email protected]:/etc/yum.repos.d
myrepo.repo                                                                                 100%   93     0.1KB/s   00:00
[[email protected] yum.repos.d]# 

我们到其他节点查看一下

我们先创建一个目录

下载http://archive.cloudera.com/cm5/installer/5.8.0/

上传

赋予权限

我们执行一下这个文件

./cloudera-manager-installer.bin --skip_repo_package=1

遇到这情况就检查防火墙是否关闭,vim /etc/sysconfig/selinux

如果CM安装失败,直接删除文件目录

rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*

这种情况的话就要检查系统的jdk了,先把centos6.5的自带jdk卸载,安装1.7版本的jdk

当你看的这个界面的时候,就会弹出一个浏览器窗口

当然这个界面不会马上出来,因为服务启动需要点时间

我们可以查看一下服务启动状态

分别输入admin admin作用户名和密码,其实也可以不用默认弹出的浏览器,打开电脑安装的浏览器,输入地址http://192.168.86.141:7180/

登录进去之后

接下来我们需要检查我们系统是时间同步情况,因为这个对时钟同步的要求非常高

下载CDH的parcels包并配置到Cloudera Manager主服务器上

检查完之后我们下载  Parcels包

Parcels包下载地址: http://archive.cloudera.com/cdh5/parcels/

把这个两个文件下载

下载后我们把这两个文件上传到cm1节点上

接下来我们需要重启一下cm server这个服务

重启完之后我们需要再次打开http://192.168.86.141:7180/这个地址,这里需要一点时间去等等,启动需要时间的

输入主机名,我这里是3个节点都安装

因为我之前安装了jdk,这里我们就不选择安装了,如果之前没有安装的话可以选安装

这里输入的是root用户的密码

接下来等待安装

等待自己下载安装

经过漫长的等待

原文地址:https://www.cnblogs.com/braveym/p/8783373.html

时间: 2024-08-26 15:13:39

CM+CDH大数据平台的相关文章

cdh大数据平台环境搭建片

环境准备 三台服务器(由于我是学习环境,所以三台服务器不属于同一内网),配置如下: 公网ip 119.29.186.83   内网ip 10.104.157.113 公网ip 119.29.250.47   内网ip 10.104.9.181 公网ip 119.29.251.99   内网ip 10.104.196.48 软件包下载: http://archive.cloudera.com/cdh5/cdh/5/  下载地址 下载的文件名: 1.hadoop-2.6.0-cdh5.8.0.tar

大数据平台CDH搭建学习(5.10.0)

又是一个周末,本来是已经打开wegame,更新一下许久未碰的lol,后来实在等不下去了,还是想想写写博客,正好最近也在学习CDH:刚刚就像女生买东西一样,毫不犹豫地买了3个云主机,好了,废话不多说,下面我们正式开始CDH搭建大数据平台. 一.Hadoop是什么? Hadoop是一个分布式系统架构,由Apache基金会开发.用户可以在不理解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储. 不足之处:①版本管理混乱 ②部署过程繁琐,升级过程复杂 ③兼容性差 ④安全性低 二.

大数据平台CDH5.14.2 的安装配置

大数据平台CDH5.14.2 的安装配置 标签(空格分隔): 大数据平台构建 一:系统环境初始化 二:安装CDH5.14.2 平台 三:分配主机与分配角色 一: 系统环境初始化 1.1: 系统环境介绍 系统: CentOS7.5X64 cat /etc/hosts --- 172.17.100.11 node-01.flyfish 172.17.100.12 node-02.flyfish 172.17.100.13 node-03.flyfish 172.17.100.14 node-04.f

Cloudera Manager大数据平台搭建

在企业里快速搭建大数据平台除了Ambria外还可以用Cloudera Manager,这两种工具相对于纯手工搭建确实便捷很多,但是有利也有弊,相对于新手来说就不便于掌握内部原理,不好排错等,而纯手工搭建,出错较多,不容易成功. 一. 规划:192.168.3.201 server/agent mysql 192.168.3.202 agent namenode 192.168.3.203 agent namenode(备) resourcemanager192.168.3.204 agent r

ClouderaManager视频教程_ClouderaManager大数据平台视频教程

ClouderaManager视频教程_ClouderaManager大数据平台视频教程课程下载地址:https://pan.baidu.com/s/1Os8APg7dgXfsqp71SlUoYQ 提取码: bfqv 通过本课程的学习,可以掌握ClouderaManager的应用场景和使用规范,并可以学习到大型公司企业内部的大数据架构图.对大数据人员来讲,可以掌握企业级常用的Linux命令和快速安全的安装各类大数据组件及性能调优. Cloudera Manager是用于管理CDH群集的端到端应用

ClouderaManager大数据平台教程

ClouderaManager大数据平台视频教程课程分享链接:https://pan.baidu.com/s/15QQ6kodiJ_mPqrUobnBSQQ 密码:winq Cloudera Manager是用于管理CDH群集的端到端应用程序.Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准,使运营商能够提高性能,提高服务质量,提高合规性并降低管理成本. 使用Cloudera Manager,可以轻松部署和集中操作完整的CDH堆栈和其他托管服

大数据平台CDH6.1.0 安装配置

大数据平台 CDH6.1.0 安装配置 标签(空格分隔): 大数据平台构建 一: 关于CDH6.1.0 的介绍 二: 系统环境初始化 三: 安装CDH6.1.0所需环境 四: 配置CDH6.1.0的cloudera-manager安装 一:关于CDH6.1.0 的介绍 Cloudera在前天12月19日,对外宣布正式发布Cloudera Enterprise 6.1包含大数据生态版本如下: 1.组件版本:Kafka 2.0, Spark 2.4, HBase 2.1.1, Accumulo 1.

Cloudera hadoop 大数据平台实战指南(1)

大数 据 主要 具有 四方 面的 典型 特征-- 规模 性( Volume). 多样性( Variety). 高速 性( Velocity) 和 价值 性( Value), 即 所谓 的" 4V". 大数据时代的关键技术:(1) 大数 据 采集 技术(2) 大 数据 预处理 技术(3) 大数 据 存储 及 管理 技术(4) 大数 据分析 及 挖掘 技术(5) 大 数据 可 视 化 展现 技术 什么是hadoop?Hadoop 最初 是 开 始于 2002 年的 Apache 的 Nut

CentOS7部署CDH6.0.1大数据平台

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Spark. Hbase.Zookeeper.Sqoop等,简化了大数据平台的安装.使用难度.本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下: https://arch