ambari 搭建hadoop大数据平台系列3-搭建本地仓库

1.官方参考

https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/setting_up_a_local_repository_with_no_internet_access.html

2.本地实例

10.1.11.32 localRepository-11-32  

下载路径:记得下载后md5校验,下载时间很长。

HDP: http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz

HDP-UTILS: http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

本地目录:

3.配置更新

ambari-server yum 源配置文件更新,yum update ;

4.实例演示

至此,本地仓库部分搭建好了。后面的工程可以加快速度啦。

时间: 2024-10-13 01:40:10

ambari 搭建hadoop大数据平台系列3-搭建本地仓库的相关文章

ambari 搭建hadoop大数据平台系列4-配置ambari-server

ambari 搭建hadoop大数据平台系列4-配置ambari-server,分为三部分: 官网:  https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html 安装ambari-server  配置ambari-server  命令;ambari-server setup 启动ambari-server 命令

ambari 搭建hadoop大数据平台系列1-概述

最近要为第三方搭建一套大数据平台,中间先进行了虚拟机版本,测试通过后,进行了物理机版本的生产环境,网上关于ambari 的文章并不多,但好在ambari 官方文档质量略高,社区比较活跃,便整理该系列的文档,将埋掉的坑抛出来,帮助小伙伴们更加快速的搭建自己的hadoop 平台. 分三个部分: 1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ,大家比较熟悉,至于各自长短,优势劣汰,大家自己斟酌选择啦. Cloudera Manager is di

ambari 搭建hadoop大数据平台系列2-客户机配置

本案例搭建的环境介绍如下:Ambari 2.4.2 + HDP 2.5 (hadoop 2.7 :hive 1.2 :Tez :Spark 2.0)+jdk1.8.25 +centos7.0,这里首先要关注些注意事项,至于为什么会一一说明. 第一部分:注意事项: 版本必须低于7.2 selinux 必须关闭 firewalld 必须关闭 127.0.0.1  hosts该条记录删除 本地仓库必须搭建 root 账户ssh 启用 指定hdfs data 目录 安装jdk1.8.0 所有机器时间必须

ambari 搭建hadoop大数据平台系列6-验证测试

web 检查组件服务是否正常启动 shell 端检查服务是否健康 hdfs fsck / -files -blocks -locations java api/ python 检查服务是否正常

hadoop大数据平台安全基础知识入门

概述 以 Hortonworks Data Platform (HDP) 平台为例 ,hadoop大数据平台的安全机制包括以下两个方面: 身份认证 即核实一个使用者的真实身份,一个使用者来使用大数据引擎平台,这个使用者需要表明自己是谁,即提供自己的身份证明,大数据平台需要检验这个证明,确定这个证明是有效的,且不是伪造的.否则,就拒绝这个使用者进入大数据引擎. 授权管理 这个使用者的真实身份核实之后,需要对这个使用者的使用权限进行界定,即这个使用者在大数据平台中能够使用什么组件,能够获取哪些资源,

数据仓库和Hadoop大数据平台有什么差别?

广义上来说,Hadoop大数据平台也可以看做是新一代的数据仓库系统, 它也具有很多现代数据仓库的特征,也被企业所广泛使用.因为MPP架构的可扩展性,基于MPP的数据仓库系统有时候也被划分到大数据平台类产品. 但是数据仓库和Hadoop平台还是有很多显著的不同.针对不同的使用场景其发挥的作用和给用户带来的体验也不经相同.用户可以根据下表简单判断什么场景更适合用什么样的产品.  数据仓库和Hadoop大数据平台特性比较 特性 Hadoop Data Warehouse 计算节点数 可到数千个 一般在

hadoop大数据平台架构之DKhadoop详解

hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战.Hadoop作为一个开源的分布式并行处理平台,以其高拓展.高效率.高可靠等优点越来越受到欢迎.这同时也带动了hadoop商业版的发行.这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容.目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等.虽然发行方不同,但在平台架构上相似,这里就以我比较熟悉的dkhadoo

基于Ubuntu16搭建Hadoop大数据完全分布式环境

[目的]:学习大数据 在此记录搭建大数据的过程. [系统环境] 宿主机操作系统:Win7 64位 虚拟机软件:Vmware workstation 12 虚拟机:Ubuntu 16 64位桌面版 [搭建过程] 一.准备 1.安装文件准备 Hadoop软件: JDK: Ubuntu 16的安装软件 2.虚拟机准备 测试计划使用三台虚拟机 在Win7里启动Vmware workstation,安装一台操作系统为Ubuntu 16的空的虚拟机,从这台虚拟机另外再克隆出来两台 3.机器名称:hadoop

Cloudera hadoop 大数据平台实战指南(1)

大数 据 主要 具有 四方 面的 典型 特征-- 规模 性( Volume). 多样性( Variety). 高速 性( Velocity) 和 价值 性( Value), 即 所谓 的" 4V". 大数据时代的关键技术:(1) 大数 据 采集 技术(2) 大 数据 预处理 技术(3) 大数 据 存储 及 管理 技术(4) 大数 据分析 及 挖掘 技术(5) 大 数据 可 视 化 展现 技术 什么是hadoop?Hadoop 最初 是 开 始于 2002 年的 Apache 的 Nut