Ambari-Blueprint介绍

Ambari-Blueprint整体介绍

  • ambari-blueprint主要作用是通过提供一个restAPI,调用几次API就可以创建一个集群,ambari-server解析stack下的role_command_order.json文件来自动部署集群,role_command_order.json文件记录着各个服务与组件的部署顺序,ambari-server会自动根据顺序建立task,这样就简化了单步创建时调用restapi的多次调用。

Ambari-Blueprint使用步骤

  • 使用POST方法建立blueprint           注意:在ambari 1.4之后 在调用restapi时需要加入 -H "X-Requested-By:ambari"

    •  格式化json网址:http://www.bejson.com/

      压缩json网址:http://www.bejson.com/go.html?u=http://www.bejson.com/zhuanyi.html

    • request body 如下:(集群组件只含有部分 不全 包括HDFS的nn dn ZK的server)

      {

        "host_groups" : [

          {

            "name" : "master",

            "configurations" : [

            ],

            "components" : [

              {

                "name" : "NAMENODE"

              },

              {

                "name" : "ZOOKEEPER_SERVER"

              }

            ],

            "cardinality" : "1"

          },

          {

            "name" : "slaves",

            "components" : [

              {

                "name" : "DATANODE"

              },

              {

                "name" : "ZOOKEEPER_SERVER"

              }

            ],

            "cardinality" : "1+"

          }

        ],

        "Blueprints" : {

          "stack_name" : "HDP",

          "stack_version" : "2.0.6"

        }

      }

    • 调用命令如下所示

      curl -u admin:admin -i -X POST -d ‘<request body>‘ -H "X-Requested-By:ambari" http://<ambari-server host>:8080/api/v1/blueprints/<buleprint-name>

  • 分配host完成集群建立

    • 使用http post请求完成host分配

    • {

        "blueprint" : "<blueprint-name>",

        "host_groups" :[

          {

            "name" : "master", 

            "hosts" : [         

              {

                "fqdn" : "<master-host>"

              }

            ]

          },

          {

            "name" : "slaves", 

            "hosts" : [

              {

                "fqdn" : "<slave-host>"

              },

              {

                "fqdn" : "<slave-host>"

              }

            ]

          }

        ]

      }

    • 具体命令如下

      curl -u admin:admin -i -X POST -d ‘{"blueprint":"<blueprint-name>","host_groups":[{"name":"master","hosts":[{"fqdn":"<master-host>"}]},{"name":"slaves","hosts":[{"fqdn":"<slave-host>"},{"fqdn":"<slave-host>"}]}]}‘ -H
      "X-Requested-By:ambari" 
      http://<ambari-server host>:8080/api/v1/clusters/<cluster-name>

    • 这样就创建了集群名为<cluster-name>的集群了,调用后自动按照role_command_order.json中设置的顺序进行组件的安装、开启,创建成功后会返回如下状态:

      202 - Accepted

      {

      "href" : "http://c6401.ambari.apache.org:8080/api/v1/clusters/MyCluster/requests/1",

      "Requests" : {

      "id" : 1,

      "status" : "InProgress"

      }

    • 在浏览器中打开返回的链接,页面上显示的是每一个安装、开启组件的任务的进度,如果没有出现失败的task,那么会staus更改为COMPLETED。证明集群创建成功,如果失败,可以通过task连接转到task页面查看失败信息。
时间: 2024-11-13 08:11:15

Ambari-Blueprint介绍的相关文章

Ambari Metrics介绍

概念 Ambari Metrics是Ambari中负责监控集群状态的功能组件.它有如下一些主要的概念: Terminology Description Ambari Metrics System ("AMS") The built-in metrics collection system for Ambari. Metrics Collector The standalone server that collects metrics, aggregates metrics, serve

大数据学习之路------借助SANDBOX开始学习

一开始... 一开始知道大数据这个概念的时候,只是感觉很高大上,引起了我的兴趣.当时也不知道,这个东西是做什么的,有什么用,当然现在看来也是很模糊的样子,但是的确比一开始强了不少. 所以学习的过程可能会很艰辛甚至有时候会很缓慢,但是感觉这东西未来会很有用途,最初了解大数据是从<大数据时代>这本书开始的,里面的很多概念和预测让我觉得很神奇. 但是渐渐生活中的一些事物被印证,我渐渐接受了这本书的内容,我觉得这本书还是值得一看的. 在国内这个技术似乎是比较新颖的,做的人似乎不是很多,正因为如此,资料

禧云数芯大数据平台技术白皮书

白皮书作者:赵兴申 顾问:郑昀 出品方:禧云集团-基础技术中心-大数据与算法部 数据分析组:谭清勇.王明军.徐蕊.曹寿波 平台开发组:刘永飞.李喜延 数据可视化组:陈少明.董建昌 基础架构组:崔明黎.邱志伟.陈赏 第一章:数芯大数据平台 1.1 禧云大数据发展历程 知名咨询公司麦肯锡称:『数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对海量数据的挖掘和运用,预示着新一波生产率增长和消费盈余浪潮的到来.』良好的数据管理和处理技术,已经成为企业不可或缺的竞争优势. 禧云集团(

ambari介绍及安装

Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建.管理和监控.Ambari已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. Hbase.Zookeeper.Sqoop和Hcatalog等:除此之外,Ambari还支持Spark.Storm等计算框架及资源调度平台YARN. Apache Ambari 从集群节点和服务收集大量信息,并把它们表现为容易使用的,集中化的接口:Ambari W

Ambari 介绍

Ambari 是 Apache Software Foundation 的一个顶级开源项目,是一个集中部署.管理.监控 Hadoop 分布式集群的工具.但是这里的 Hadoop 是一个广义概念,并不仅仅指的是 Hadoop(HDFS.MapReduce),而是指 Hadoop 生态圈(包括 Spark.Hive.Hbase,Sqoop,Zookeeper.Flume 等),Ambari 可以使 Hadoop 大数据软件更容易使用,且可以容易的集成我们自己的服务让 Ambari 统一管理. 部署:

大数据入门:各种大数据技术介绍

转自:http://www.aboutyun.com/thread-7569-1-1.html 大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言.我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性

Hadoop 介绍

1.Hadoop简介 Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据. 诸多优点

使用Ambari快速部署Hadoop大数据环境

前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的 Google 下Hadoop ,然后下载相关的包,在自己的虚拟机(CentOS 6.3) 上安装一个单机的Hadoop版本用来做测试,写几个测试类,然后做下CRUD测试之类的,跑跑M

在HDInsight中的Hadoop介绍

在HDInsight中的Hadoop介绍 概览 Azure的HDInsight是,部署和规定的Apache?Hadoop?集群在云中,提供用于管理,分析和大数据报告软件框架中的服务. 大数据 数据被描写叙述为"大数据",以表明它被收集在以往升级卷,以越来越高的速度,并为一个扩大各种非结构化格式和可变语义语境.大数据的收集并不正确企业自身提供的价值. 对于大数据在可操作智能或洞察力的形式提供价值.不仅要正确的问题问及相关的问题,数据收集,数据必须能够訪问.清洗.分析,然后在一个实用的方式