【Ambari】Agent总体概览

Agent是Ambari一个核心模块,主要负责在集群节点上执行命令(install/start/stop)和上报状态(liveness/progress/alert)。

要理解实现细节甚至修改源代码,首先要有总体宏观的认识。笔者粗略浏览了一下Agent代码,认为可以从三大基本抽象入手,来描绘总体的概览。

抽象

Agent定义了三个基本抽象,也是三个抽象类:

Resource表示Agent可操作的对象,每个Resource都定义成Python Class,可以在以下源码包看到各个实现类:

ambari-common/src/main/python/resource_management/core/resources/

Provider封装了对Resource的各种操作,每个Resource都对应一个Provider,可以在以下源码包看到各个实现类:

ambari-common/src/main/python/resource_management/core/providers

Script表示Agent将调用的一个脚本,该脚本用于install/start/stop某个服务组件,也就是说每个服务组件都需要提供一个Script实现类,可以在各个服务的脚本包里看到它们:

ambari-server/src/main/resources/stacks/HDP/${version}/services/${service}/package/scripts

举例: File是一个Resource,FileProvider封装了action_create和action_delete方法(即Agent可以在系统上创建或删除某文件)。NameNode是一个Script,封装了HDFS NameNode的安装/启动/停止等操作。

整合

下面来看看Resource-Provider-Script哥三是怎么整合到一起来实现Agent功能的。我们以HDFS NameNode的安装操作为例:

  1. 在HDFS服务的脚本包下有一个namenode.py文件,它定义了class NameNode,是Script的实现类,override了install/start/stop等方法。
  2. Agent收到Server的安装NameNode命令后,将调用NameNode.install()。
  3. NameNode.install()之后的调用链如下:

    NameNode.install() ->

    Script.install_packages() ->

    Package(packageName) ->

    Resource.__init__() ->

    Environment.run_action() ->

    PackageProvider.action_install()

NameNode对应Script,Package对应Resource,PackageProvider对应Provider。

时间: 2024-07-29 14:41:47

【Ambari】Agent总体概览的相关文章

Ambari Agent 架构

Ambari Agent 架构图,由图中看,主要有3部分: HeartBeatHandler:发送 HTTP 请求和 Ambari Server 进行交互.ActionExecutor:Command 执行器.AlertSchedulerHandler:Alert 处理器. 4个数据容器: CommandQueue:存储需要执行的 Command.ResultMap:存储 Command 的执行结果.Alert definitions file:是一个文件,保存所有的 Alert 定义.Aler

Ambari Agent Command分析

一.概述: 根据 Ambari Server 架构文章中的介绍,由于 Ambari Server 和 Ambari Agent 之间是通过 HTTP 短连接进行通信,所以 Server 无法把需要执行的 Command,直接推送给 Agent,而是需要把命令存储在 ActionQueue 中, 然后 Agent 通过定期发送 Heartbeat 请求,把 Command 拉过去执行,并通过下次的 Heartbeat 请求,返回执行结果.下面简单分析一下 Command 的处理过程: 二.Agen

ambari安装问题记录:Ambari Agent host cannot reach Ambari Server 'localhost:8080'.

在安装完ambari-server并配置之后,选定客户端进行指定安装的时候,发现总是遇到这一错误 Ambari Agent host cannot reach Ambari Server 'localhost:8080'. 我看了一下错误日志发现在从ambari-server传送到客户端的setupAgent.py脚本的main函数中的参数设置老是不对,如下所示: 156 def main(argv=None): 157 scriptDir = os.path.realpath(os.path.

spring mvc学习 总体概览

spring mvc 设计概览 springmvc处理http请求,主要是在web.xml中配置一个dispatcherservlet,然后由此进行拦截并处理请求返回相应,下面就针对源码大体记录下dispatcherservlet的初始化和请求的处理流程. 具体的核心开发步骤: 1. DispatcherServlet在web.xml 中的部署描述,从而拦截请求到Spring Web MVC 2. HandlerMapping的配置,从而将请求映射到处理器,这里可以通过实现HandlerMapp

Ambari Agent 源码分析

一.ambari-agent 启动方式 Ambari-Agent的启动脚本为/etc/init.d/ambari-agent.该脚本主要实现了start,stop,status,restart,reset方法.对于start,stop,status,reset方法的实现,直接调用/usr/sbin/ambari-agent脚本,将所有命令参数传入进去,reset直接调用stop,在调用start. 二.ambari-agent启动脚本 /usr/sbin/ambari-agent 通过软链接指向

程序、进程、线程 -- 总体概览、摘要

1.简介     经过一段时间的煎熬,终于 将程序.进程.线程 这几个概念 弄清楚了,特地 写文章 整理记录下,便于 后期快速查阅(本文 使用最简短的语句 介绍 只是为了 不让初学者 脑瓜疼,相关概念详细信息 本文不会 做介绍)     2.程序     程序 就是 能够实现 某种功能的存在     3.进程     进程 就是 程序 从开始 至 结束 运行过程中的存在     4.线程     线程 是程序运行的基本单位,被包含在进程之中(进程是线程的容器)     5.小结     简而言之

Ambari Server 架构

Ambari Server 架构图,由图中看,主要也是四部分: Resource Service:资源服务,用来接收前端的 Rest 请求.关于 Resource 的几个基本概念:Resource:Ambari Server 定义了各种各样的 Resource,比如 Config.User.Cluster.Component.Alert 等都是一种 Resource.Resource Type:每种 Resource 都对应一个 ResourceType,标记所属的资源类型.Resource S

Ambari窥探分布式心跳机制

Ambari是在Hadoop大数据生态圈的基础上应运而生,Ambari的架构也借助了分布式的思想,细细品味,与Hadoop分布式架构有很多相似之处. Hadoop中单NN 与多DN的通信是借助netty封装的RPC机制实现,单Ambari server与多Agent通信则是基于restful api + json实现,rpc与rest api的争论不是本文要讨论的重点,我们追求的目标只有一个,完美实现业务需求. 心跳设计一个主要的原因是判断客户端是否在线,每隔一段时间会发送数据交互.Ambari

Ambari 1.7 源码编译笔记

环境CentOS 6.5 1.安装jdk [[email protected] zzh]# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm [[email protected] zzh