《转》ceilometer的数据采集机制入门

问题导读

1.ceilometer负责什么事情？

2.ceilometer 有哪些概念？

3.ceilometer 如何采集hardware？

附上openstack 官网API   http://docs.openstack.org/developer/python-ceilometerclient/

ceilometer主要负责监控数据的采集，采集的项目包括虚拟机的性能数据，neutron-l3-router使用的网络带宽，glance&cinder&swift等租户使用信息，甚至是通过snmp采集物理机的信息，以及采集支持opendaylight的网络设备信息。

基本概念

ceilometer 主要有下面几个概念:

  • meter 是ceilometer定义的监控项，诸如内存占用，网络IO，磁盘IO等等
  • sample 是每个采集时间点上meter对应的值
  • statistics 一般是统计学上某个周期内，meter对应的值(平均值之类)
  • resource 是被监控的资源对象，这个可以是一台虚拟机，一台物理机或者一块云硬盘
  • alarm 是ceilometer的告警机制，你可以通过阈值或者组合条件告警，并设置告警时触发的action

采集机制

ceilometer的各个服务中，与采集相关的服务是ceilometer-collector、ceilometer-agent-central、ceilometer-agent-compute、ceilometer-agent-notification。我们可以通过下图了解一下他们之间的关系:

agent-*服务负责采集信息，采集的信息可以通过三种方式publish出来，包括RPC、UDP、File。RPC是将采集的信息以payload方式发布到消息队列，collector服务通过监听对应的queue来收集这些信息，并保存到存储介质中；UDP通过socket创建一个UDP数据通道，然后collector通过bind这个socket来接收数据，并保存到存储介质中；File方式比较直接，就是将采集的数据以filelog的方式写入log文件中。

至于使用哪种方式publish，那么就要看你的pipline文件是如何配置的了，具体可以查看/etc/ceilometer/pipline.yaml中的publishers配置。

agent-*三个采集组件分别负责采集不同类型的信息，agent-notification负责收集各个组件推送到oslo-messaging的消息，oslo-messaging是openstack整体的消息队列框架，所有组件的消息队列都使用这个组件；agent-compute只负责收集虚拟机的CPU内存IO等信息，所以他需要安装在Hypervisor机器上；agent-central是通过各个组件API方式收集有用的信息；agent-notification只需监听AMQP中的queue即可收到信息，而agent-compute和agent-central都需要定期Poll轮询收集信息。看下图来了解一下:

信息通过agent-*采集并由collector汇总处理，最终需要持久化到存储介质中，ceilometer目前支持的存储包括mysql、DB2、HBase、mongoDB，从支持的数据库来看，监控数据持久化的压力还是相当大的。

采集项

agent-*组件在启动时候，通过stevedore的插件机制来加载采集项，包括每个采集项对应的执行程序。stevedore的插件配置是利用了setuptools的entry_points，所以我们可以通过查看entry_points的配置信息，来确定有哪些采集项。如果你的程序打包完毕并发布到了python的搜索路径中，那么你需要查看ceilometer的egg文件来查看，或者你可以下载源码查看setup.cf文件，相关信息如下:

  1. [entry_points]
  2. ceilometer.notification =
  3. instance = ceilometer.compute.notifications.instance:Instance
  4. instance_flavor = ceilometer.compute.notifications.instance:InstanceFlavor
  5. memory = ceilometer.compute.notifications.instance:Memory
  6. ...
  7. ...
  8. ceilometer.poll.compute =
  9. disk.read.requests = ceilometer.compute.pollsters.disk:ReadRequestsPollster
  10. cpu = ceilometer.compute.pollsters.cpu:CPUPollster
  11. ...
  12. ...
  13. ceilometer.poll.central =
  14. image = ceilometer.image.glance:ImagePollster
  15. storage.containers.objects = ceilometer.objectstore.swift:ContainersObjectsPollster
  16. ...
  17. ...

ceilometer.notification 对应的是agent-notification组件，ceilometer.poll.compute对应的是agent-compute组件，ceilometer.poll.central对应的是agent-central组件。

采集neutron l3 router 的bandwidth

与ceilometer其他采集方式不同的是，bandwidth的采集是通过neutron-meter-agent收集，然后push到oslo-messaging，ceilometer-agent-notification通过监听消息队列来收取bandwidth信息，可以看一些官方的wiki(https://wiki.openstack.org/wiki/Neutron/Metering/Bandwidth)。

按照wiki上的描述，设置好rule，ceilometer就可以收集bandwidth信息了，router上的流量计算是利用了iptables的特性，iptables本身可以用于做流量统计，这里不清楚的去Google一下即可。

比如我们使用neutron-meter 设定了这样一组规则:

  1. $ neutron meter-label-rule-list
  2. +--------------------------------------+----------+-----------+------------------+
  3. | id                                   | excluded | direction | remote_ip_prefix |
  4. +--------------------------------------+----------+-----------+------------------+
  5. | d2f28556-7369-42a7-9a92-9f2a12e929ce | False    | egress    | 66.66.66.0/24    |
  6. | e6a3542d-596b-415a-ab96-90df211c027b | False    | ingress   | 66.66.66.0/24    |
  7. +--------------------------------------+----------+-----------+------------------+

那么对应此规则建立的iptables规则如下:

  1. -A neutron-meter-r-d49bfb44-546 -d 66.66.66.0/24 -o qg-874a8e9b-4d -j neutron-meter-l-d49bfb44-546
  2. -A neutron-meter-r-d49bfb44-546 -d 66.66.66.0/24 -i qg-874a8e9b-4d -j neutron-meter-l-d49bfb44-546

neutron-meter-agent 会在设定的间隔时间内去通过iptables统计流量，然后push到oslo-messaging:

  1. $ ip netns exec qrouter-94cca346-ea17-48fe-94fd-30004078e339 iptables -t filter -L neutron-meter-l-d49bfb44-546 -n -v -x -Z
  2. Chain neutron-meter-l-d49bfb44-546 (2 references)
  3. pkts      bytes target     prot opt in     out     source               destination
  4. 0        0            all  --  *      *       0.0.0.0/0            0.0.0.0/0

采集hardware

ceilometer除了可以收集openstack组件的相关信息，也可以收集诸如kwapi、hardware、opendaylight信息。kwapi是采集物理机能耗信息的项目，agent-central组件通过kwapi暴露的api来收集物理机的能耗信息；agent-central也可以通过snmp协议直接收集hardware的CPU、MEM、IO等信息；opendaylight是SDN解决方案的开源项目，opendaylight规范中包括暴露一个API接口来提供SDN内部的一些信息，agent-central正是通过这个API可以收集opendaylight组件的信息。

如果我们想扩展这些监控信息，需要对ceilometer增加一些额外的配置，但是这些配置原理都是一样的，我们这里以采集hardware信息为例。

首先需要在被监控的hardw上开启SNMP协议，比如我们要监控一台物理机host为icehouse-ncloud-compute-a1，系统为ubuntu，先安装snmp和snmpd包，然后修改配置文件:

  1. #开启监听端口和对应的ip
  2. agentAddress udp:161,udp6:[::1]:161
  3. #开启所有SNMP访问项
  4. view   systemonly  included   .1   80

重启snmp服务，在ceilometer的pipline.yaml文件中加入如下(以采集hardware.memory为例)，interval是poll的轮询间隔时间，可以按自家需求配置:

  1. - name: hardware_memory_source
  2. interval: 1800
  3. meters:
  4. - "hardware.memory.*"
  5. resources:
  6. - snmp://icehouse-ncloud-compute-a1
  7. sinks:
  8. - meter_sink

通过 ceilometer meter-list | grep hardware ，可以看到新增的监控项，如果要查看监控数据可以这样:

  1. $ ceilometer sample-list -m hardware.memory.total
  2. +----------------------------+-----------------------+-------+-------------+------+---------------------+
  3. | Resource ID                | Name                  | Type  | Volume      | Unit | Timestamp           |
  4. +----------------------------+-----------------------+-------+-------------+------+---------------------+
  5. | icehouse-ncloud-compute-a1 | hardware.memory.total | gauge | 131996840.0 | B    | 2014-05-21T03:07:40 |
  6. | icehouse-ncloud-compute-a1 | hardware.memory.total | gauge | 131996840.0 | B    | 2014-05-21T02:37:40 |

版权声明：本文为博主原创文章，未经博主允许不得转载。

时间： 2024-08-16 07:46:38

《转》ceilometer的数据采集机制入门的相关文章

java的反射机制入门

理解Java的反射机制对学习Java框架有很大帮助,比如Spring框架的核心就是使用Java反射实现的,同时对做一些Java底层操作也会有帮助,比如字节码操作.自定义注解等. 什么是反射 Java反射说的是在运行状态中,对于任何一个类,我们都能够直到这个类有哪些方法和属性.对于任何一个对象,我们都能够对它的方法和属性进行调用.这种动态获取对象信息和调用对象方法的功能就是Java的反射机制. 反射的三种方式 反射其实就是获取类的字节码文件,也就是.class文件,那么我们就可以通过Class这个

淘宝搜索引擎的缓存机制入门总结

关于搜索的缓存机制的入门,有一篇很好的文章,在这里简单总结一下,下面是文章的链接:http://www.tao-sou.com/840.html 对于一个正常的搜索流程,比如用户输入查询请求“夏季 连衣裙”,淘宝搜索引擎需要分别将存储在磁盘上的两个单词的倒排索引读入内存,之后进行解压缩,然后求两个单词对应倒排列表的交集,找到所有包含两个单词的文档集合,根据排序算法来对每个文档的相关性进行打分,按照相关度输出相关度最高的搜索结果. 以上这个流程涉及了磁盘读/写.内存运算等一系列操作,相对比较耗费时

JVM垃圾回收机制入门

前言 数据库是大家会普遍重视的一个领域,异步通信一般用不到,虚拟机在大部分时候不会出问题,常被人忽视,所以我打算先学习虚拟机,从零单排Java高性能问题. 堆内存存储结构 Java6是以年代来规划内存的,而Java7的G1收集器则相反,这里以Java6为准. Survivor1和Survivor2是一样大的,必有一个始终为空,容量小于Eden. 垃圾回收机制 年轻代采用复制算法,当回收时,将Eden和Survivor中还存活的对象一次性地复制到另外一块Survivor上,然后清理掉Eden和刚才

Java垃圾回收机制--入门

Java垃圾回收机制(gc) 在程序运行过程中,每创建一个对象都会被分配一定的内存用以存储对象数据.如果一味的去占用内存而不释放,则会遇到内存溢出的问题. 在程序运行的过程中,gc会用引用计数法去统计对象被多少其他对象持有,如果对象已经没有被引用,那么该对象转变为可复活状态 (对于gc线程来说对象有三种状态: 1.     可触及状态:程序中还有变量引用,那么此对象为可触及状态. 2.     可复活状态:当程序中已经没有变量引用这个对象,那么此对象由可触及状态转为可复活状态.CG线程将在一定的

Java学习-反射机制入门

1.反射机制 我们在正常的使用过程之中只关心类产生对象,而后通过对象调用类之中的方法,可是,除了这种传统的方式外,也可以利用反射操作. 1.1.认识反射 既然有反,那么一定存在有正,正是指通过类产生对象,而后通过对象执行操作.而反呢?通过对象找到它所在类的信息.所有的对象都支持反这一操作,因为Object类有一个方法:public final Class<?> getClass(). 1 package cn.kvikon.demo; 2 import java.util.Date; 3 4

消息转发机制入门篇

一.何时处发消息转发机制? 解:当对象接收到无法解读的消息后,就会启动“消息转发”(message forwarding)机制,程序员可经由此过程告诉对象应该如何处理未知消息. 如:-[__NSCFNumber lowercaseString] :unrecognized selector sent to instance 0x87 上面这段异常信息是由NSObjc 的”doesNotRecognizeSelector”方法所抛出的,此异常表明:消息接收者的类型是_ _NSCFNumber,而该

java反射机制入门3

Method对象的机制与实现 1.Method对象概述 1)java.lang.reflect.Method类是用于表示类中.接口中方法对象的类. 2)可以操作类中私有,以及公有等全部方法. 2.Method对象的常用方法介绍 方法名 释义 getName() 获得方法名称 getReturnType() 获得方法返回值类型 invoke(Object obj, Object ...args) 利用obj对象调用该方法 getParameterTypes() 获取方法所有参数类型,按照顺序返回c

java反射机制入门02

Field对象的机制与实现 1.Field对象概述 1)Java.lang.reflect.Field类,是用于表示类中.接口中属性对象的类. 2)可以操作类中私有,以及公有等全部属性和属性的信息. 2.Field对象的常用方法介绍 方法名 释义 getName() 获取属性名称 getType() 获取属性类型 get(Object obj) 取得obj对象中这个属性的值 set(Object obj,Object value) 向boj这个属性赋值value setAccessible(bo

Java魔法堂：类加载机制入门

一.前言 当在CMD/SHELL中输入 $ java Main<CR><LF> 后,Main程序就开始运行了,但在运行之前总得先把Main.class及其所依赖的类加载到JVM中吧!本篇将记录这些日子对类加载机制的学习心得,以便日后查阅.若有纰漏请大家指正,谢谢! 以下内容均基于JDK7和HotSpot VM. 二.执行java的那刻   大家都知道通过java命令来启动JVM和运行应用程序,但实际的流程又是如何的呢? 1. 首先根据java后的运行模式配置项或<JAVA_H