接上篇 IT管理人员边的问题 http://qinzhi.blog.51cto.com/10503357/1673673
HAPM,采用第2种APM技术路线,通过专用硬件从网络中抓取包含完整交易要素的数据包集合,对该集合进行详细的协议分析、数据分析和应用解析还原操作,实现端户体验监测、应用组件发现与可视化、用户自定义事务处理剖析、应用组件深度监测和预测分析。
开发平台—开放、高效、自由
勤智数码HAPM提供两种产品形态:1)HAPM-DEV,基于大容量数据报获取和分析的专用硬件开发平台;2)HAPM,在专用硬件开发平台之上配备了专业通用应用分析软件的打包行业平台。本文仅就HAPM-DEV进行产品描述,关于HAPM的产品描述,请见《HAPM:基于硬件的下一代APM系统》产品白皮书。
在现实工作中,有很多用户需要对自己的核心应用系统实施有效的应用性能监控。由于应用系统的多样性与复杂性,这些用户通常会发现从市场上采购回来的应用性能监控系统,通用性足够,但是对自己系统的专注性不够,在使用中往往产生鸡肋的感觉。
勤智数码HAPM-DEV采用高速数据抓包处理和重定向转发技术,能够帮助这些用户解决性能运维元数据来源的关键问题,令这些用户和其应用系统开发商将注意力集 中到应用性能监控的业务逻辑上,形成更加专注的应用保障系统。
HAPM-DEV将自己的核心能力归结到数据抓包处理的性能、准确性,数据交付的开放性上,能够让用户或应用系统开发商根自己的需求,快速、高效、低成本地建力专业的应用保障能力。
产品概述
基于三层技术上的HAPM-DEV基于硬件的机箱式应用性能监控平台,是一种高速网络数据专用综合处理平台,针对大型网络核心环境下用于数据采集与分析等特殊用途的高性能机箱式专用设备。该系统通过专有芯片和多NP技术架构整套平台,在线速交换和路由转发重定向基础上,实现了多路数据汇集、按策略 重定向到多路输出端口的负载均衡能力,能够对多层数据报文实施有效整合
处理,通过统一集中控制,将整套系统糅合成为一个平台,达到网络数据高速专有处理处理的目标。该产品属自主创新研发的专有产品,采用全模块化结构设计,具有多种千兆和万兆高密度端口,
可根据用户的实际应用环境,灵活配置数据的各种输入和输出端口资源及参数定义,灵活构建弹性可扩展的综合处理平台,适应当前以及未来复杂的测试及分析环境
要求。
HAPM-DEV产品具备如下功能域:
数据过滤;
标记处理;
数据复制;
路由重定向外;
以太网交换;
IP路由等。
HAPM-DEV便于与国内外各厂商网络产品配合,为用户提供多样的数据采集解决方案。HAPM-DEV能够为各类专业数据分析软件系统获取指定的网络数据信息,其构成的数据采集解决方案,具有高性能、高可靠、低成本等主要特点,可应用于专门的网络数据采集及分析领域,是在各种复杂网络环境中安全采集 数据,用于用户业务分析的理想产品。
该款设备提供灵活的用户自定义功能,使得用户可根据自己的特殊需要来合理 安排HAPM-DEV所
监测的资源,选取激活合适的接口数量,配置网络业务分组和接入规模。其提供的丰富灵活接入模式和输出定向模式,特别适合于在大数 据流量环境下的省级数据
中心核心位置上的数据镜像采集和采集后数据的负载均衡输出分配,是目前国内外唯一的以太网数据采集搞速专用配套设备。
硬件架构
勤智数码HAPM-DEV的硬件架构如图1所示。
采用的先进的CrossBar交换矩阵架构,所有业务采用分布式处理,在灵活 实现多种端口线速接入的基础上,最大化地降低成本。大容量的背板可以很好的支持将来的升级和扩展,同时支持多种交换模块,方便用户管理。 交换业务卡采用ASIC芯片,所有交换端口和背板之间都是双向全线速交换。
适用范围
大中型网络中心的多分区数据汇集
大中型网络中心的多线路绑定传输
大中型网络中心的多主备线路数据汇聚
大中型网络中心汇集数据重定向多路输出的负载分配与均衡
大中型网络中心各种数据流向重定义、过滤、标记处理、数据复制输出
大中型网络中心复杂环境下的数据采集和分析
高性价比的多层交换技术上的数据分析方案中需要多千兆、万兆端口数的场 合
大中型网络中心基于不同“源或目的”的IP、VLAN、PORT、MAC等流向定义
主要特性
可提供高密度端口的输入输出接口能力,整机最多支持128个千兆端口、12个万兆端口。具有2T的背板带宽,可为所有的端口提供非阻塞线速数据过滤、标记处理、数据复制定向输出、路由重定向汇集和转发性能。强大的处理能力是构建可靠、稳定的基于IP环境高速网络数据专用综合处理平台的重要保障。
HAPM-DEV的硬件芯片支持IPv6,MPLS协议,能与现有各厂家网络设备兼容,有利于适用将来进行平滑的网络升级。系统本身也支持冗余技术,能支持网络通用的STP/RSTP/MSTP、VRRP等二、三层冗余协议,可以采用冗余电源模块和冗余综合业务处理模块,从而保证做为核心数据采集系统关键设备的高可靠性。各主要模块全部支持热插拔,保证系统主机更换某些模块时业务不会中断。
HAPM-DEV产品的位置位于网络设备和监视工具之间的抽象层中,用户可根据 业务所需以自主研发的流量映射、智能数据处理功能把不同类别的流量送到各个相关的监测工具,而无须改变网络设备的配置。用户的流量及工具得以优化的同时不会影响到日常的网络运作。
流量映射技术能够按照用户要求去识别入站流
量,然后分发至一个或多个工具, 用户只需在设定相应的功能策略即可。因为数据流通规则是通过硬件来应用, 所以流量映射能够以线速运行。而且所有的数据
输入端口的条件都可以进行更改,使得数据流量也能够迅速重新分配。同时这些策略在数据过滤机制中充当的是入站和出站流量中转分配站的角色,因而能够配合各
种工具对流量不同要 求作出优化,大幅降低出站流量,智能地分配流量负载。这样的结果就是流量 能够以最有效的方式发送到适当的工具上,工具也能够接收到
所需的数据, 资源可集中在分析的工作,显著提高工具利用率。HAPM-DEV支持多个40G和100G 端口,让流量可以从高速的网络链路链接分发到10G和1G端口的分析工具。反之,用户也可以借着可HAPM-DEV产品从多个低速的网络链路中把流量汇聚过来。因此,用户可以随着各自网络结构和预算来安排分析工具的部署。HAPMDEV的还提供跨平台的流量监测功能,不管来自物理网络还是虚拟网络或是软件定义网络。
智能数据处理功能:可以提供标签剥离、替换,最多可剥离7层MPLS标签。 HAPM-DEV可剥离ISL/GTP/802.1Q等标签,很多工具难以识别运营商网络中的 标签,或者要耗费CPU资源进行剥离;同时,智能数据处理功能将流量按照 MPLS标签号,可识别出不同的业务类型,智能数据处理功能也能做入站端口标记,通过将数据包打上从HAPM-DEV设备进入端口号的标签,可用于快速识别数据来源,避免后台工具根据IP等
条件来识别,也可用于跟踪流量处理过程, 避免分析工具将同样的数据包但是经过不同网络段时的数据误做除重处理。智能数据处理功能还有许多其他功能,诸如
将数据包中敏感字节清零,对于这样的用户银行、证券,敏感单位信息审计、医疗信息保护,很大程度上防止信息 泄密;接收流量时标记数据的来源和时间信息,
提高数据精确度的纳秒级时间 戳标记功能;对于大数据流中的有用字节进行剪切,从64到9000字节,任意位置切片,切片后从计算CRC;可多段切片,扩展分析工具的处理容量,减少数据记录仪所需磁盘空间。
大容量高可靠性多路汇聚
勤智数码HAPM-DEV采用业界先进的分布式多级交换矩阵架构,搭载高性能的ASIC交换芯和多核处理器,高达2T的背板容量,满足汇聚设备的高性能、高容量、高密度未来可拓展的要求,高密度的万兆业务板,并且实现板卡间三层全线速无阻塞交换,支持多路40GE和100GE端口的拓展能力,提供大容量端口的多路汇聚能力。 基于HPS(Hitless Protection System)无中断保护系统,HAPM-DEV 的关键器件,如系统主控单元、电源系统、风扇系统均采用冗余设计,所有系统模块均可热插拔,支持故障时无缝切换,无需人工干预,保证了设备运行的高可性。
先进的“GreenTouch”理念,整机功率最大仅1000W,
节能环保。先进的电源 系统架构设计,实现高效的电源转换,独有的电源监控、缓启动、顺序上电等 功能,实时监测整机运行状态,智能调节,深度节能。智能
的风扇管理系统: 智能风扇设计,支持自动调速及独立分区控制,有效降低转速、减少噪声,同时延长风扇的使用寿命。支持能效以太网功能,遵循国标准IEEE 802.3az, 有效降低了能源消耗。
高密度多路径数据重定向
HAPM-DEV在先进的架构设计与高性的芯片方案的支持下,提供多达上百个 10G、1G的数据重定向出端口,并且各业务板片之间实现无阻塞的线速转发, 各汇聚端口与重定向端口之间实现无阻塞的线速转发;系统通过设置多条过滤 策略、负载均衡策略以满足高密度的数据分析与解析,保证对了镜像源数据流 量的精确区分、精确匹配、精确解析、精确业务处理。
全时动态负载均衡策略
HAPM-DEV操作系统支持多种负载均衡策略:
按目的地配置负载均衡(per destination)配置按目的地进行负载均衡功能后, HAPM-DEV将
使用多条路径来均衡负载,对于某一源头目的地主机,数据包转 发采用同路径,即使有多个路径可用,也将这样处理,对于到达不同目的地 的数据包则可以采用
不同的路径,大多数情况下,都采用这种负载均衡方,按目的地配置负载均衡时,要依赖于数据流的统计分布信息,所以随着源头目的地对个数的增加,负载的平分
会变得更为有效。
按数据包配置负载均衡(per packet)通过按数据包进行负载均衡,使得HAPMDEV可以在路径上连续发送数据包,而不用考虑具体的主机或用户情况。这种负载均衡机制采用轮转的办法确定每个数据包采用哪条路径到达目的地。这种 机制可以保证在多个连接上进行负载均衡,有助于保证任何单个源头/目
的地对的路径都不会变得负担过重。如果有大量的、通过并行链路的数据是针对某单个源头目的地主机对,那么如果按目的地进行负载均衡,将会使那个链路负
担 过重,而其他链路上的数据流却很少,启用按数据包进行负载均衡,就可以利用不同的路径到达同个繁忙的目的地。快速转发(fast-switch)与负载,在 HAPM-DEV的CEF,记录着各业务数据的转发表,通过一匹配,多次快速交换,实现了‘流’的快速可靠性负载均衡。
HAPM-DEV在以上负载均衡技术的基础上独创了业界‘模数数’负载均衡法, ‘模数’即为重定向激活的端口数,基于目标IP目标MAC与模数的与运行, 全时动态的负载分配到每个重定向端口,实现了端口的速率的高效性、数据流的精确负载、线速的快速转发。同时,也可以多种负载技术并行运行,达到对某此关键、重点、高频业务的优先、分极的多种负载均衡处理方式。
强大数据过滤策略
HAPM-DEV操作系统支持数据过滤策略:
基于IP:通过基于数据包中的IP地址,以区分原IP、目标IP、原IP+目标IP的方式,在庞大数据流中将感兴趣的数据包以区分出来,通过映射策略决定其是否放行是通过。对于数据过滤条数,理论上无上限。
基于IP+PORT:通过基于数据包中的IP地址+端口号的方式,以区分原IP+原端口号、目标IP+端口号、原IP+原端口号+目标IP+目标端口号的方式,用以将感兴趣的数据包区分出来,通过映射策略决定其是否放行是通过。对于数 据过滤条数,理论上无上限。
基于流量自动认别:通过基于传输层的端口号、应用的特征值,用以区分出 是哪一种类型的流量,当然这些数据特征值事先得预置于操作系统当中,通 过以流的方式将数据流区分开来,进行快速模数数转发,对于数据流的识别, 上限为10000条。
切片与标记处理
HAPM-DEV对于数据流中的有用字节进行剪切,从64到9000字节,任意位置切片,切片后重计算CRC,可多段切片。
一方面对切片数据标以数据的来源和时间信息标记,提高数据精确度、数据处理的纳秒级时间戳,以方便为其它运维系统提供原始数据。诸如‘交易性能实 时监测系统’
另一方面扩展数据分析、解析系统的处理时间、效率、容量,减少数据记录所 需磁盘空间。
智能敏感数据多样化处理
HAPM-DEV在处理网络流量时,检测数据包头起始和结尾标志,对特殊数据包中敏感字节进行多样化处理,比如清零,对于这样的用户银行密码、证券密码,敏感单位信息审计、医疗信息保护,很大程度上防止信息泄密。
数据封装多隧道处理
HAPM-DEV支持对网络数据包进行二层、三层的数据封装,支持建立隧道以 tunnel的方式进进行输送,tunnel支持多种加密技术,最大限度保证了数据输送过程中的安全性。
提供标签剥离、替换,最多可剥离7层MPLS标签,可剥离ISL/GTP/802.1Q等标签,很多工具难以识别运营商网络中的标签,或者要耗费CPU资源进行剥离; 同时,HAPM-DEV将流量按照MPLS标签号,可识别出不同的业务类型。 HAPM-DEV也能做入站端口标记。通过将数据包打上从HAPM-DEV设备进入端口号的标签。可用于快速识别数据来源,避免后台工具根据IP等条件来识别, 也可用于跟踪流量处理过程,避免分析工具将同样的数据包但是经过不同网络段时的数据误做除重处理。
分布式多路数据镜像
HAPM-DEV提供多于4组的数据再次镜像(二次镜像),实现在用户网络当中,‘一路镜像,多路复用’,以供给其它监控系统的应用,最大限度的保护用户网络的封闭性。
技术指标
技术服务—贴心、及时
针对HAPM-DEV开放式APM开发平台,勤智数码提供专业的技术支持服务,帮助用户针对自己的特定应用系统开发专用应用性能监控系统。相关技术支持服务包括:
1、HAPM-DEV系统培训服务
2、专用应用性能监控系统数据库表设计支持服务;
3、特定应用的解析还原技术支持服务;
4、HAPM-DEV系统故障排查技术支持服务;
5、HAPM-DEV系统硬件更换服务。
部署
部署模式见图2。
系统从网络获取镜像数据,通过HAPM-DEV硬件内部机制将数据分发给多台采 集器进行数据预处理,采集器在获取数据后将数据发送给统一的(或者多台) 应用服务器进行报文解析及数据分析操作。根据采用的设备不同,系统标准支持24路数据接入(最大可达256路),标准支持12台应用服务器并发处理数据(最小可达128台)。
订购信息