监控平台架构设计

花了两个小时设计的高富帅方案(UPP监控平台架构设计)

目录

UPP监控平台架构设计

1.引言

1.1背景

1.2编写目的

1.3定义

2.范围

2.1 系统主要目标

2.2主要软件需求

2.3设计约束、限制

3.软件系统结构设计

3.1.监控方案:

①传统方式:

②改进方式:

③继续改良方式:

④高富帅方式:

3.2软件体系结构

3.2.1结构图

3.2.2功能模块说明

4.主要技术介绍

监控系统搭建

日志拷贝

日志分析程序

5.需要硬件

UPP监控平台架构设计

1.1背景1.引言

随着接入UPP的销售系统不断增加,接入的网关也不断增加,UPP担任的角色也越来越重要,UPP需要和各种角色进行频繁的交互,同时自身也是需要多个子系统进行频繁的交互来实现各种业务。在这种复杂环境下,一旦发生业务故障或应用、服务器故障,其问题根源和影响面很难准确定位。

这样一来,必须要有一个系统,能非常实时的获取与合作伙伴之间、子系统之间的交互状态,按各种需要的维度进行周期性统计,得到各种视角的报表,以供运维和应急人员实时定位故障。 同时它是一个及时的、可靠的、专业的监控平台,对各个销售系统、各个网关、各个关键点进行监控。

1.2编写目的

本概要设计文档从总体上把握UPP监控系统设计框架,包括模块划分、监控功能点划分、处理流程和接口设计。

1.3定义

UppMonitor:统一支付平台监控。

2.范围

2.1
系统主要目标

构建一个对UPP的综合监控平台,包括服务器监控、应用系统监控、网络监控、数据库监控四个模块。实现对upp的全面监控,出现问题能及时报警,并能准确快速的定位出现问题的故障点,提高运行保障维护效率。并且为领导提供相关的统计与决策分析数据。

2.2主要软件需求

UPP各项指标监控,故障报警,故障定位,支付效能统计。

2.3设计约束、限制

无。

3.软件系统结构设计

3.1.监控方案:

①传统方式:

传统模式是通过一定数据抽取、清洗、转换、装载等技术获取数据库的数据,再扔进数据仓库里面,接着对数据仓库的数据进行统计处理,达到业务数据监控的效果。

这种方式对于时效性不高的场合比较常用,而对于时效性要求较高的场合不可采用此种方法。需要对这种形式改进。

②改进方式:

改进方式是引入了一个备库,通过某种数据库复制技术把生产库数据复制到备库,然后狂虐备库数据库,进行统计处理,监控业务数据。

这种方式的时效性已经明显提升,并且比较容易维护,只需维护好生产库与备库之间的同步,且监控可以随便查备库数据,不怕影响生产。

③继续改良方式:

在各子系统链路上,都对每一笔业务、每一次交互有着不同程度的日志记录,通过在每台子系统服务器上部署一个代理agent,以合适的频率将有用的日志传输到日志服务器,日志服务器部署日志分析程序,将分析结果放到数据库,通过sql语句对数据库查询,得到监控报表 。

④高富帅方式:

继续改进方式,通过将日志各个链路应用产生的日志集中传递到计算机集群里进行分析,产出报表。

在各子系统链路上,都对每一笔业务、每一次交互有着不同程度的日志记录,通过在每台子系统服务器上部署一个代理agent,以合适的频率将有用的日志传输到计算集群,实时对所有数据进行计算,产出周期性报表 。

3.2软件体系结构

3.2.1结构图

3.2.2功能模块说明

3.2.2.1服务器监控

主要监控生产服务器的健康状态。包括cpu占用率、内存占用率、磁盘、进程、端口等各项指标。

3.2.2.2应用系统监控

主要提供应用级别的监控,包括报表的查询、应用异常报警、日志管理、应用运行统计等模块。其中以实时交易走势图效能监控为主,能做到实时地监控支付平台的交易情况。

3.2.2.3网络监控

提供对局域网、外网的监控。其中主要对银行及其第三方支付商的网关的健康进行监控,并能在出现网络问题时及时通知运维人员。

3.2.2.4数据库监控

对数据库各项指标进行监控。

4.主要技术介绍

监控系统搭建

Struts+spring+Hibernate。

日志拷贝

①植入性JAR包+日志拷贝

②植入性JAR包+socket传输

③Log4j的远程socket模式

④零拷贝技术sendfile

日志分析程序

Swing+java+jdbc

5.需要硬件

1、一台A档服务器、两台B档服务器,一台C档服务器。

A档用于apache,部署监控系统前台;

B档用于tomcat,部署监控系统后台;

B档用于日志服务器,存放日志、部署日志分析程序;

C档用于安装Mysql;

监控平台架构设计

时间: 2024-10-11 22:10:11

监控平台架构设计的相关文章

企业运维监控平台架构设计与实现(ganglia篇)

一.Cacti/Nagios/Zabbix/centreon/Ganglia之抉择 1.cacti Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具. 简单的说Cacti 就是一个PHP 程序.它通过使用SNMP 协议获取远端网络设备和相关信息,(其实就是使用Net-SNMP 软件包的snmpget 和snmpwalk 命令获取)并通过RRDTOOL 工具绘图,通过PHP 程序展现出来.我们使用它可以展现出监控对象一段时间内的状态或者性能趋势图. 2

【转载】基于Docker的CaaS容器云平台架构设计及市场分析

[转自]http://www.cnblogs.com/darkprince/p/5115739.html 基于Docker的CaaS容器云平台架构设计及市场分析 ---转载请注明出处,多谢!--- 1 项目背景---概述: “在移动互联网时代,企业需要寻找新的软件交付流程和IT架构,从而实现架构平台化,交付持续化,业务服务化. 容器将成为新一代应用的标准交付件,容器云将帮助企业用户构建研发流程和云平台基础设施.缩短应用向云端交付的周期,降低运营门槛.加速企业向互联网技术和业务的双转型. 容器云将

平台架构设计及市场分析

平台架构设计及市场分析 基于Docker的CaaS容器云平台架构设计及市场分析 ---转载请注明出处,多谢!--- 1 项目背景---概述: “在移动互联网时代,企业需要寻找新的软件交付流程和IT架构,从而实现架构平台化,交付持续化,业务服务化. 容器将成为新一代应用的标准交付件,容器云将帮助企业用户构建研发流程和云平台基础设施.缩短应用向云端交付的周期,降低运营门槛.加速企业向互联网技术和业务的双转型. 容器云将对接各类代码托管库,实现自动化持续集成和DOCKER镜像构建,为新一代应用交付和开

【原创】基于Docker的CaaS容器云平台架构设计及市场分析

基于Docker的CaaS容器云平台架构设计及市场分析 ---转载请注明出处,多谢!--- 1 项目背景---概述: “在移动互联网时代,企业需要寻找新的软件交付流程和IT架构,从而实现架构平台化,交付持续化,业务服务化. 容器将成为新一代应用的标准交付件,容器云将帮助企业用户构建研发流程和云平台基础设施.缩短应用向云端交付的周期,降低运营门槛.加速企业向互联网技术和业务的双转型. 容器云将对接各类代码托管库,实现自动化持续集成和DOCKER镜像构建,为新一代应用交付和开发运维一体化奠定了基础.

0. 视频监控系统架构设计

0.视频监控系统架构设计 0.1.功能指标 (1)搭建共享文件夹 (2)实现Ubuntu的NAT上网和桥接上网 (3)搭建局域网 (4)搭建nfs服务器.tftp服务器 (5)将uboot.kernel.rootfs镜像文件下载到开发板中 (6)移植MPP,ORTP库和WiFi库 (7)编写应用程序实现RTP/RTCP传输视频流,实现有线传输和无线传输 0.2.架构搭建 该系统中主控 CPU 采用HI3518EV200作为核心,通过在HI3518E芯片上运行linux,构建嵌入式平台, 接收来自

【Liinux运维】企业集群平台架构设计与实现

LVS: LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一. haproxy: HAProxy是一个使用C语言编写的自由及开放源代码软件[1],其提供高可用性.负载均衡,以及基于TCP和HTTP的应用程序代理. HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理.HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连

基于JT/T808协议的车辆监控平台架构方案

技术支持QQ:78772895 1.车载终端协议网关采用mina/netty+spring架构,独立于其他应用,主要负责维护接入终端的tcp链接.上行以及下行消息的解码.编码.流量控制,黑白名单等安全控制,网关同时支持交通部JT/T808-2011.JT/T808-2013两个版本全部的808协议,网关应用提供二次开发接口,支持以插件形式协议扩展而不需要改动任何原有代码.接入网关采用json消息通过MQ消息队列与业务平台进行交互,支持ActiveMQ和RabbitMQ,能够无缝接入各种异构系统.

大数据平台架构设计探究

本文首发于 vivo互联网技术 微信公众号? 链接:https://mp.weixin.qq.com/s/npRRRDqNUHNjbybliFxOxA 作者:刘延江 近年来,随着IT技术与大数据.机器学习.算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘.识别.利用数据资产.如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,大数据和业务产生了巨大的鸿沟,这道鸿沟的出现导致企业在使用大数

大快大数据平台架构设计的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门.火爆!而这要得益于互联网信息技术的快速发展,网络改变世界.改变生活,大数据技术的应用让这样的改变更为深刻.关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度.可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题--数据安全问题就非常突出.解决数据安全问题,必然要回归到大数据开发所使用的框架!国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准和规