监控系统选型

一.背景 随着互联网的迅速发展,各个云商不断崛起,5年前上万规模的互联网公司可能不超过200家,最近几年来,这个数字在不断上涨,而且增长的速度惊人,尤其是虚拟化.容器技术的出现,十万级别的服务器规模应该也会慢慢普及.兵马未动,监控先行.监控的重要性不必多说,有认曾经将监控比喻成运维之眼,作为一名运维人员,如果没有监控,就相当于在"瞎忙活".但是对于一个强大的监控软件,到底需要哪些功能,要怎样展现才能更加让大众接受以及在实现上有哪些难点.....等等一系列问题,你是否考虑过呢? 二.分析

在高并发分布式环境下,对于访问量大的业务.接口等,需要及时的监控网站的健康程度,防止网站出现访问缓慢,甚至在特殊情况出现应用服务器雪崩等场景,在高并发场景下网站无法正常访问的情况,这些就会涉及到分布式监控系统,对于核心指标提前监控,防患于未然. 常见的开源监控系统 1.Zabbix Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台,也是目前国内互联网用户中使用最广的监控软件. 入门容易.上手简单.功能强大并且开源免费. Zabbix易于管理和配置,能生成比

一个稳定可靠的系统离不开监控,我们不仅监控服务是否存活,还要监控系统的运行状况.运行状况主要是对这些组件的核心metrics采集.抓取.分析和报警. 一.监控的数据 监控的日志数据一般包括: v APP.PC.Web 等系统运行Log:采用Flume-NG搜集 v 用户日志 : 采用Flume-NG搜集 v 后端Server(SOA)日志:采用Flume-NG搜集 v 大数据组件的Metrics:JMX和HTTP v MYSQL等数据库日志:CANAL 不同公司有不同的设计要求,这方面都不多说了

好朋友"雪糕"是前Baidu的高工,当年我们一起参与构建了一个庞大的运维自动化系统Noah.转载一些他的关于监控系统的感悟,我也深有同感. 我们在后来也用Python写了个简易版:51reboot/rebootMon-4 · GitHub 最近借着出去分享的机会,画了张简化的监控系统架构图: 写在前面 我从事运维自动化相关的工作,也已经8年了.当初刚开始做的时候,运维开发(devops)这词还不火.很少人知道.国内对运维的理解,也就是机房.服务器.苦逼的7*24小时值班.甚至当时还流传

目前视频监控系统已经完成从传统模拟视频监控到数字视频监控的全面升级,并逐渐发展到高清网络数字视频监控阶段,利用现有的办公网络.行业专网.光纤专网,甚至互联网和无线网络等基础架构,搭建以区域安防.生产监视等不同目的的高清网络视频监控系统.其中百万级像素网络摄像机的大规模普及,既解决了传统模拟视频监控系统清晰度不足的尴尬局面也提高了监控系统的便捷性和安全性. 高清网络视频监控系统优势 先进性:利用现有的综合布线网络传输图像,进行实时监控系统所需的前端设备少,连线简洁,后端仅需一套软件系统即可; 可靠

传统IT公司可能最核心的应用就是Web服务器和各种Web应用.得益于开源系统以及大数据理念的盛行,大大小小的公司逐渐形成了数据采集.存储.计算一体化的相似而又不同的架构.而在这些架构之上,我们可以丰富自己主营业务或者产品线的各种应用,或者说,技术团队有了这样的平台,我们可以更加方便的搭建各种应用程序.以前我们仅仅比较关注基础设置层面的监控(比如:服务器的load.内存使用.磁盘使用.CPU使用,像ganglia,zenoss就有这样的监控功能),在这些趋势的影响下,除了基础设施之外,我们不得不着

这一篇我们来聊聊监控系统的架构.欢迎大家加入运维开发讨论交流群来交流,群号 365534424,本文仅授权51reboot.51cto上发布. 架构这个词太大了,这里我们缩小一下,只来谈谈宏观的监控系统整体架构.在这个范围里面,web由于负责统一的系统管理和操作功能,缩减为一个模块. 最简单的架构如下图 这是监控系统第一层的架构.比照百度地图的话,我们可以认为这个是全国地图.最粗粒度的几个模块就是这三个.web.数据采集.数据处理. PUSH  PULL 我们先来关注数据采集模块到数据处理和报警

7月一个朋友让我帮忙做一个监控和运维自动化方面的交流,主要的目的是他们公司正准备对一些开源软件进行选型,用以开发自有的系统监控和运维系统. 所以开始就开始对自己09年开始的监控系统开发实施经验的整理,既然整理了本着Share的思路开个Blog,将这些经验分享给需要的人. 介绍一下自己,现在供职与华南一家中字头的软件公司,09年开始担任管控事业部的副总经理,主要的方向是IDC的集中监控系统.运维体系建立和自动化运维: 做过的项目主要是某大型能源企业网省市三级的IT集中运行监控系统.省级21个地市的

主题:一线互联网公司服务器监控系统架构 内容: 自动运维的一点体会 性能与可用性可扩展 功能可扩展 监控支撑业务扩展 主讲师:PC 老师 大学时期就负责学校官方网站的运维工作,实习期间加入豆瓣,有幸成为豆瓣 Top20 员工,从事 Python 开发及运维工作,后在 BAT 从事自动化运维,见证BAT 运维自动化从无到有.擅长系统底层.分布式系统开发,热衷于开源运动,给 memcached.[email protected] 等多个开源项目贡献过代码. 自动化运维的一点体会 不同公司的需求差异