高负载web架构(四)

f.在node9上部署好zabbix

监控:

最关键的工具:传感器:收集数据,检测数据

过程:

数据采集 --> 数据存储 --> 数据展示

报警:采集到的数据超出阈值

常见的实现监控SNMP:Simple Network Management Protocol 简单网络管理协议

有两部分组成:监控端(NMS)和被监控端(agent)

SNMP的工作模式:

NMS主动向agent采集数据

agent主动向NMS报告数据

NMS请求agent修改配置

SNMP的组件:三部分组成

MIB:management information base  管理信息库(。。。将每一被监控的id到对应名称的转换)MIB:所有可以被监控、被管理的对象的集合

每个Agent都有管理信息库

SMI:MIB表示符号

SNMP协议

SNMP是一个简单协议,这个协议只能发送get,比如get abc,对方收到get abc之后,知道对方要收集abc的指标,但是abc是什么?cpu利用率?内存空间?这就是MIB库中定义的,abc假如为cpu利用率,bcd为磁盘空间空闲等,get abc后,Agent就知道对方要收集什么数据了。而专用的agent端他们对协议本身实现了扩展,在协议本身就可以描述获取什么数据的,在zabbix 2.2之前协议使用的都是JSON格式的,JSON(类似轻量级的xml)

NMS可发起操作:

Get(获得数据), GetNext(获得下一个数据或下一批), Set(设定、修改配置), Trap(等待被监控端所发来的主动报告数据)

agent: Response  响应一个或多个值

SNMP工作于UDP协议

NMS: 161端口

agent: 162端口

SNMP本身没有提供数据存储、报警等的能力,所以需要借助第三方工具来实现数据存储展示和报警。

常见的报警: 邮件、短信

报警升级操作:在指定时间内如果报警依然存在,则需要实现升级。

定义在维护时间内不进行报警【服务器下线,更新版本】

监控功能的实现:

专用agent

ssh

SNMP

IPMI

智慧平台管理接口(Intelligent Platform Management Interface)原本是一种Intel架构的企业系统的周边设备所采用的一种工业标准。IPMI亦是一个开放的免费标准,使用者无需支付额外的费用即可使用此标准。

zabbix 是基于json格式,由于json有很多元数据,额外需要多消耗带宽,到zabbix 2.4之后,不在使用json格式来描述数据,它自己直接在协议中通过换行来定义协议是如何工作的。zabbix本身是php所实现的,可以通过API接口添加扩展自身业务的需求

MIB有mib视图是mib的子集,通常配置Agent时,用户可以将commit名与mib视图绑定,从而限制nms可以访问的mib对象。可以在定义Agent时,明确指定通过哪一个commit名             仅能获取那一部分mib库中的子集。包含关系通过mib树来实现,是一颗倒置的数,每一个被监控对象都有其唯一的OID。

Linux上snmp功能: net-snmp程序包

zabbix: 有专用agent的监控工具

监控主机:

Linux、Windows、FreeBSD

网络设备:

SNMP, SSH(并非所有)

数据存储:

cacti: rrd (round robin database 环状数据库,环满了,就覆盖数据)

zabbix: mysql, pgsql

可以在zabbix上定义一个触发器,对每一个被监控项定义一个或多个触发器,触发器中定义了阈值,一旦采集的数据超出了阈值或不符合阈值的指标,触发器被触发就会产生一个触发事件,这个事件可以被action所调用,action操作主要有两类:执行程序;发送报警;

如果监控节点和数据量太大,则需要部署分布式的zabbix监控,通过一个中心控制zabbix【不监控任何数据】代理到后端多个zabbix上。代理监控的数据都保存到自己独立的数据库中,在一个指定的时间段时把代理监控的数据全部复制到中心控制端的数据存储上,而后就可以把代理上的数据都删除,从而继续进行监控存储数据。

zabbix 2.4支持两种分布式机制:zabbix proxy; zabbix node。

zabbix架构中的组件:

监控端  zabbix-server:C语言

被监控端     OS:zabbix-agent: C语言

zabbix-web:GUI,用于实现zabbix设定和展示  php研发的

zabbix-proxy: 分布式监控环境中的专用组件

zabbix-database: MySQL, PGSQL(postgreSQL)、Oracle、DB2、SQLite

Zabbix架构

Zabbix Server:负责接收Agent发送的报告信息的核心组件,所有配置、统计数据及操作数据均由其组织进行;

Database Storage:专用于存储所有配置信息,以及由zabbix收集的数据;

Web interface:zabbix的GUI接口,通常与Server运行在同一台主机上;

Proxy:可选组件,常用于分布式监控环境中,代理Server收集部分被监控端的监控数据并同一发往Server端;

Agent:部署在被监控主机上,负责收集本地数据并发往Server端或Proxy端;

JMX:Zabbix监控Java应用

zabbix架构

Zabbix常用术语

主机(host):要监控的网络设备,可由IP或DNS名称指定;

主机组(host group):主机的逻辑容器,可以包含主机和模板,但同一个组内的主机和模板不能互相链接;主机组通常在给用户或用户指派监控权限时使用;

监控项(item):一个特定监控指标的相关的数据,这些数据来自于被监控对象;item是zabbix进行数据收集的核心,没有item,将没有数据;相对某监控对象来说,每个item都由“key”进行标识;

触发器(trigger):一个表达式,用于评估某监控对象的某特定item内所接收到的数据是否合理范围内,即阈值;接收到的数据量大于阈值时,触发器状态将从“OK”转变为“Problem”,当数据量再次回归到合理范围时,其状态将从“Problem”转换回“OK”;

事件(event):即发生的一个值得关注的事情,例如触发器的状态转变,新的Agent或重新上线的Agent的自动注册等;

动作(action):指对于特定事件事先定义的处理方法,通过包含操作(如发送通知)和条件(何时执行操作);

报警升级(escalation):发送警报或执行远程命令的自定义方案,如每隔5分钟发送一次警报,共发送5次等;

媒介(media):发送通知的手段或通道,如Email,Jabber或SMS等;

通知(notification):通过选定的媒介向用户发送的有关某事件的信息;

远程命令(remote command):预定义的命令,可在被监控主机处于某特定条件下时自动执行;

模板(template):用于快速定义被监控主机的预设条目集合,通常包含了item,trigger,graph,screen,application以及low-level discovery rule;模板可以直接连接至单个主机;

应用(application):一组item的集合;

web场景(web scennario):用于检测web站点可用性的一个或多个HTTP请求;

前端(frontend):Zabbix的web接口;

Zabbix的逻辑架构

Zabbix启动后,Zabbix Server Processes

watchdog 【监控每一个进程是否处于正常运行当中】

housekeeper 【管家,监控数据是保存到数据库上的,定义item时需要说明数据的保存时间,不在指定范围内监控到的数据都会被清理】

poller【收集数据的】

alerter 【执行警报操作的】

httppoller【专用web的收集数据】

discoverer 【发现机制,一旦对应的主机启动了就会加入监控列表中,非常消耗资源】

escalator 【报警升级】

timer【计时器】

nodewatcher 【监控各节点的,每一个被监控主机都不在线时,这些主机上的item都不能监控数据了】

db_data_syncer 【数据库的数据同步器,在分布式场景中使用】

db_config_syncer 【数据库的配置同步器,在分布式场景中使用】

pinger 【通过ping操作探测主机是否在线】

zabbix产生的数据主要由四部分组成:

配置数据:比较小

历史数据:50Bytes

历史趋势数据: 128Bytes

事件数据: 130Bytes

Install Zabbix

1.Create zabbixuser

2.Untar sourcetarball

3.Create zabbixdatabase and populate it

A mysql (Postgresql,....) installation isneeded...

4. ./configure ;make ; make install;

Some packages may be missing..

Does not take too long ( < 10min )

5.Createconfiguration file for zabbix server

(misc/conf/zabbix_server.conf)

6.Start the zabbixserver

通过服务器端的web接口来完成zabbix server的初始化,不使用web接口则以下操作完成即可。

Install the Zabbixweb interface

1.Apache/PHP isrequired

Copy PHP files to $DocumentRoot/zabbix

http://localhost/zabbix

2.Change php.ini

Default settings are by far not enough!

date.timezone = Asia/Shanghai

3.Restart webserver

4.Finishconfiguration

5.Login withadmin/zabbix

登录默认账号和密码为admin,zabbix

1.安装httpd和php,mysql-server,zabbix-2.4.0-1.el6.x86_64.rpm zabbix-sender-2.4.0-1.el6.x86_64.rpmzabbix-agent-2.4.0-1.el6.x86_64.rpm zabbix-server-2.4.0-1.el6.x86_64.rpmzabbix-get-2.4.0-1.el6.x86_64.rpm zabbix-server-mysql-2.4.0-1.el6.x86_64.rpmzabbix-web-2.4.0-1.el6.noarch.rpm zabbix-web-mysql-2.4.0-1.el6.noarch.rpm

,授权用户给zabbix使用

mysql> grantall on zabbix.* to ‘zabxuser‘@‘192.168.%.%‘ identified by ‘zabxpass‘;

mysql> grantall on zabbix.* to ‘zabxuser‘@‘localhost‘ identified by ‘zabxpass‘;

2.在启动zabbix web之前需要先导入数据到数据库中,对应数据在

# ls/usr/share/doc/zabbix-server-mysql-2.4.0/

create  upgrades 有MySQL的模板脚本

# ls/usr/share/doc/zabbix-server-mysql-2.4.0/create/  创建数据库

data.sql  images.sql schema.sql 三个脚本都需要导入数据库中,如果是proxy端,则只需要导入一个,他们执行次序和名字次序是相反的,先导入schema.sql、再导入images.sql、最后导入data.sql

# mysql zabbix </usr/share/doc/zabbix-server-mysql-2.4.0/create/schema.sql 。。。

3. 配置zabbix的主配置文件,指定MySQL所在的位置等

# ListenPort=10051  服务器上需要监听的端口

# DBHost=localhost  数据库服务器节点,如果是本机建议使用localhost,与MySQL通信时会更快

DBName=zabbix

# DBSchema=使用的为mysql,不用指定

DBUser=zabbix

DBPassword=xxx

4. Change php.ini

Default settings are by far not enough!

date.timezone = Asia/Shanghai

#servicezabbix-server start

监控客户端,客户端需要安装:zabbix-2.4.0-1.el6.x86_64.rpm net-snmp zabbix-agent-2.4.0-1.el6.x86_64.rpmzabbix-sender-2.4.0-1.el6.x86_64.rpm

mysql> selectkey_,type from items;

+-------------------------------------------+------+

| key_                                      | type |

+-------------------------------------------+------+

| proc.num[]                                |    0 |

|system.cpu.load[percpu,avg1]             |    0 |为0是zabbix Agent所提供的

|proc.num[,,run]                          |    0 |

|system.swap.size[,free]                  |    0 |

|system.users.num                         |    0 |

|vfs.file.cksum[/etc/passwd]              |    0 |

| agent.ping                                |    0 |

|system.uptime                            |    0 |

| vm.memory.size[total]                     |    0 |

。。。

zabbix_get -s127.0.0.1 -p 10050 -k "system.cpu.load[all,avg1]"

向某一zabbix agent获取key值

媒介类型(Media type)

在zabbix中,媒介指发送通知信息的通道,其通常有以下几种类型

E-mail:电子邮件,即通知邮件的方式传送通知信息;

SMS:手机短信,即通过连接至zabbix服务器GSM Modem发送通知;

Jabber:jabber消息;Jabber是一个开放的、基于XML的协议,能够实现基于Internet或LAN的即时通讯服务;

自定义的通知脚本:以上方式不能满足需求时,zabbix可以调用位于其配置文件“AlertScriptsPath”变量所定义的脚本查找目录中的脚本来完成通知功能;

类别为“Send Message”时的相关属性:

Send to User groups:给选定组中的所有用户发送通知;

Send to users: 给选定的用户发送通知;

Send only to:发送通知时所使用的媒介,all为所有媒介

Default Message:如果启用,则发送默认消息;

Subject:消息的自定义主体,可以包含宏;

Message:要发送的消息内容,可以使用宏;

时间: 2024-12-21 23:55:57

高负载web架构(四)的相关文章

高负载web架构(一)

架构图 需求分析1.haproxy用来做多个web服务的前端反代,由于haproxy处于最前端而且是向外提供服务,如果出现宕机时那么整个服务都不可用,那么需要给haproxy做高可用,这里使用比较轻量级的keepalived作为haproxy的高可用:2.使用varnish作为整个服务的第二层,我们知道varnish的并发能力并不是很优秀,这里varnish既提供了缓存功能又提供了反向代理的功能,此处用2台varnish来做高可用,并且实现后端内容的动静分离,动态内容都分发node4.node5

高负载web架构(三)

d.在node4上安装apache+tomcat 安装jdk1.7.0_67 需要依赖JDK才能运行 jdk1.7.0_67和apache-tomcat-7.0.55.tar.gz存在兼容性问题   apache-tomcat-7.0.42.tar.gz #rpm -ivh jdk-7u67-linux-x64.rpm # tar xf apache-tomcat-7.0.55.tar.gz-C /usr/local/ 导出命令 # cat/etc/profile.d/java.sh expor

高负载web架构(二)

b.在node6上安装nginx作为静态内容处理 编译安装nginx # tar xfnginx-1.6.1.tar.gz -C /usr/local/ 首先添加用户nginx,实现以之运行nginx服务进程: # groupadd -rnginx # useradd -r -gnginx nginx 安装一些依赖的包 # yum install -ygcc gcc-c++ pcre-devel openssl-devel 接着开始编译和安装: # ./configure--prefix=/us

nginx+keepalived高可用web架构

1.下载所需的软件包 (1).keepalived软件包     keepalived-1.1.20.tar.gz (2).nginx软件包     nginx-1.1.6.tar.gz (3).nginx模块软件包     libunwind-0.99.tar.gz     agentzh-encrypted-session-nginx-module-v0.02-0-gc752861.tar.gz     chunkin-nginx-module-0.23rc2.tar.gz     goog

实战Nginx负载均衡高冗余高可用WEB架构

最近公司主力网站之一改版完成终于上线了,牵扯了我大半年的时间,现在终于有时间坐下来写点东西,总结沉淀一下自己的技术心得.此次,根据服务器的数量和质量,我采用负载均衡高冗余的架构,考虑单点故障,WEB也抛弃了apache,而使用的是nginx,数据库还是使用主.从架构.该架构目前承载80W的PV,没有大的压力. 这里简单谈一下web的选择疑问,是使用nginx还是apache,很多朋友在规划网站的时候都出现难以选择的问题,甚至有朋友在建设初用apache后期改成nginx.接下来我说一下我的规划选

大型高并发高负载web应用系统架构-数据库架构策略

转自CSDN 在WEB网站的规模从小到大不断扩展的过程中,数据库的访问压力也不断的增加,数据库的架构也需要动态扩展,在数据库的扩展过程基本上包含如下几步,每一个扩展都可以比上一步骤的部署方式的性能得到数量级的提升. 1.WEB应用和数据库部署在同一台服务器上 一般的小规模的网站采用这种方式,用户量.数据量.并发访问量都比较小,否则单台服务器无法承受,并且在遇到性能瓶颈的时候升级硬件所需要的费用非常高昂,在访问量增加的时候,应用程序和数据库都来抢占有限的系统资源,很快就又会遇到性能问题. 2.WE

PHP高并发高负载系统架构

1.为什么要进行高并发和高负载的研究 1.1.产品发展的需要 1.2.公司发展的需要 1.3.当前形式决定的 2.高并发和高负载的约束条件 2.1.硬件 2.2.部署 2.3.操作系统 2.4.Web 服务器 2.5.PHP 2.6.MySQL 2.7.测试 3.解决之道——硬件篇 处理能力的提升:部署多颗CPU,选择多核心.具备更高运算频率.更大高速缓存的CPU: 处理能力的提升最直接的反应在于Web请求的处理效率和PHP程序的执行效率. 内存带宽与容量:更大的内存带宽和容量: 内存带宽与容量

大型高并发高负载web应用系统架构

在WEB网站的规模从小到大不断扩展的过程中,用户访问量和并发量不断增加. 构建大型的商业网站绝对不可能像构建普通的小型网站一样一蹴而就,需要从严格的软件工程管理的角度进行认真规划,有步骤有逻辑地进行开发. 对于大型网站来说,所采用的技术涉及面极其广泛,从硬件到软件.编程语言.数据库.Web服务器.防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能比拟的. 那如何优化程序和网站进行部署呢? 以下是我的几点个人看法(个人用NHibernater + MySQL或MSSQL) 一

Haproxy+Keepalived(双机热备)搭建高可用web架构

1.目的搭建web高可用架构,用haproxy作为前段负载均衡分摊后端web服务器压力,Keepalived保证haproxy的存活(双机热备:一台haproxy挂了,自动切换到另外一台haproxy上)2.环境(系统均为centos7,防火墙与selinux都关闭)192.168.0.100:web1(端口7000).web2(端口8000)192.168.0.101:haproxy1.keepalived(MASTER)192.168.0.102:haproxy2.keepalived(BA