日均百万PV架构第四弹(分布式监控)

应该能更早出的第四弹,被虚拟机错误搅乱,迟迟没有上线,不得已将所有

节点用puppet完成上线,稍后整理第五弹(非你不可自动化)也即将上线 : )

zabbix简介
   zabbix是基于Php的开源监控软件
   基于多重数据采集 SNMP , Agent , Ping , Port
   多重告警通知 Mail , Jabber , SMS
   可以完成多种操作平台甚至于设备(route,switch,io)的监控工作
   易于定制重用(模板机制,函数),甚至于二次开发
   告警及时几乎无延迟
   它与cacti最大的不同之处在于它还提供一个分布式企业监控解决方案

zabbix组成
   zabbix-server 主要完成监控数据的存储与分析告警
   zabbix-proxy 分布式环境重要一环,提server完成的数据存储压力
   zabbix-agent 数据采集重要节点
   zabbix-web 数据展示与监控配置
   这些节点便完成了自动化监控中: 数据采集 , 数据存储 , 数据展示 , 分析告警

zabbix组件关系示意

规划如下

server.king.com 172.16.43.6  192.168.43.6

zabbix-server , zabbix-web , php , httpd , mysql

proxy.king.com 172.16.43.5

zabbix-proxy , mysql

slave1-4.king.com 172.16.43.1-4

zabbix-agent

配置过程如下

1 配置安装zabbix-server(172.16.43.6)

i)准备如下文件
zabbix-2.0.8-3.el6.x86_64.rpm
zabbix-get-2.0.8-3.el6.x86_64.rpm
zabbix-server-2.0.8-3.el6.x86_64.rpm
zabbix-server-mysql-2.0.8-3.el6.x86_64.rpm
zabbix-web-2.0.8-3.el6.noarch.rpm
zabbix-web-mysql-2.0.8-3.el6.noarch.rpm
mariadb-10.0.10-linux-x86_64.tar.gz(安装过程参见)
php-5.4.26.tar.bz2(安装过程参见)
httpd-2.2(系统自带)
#
#
ii)安装配置
yum -y install *.rpm
# 创建zabbix数据库及账号
mysql -e "create database zabbix;"
mysql -e "grant all on *.* to ‘zabbix‘@‘172.16.%.%‘ identified by ‘zabbix‘;"
mysql -e "flush privileges;"
# 导入zabbix web所需表
mysql -h172.16.43.6 -uzabbix -p -D zabbix < /usr/share/doc/zabbix-server-mysql-2.0.8/create/schema.sql
mysql -h172.16.43.6 -uzabbix -p -D zabbix < /usr/share/doc/zabbix-server-mysql-2.0.8/create/images.sql
mysql -h172.16.43.6 -uzabbix -p -D zabbix < /usr/share/doc/zabbix-server-mysql-2.0.8/create/data.sql
# 编辑配置文件,配置数据访问信息
vim /etc/zabbix/zabbix_server.conf
DBHost=172.16.43.6 (#81)
DBName=zabbix (#90)
DBUser=zabbix (#107)
DBPassword=zabbix (#115)
# 区别于mysql的二进制或编译安装
DBSocket=/tmp/mysql.sock  (#124)
# 启动zabbix,httpd服务
service zabbix-server start
service httpd start

# 查看10051端口是否开启

# 浏览器访问配置

http://172.16.43.6/zabbix

2 代理服务器安装配置(172.16.43.5)

i) 准备如下文件
zabbix-2.0.8-3.el6.x86_64.rpm
zabbix-proxy-2.0.8-3.el6.x86_64.rpm
zabbix-proxy-mysql-2.0.8-3.el6.x86_64.rpm
mariadb-10.0.10-linux-x86_64.tar.gz(安装过程参见)
#
#
ii) 安装配置
yum -y install *.rpm
# 创建zabbix数据库及账号
mysql -e "create database zabbixproxy;"
mysql -e "grant all on *.* to ‘zabbixproxy‘@‘172.16.%.%‘ identified by ‘zabbixproxy‘;"
mysql -e "flush privileges;"
# 导入zabbix web所需表
mysql -h172.16.43.5 -uroot -p -D zabbixproxy < /usr/share/doc/zabbix-proxy-mysql-2.0.8/create/schema.sql
mysql -h172.16.43.5 -uroot -p -D zabbixproxy < /usr/share/doc/zabbix-proxy-mysql-2.0.8/create/images.sql
mysql -h172.16.43.5 -uroot -p -D zabbixproxy < /usr/share/doc/zabbix-proxy-mysql-2.0.8/create/data.sql
# 编辑配置文件,配置数据访问信息
vim /etc/zabbix/zabbix_proxy.conf
Server=172.16.43.6 (#25)
Hostname=proxy.king.com (#44)
DBHost=172.16.43.5 (#119)
DBName=zabbixproxy (#130)
DBUser=zabbixproxy (#145)
DBPassword=zabbixproxy (#153)
# 启动zabbix-proxy服务
service zabbix-proxy start

# 查看10051端口是否开启

3 客户端配置(172.16.43.1 - 172.16.43.4)

i) 准备如下文件
zabbix-2.0.8-3.el6.x86_64.rpm
zabbix-agent-2.0.8-3.el6.x86_64.rpm
zabbix-sender-2.0.8-3.el6.x86_64.rpm
#
#
ii) 安装配置
yum -y install zabbix-2.0.8-3.el6.x86_64.rpm zabbix-agent-2.0.8-3.el6.x86_64.rpm zabbix-sender-2.0.8-3.el6.x86_64.rpm
# 编辑配置文件
vim /etc/zabbix/zabbix_agentd.conf
Server=172.16.43.5 (#86)
ServerActive=172.16.43.5 (#127)
Hostname=slave4.king.com (#138)
# 启动zabbix-agent服务
service zabbix-agent start

# 查看10050端口是否开启

4. 配置自动发现规则将客户端添加至监控体系

# 配置代理服务器

Administration -> DM -> Create Proxy (均指在WebGui下菜单栏路径)

# 配置自动发现规则

Configuration -> Discovery -> Create discovery rule ->

# 配置发现后的动作

Configuration -> Actions -> Create action -> Event source(Discovery) ->

# 配置完毕重启zabbix-proxy等待即可

5. 使用基本规则完成对cpu,io,net参数的监控

# zabbix内置了很多模板,我们可以使用来完成第5项的监控

# 改动刚才Actions除了发现主机将主机添加至监控列表外,额外定义link to templates即可

# 可以选择 Template OS Linux

# 这样发现之后的主机便可以完成对cpu,io,net的基本监控

# 最后我们还可以定义自动移除规则

Configuration -> Actions -> Create action -> Event source(Discovery) ->

6. 使用自定义函数完成对 nginx , varnish , mysql等服务的监控

# zabbix已经对mysql的自定义参数做出了范例,我们可以进行访问来完成对更多服务的监控
vim /etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf
#
# 监控nginx的连接活动数,访问数,处理个数
vim /etc/zabbix/zabbix_agentd.d/nginx.conf
UserParameter=Nginx.active[*], /usr/bin/curl -s "http://$1:$2/status" | awk ‘/^Active/ {print $NF}‘
UserParameter=Nginx.accepted[*], /usr/bin/curl -s "http://$1:$2/status" | awk ‘/^[ \t]+[0-9]+[ \t]+[0-9]+[ \t]+[0-9]+/ {print $$1}‘
UserParameter=Nginx.handled[*], /usr/bin/curl -s "http://$1:$2/status" | awk ‘/^[ \t]+[0-9]+[ \t]+[0-9]+[ \t]+[0-9]+/ {print $$2}‘
#
# 监控varnish的连接数,命中数,命中率
vim /etc/zabbix/zabbix_agentd.d/varnish.conf
UserParameter=varnish.conn,/usr/bin/varnishstat -1 | grep "client_conn" | awk ‘{print $2}‘
UserParameter=varnish.hit,/usr/bin/varnishstat -1 | grep "cache_hit" | awk ‘{print $2}‘
#

# 定义好后可以将自动key添加到item,

日均百万PV架构第四弹(分布式监控),布布扣,bubuko.com

时间： 2024-10-09 21:36:50

日均百万PV架构第四弹(分布式监控)的相关文章

日均百万PV架构第三弹(分布内容为王)

接续接上篇 缓存时代来临 为蓝本,继续改造我们的百万级站点架构,这次我们 拿之前存储静态内容的 nfs 开刀,众所周知 nfs 的多台集群节点下可能由于多重 原因(磁盘io , 网络带宽, 并发场景),不适合做文件共享系统的基础结构. 互联网站点中,存在大量图片或其他静态内容,并且这些内容一般在1M之内,对于 海量小文件,我们将采用mogilefs分布式文件系统来完成.其中概念自行google. # mogilefs分布式文件系统工作流程 架构已经愈发复杂,我们需要从新梳理一下.从下表中应该很容

日均百万PV架构第二弹(缓存时代来临)

上一弹中我们规划并搭建了基本的架构组成,当然此架构存在诸多问题,我们在接下来的章节中将不断 完善其功能特性,使之成为实至名归的百万PV架构站点   首先来对上一弹架构做基本的ab 并发100, 总量2000的测试,让我们对站点性能有所熟知,之后在之前的功能上我们添加多道 缓存对性能进行提升. (ps: 测试机器均为虚拟机环境 , 大约性能比主流服务器低 2.5 - 3.5 倍 , 测试参 数可做此对比评估) 按照规划,我们在salve3.king.com中添加两实例的varnish,在slave

百万PV架构搭建详解

百万PV架构 ●先了解一下什么是PVPV(page view)即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.网页浏览数是评价网站流量最常用的指标之一,简称为PV.监测网站PV的变化趋势和分析其变化原因是很多站长定期要做的工作. Page Views中的Page一般是指普通的html网页,也包含php.jsp等动态产生的html内容.来自浏览器的一次html内容请求会被看作一个PV,逐渐累计成为PV总数. ●环境及组件介绍 操作系统 IP地址 角色 web组件 Cent

Spring Cloud构建微服务架构（四）分布式配置中心

Spring Cloud Config为服务端和客户端提供了分布式系统的外部化配置支持.配置服务器为各应用的所有环境提供了一个中心化的外部配置.它实现了对服务端和客户端对Spring Environment和PropertySource抽象的映射,所以它除了适用于Spring构建的应用程序,也可以在任何其他语言运行的应用程序中使用.作为一个应用可以通过部署管道来进行测试或者投入生产,我们可以分别为这些环境创建配置,并且在需要迁移环境的时候获取对应环境的配置来运行. 配置服务器默认采用git来存储

百万PV架构中redis缓存服务群集部署

redis简介 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是redis会周

【超详细】在centos7上部署百万PV网站架构

PV(Page View,页面浏览量)即点击量,通常意义上说PV的多少是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.pv的解释是这样的:一个访问者在24小时(0点-23点)内到底看了网站的几个页面.需要注意的是:同一个人浏览网站的同一个页面,不重复计算pv量,点击100次页只算1次. 案例概述:本案例设计采用四层模型实现,主要分为前端反向代理层,web层,数据库缓存层和数据库层.前端反向代理词采用主备模式,web层采用群集模式,数据库缓存层采用主备模式,数据层采用主从模式这里我为了节省

CentOS 7 部署百万pv项目（高可用架构）

PV简介 PV(Page View,页面浏览量)即点击量,通常意义上说PV的多少是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.pv的解释是这样的:一个访问者在24小时(0点-23点)内到底看了网站的几个页面.需要注意的是:同一个人浏览网站的同一个页面,不重复计算pv量,点击100次页只算1次. 百万pv网站架构 本次实验设计采用四层模式实现,主要分为前端反向代理层.web层.数据库缓存层和数据库层.前端反向代理层采用主备模式,web层采用集群模式,数据库缓存层采用主备模式,数据库层采用

在CentOS7上部署百万PV网站架构

网站架构概述 网站架构是根据客户需求分析的结果,准确定位网站目标群体,设定网站的整体架构,规划.设计网站栏目及其内容,制定网站开发流程的顺序,最大限度地进行高效资源分配与管理的设计. 百万PV网站架构 案例设计 采用四层模式实现,主要分为前端反向代理层.Web层.数据库缓存层和数据库层.前端反向代理层层采用主备模式,Web层采用群集模式,数据库缓存层采用主备模式,数据库层采用主从模式. 为了更接近生产环境,采用两台实体机部署此次环境,将前端反向代理层.数据库缓存层.数据库层部署在实体机上,只将W

搭建百万PV网站架构

百万PV网站构架 1.实验概述 实验例设计采用四层模式实现,主要为前端反向代理层.Web层.数据库缓存层和数据库层.前端反向代理采用主备模式,Web层采用群集模式,数据库缓存层采用主备模式,数据库层采用主从模式. 2.百万PV网站建构实验拓补图 3.实验环境 主机名 IP地址 系统 用途 master 192.168.190.130 CentOS 7 前端反向代理主机.redis缓存主机.MySQL数据库 backup 192.168.190.128 CentOS 7 前端反向代理主机.redi