利用 Gearman 实现系统错误报警功能

Gearman 是什么?

Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。

Gearman 工作原理

  • Client(客户端):创建一个Job。
  • Server(服务):找到合适的Worker,把 Job 交给 Worker。
  • Worker(工人):执行Job。

Web 中常用的场景。

  • 裁剪图片,生成缩略图。
  • 文件分发(针对用户上传的文件,进行多台服务器分发)。
  • 视频转码(对上传的视频,进行转码存储)。
  • 系统报警(当系统出现问题的时候,第一时间通知相关人)。

这篇文章主要讲解 系统报警 场景

在开发系统的过程中,往往程序会出现这样,那样的问题。

我们要第一时间获取错误问题,通知短信,邮件通知给相关人员。

因为,短信、邮件的发送比较耗时,并发量大的情况下,会出现延时现象。

所以,使用 Gearman 实现短信,邮件的异步发送。

Gearman 安装的两种方式

  • 方式一:官网推荐安装方法

官网地址:http://gearman.org/getting-st...

yum install gearmand
  • 方式二:自定义安装

    • 安装libevent:

      wget get https://github.com/libevent/libevent/releases/download/release-2.0.22-stable/libevent-2.0.22-stable.tar.gz
      
      tar zxvf libevent-2.0.22-stable.tar.gz
      
      ./configure --prefix=/usr
      
      make && make install
      • 安装Gearman server and library:

        wget get https://launchpad.net/gearmand/1.2/1.1.12/+download/gearmand-1.1.12.tar.gz
        
        tar zxvf gearmand-1.1.12.tar.gz
        
        cd gearmand-1.1.12
        
        ./configure
        
        如果报错:configure: error: could not find boost
        
        yum install -y boost boost-devel
        
        如果报错:configure: error: could not find gperf
        
        yum install gperf
        
        如果报错:configure: error: Unable to find libuuid
        
        yum install libuuid-devel
        
        make && make install
        
        安装成功后,执行 gearmand -V 查询版本号。
        
        gearmand -d 开启服务。
        
        温馨提示:
        仅供参考,遇到不可预测的问题,请进行Google。
        
      • 安装Gearman PHP extension:
        wget get http://pecl.php.net/get/gearman-1.1.2.tgz
        
        tar zxvf gearman-1.1.2.tgz
        
        cd gearman-1.1.2
        
        /usr/local/php/bin/phpize
        
        ./configure --with-php-config=/usr/local/php/bin/php-config --with-gearman
        
        如果报错:configure: error: Please install libgearman
        
        yum install -y libgearman-devel.x86_64

案例(系统报警)

  • 开启服务
gearmand -d
  • 执行Worker
php worker.php
  • client.php
<?php
//设置错误处理器
set_error_handler(‘errorHandler‘);

//在脚本结束时运行的函数
register_shutdown_function(‘fatalErrorHandler‘);

//这里发生一个警告错误,被errorHandler 捕获
$a = $b;

//发生致命错误,脚本停止运行触发 fatalErrorHandler
$c = new Test();

/**
 * 错误处理
 * @param int    $err_no         错误代码
 * @param string $err_msg        错误信息
 * @param string $err_file       错误文件
 * @param int    $err_line       错误行号
 * @param int    $is_fatal_error 是否为致命错误
 * @return string
 */
function errorHandler($err_no = 0, $err_msg = ‘‘, $err_file = ‘‘, $err_line = 0, $is_fatal_error = 0)
{
    $strEmailInfo = ($is_fatal_error == 1) ? "【致命错误】\n" : "【警告错误】\n";

    $strEmailInfo .= "时间:".date(‘Y-m-d H:i:s‘)."\n";
    $strEmailInfo .= "错误代码:{$err_no}\n";
    $strEmailInfo .= "错误信息:{$err_msg}\n";
    $strEmailInfo .= "错误文件:{$err_file}\n";
    $strEmailInfo .= "错误行号:{$err_line}\n";

    $strSmsInfo = "[致命错误]错误代码:{$err_no},错误信息:{$err_msg},错误文件:{$err_file}";

    $client= new GearmanClient();
    $client->addServer("127.0.0.1", 4730);
    $client->doNormal("send_mail", $strEmailInfo);
    if ($is_fatal_error == 1) {
        $client->doNormal("send_sms", $strSmsInfo);
    }
}

/**
 * 捕捉致命错误
 * @return string
 */
function fatalErrorHandler() {
    $e = error_get_last();
    switch ($e[‘type‘]) {
        case 1:
            errorHandler($e[‘type‘], $e[‘message‘], $e[‘file‘], $e[‘line‘], 1);
            break;
    }
}
  • worker.php
<?php
  $worker = new GearmanWorker();
  $worker->addServer("127.0.0.1", 4730);
  $worker->addFunction("send_mail", "doSendMail");
  $worker->addFunction("send_sms", "doSendSms");
  while ($worker->work());

  /**
   * 执行发送邮件的Job
   * @param $job
   * @return string
   */
  function doSendMail($job)
  {
    $strEmailInfo = $job->workload();

    /**
     * 在这个方法里完善发送邮件的操作
     * ......
     * Demo是把信息写入到文件中
     */

    return file_put_contents("gearman.txt", $strEmailInfo."\n", FILE_APPEND);
  }

  /**
   * 执行发送短信的Job
   * @param $job
   * @return string
   */
  function doSendSms($job)
  {
    $strSmsInfo = $job->workload();

    /**
     * 在这个方法里完善发送短信的操作
     * ......
     * Demo是把信息写入到文件中
     */

    return file_put_contents("gearman.txt", $strSmsInfo."\n", FILE_APPEND);
  }
  • gearman.txt

【警告错误】
时间:2016-09-22 23:15:10
错误代码:8
错误信息:Undefined variable: b
错误文件:/home/www/mi/gearman/client.php
错误行号:9

【致命错误】
时间:2016-09-22 23:15:10
错误代码:1
错误信息:Class ‘Test‘ not found
错误文件:/home/www/mi/gearman/client.php
错误行号:12

[致命错误]错误代码:1,错误信息:Class ‘Test‘ not found,错误文件:/home/www/mi/gearman/client.php

温馨提示

  • 也可以用 Redis Queue 来实现上面的需求。
  • 也可以用 Swoole 来实现上面的需求。
  • 也可以了解下 Gearman 与 Swoole 的区别。
时间: 2024-11-08 23:41:14

利用 Gearman 实现系统错误报警功能的相关文章

利用Gearman实现并发查询(Multi-Query)

这个样例是想从数据库查询出几个结果集,一般的做法是,一个接一个的发送查询,然后汇总结果进行输出. 以下我们利用Gearman的gearman_client_run_tasks实现并发的查询,gearman_client_run_tasks接口能够一次性的提交多个任务,然后在callback函数中异步的处理结果. PHP的示比例如以下: The client: <?php $client = new GearmanClient(); $client->addServer(); // initia

[转]PHP利用Gearman来处理并行多进程问题

From : http://www.yuansir-web.com/2013/11/25/php%E5%88%A9%E7%94%A8gearman%E6%9D%A5%E5%A4%84%E7%90%86%E5%B9%B6%E8%A1%8C%E5%A4%9A%E8%BF%9B%E7%A8%8B%E9%97%AE%E9%A2%98/ 最近工作中开发的一套系统,其中很多都是需要操作多服务器的,比如需要同时发布数据到2000个服务器上,或者同时向2000个服务器拉取数据.刚开始的解决方案就是单纯用PHP的

利用gearman实现redis缓存mysql

环境: centos6.5 mysql5.6 gearman简介: Gearman是一个支持分布式的任务分发框架.设计简洁,获得了非常广泛的支持.一个典型的Gearman应用包括以下这些部分: Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台 Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运

zabbix利用微信企业号实现报警功能

注册微信企业账号比较简单,不进行讲解 1,通讯录添加企业成员 我们要提前把成员信息添加进组织部门,必填项+手机号或者微信号,这样别人扫描二维码的时候才能成功关注企业号. 注意:这里要记住一个值,部门ID 2,应用中心创建应用 我们要在这里创建应用,因为要通过应用发送消息给部门成员. 注意:这里要记住一个值,应用ID 3,给部门设置管理员 设置--->功能设置---->权限管理---->新建管理组管理员必须事先已经关注了企业号 注意:管理组权限设置很重要,不设置后面会出问题! 4,微信企业

gearman安装

官网:  http://gearman.org/ 一篇文章: 利用Gearman实现异步任务处理 一.问题分析 问题:在性能测试过程中,发现用户管理平台在进行图片上传时,性能不佳. 分析:经过代码分析得知,主要的瓶颈是图片上传后,还需要根据图片组件所在页面模块容器进行一系列处理:图片生成缩略图,裁剪图片,加水印等,这些处理在高并发的情况下,会消耗大量cpu资源,导致系统响应速度非常慢. 旧的处理方式: 次控端调用前台接口进行上传图片后,前台程序先上传图片,接着,进行图片压缩等处理,然后再返回结果

在yii中使用gearman

最近项目需要将利用gearman进行任务调度,目前所用框架为yii,在部署好gearman后,试图在yii中调用gearman,一直报错: 提示reverse函数没有定义,明明已经定义了啊!可能是当时脑子晕了,各种改,各种错.今天一看,将函数的private属性去掉,便可以正常运行了,只能说...

redis理论知识

Redis理论 Redis 和memcached 基本类似,只是redis可以把数据同步到磁盘 Redis是一个开源,内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理. 云数据库RDS 是一个稳定可靠.可弹性伸缩的在线数据服务库服务.基于飞天分布式系统和全SSD盘高性能存储,支持Mysql sql server PPAS(兼容ORICAL) redis 是一个高性能的 key-value 数据库. redis 的出现,很大程度补偿了memcached 这类 key:value 存储

Redis和MySQL的结合方案

方案由从易到难的顺序,但不管哪种方法.都须要保证的是Reids和MySQL的数据一致性. 方案一: 程序同一时候写Redis和MySQL 读Redis 方案二: 程序写MySQL, 使用Gearman调用MySQL的UDF.完毕对Redis的写 读Redis 參考 <利用Gearman进行Mysql到Redis的复制> 方案三: 程序写MySQL, 解析binlog.数据放入队列写Redis 读Redis 參考 <利用Canal完毕Mysql数据同步Redis> 方案四: 程序写R

利用系统错误日志监控磁盘健康状况

一.故障现象 这个星期出现了两块磁盘不能读写,后面通过系统日志查看,关键字"EXT4-fs error对应某个磁盘",因此利用zabbix,把系统日志抓取出来,作告警! 二.步聚 1.机器太多,用到ansible的playbook,进行一次性推送 2.定义key值,在/etc/zabbix/zabbix_agentd.conf.d/agentd.conf ###kernel_error of disk  from /var/log/messsage UserParameter=disk