消息队列feed程序实现中的问题

因项目需要, 构建了很多消息队列还排队处理任务, 相应的每个队列也配有一个feed程序来feed消息

一开始很简单地这样做:

        while (true){
            $msg = $query->bPop();
            //消息处理程序
        }

这种方式下feed程序一开始运行就永远不会退出,  乍看没有问题, 但存在一个问题, 一旦消息处理程序发生变化, 如果不手动kill进程后重启进程, 改动就不会被加载.

另: 据说PHP进程运行过久就会产生垃圾难以回收, 需要终止进程来回收进程垃圾.

所以我讲feed程序都改成以下方式:

        set_time_limit ( 0 );
        $startTime = time ();
        $maxDealNum = 1000; // 最大处理次数
        $maxLifeTime = 12 * 3600; // 最大生命周期时长
        $dealedNum = 0;
        while ( true ) {
            $this->load->model ( ‘item/category_frequently‘ )->bDealMsg ();
            $dealedNum ++;
            //超过最大处理次数或处理时长时程序退出, 以守护进程重新启动的方式清理内存垃圾
            if ($dealedNum > $maxDealNum || (time () - $startTime) > $maxLifeTime) {
                return;
            }
        }

每处理完一个消息后计数, 以及记录feed程序开始执行时间, 如果2者都超过某一个阙值就让程序退出, 这样可以避免单一的长时间饥饿或执行频繁情景下进程不会退出. 而消息处理程序发生改变的时候也可以在可预期时间内被重新加载

时间: 2024-11-04 20:26:19

消息队列feed程序实现中的问题的相关文章

单点登录与消息队列以及在J2EE中的实现方案

前言 这次为大家简单介绍两个在WEB开发中经常使用的概念——单点登录和消息队列以及具体到J2EE中的一些实现方案.本文原创性的工作比较少,主要是一些总结概括和自己的理解. 单点登录SSO SSO的业务场景 所谓单点登录就是在一个站点登录之后可以授信给其他站点,这样就可以做到一次登录,到处操作.单点登录的实质就是安全上下文(Security Context)或凭证(Credential)在多个应用系统之间的传递或共享. 大部分的网站采用Cookie作为登录的一种简单实现方案,在同一个一级域名下面,

信号量,消息队列,共享内存中ket_t键值的生成函数ftok。

在System V中,我们经常用用key_t的值来创建或者打开信号量,共享内存和消息队列.这个在IPC的环境中十分的重要,比如说,服务器创建了一个消息队列,等待 客户机发送请求.那么如何创建或者打开已有的消息队列呢?一般而言,我们对于服务器使用的路径和项目id(proj_id)是已知的,所以客户机可以获取 相同的key来打开 消息队列并进行操作.下面就是ftok的使用原型: ftok函数   函数ftok把一个已存在的路径名和一个整数标识得转换成一个key_t值,称为IPC键: # includ

MQ消息队列在软件开发中的作中

MQ的作用是非常之大的. 1.解耦. 当一个大型的系统.比如,商城系统.包括以下的功能: 1.发邮件 2.发短信 3.抽奖 4.搜索等 如果你都用一台服务器,做到一个程序里,代码会非常庞大,不利于维护.同时一台服务器的机器性能也跟不上. 我们用MQ来做,它们之间的通信,直接用MQ. 2.销峰. 假如你的秒杀活动,同时有一大批人在抢购,这个时候,如果你每个人都等待走完整的流程,那么系统会非常的延迟.我们也没有办法保证一定是按顺序执行的.有可能会多买,两个用户同时中奖等,数据不完.如果我们可以把用户

【事件驱动模型】应用消息队列和状态机改进程序流程

前言 我相信有很多像我一样的小菜朋友在纠结,写程序就像记一本流水账,偶尔用点基础数据结构改进一下程序效率,这完全看不到技术的存在,看不到成长,在下不才,愿做一个敢出头的小菜,分享一下我的体悟,欢迎各路大神来指点.敲打. 正文:我观象山多妩媚 象山本无奇,多情观之现妩媚. 对我们的程序也是这样的,同样的功能要求,大牛看来万种风情,随手拿下:小菜看来欲拒还迎, 直看得心花怒放,却总不得美人心. 比喻不是很恰当,但感觉能说明一些问题:拿到功能需求以后的建模和体系结构的认识决定了小菜无力感,这里和大家讨

消息队列

1.为什么需要消息队列?当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异. 举个例子:业务系统触发短信发送申请,但短信发送模块速度跟不上,需要将来不及处理的消息暂存一下,缓冲压力. 再举个例子:调远程系统下订单成本较高,且因为网络等因素,不稳定,攒一批一起发送. 再举个栗子,交互模块5:00到24:00和电商系统联通,和内部ERP断开.1:00到4:00和ERP联通,和电商系统断开. 再举个例子,服务员点菜快,厨师做菜慢. 再举个例子,到

大型网站架构系列:消息队列

出处:ITFLY8 网址:http://www.cnblogs.com/itfly8/p/5156155.html 一.消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构.是大型分布式系统不可缺少的中间件. 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等. 二.消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景.异

进程间通信(6) - 消息队列posix

1.前言 本篇文章的所有例子,基于RHEL6.5平台(linux kernal: 2.6.32-431.el6.i686). 2.介绍 消息队列是先进先出FIFO原则. 消息队列就是一个消息的链表.可以把消息看作一个记录,具有特定的格式以及特定的优先级.对消息队列有写权限的进程可以向其中按照一定的规则添加新消息:对消息队列有读权限的进程则可以从消息队列中读走消息.消息队列是随内核持续的. 目前主要有两种类型的消息队列:POSIX消息队列以及System V消息队列,System V消息队列目前被

8.windows消息机制(三)消息队列

1.消息队列 消息队列用于存放消息的一个队列,消息在队列中先入先出.所有窗口程序都具有消息队列,程序可以从队列中获取消息. 2.消息队列的类型 系统消息队列 - 由系统维护的消息队列,存放系统产生的消息,例如鼠标.键盘等. 程序消息队列 - 属于每一个应用程序(线程)的消息队列,由应用程序(线程)维护. 3.消息队列的关系 当鼠标.键盘产生消息时,会将消息存放到系统消息队列. 系统会根据存放的消息,找到对应窗口的消息队列.

Linux环境编程之IPC进程间通信(五):Posix消息队列1

对于管道和FIFO来说,必须应该先有读取者存在,否则先有写入者是没有意义的.而消息队列则不同,它是一个消息链表,有足够写权限的线程可往别的队列中放置消息,有足够读权限的线程可从队列中取走消息.每个消息都是一个记录,它由发送者赋予一个优先级.在某个进程往一个队列写入消息之前,并不需要另外某个进程在该队列上等待消息的到达.消息队列是随内核的持续性,一个进程可以往某个队列写入一些消息,然后终止,再让另外一个进程在以后的某个时刻读出这些消息.这跟管道和FIFO不一样,当一个管道或FIFO的最后一次关闭时