PHP多进程处理并行处理任务实例(转,备用)

本文目的
本文通过例子讲解linux环境下,使用php进行并发任务处理,以及如何通过pipe用于进程间的数据同步。
PHP多进程
通过pcntl_XXX系列函数使用多进程功能。注意:pcntl_XXX只能运行在php CLI(命令行)环境下,在web服务器环境下,会出现无法预期的结果,请慎用!
管道PIPE
管道用于承载简称之间的通讯数据。为了方便理解,可以将管道比作文件,进程A将数据写到管道P中,然后进程B从管道P中读取数据。php提供的管道操作API与操作文件的API基本一样,除了创建管道使用posix_mkfifo函数,读写等操作均与文件操作函数相同。当然,你可以直接使用文件模拟管道,但是那样无法使用管道的特性了。
僵尸进程
子进程结束时,父进程没有等待它(通过调用wait或者waitpid),那么子进程结束后不会释放所有资源(浪费呀!),这种进程被称为僵尸进程,他里面存放了子进程结束时的相关数据,如果僵尸进程过多,会占用大量系统资源(如内存),影响机器性能。

代码

<?php

define("PC", 10); // 进程个数
define("TO", 4); // 超时
define("TS", 4); // 事件跨度,用于模拟任务延时

if (!function_exists(‘pcntl_fork‘)) {
    die("pcntl_fork not existing");
}

// 创建管道
$sPipePath = "my_pipe.".posix_getpid();
if (!posix_mkfifo($sPipePath, 0666)) {
    die("create pipe {$sPipePath} error");
}

// 模拟任务并发
for ($i = 0; $i < PC; ++$i ) {
    $nPID = pcntl_fork(); // 创建子进程
    if ($nPID == 0) {
        // 子进程过程
        sleep(rand(1,TS)); // 模拟延时
        $oW = fopen($sPipePath, ‘w‘);
        fwrite($oW, $i."\n"); // 当前任务处理完比,在管道中写入数据
        fclose($oW);
        exit(0); // 执行完后退出
    }
}

// 父进程
$oR = fopen($sPipePath, ‘r‘);
stream_set_blocking($oR, FALSE); // 将管道设置为非堵塞,用于适应超时机制
$sData = ‘‘; // 存放管道中的数据
$nLine = 0;
$nStart = time();
while ($nLine < PC && (time() - $nStart) < TO) {
    $sLine = fread($oR, 1024);
    if (empty($sLine)) {
        continue;
    }   

    echo "current line: {$sLine}\n";
    // 用于分析多少任务处理完毕,通过‘\n’标识
    foreach(str_split($sLine) as $c) {
        if ("\n" == $c) {
            ++$nLine;
        }
    }
    $sData .= $sLine;
}
echo "Final line count:$nLine\n";
fclose($oR);
unlink($sPipePath); // 删除管道,已经没有作用了

// 等待子进程执行完毕,避免僵尸进程
$n = 0;
while ($n < PC) {
    $nStatus = -1;
    $nPID = pcntl_wait($nStatus, WNOHANG);
    if ($nPID > 0) {
        echo "{$nPID} exit\n";
        ++$n;
    }
}

// 验证结果,主要查看结果中是否每个任务都完成了
$arr2 = array();
foreach(explode("\n", $sData) as $i) {// trim all
    if (is_numeric(trim($i))) {
        array_push($arr2, $i);
    }
}
$arr2 = array_unique($arr2);
if ( count($arr2) == PC) {
    echo ‘ok‘;
} else {
    echo  "error count " . count($arr2) . "\n";
    var_dump($arr2);
}
# time php fork.php
current line: 1

current line: 3

current line: 4

current line: 5

current line: 8

Final line count:5
62732 exit
62734 exit
62735 exit
62736 exit
62739 exit
62740 exit
62731 exit
62737 exit
62738 exit
62733 exit
error count 5
array(5) {
  [0]=>
  string(1) "1"
  [1]=>
  string(1) "3"
  [2]=>
  string(1) "4"
  [3]=>
  string(1) "5"
  [4]=>
  string(1) "8"
}

real    0m4.199s
user    0m1.840s
sys    0m1.554s

原文地址:https://www.cnblogs.com/zh718594493/p/12153713.html

时间: 2024-11-07 05:13:13

PHP多进程处理并行处理任务实例(转,备用)的相关文章

PHP多进程处理并行处理任务实例

本文目的 本文通过例子讲解linux环境下,使用php进行并发任务处理,以及如何通过pipe用于进程间的数据同步.写得比较简单,作为备忘录. PHP多进程 通过pcntl_XXX系列函数使用多进程功能.注意:pcntl_XXX只能运行在php CLI(命令行)环境下,在web服务器环境下,会出现无法预期的结果,请慎用! 管道PIPE 管道用于承载简称之间的通讯数据.为了方便理解,可以将管道比作文件,进程A将数据写到管道P中,然后进程B从管道P中读取数据.php提供的管道操作API与操作文件的AP

Python多进程并发(multiprocessing)用法实例详解

http://www.jb51.net/article/67116.htm 本文实例讲述了Python多进程并发(multiprocessing)用法.分享给大家供大家参考.具体分析如下: 由于Python设计的限制(我说的是咱们常用的CPython).最多只能用满1个CPU核心.Python提供了非常好用的多进程包multiprocessing,你只需要定义一个函数,Python会替你完成其他所有事情.借助这个包,可以轻松完成从单进程到并发执行的转换. 1.新建单一进程 如果我们新建少量进程,

IOS开发教程之put上传文件的服务器的配置及实例分享-备用

感谢大神分享 1,HTTP常见的方法 GET 获取指定资源 POST 2M 向指定资源提交数据进行处理请求,在RESTful风格中用于新增资源 HEAD 获取指定资源头部信息PUT 替换指定资源(不支持浏览器操作)DELETE 删除指定资源 2,配置服务器的put请求方式: 复制代码代码如下: 1> n 打开终端p cd /etc/apache2p sudo vim httpd.conf n 在vim中输入p /httpd-dav.conf• 查找httpd-dav.confp 按0将光标移动至

有用PHP依赖管理工具Composer新手教程

PHP依赖管理工具Composer新手教程 Composer 是 PHP 的一个依赖管理工具.它同意你申明项目所依赖的代码库,它会在你的项目中为你安装他们. 依赖管理 Composer 不是一个包管理器. 是的,它涉及 "packages" 和 "libraries",但它在每一个项目的基础上进行管理,在你项目的某个文件夹中(比如 vendor)进行安装. 默认情况下它不会在全局安装不论什么东西.因此,这不过一个依赖管理. 这样的想法并不新奇,Composer 受到

实用PHP依赖管理工具Composer入门教程

PHP依赖管理工具Composer入门教程 Composer 是 PHP 的一个依赖管理工具.它允许你申明项目所依赖的代码库,它会在你的项目中为你安装他们. 依赖管理 Composer 不是一个包管理器.是的,它涉及 "packages" 和 "libraries",但它在每个项目的基础上进行管理,在你项目的某个目录中(例如 vendor)进行安装.默认情况下它不会在全局安装任何东西.因此,这仅仅是一个依赖管理. 这种想法并不新鲜,Composer 受到了 node

Oracle11g Data Guard物理备用数据库搭建与配置(第1部分 主数据库实例创建)

环境准备 在我的测试环境中,准备了两台CentOS7.4虚拟机,并同时都安装了Oracle11gR2的11.2.0.1.0企业版的数据库软件,其中只有主服务器创建一个数据库实例,备用服务器仅安装Oracle数据库软件. 主数据库(DB1) OS CentOS7.4 Hostname hmdb11dg-db1 Oracle Version 11.2.0.1.0 Oracle SID HMDG(使用DBCA工具创建的一个数据库) 备数据库(DB2) OS CentOS7.4 Hostname hmd

Oracle数据库11g 中Data Guard物理备用数据库搭建与配置

Oracle Data Guard是由Oracle公司提供的一套高可用性数据库解决方案.Data Guard可以确保企业数据的高可用性,并实现数据保护和灾难恢复.Data Guard提供了一套综合创建.维护.管理和监视一个或多个备用数据库的服务,使得用户能够轻松地应对Oracle生产数据库的灾难发生和数据损坏.Data Guard将维护的备用数据库保持为和主数据库(生产数据库)的数据和事物的一致性,当主数据库意外当机或者不可用时,Data Guard可以将任何一台备用数据库切换为主数据库,从而最

Oracle11g Data Guard物理备用数据库搭建与配置(第2部分 配置物理备用数据库)

环境准备 接着上一篇文章  Oracle11g Data Guard物理备用数据库搭建与配置(第1部分 主数据库实例创建) 在我的测试环境中,我准备了两台CentOS7.4虚拟机,并同时都安装了Oracle11gR2的11.2.0.1.0企业版的数据库软件,其中只有主服务器创建一个数据库实例,备用服务器仅安装Oracle数据库软件. 主数据库: OS: CentOS7.4 Hostname:     hmdb11dg-db1 Oracle Version:  11.2.0.1.0 Oracle

asp.net core系列 27 EF模型配置(索引,备用键,继承)

一.索引 索引是许多数据存储中的常见概念.虽然它们在数据存储中的实现可能会有所不同,但它们可用于更有效地基于列(或列集)进行查找.按照约定,用作外键每个属性 (或组的属性) 会自动创建索引.无法使用数据注释创建索引. 1.1 非唯一索引 Fluent API 在单个属性上指定索引.默认情况下,索引是非唯一的.如下代码示例在Blogs表上创建Url列索引: class MyContext : DbContext { public DbSet<Blog> Blogs { get; set; } p