PHP多进程处理并行处理任务实例

本文目的

本文通过例子讲解linux环境下,使用php进行并发任务处理,以及如何通过pipe用于进程间的数据同步。写得比较简单,作为备忘录。

PHP多进程

通过pcntl_XXX系列函数使用多进程功能。注意:pcntl_XXX只能运行在php CLI(命令行)环境下,在web服务器环境下,会出现无法预期的结果,请慎用!

管道PIPE

管道用于承载简称之间的通讯数据。为了方便理解,可以将管道比作文件,进程A将数据写到管道P中,然后进程B从管道P中读取数据。php提供的管道操作API与操作文件的API基本一样,除了创建管道使用posix_mkfifo函数,读写等操作均与文件操作函数相同。当然,你可以直接使用文件模拟管道,但是那样无法使用管道的特性了。

僵尸进程

子进程结束时,父进程没有等待它(通过调用wait或者waitpid),那么子进程结束后不会释放所有资源(浪费呀!),这种进程被称为僵尸进程,他里面存放了子进程结束时的相关数据,如果僵尸进程过多,会占用大量系统资源(如内存),影响机器性能。

代码

废话少说直接上代码


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

/**

 * this is a demo for php fork and pipe usage. fork use

 * to create child process and pipe is used to sychoroize

 * the child process and its main process.

 * @author bourneli

 * @date: 2012-7-6

 */

define("PC", 10); // 进程个数

define("TO", 4); // 超时

define("TS", 4); // 事件跨度,用于模拟任务延时

if (!function_exists(‘pcntl_fork‘)) {

    die("pcntl_fork not existing");

}

// 创建管道

$sPipePath = "my_pipe.".posix_getpid();

if (!posix_mkfifo($sPipePath, 0666)) {

    die("create pipe {$sPipePath} error");

}

// 模拟任务并发

for ($i = 0; $i < PC; ++$i ) {

    $nPID = pcntl_fork(); // 创建子进程

    if ($nPID == 0) {

        // 子进程过程

        sleep(rand(1,TS)); // 模拟延时

        $oW = fopen($sPipePath, ‘w‘);

        fwrite($oW, $i."\n"); // 当前任务处理完比,在管道中写入数据

        fclose($oW);

        exit(0); // 执行完后退出

    }

}

// 父进程

$oR = fopen($sPipePath, ‘r‘);

stream_set_blocking($oR, FALSE); // 将管道设置为非堵塞,用于适应超时机制

$sData = ‘‘; // 存放管道中的数据

$nLine = 0;

$nStart = time();

while ($nLine < PC && (time() - $nStart) < TO) {

    $sLine = fread($oR, 1024);

    if (empty($sLine)) {

        continue;  

    }  

    

    echo "current line: {$sLine}\n";

    // 用于分析多少任务处理完毕,通过‘\n’标识

    foreach(str_split($sLine) as $c) {

        if ("\n" == $c) {

            ++$nLine;

        }

    }

    $sData .= $sLine;

}

echo "Final line count:$nLine\n";

fclose($oR);

unlink($sPipePath); // 删除管道,已经没有作用了

// 等待子进程执行完毕,避免僵尸进程

$n = 0;

while ($n < PC) {

    $nStatus = -1;

    $nPID = pcntl_wait($nStatus, WNOHANG);

    if ($nPID > 0) {

        echo "{$nPID} exit\n";

        ++$n;

    }

}

// 验证结果,主要查看结果中是否每个任务都完成了

$arr2 = array();

foreach(explode("\n", $sData) as $i) {// trim all

    if (is_numeric(trim($i))) {

        array_push($arr2, $i); 

    }

}

$arr2 = array_unique($arr2);

if ( count($arr2) == PC) { 

    echo ‘ok‘;

} else {

    echo  "error count " . count($arr2) . "\n";

    var_dump($arr2);

}

ok,完毕,注释写的比较清除,执行结果如下:

时间: 2024-11-07 05:13:08

PHP多进程处理并行处理任务实例的相关文章

PHP多进程处理并行处理任务实例(转,备用)

本文目的本文通过例子讲解linux环境下,使用php进行并发任务处理,以及如何通过pipe用于进程间的数据同步.PHP多进程通过pcntl_XXX系列函数使用多进程功能.注意:pcntl_XXX只能运行在php CLI(命令行)环境下,在web服务器环境下,会出现无法预期的结果,请慎用!管道PIPE管道用于承载简称之间的通讯数据.为了方便理解,可以将管道比作文件,进程A将数据写到管道P中,然后进程B从管道P中读取数据.php提供的管道操作API与操作文件的API基本一样,除了创建管道使用posi

Python多进程并发(multiprocessing)用法实例详解

http://www.jb51.net/article/67116.htm 本文实例讲述了Python多进程并发(multiprocessing)用法.分享给大家供大家参考.具体分析如下: 由于Python设计的限制(我说的是咱们常用的CPython).最多只能用满1个CPU核心.Python提供了非常好用的多进程包multiprocessing,你只需要定义一个函数,Python会替你完成其他所有事情.借助这个包,可以轻松完成从单进程到并发执行的转换. 1.新建单一进程 如果我们新建少量进程,

有用PHP依赖管理工具Composer新手教程

PHP依赖管理工具Composer新手教程 Composer 是 PHP 的一个依赖管理工具.它同意你申明项目所依赖的代码库,它会在你的项目中为你安装他们. 依赖管理 Composer 不是一个包管理器. 是的,它涉及 "packages" 和 "libraries",但它在每一个项目的基础上进行管理,在你项目的某个文件夹中(比如 vendor)进行安装. 默认情况下它不会在全局安装不论什么东西.因此,这不过一个依赖管理. 这样的想法并不新奇,Composer 受到

实用PHP依赖管理工具Composer入门教程

PHP依赖管理工具Composer入门教程 Composer 是 PHP 的一个依赖管理工具.它允许你申明项目所依赖的代码库,它会在你的项目中为你安装他们. 依赖管理 Composer 不是一个包管理器.是的,它涉及 "packages" 和 "libraries",但它在每个项目的基础上进行管理,在你项目的某个目录中(例如 vendor)进行安装.默认情况下它不会在全局安装任何东西.因此,这仅仅是一个依赖管理. 这种想法并不新鲜,Composer 受到了 node

111 python程序中的进程操作-多进程同步(mulitProcessing Lock锁)

通过学习,我们使用各种方法实现了程序的异步,让多个任务可以同时在几个进程中并发处理,他们之间的运行没有顺序,一旦开启也不受我们控制.尽管并发编程让我们能更加充分的利用IO资源,但是也给我们带来了新的问题:当多个进程使用同一份数据资源的时候,就会引发数据安全或顺序混乱问题. 一.锁的基础使用 1.1多个进程抢占数据资源 from multiprocessing import Process import os import time import random def work(n): print

进程同步和信号量

进程的同步 进城合作:多进程完成同一个任务 ? 实例1: 司机 ? ? ? ? ? ? ? ? ? ? ? ? ?售票员 while)true){ ? ? ? ? ? ? ? ? ?while)true){ 等待 启动车辆; ? ? ? ? ? ? ? ? ? ?关门; 发送信号 ? ? 正常运行: ? ? ? ? ? ? ? ? ? ?售票; ? ? 到站停车:发送信号 ? ? ? ? ? ?等待 开门; } ? ? ? ? ? ? ? ? ? ? ? ? ? ? } 两个进程如何实现同步合作

OpenVPN多处理之-多队列TUN多线程

1.有一点不正确劲 在改动了那个TUN驱动后,我在想,为何我总是对一些驱动程序进行修修补补而从来不从应用程序找解决方式呢?我改动了那个TUN驱动,可是能保证我的改动对别的应用一样可用吗?难道TUN驱动就OpenVPN一家在用?这绝不可能,既然我想到了这个方法,肯定别人也想到了,仅仅所以网上没有资料,是由于这些牛人不屑于此罢了.       使用原生的没有改动的TUN驱动,怎样?Well,let's go on!       问题在哪里,问题在假设我启动多个OpenVPN进程,那么它们每个的mul

OpenVPN多处理-多队列TUN多线程

1.有一件事是不正确的力量 中的变化TUN后轮驱动,我在想,为什么我总是修修补补,而有些驾驶员再也找不到从它的应用程序的解决方案?我做出改变TUN驱动器,但我可以保证的变化,因为它是提供给其他应用程序?是TUN开车OpenVPN一个在使用?这是不可能的,现在,我觉得这个方法.当然有些人认为,仅所以网上没有资料.是由于这些牛人不屑于此罢了. 使用原生的没有改动的TUN驱动,怎样?Well,let's go on!       问题在哪里,问题在假设我启动多个OpenVPN进程.那么它们每个的mul

软件工程之词频统计

代码: https://github.com/jackroos/word_frequency how you collaborate: working separately?  pair programming? VS Live Share? other style? 首先我们一起讨论了代码结构,如何用python实现来更快的进行词频统计.然后是分工合作,队友负责python实现,我负责代码复审.单元测试.回归测试,同时我们采用了结对编程的方式对代码的瓶颈一起进行了分析和优化. how do y