shell——wait与多进程并发

在脚本里用&后台打开多个子进程,用wait命令可以使这些子进程并行执行。

例1:

fun1(){
while true
do
echo 1
sleep 1
done
}

fun2(){
while true
do
echo 2
sleep 1
done
}

fun1 &
fun2 &
wait

例2:

#!/bin/bash
for ((i=0;i<5;i++))
do
sleep 3;echo a
done

#运行需要15秒。

#!/bin/bash
for ((i=0;i<5;i++))
do
{
sleep 3;echo a
} &
done
wait

#打开5个子进程并行,运行只需要3秒。

例3:

用管道fifo文件来处理并发,本例转自https://my.oschina.net/sanpeterguo/blog/133304

本例让博主学到很多,用到管道,read -u,exec的相关知识,后续博客陆续更新。

#!/bin/bash
#author :  [email protected]
#date   :  2013.05.24

#sub process do something
function a_sub_process {
    echo "processing in pid [$$]"
    sleep 1
}

#创建一个fifo文件
FIFO_FILE=/tmp/$.fifo
mkfifo $FIFO_FILE

#关联fifo文件和fd6
exec 6<>$FIFO_FILE      # 将fd6指向fifo类型
rm $FIFO_FILE

#最大进程数
PROCESS_NUM=4

#向fd6中输入$PROCESS_NUM个回车
for ((idx=0;idx<$PROCESS_NUM;idx++));
do
    echo
done >&6 

#处理业务,可以使用while
for ((idx=0;idx<20;idx++));
do
    read -u6  #read -u6命令执行一次,相当于尝试从fd6中获取一行,如果获取不到,则阻塞
    #获取到了一行后,fd6就少了一行了,开始处理子进程,子进程放在后台执行
    {
      a_sub_process && {
         echo "sub_process is finished"
      } || {
         echo "sub error"
      }
      #完成后再补充一个回车到fd6中,释放一个锁
      echo >&6 # 当进程结束以后,再向fd6中加上一个回车符,即补上了read -u6减去的那个
    } &
done

#关闭fd6
exec 6>&- 
时间: 2024-08-05 06:56:16

shell——wait与多进程并发的相关文章

Linux Shell多进程并发以及并发数控制

1. 基础知识准备 1.1. linux后台进程 Unix是一个多任务系统,允许多用户同时运行多个程序.shell的元字符&提供了在后台运行不需要键盘输入的程序的方法.输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了. 比如: sh a.sh & sh b.sh & sh c.sh & 这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了. 1.2. linux文件描述符 文件描述符(缩

Shell脚本中的并发(转)

转自http://blog.csdn.net/wangtaoking1/article/details/9838571 主要记录一下Shell脚本中的命令的并发和串行执行. 默认的情况下,Shell脚本中的命令是串行执行的,必须等到前一条命令执行完后才执行接下来的命令,但是如果我有一大批的的命令需要执行,而且互相又没有影响的情况下(有影响的话就比较复杂了),那么就要使用命令的并发执行了. 看下面的代码: #!/bin/bash for(( i = 0; i < ${count}; i++ ))

Python多进程并发(multiprocessing)用法实例详解

http://www.jb51.net/article/67116.htm 本文实例讲述了Python多进程并发(multiprocessing)用法.分享给大家供大家参考.具体分析如下: 由于Python设计的限制(我说的是咱们常用的CPython).最多只能用满1个CPU核心.Python提供了非常好用的多进程包multiprocessing,你只需要定义一个函数,Python会替你完成其他所有事情.借助这个包,可以轻松完成从单进程到并发执行的转换. 1.新建单一进程 如果我们新建少量进程,

linux网络编程-----&gt;高并发---&gt;多进程并发服务器

在做网络服务的时候并发服务端程序的编写必不可少.前端客户端应用程序是否稳定一部分取决于客户端自身,而更多的取决于服务器是否相应时间够迅速,够稳定. 常见的linux并发服务器模型: 多进程并发服务器 多线程并发服务器 select多路I/O转接服务器 poll多路I/O转接服务器 epool多路I/O转接服务器. 本次主要讨论多线程并发服务器模型: 使用多进程并发服务器时要考虑以下几点: 父进程最大文件描述个数(父进程中需要close关闭accpet返回的新文件描述符) 系统内创建进程个数(与内

linux 多进程并发服务__关于子进程回收的方法

以TCPServ 服务程序来说: 1)父进程:负责系统初始化,以及监听(listen),接受连接请求(accept);其中accept 默认阻塞调用. 2)每接受一个连接请求,动态新建(fork)一个子进程,任务完成或客户端断开,服务子进程需要退 出并收回系统资源. 3)根据linux的设计子进程的收回需要父进程参与(wait调用),而此时附进程主要服务工作在监听 客户端连接请求,同时阻塞在(accept)调用,所以父进程自身是无法"分身"去做子进程回收调用. 4)现在的问题在于如何找到父进程的

[Linux]shell多进程并发—详细版

业务背景 schedule.sh脚本负责调度用户轨迹工程脚本的执行,截取部分代码如下: #!/bin/bash source /etc/profile; export userTrackPathCollectHome=/home/pms/bigDataEngine/analysis/script/usertrack/master/pathCollect ############################## # # 流程A # ##############################

shell多进程并发数控制

在批量执行任务是,单进程执行速度太慢,使用&不加数量控制,又担心资源占用过多,导致宕机等问题,因此我们需要控制并发进程的数量,保证效率的同时,保证资源占用不会太高. 其中一个解决思路是利用简单的生产者-消费者模型. 以下为范例脚本: #!/bin/bash fifo_file=a.pipe mkfifo $fifo_file #创建任务队列 exec 5<>$fifo_file rm $fifo_file process_num=10 #并发任务的数量 function task()

Shell多进程并发

业务背景: 让a.sh和b.sh同时执行,而不是顺序执行 解决方案: s.sh负责调度a.sh和b.sh 代码如下: s.sh #!/bin/bash source /etc/profile; date='2015-05-06' echo 'start s.sh' sh a.sh $date > a.log 2>&1 & sh b.sh $date > b.log 2>&1 & echo 'end s.sh' a.sh #!/bin/bash sou

尝试php命令行脚本多进程并发执行

php不支持多线程,但是我们可以把问题转换成“多进程”来解决.由于php中的pcntl_fork只有unix平台才可以使用,所以本文尝试使用popen来替代.  下面是一个例子:  被并行调用的子程序: <?php if($argc==1){ echo("argv\n"); } $arg = $argv[1]; for($i=0; $i<10; $i++) { echo($i.".1.".time()." exec $arg \n")