110 python程序中的进程操作-开启多进程

之前我们已经了解了很多进程相关的理论知识，了解进程是什么应该不再困难了，刚刚我们已经了解了，运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。以我们之前所学的知识，并不能实现创建进程这个功能，所以我们就需要借助python中强大的模块。

一、multiprocess模块

仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。

二、multiprocess.process模块

process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。

三、process模块介绍

Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务（尚未启动）

强调：

  1. 需要使用关键字的方式来指定参数
  2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号

参数介绍：

  • group参数未使用，值始终为None
  • target表示调用对象，即子进程要执行的任务
  • args表示调用对象的位置参数元组，args=(1,2,‘egon‘,)
  • kwargs表示调用对象的字典，kwargs={‘name‘:‘egon‘,‘age‘:18}
  • name为子进程的名称

3.1方法介绍

  • p.start()：启动进程，并调用该子进程中的p.run()
  • p.run()：进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法
  • p.terminate()：强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁
  • p.is_alive()：如果p仍然运行，返回True
  • p.join([timeout])：主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

3.2属性介绍

  • p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置
  • p.name：进程的名称
  • p.pid：进程的pid
  • p.exitcode：进程在运行时为None、如果为–N，表示被信号N结束(了解即可)
  • p.authkey：进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功（了解即可）

3.3在windows中使用process模块的注意事项

在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制)，在创建子进程的时候会自动 import 启动它的这个文件，而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__‘ 判断保护起来，import 的时候，就不会递归运行了。

四、使用process模块创建进程

在一个python进程中开启子进程，start方法和并发效果。

4.1在python中启动的第一个子进程

# 没有参数的，开启单个子进程
from multiprocessing import Process
import  time

def talk():
    print('开启子进程start')
    time.sleep(1)
    print('结束子进程end')

if __name__ == '__main__':
     p = Process(target=talk)
     p.start() # 告诉操作系统，我要开启子进程，仅仅是开启子进程就完了，接着走下面的代码，具体操作系统什么时候开是操作系统的事情
     print('主进程/父进程')

主进程/父进程
开启子进程start
结束子进程end

# 带有参数的，开启多个子进程
def talk(name):
    print(f'{name}子进程start')
    time.sleep(1)
    print(f'{name}子进程end')

if __name__ == '__main__':
    p = Process(target=talk,args=('xichen',))
    p1 = Process(target=talk,args = ('nick',))
    p.start()
    p1.start()
    print('主进程/父进程')

主进程/父进程
xichen子进程start
nick子进程start
xichen子进程end
nick子进程end

注意：开启多个进程的时候，操作系统先开启哪一个进程是我们控制不了的，这是操作系统自己所拥有的调度机制

4.2继承Process来开启进程

class Test(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):
        print(f'子进程{self.name}-->start')
        time.sleep(1)
        print(f'子进程{self.name}-->end')

if __name__ == '__main__':
    p = Test('xichen')
    p1 = Test('nick')
    p.start() # 向操作系统发送开启子进程，这个时候会自动触发Test类的run方法
    p1.start()
    print('主进程/子进程')

主进程/子进程
子进程xichen-->start
子进程nick-->start
子进程xichen-->end
子进程nick-->end

4.3 join 方法

  • join方法：是在子进程开启的时候加了堵塞，就是父进程必须要等待子进程的结束，才结束父进程
def f1():
    print('子进程start')
    time.sleep(2)
    print('子进程end')

if __name__ == '__main__':
    print('开始父进程')
    p = Process(target=f1)
    p.start()

    p.join() # 是父进程要等待子进程结束后，再启动父进程
    # time.sleep(5) 其实核心其实就是在启动主进程的之前加一个延时，让他等子进程结束后再执行
    print('我是父进程,等待子进程运行结束再结束')

开始父进程
子进程start
子进程end
我是父进程,等待子进程运行结束再结束

1.join方法实现多个子进程并行结束后，在结束父进程
from multiprocessing import Process
import time

def f(i):
    print(f'进程{i} start')
    time.sleep(i)
    print(f'进程{i} end')

if __name__ == '__main__':
    print('开始父进程')
    p1 = Process(target=f,args=(1,))
    p2 = Process(target=f,args=(2,))
    p3 = Process(target=f,args=(3,))
    start = time.time()
    p1.start()
    p2.start()
    p3.start()

    # join核心就是将程序堵塞在这里，主进程需要等待子进程结束以后，在去执行
    p1.join()
    p2.join()
    p3.join()
    end = time.time()
    # 总时长：按照最长的时间计算多一点
    print('程序执行的时间:',end - start) # 3s多，因为执行的进程是在一个时间的
    print('启动父进程')

开始父进程
进程1 start
进程2 start
进程3 start
进程1 end
进程2 end
进程3 end
程序执行的时间: 3.5759353637695312
启动父进程

2.join方法实现多个子进程串行结束后，在结束父进程

# 用Process类来创建多个子进程，并且用join方法让父进程等待着子进程结束以后，在结束父进程
# 但是这样太耗费时间了，还不如直接调用我们写的函数实现
# 1.实现多个进程串行结束以后，在结束掉父进程
def f(i):
    print(f'子进程{i} start')
    time.sleep(i)
    print(f'子进程{i} end')

if __name__ == '__main__':
    print('开始父进程')
    p1 = Process(target=f,args=(1,))
    p2 = Process(target=f,args=(2,))
    p3 = Process(target=f,args=(3,))
    start = time.time()

    p1.start()
    p1.join()

    p2.start()
    p2.join()

    p3.start()
    p3.join()

    end = time.time()
    print('程序执行的总时长:',end-start) # 7s多，
    print('结束父进程')

# 2.直接利用函数调用的方法来实现多个子进程串行的结束
# def f1(i):
#     print(f'子进程{i} start')
#     time.sleep(i)
#     print(f'子进程{i} end')
#
# if __name__ == '__main__':
#     print('开启主进程')
#     start = time.time()
#     f1(1)
#     f1(2)
#     f1(3)
#     end = time.time()
#     print('程序执行的总时间：',end - start) # 6秒多，
#     print('结束父进程')
开启主进程
子进程1 start
子进程1 end
子进程2 start
子进程2 end
子进程3 start
子进程3 end
程序执行的总时间： 6.001583814620972
结束父进程

开始父进程
子进程1 start
子进程1 end
子进程2 start
子进程2 end
子进程3 start
子进程3 end
程序执行的总时长: 7.081932783126831
结束父进程

3.优化join实现多个子进程并行结束后，结束父进程
# 对join实现多个子进程并行结束在结束主进程，做了优化，
# 我们不用在创建多个子进程的时候，每次用Process类来实例化一个新的进程对象
# 可以直接使用循环，这样更方便简洁一些
def f(i):
    print(f'子进程{i} start')
    time.sleep(i)
    print(f'子进程{i} end')

if __name__ == '__main__':
    print('开始执行主进程')
    p_lst = []
    start = time.time()
    for i in range(1,4):
        p = Process(target=f,args=(i,))
        p_lst.append(p)
        p.start()
    for p in p_lst:
        p.join()

    end = time.time()
    print('结束主进程')
    print('程序执行的总时长:',end-start)

开始执行主进程
子进程2 start
子进程1 start
子进程3 start
子进程1 end
子进程2 end
子进程3 end
结束主进程
程序执行的总时长: 3.49997878074646

4.4 Process类查看进程号的方法

  • Process类查看进程号（id号）
  • pid 直接用进程对象.pid是在主进程里查看子进程的pip号
  • os.getpid 可以在子进程里查看子进程的进程号、可以在父进程里查看父进程的进程号
  • os.getppid 可以在子进程里查看子进程的父进程的进程号、可以在父进程里查看父进程的父进程号
  • current_process().pid 查看当前进程的进程号
from multiprocessing import Process
import os,time

def f(i):
    print(f'子进程{i}  start')
    print('在子进程中查看自己的进程号pid:',os.getpid(),'在子进程中查看父进程的进程号pid:',os.getppid())
    time.sleep(i)
    print(f'子进程{i}  end')

if __name__ == '__main__':
    print('开始父进程')
    p = Process(target=f,args=(1,))
    p.start()
    p.join()

    print('在父进程中查看子进程的进程号pid:',p.pid,'在父进程中查看主进程进程号:',os.getpid()
              ,'在父进程中查看父进程的父进程号pid:',os.getppid())
    print('结束父进程')

开始父进程
子进程1 start
在子进程中查看自己的进程号pid: 15352 在子进程中查看父进程的进程号pid: 12416
子进程1 end
在父进程中查看子进程的进程号pid: 15352 在父进程中查看主进程进程号: 12416 在父进程中查看父进程的父进程号pid: 12248
结束父进程

4.5 进程对象的terminate和is_alive方法

  • terminate 是用来关闭进程的
  • is_alive 是判断一个进程的存活状态的，返回True/Flase
from multiprocessing import Process
import os
import time

# 1.terminate 方法
def f(i):
    print(f'子进程{i}  start')
    time.sleep(i)
    print(f'子进程{i}  end')

if __name__ == '__main__':
    print('开始执行父进程')
    p = Process(target=f,args=(1,))
    p.start()

    p.terminate() # 用来关闭打开的子进程，但是他不会立马关闭，所以is_alive查看进程存活状态的时候，不一定是已经死了
    print(p.is_alive())
    p.join()
    print(p.is_alive())
    print('结束父进程')

开始执行父进程
True
False
结束父进程

4.6 current_Process方法

  • current_process 方法是用来查看当前进程的进程名字,进程号
  • current_process().name
  • current_process().pid
import time
from multiprocessing import Process,current_process

def f(i):
    print(f'子进程{i}  start')
    print(f'当前进程{i}的名字为:',current_process().name)
    print(f'当前进程{i}的进程号为:',current_process().pid)
    print(f'子进程{i}  end')

if __name__ == '__main__':
    print('开始执行父进程')
    p1 = Process(target=f,args=(1,))
    p2 = Process(target=f,args=(2,))
    p3 = Process(target=f,args=(3,))

    p1.start()
    p1.join()

    p2.start()
    p2.join()

    p3.start()
    p3.join()

    print('结束父进程')

开始执行父进程
子进程1 start
当前进程1的名字为: Process-1
当前进程1的进程号为: 6232
子进程1 end
子进程2 start
当前进程2的名字为: Process-2
当前进程2的进程号为: 14552
子进程2 end
子进程3 start
当前进程3的名字为: Process-3
当前进程3的进程号为: 12896
子进程3 end
结束父进程

4.7 进程的name属性

  • 利用继承Process类来创建进程的时候，涉及了进程对象的属性问题
from multiprocessing import Process
class Mydata(Process):
    def __init__(self,name):
        # self.name = name  # 这里的name属性是Process类的name属性，表示的是当前进程的名字，打印进程的名字的时候
        # 打印的并不是我们需要的实例化进程时给的初始值
        开始执行父进程
        子进程Mydata-1 start
        子进程Mydata-1 start
        结束父进程
        super().__init__() # 在这里执行父类Process的__init__方法的时候，process里的init方法由会将name属性的值给覆盖掉
        self.name = name # 如果不想要覆盖掉我们的name属性值的话，我们需要在super()后面对进程对象的name属性值赋值

    def run(self):
        print(f'子进程{self.name} start')
        print(f'子进程{self.name} start')

if __name__ == '__main__':
    print('开始执行父进程')
    p = Mydata('xichen')
    p.start()
    p.join()
    print('结束父进程')

开始执行父进程
子进程xichen start
子进程xichen start
结束父进程

五、守护进程

  • 守护进程就是伴随某一个子进程
  • 本质也是一个子进程
  • 主进程的代码执行完毕守护进程直接结束。
  • 但是此时主进程可能没有结束.
  • 定义守护进程：进程对象.daemon = True 就是把这个进程定义为守护进程
  • p.daemon=True一定要在p.start()前设置,设置p为守护进程,禁止p创建子进程,并且父进程代码执行结束,p即终止运行
from multiprocessing import Process
import time
def foo(i):
    print(f'守护进程{i} start')
    time.sleep(2)
    print(f'守护进程{i} end')

def fo(i):
    print(f'子进进程{i} start')
    time.sleep(2)
    print(f'子进进程{i} end')

if __name__ == '__main__':
    print('开始执行父进程')
    p = Process(target=foo,args=(1,))
    p1 = Process(target=fo,args=(2,))
    p.daemon = True # 把这个子进程定义为了守护进程
    # 它不会影响p2这个进程对象的执行
    p.start()
    p1.start()
    time.sleep(1)
    print('父进程结束')

开始执行父进程
子进进程2 start
守护进程1 start
父进程结束
子进进程2 end

六、使用多进程实现socket聊天并发

6.1使用多进程实现socket聊天并发——server

# Author:xichen
# @Time:2019/9/1114:24
import socket
from multiprocessing import Process

server = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
server.bind(('192.168.11.78',8002))
server.listen(10)

def Mydata(conn,client_addr):
    while True:
        try:

            data = conn.recv(1024)
            if not data:
                conn.close()
                break
            print('子进程的数据为:',data)
            conn.send(data.upper())
            print('向子进程发送的数据为:',data.upper().decode('utf8'))
        except Exception:
            break

if __name__ == '__main__':
    while True:
        conn,client_addr = server.accept()
        print(f'开启子进程：地址为:{client_addr}')
        p = Process(target = Mydata,args=(conn,client_addr))
        p.start()

6.2使用多进程实现socket聊天并发——client

import socket

client = socket.socket()
client.connect(('192.168.11.78',8002))

while True:
    data = input('开始发送数据:')
    if not data:
        break
    client.send(data.encode('utf8'))
    msg = client.recv(1024)
    print('接收服务端返回

七、进程之间的数据隔离问题

进程之间的数据隔离问题

rom multiprocessing import Process
import time

x = 0
def task():
    global x
    x = 100
    print('子进程的x修改为了{}'.format(x))

if __name__ == '__main__':
    p = Process(target=task)
    p.start()
    time.sleep(5)
    print(x)

子进程的x修改为了100

0

原文地址：https://www.cnblogs.com/xichenHome/p/11569036.html

时间： 2024-11-07 05:13:17

110 python程序中的进程操作-开启多进程的相关文章

Python程序中的进程操作-开启多进程(multiprocess.process)

目录 一.multiprocess模块 二.multiprocess.process模块 三.process模块介绍 3.1 方法介绍 3.2 属性介绍 3.3 在windows中使用process模块的注意事项 四.使用process模块创建进程 4.1 在Python中启动的第一个子进程 4.2 join方法 4.3 查看主进程和子进程的进程号 4.4 多个进程同时运行 4.5 多个进程同时运行,再谈join方法(1) 4.6 多个进程同时运行,再谈join方法(2) 4.7 通过继承Pro

Python程序中的进程操作-进程池(multiprocess.Pool)

Python程序中的进程操作-进程池(multiprocess.Pool) 一.进程池 为什么要有进程池?进程池的概念. 在程序实际处理问题过程中,忙时会有成千上万的任务需要被执行,闲时可能只有零星任务.那么在成千上万个任务需要被执行的时候,我们就需要去创建成千上万个进程么?首先,创建进程需要消耗时间,销毁进程也需要消耗时间.第二即便开启了成千上万的进程,操作系统也不能让他们同时执行,这样反而会影响程序的效率.因此我们不能无限制的根据任务开启或者结束进程.那么我们要怎么做呢? 在这里,要给大家介

112 python程序中的进程操作-进程之间进行通信（mulitiProcessing Queue队列）

一.进程间通信 IPC(Inter-Process Communication) IPC机制:实现进程之间通讯 管道:pipe 基于共享的内存空间 队列:pipe+锁的概念--->queue 二.队列(Queue) 2.1 概念-----multiProcess.Queue 创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递. Queue([maxsize])创建共享的进程队列. 参数 :maxsize是队列中允许的最大项数.如果省略此参数,则无大小限制

111 python程序中的进程操作-多进程同步（mulitProcessing Lock锁）

通过学习,我们使用各种方法实现了程序的异步,让多个任务可以同时在几个进程中并发处理,他们之间的运行没有顺序,一旦开启也不受我们控制.尽管并发编程让我们能更加充分的利用IO资源,但是也给我们带来了新的问题:当多个进程使用同一份数据资源的时候,就会引发数据安全或顺序混乱问题. 一.锁的基础使用 1.1多个进程抢占数据资源 from multiprocessing import Process import os import time import random def work(n): print

113 python程序中的进程操作-进程间数据共享（multiProcess.Manger）

一.进程之间的数据共享 展望未来,基于消息传递的并发编程是大势所趋 即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合,通过消息队列交换数据. 这样极大地减少了对使用锁定和其他同步手段的需求,还可以扩展到分布式系统中. 但进程间应该尽量避免通信,即便需要通信,也应该选择进程安全的工具来避免加锁带来的问题. 以后我们会尝试使用数据库来解决现在进程之间的数据共享问题. 1.1 Manager模块介绍 虽然进程间数据独立,但可以通过Manager实现数据共享,事实上Manager的功能远不止于

Python程序中的进程操作-进程同步(multiprocess.Lock)

目录 一.锁--multiprocess.Lock 一.锁--multiprocess.Lock 原文地址:https://www.cnblogs.com/nickchen121/p/11130253.html

Python程序中的线程操作-锁

Python程序中的线程操作-锁 一.同步锁 1.1多个线程抢占资源的情况 from threading import Thread import os,time def work(): global n temp=n time.sleep(0.1) n=temp-1 if __name__ == '__main__': n=100 l=[] for i in range(100): p=Thread(target=work) l.append(p) p.start() for p in l:

Python程序中的线程操作-concurrent模块

Python程序中的线程操作-concurrent模块 一.Python标准模块--concurrent.futures 官方文档:https://docs.python.org/dev/library/concurrent.futures.html 二.介绍 concurrent.futures模块提供了高度封装的异步调用接口 ThreadPoolExecutor:线程池,提供异步调用 ProcessPoolExecutor:进程池,提供异步调用 两者都实现相同的接口,该接口由抽象Execut

Python程序中的线程操作(线程池)-concurrent模块

目录 Python程序中的线程操作(线程池)-concurrent模块 一.Python标准模块--concurrent.futures 二.介绍 三.基本方法 四.ProcessPoolExecutor 五.ThreadPoolExecutor 六.map的用法 七.回调函数 Python程序中的线程操作(线程池)-concurrent模块 一.Python标准模块--concurrent.futures 官方文档:https://docs.python.org/dev/library/con