Cpython支持的进程与线程

一、multiprocessing模块介绍

python中的多线程无法利用CPU资源,在python中大部分情况使用多进程。python中提供了非常好的多进程包multiprocessing。

multiprocessing模块用来开启子进程,并在子进程中执行功能(函数),该模块与多线程模块threading的编程接口类似。

multiprocessing的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

二、Process类的介绍

1.创建进程的类

Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)

强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

2.参数介绍

1 group参数未使用,值始终为None
2
3 target表示调用对象,即子进程要执行的任务
4
5 args表示调用对象的位置参数元组,args=(1,2,‘egon‘,)
6
7 kwargs表示调用对象的字典,kwargs={‘name‘:‘egon‘,‘age‘:18}
8
9 name为子进程的名称

3.方法介绍

1 p.start():启动进程,并调用该子进程中的p.run()
2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法
3
4 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
5 p.is_alive():如果p仍然运行,返回True
6
7 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程

4.属性介绍

p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置

p.name:进程的名称

p.pid:进程的pid

p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)

p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)

三、Process类的使用

一定要把开进程的代码写在if __name__==‘__main__‘:下面

开一个进程和主进程是并发的关系,我start一下就是先告诉操作系统我要开一个进程
,然而它不会等待,他会去执行下面的代码,完了他吧进程开始后,就开始执行了

strat():方法的功能

  1.开启进程
  2.执行功能

四、开启进程的两种方式

 1 from multiprocessing import Process
 2 import time
 3 import random
 4 def piao(name):
 5     print(‘%s is piaoing‘%name)
 6     time.sleep(random.randint(1,3))
 7     print(‘%s is piao end‘%name)
 8 if __name__ ==‘__main__‘:
 9     p1 = Process(target=piao,kwargs={‘name‘:‘alex‘})
10     p2 = Process(target=piao,kwargs={‘name‘:‘alex‘})
11     p3 = Process(target=piao,kwargs={‘name‘:‘alex‘})
12     p1.start()
13     p2.start()
14     p3.start()
15     print(‘主进程‘)

第一种方式

 1 from multiprocessing import Process
 2 import time
 3 import random
 4 import os
 5 class Piao(Process):
 6     def __init__(self,name):
 7         super().__init__() #必须继承父类的一些属性
 8         self.name = name
 9     def run(self):  #必须得实现一个run方法
10         print(os.getppid(),os.getpid())
11         print(‘%s is piaoing‘%self.name)
12         time.sleep(random.randint(1,3))
13         print(‘%s is piao end‘%self.name)
14 if __name__ ==‘__main__‘:
15     p1 = Piao(‘alex‘)
16     p2 = Piao(‘wupeiqi‘)
17     p3 = Piao(‘yuanhao‘)
18     p1.start()
19     p2.start()
20     p3.start()
21     print(‘主进程‘,os.getpid())

第二种方式

getppid()父进程id
getpid() #当前进程id

五、多进程实现套接字并发

 1 from socket import *
 2 from multiprocessing import Process
 3 s = socket(AF_INET,SOCK_STREAM)
 4 s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
 5 s.bind((‘127.0.0.1‘,8081))
 6 s.listen(5)
 7 print(‘start running...‘)
 8 def talk(coon,addr):
 9     while True:
10         try:
11             data = coon.recv(1024)
12             if not data: break
13             coon.send(data.upper())
14         except Exception:
15             break
16     coon.close()
17
18 if __name__ == ‘__main__‘:
19     while True:
20         coon,addr = s.accept()
21         print(coon,addr)
22         p =Process(target=talk,args=(coon,addr))
23         p.start()
24     s.close()

服务端

 1 from socket import *
 2 c = socket(AF_INET,SOCK_STREAM)
 3 c.connect((‘127.0.0.1‘,8081))
 4 while True:
 5     cmd = input(‘>>:‘).strip()
 6     if not cmd:continue
 7     c.send(cmd.encode(‘utf-8‘))
 8     data = c.recv(1024)
 9     print(data.decode(‘utf-8‘))
10 c.close()

客户端

原文地址:https://www.cnblogs.com/lianxuebin/p/8585185.html

时间: 2024-11-13 09:45:41

Cpython支持的进程与线程的相关文章

Python-Cpython解释器支持的进程与线程-Day9

Cpython解释器支持的进程与线程 阅读目录 一 python并发编程之多进程 1.1 multiprocessing模块介绍 1.2 Process类的介绍 1.3 Process类的使用 1.4 进程同步(锁) 1.5 进程间通信(IPC)方式一:队列(推荐使用) 1.6 进程间通信(IPC)方式二:管道(不推荐使用,了解即可) 1.7 进程间通信方式三:共享数据(不推荐使用,了解即可) 1.8 信号量,事件...(了解即可) 1.9 进程池 二 python并发编程之多线程 2.1 th

CPython解释器的进程和线程概述

必备的理论基础: #一 操作系统的作用: 1:隐藏丑陋复杂的硬件接口,提供良好的抽象接口 2:管理.调度进程,并且将多个进程对硬件的竞争变得有序 #二 多道技术: 1.产生背景:针对单核,实现并发 ps: 现在的主机一般是多核,那么每个核都会利用多道技术 有4个cpu,运行于cpu1的某个程序遇到io阻塞,会等到io结束再重新调度,会被调度到4个 cpu中的任意一个,具体由操作系统调度算法决定. 2.空间上的复用:如内存中同时有多道程序 3.时间上的复用:复用一个cpu的时间片 强调:遇到io切

Python-Cpython解释器支持的进程与线程

一.Python并发编程之多进程 1. multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu_count()查看),在python中大部分情况需要使用多进程.Python提供了非常好用的多进程包multiprocessing. multiprocessing模块用来开启子进程,并在子进程中执行我们定制的任务(比如函数),该模块与多线程模块threading的编程接口类似. multiprocessing模块的功能众多:支

Cpython的进程,线程,协程,io模型

一.进程: 一  基础概念: 1.进程的定义: 进程本身是一个抽象的概念,进程是操作系统资源分配的基本单位,是正在进行的一个过程或者说一个任务,负责执行任务的是cpu. 2.并行与并发: 假设计算机只有一个cpu,由于一个cpu在同一时间只能执行一个任务,那么当有多个任务想同时运行按道理那么需要多个cpu执行 这个时候如果有多个cpu同时运行这些任务就是并行,如果是一个cpu运行多个任务(其实就是cpu在多个任务之间来回切换则为并发) 那么由此定义如下: 并行:多个任务同时运行,只有具备多个cp

Python之路:进程、线程

本节内容 一.进程与线程区别 1.1 什么是线程 1.2 什么是进程 1.3 进程与线程的区别 二.Python GIL全局解释器锁 三.线程 3.1 threading模块 3.2 Join & Daemon 3.3 线程锁(互斥锁Mutex) 3.4 RLock(递归锁) 3.5 Semaphore(信号量) 3.6 Events 3.7 Queue队列 3.8 生产者消费者模型 四.进程 4.1 多进程multiprocessing 4.2 进程间通讯 4.3 Queue队列 4.4 Pi

《Python》进程收尾线程初识

from multiprocessing import Manager 把所有实现了数据共享的比较便捷的类都重新又封装了一遍,并且在原有的multiprocessing基础上增加了新的机制list.dict 机制:支持的数据类型非常有限 list.dict都不是数据安全的,需要自己加锁来保证数据安全 from multiprocessing import Manager,Process,Lock def work(d,lock): with lock: d['count'] -= 1 if __

Python之路(十八):进程,线程,协程

python基础之进程.线程.协程 引子 进程 线程(优先阅读) 协程 进程 概念:就是一个程序在一个数据集上的一次动态执行过程(本质上来讲,就是运行中的程序(代指运行过程),程序不运行就不是进程)    抽象概念 组成:  1.程序:我们编写的程序用来描述进程要完成哪些功能以及如何完成  2.数据集:数据集则是程序在执行过程中所需要使用的资源  3.进程控制块:进程控制块用来记录进程的外部特征,描述进程的执行变化过程,系统可以利用它来控制和管理进程,它是系统感知进程存在的唯一标志. 阐释:进程

python进程,线程,协程

参考别人的博客:https://www.cnblogs.com/whatisfantasy/p/6440585.html 线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务 创建线程的两种方法 # 方法1 直接调用 import threading import time def sayhi(num): print("running on number:%s&

关于进程、线程、协程在python中的使用问题

描述 最近在python中开发一个人工智能调度平台,因为计算侧使用python+tensorflow,调度侧为了语言的异构安全性,也选择了python,就涉及到了一个调度并发性能问题,因为业务需要,需要能达到1000+个qps的业务量需求,对python调度服务的性能有很大挑战.具体的架构如下面所示: 补充:架构中使用的python为cpython,解释执行的语言,并非jpython或者pypython,cpython的社区环境比较活跃,很多开发包都是现在cpython下实现的,比如项目中计算模