python学习笔记——多进程中共享内存Value & Array

1 共享内存

基本特点:

(1)共享内存是一种最为高效的进程间通信方式,进程可以直接读写内存,而不需要任何数据的拷贝。

(2)为了在多个进程间交换信息,内核专门留出了一块内存区,可以由需要访问的进程将其映射到自己的私有地址空间。进程就可以直接读写这一块内存而不需要进行数据的拷贝,从而大大提高效率。(文件映射

(3)由于多个进程共享一段内存,因此也需要依靠某种同步机制。

优缺点:

优点:快速在进程间传递数据

缺点: 数据安全上存在风险,内存中的内容会被其他进程覆盖或 者篡改

注: 经常和同步互斥配合使用

2 基本语法

共享内存要符合C语言的使用语法

 from multiprocessing import Value , Array 

Value:将一个值存放在内存中,

Array:将多个数据存放在内存中,但要求数据类型一致

补充:数据类型

Type code C Type Python Type Minimum size in bytes Notes
‘b‘ signed char int 1  
‘B‘ unsigned char int 1  
‘u‘ Py_UNICODE Unicode character 2 (1)
‘h‘ signed short int 2  
‘H‘ unsigned short int 2  
‘i‘ signed int int 2  
‘I‘ unsigned int int 2  
‘l‘ signed long int 4  
‘L‘ unsigned long int 4  
‘q‘ signed long long int 8 (2)
‘Q‘ unsigned long long int 8 (2)
‘f‘ float float 4  
‘d‘ double float 8  

具体参考:8.7. array — Efficient arrays of numeric values

2.1 Value

Value(typecode_or_type, *args, lock=True)

功能 : 得到一个共享内存对象,并且存入初始值,method of multiprocessing

返回Returns a synchronized shared object(同步共享对象)

typecode_or_type:定义了返回类型(转换成C语言中存储类型),它要么是一个ctypes类型,要么是一个代表ctypes类型的code。

*args:开辟一个空间,并赋一个args值,值得类型不限

注:ctypes是python的一个外部函数库,它提供了和C语言兼容的数据类型,可以调用DLLs或共享库的函数,能被用作在python中包裹这些库。

from multiprocessing import Process,Value
import time
import random

def save_money(money):
    for i in range(100):
        time.sleep(0.1)
        money.value += random.randint(1,200)

def take_money(money):
    for i in range(100):
        time.sleep(0.1)
        money.value -= random.randint(1,150)

# money为共享内存对象,给他一个初始值2000,类型为正型“i”
# 相当于开辟了一个空间,同时绑定值2000,
money = Value(‘i‘,2000)

d = Process(target=save_money,args=(money,))#这里面money是全局的,不写也可
d.start()
w = Process(target=take_money,args=(money,))#这里面money是全局的,不写也可
w.start()

d.join()
w.join()

print(money.value)

运行 4491

2.2 Array

Array(typecode_or_type, size_or_initializer, *, lock=True)

使用基本类似于Value,Returns a synchronized shared array

typecode_or_type:定义转换成C语言的存储类型;

size_or_initializer:初始化共享内存空间,

若为数字,表示开辟的共享内存中的空间大小,(Value表示为该空间绑定一个数值)

若为数组,表示在共享内存中存入数组

from multiprocessing import Process,Array

def fun(m,n):
    for i in range(n):
        print(m[i])

# 此处不表数字8类型为整型‘i‘;
# 表示开辟8个空间,且均为整型i,其实就是一个列表
m = Array(‘i‘,3)

p = Process(target= fun,args=(m,4))
p.start()

p.join()

运行

0 0 0
Process Process-1:
....
IndexError: invalid index

说明:三个0表示开辟的共享内存容量为3,当再超过3时就会报错。

示例2

from multiprocessing import Process,Array
import time

def fun(m,n):
    for i in range(n):
        m[i]=i

m = Array(‘i‘,5)

p = Process(target= fun,args=(m,5))
p.start()

time.sleep(1)
for i in m:
    print(i)

p.join()

运行结果

0 1 2 3 4

如果将 time.sleep(1) 去掉,则输出结果均为0,原因就是还未赋值就已经打印了。

from multiprocessing import Process,Array
import time

def fun(m,n):
    for i in range(n):
        print(m[i])
        m[i]=i

# 此处表示开辟5个空间,同时存入列表中的元素
m = Array(‘i‘,[1,2,3,4,5])

p = Process(target= fun,args=(m,5))
p.start()

time.sleep(1)
for i in m:
    print(i)

p.join()

运行

1 2 3 4 5
0 1 2 3 4

第二个参数如果传入一个数字,则表示在共享内存中开辟多大的空间,

如果传入的是列表,则开辟响应元素数量的共享空间容量,并将其直接存入共享空间

原文地址:https://www.cnblogs.com/gengyi/p/8661235.html

时间: 2024-08-29 02:59:31

python学习笔记——多进程中共享内存Value & Array的相关文章

python 学习笔记 多进程

要让python程序实现多进程,我们先了解操作系统的相关知识 Unix/Linux操作系统提供了一个fork()系统调用,他非常特殊,普通的函数调用,调用一次,返回一次,但是fork调用一次, 返回两次,因为操作系统自动把当前进程称为父进程复制了一份,然后,分别在父进程和子进程返回. 子进程永远返回0,而父进程返回子进程的ID.这样做的理由是,一个父进程可以fork出很多子进程,所以父进程要记下来 子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的id Python的OS模块封

python学习笔记——爬虫中提取网页中的信息

1 数据类型 网页中的数据类型可分为结构化数据.半结构化数据.非结构化数据三种 1.1 结构化数据 常见的是MySQL,表现为二维形式的数据 1.2 半结构化数据 是结构化数据的一种形式,并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层.因此,它也被称为自描述的结构.常见的半结构数据有HTML,XML和JSON等,实际上是以树或者图的结构来存储的. <person> <name>A</name> &l

Python学习笔记#函数中使用文档,让你的函数更容易理解

>>> def intadd(a,b): 'this is a test of the doc of function' return a+b >>> intadd(2,3) 5 >>> intadd.__doc__ 'this is a test of the doc of function' >>>

python学习笔记——多进程二 进程的退出

1.进程的退出函数 进程的退出含有有os._exit([status])和sys.exit([])两种,从数据包来看,该退出模块仅在linux或者unix系统下可用,windows系统下没有该模块 原文地址:https://www.cnblogs.com/gengyi/p/8586357.html

Python学习笔记4(浅拷贝、深拷贝)

注:此博客搬运自http://www.cnblogs.com/Eva-J/p/5534037.html,有需要的朋友希望你们去原博客观看,给予原创更多的尊重. 注:我写一遍是为加深自己的印象,备查也方便,内容可能根据自己的情况有所删减,所以还是希望你们去原博客观看,谢谢~ 1.Python的变量及其存储形式 在Python学习笔记1中我们简单提到过变量这个概念,那么现在简单理解一下变量具体是如何存储数据的. Python采用了引用语义的方式存储变量,存储的内容只是这个变量的值所在的内存地址,而不

VS2013中Python学习笔记[Django Web的第一个网页]

前言 前面我简单介绍了Python的Hello World.看到有人问我搞搞Python的Web,一时兴起,就来试试看. 第一篇 VS2013中Python学习笔记[环境搭建] 简单介绍Python环境的搭建过程,以及Hello World的实现. 第二篇 VS2013中Python学习笔记[基础入门] 我简单学习使用了Python的几个基础的知识点. 第一个Web页面 第一步:首先打开VS2013开发工具 ,新建项目,选择Django Project模版. 修改项目名称,可以查看到项目的文件结

Python学习笔记之六:在VS中调用Python

1,安装配置好Python本身的运行环境,以能在命令行下运行py脚本为准 2,将Python的根目录下的include文件夹,添加到VS的项目属性->配置属性->C/C++->"附加包含目录"中 3,将Python的根目录下的libs文件夹,添加到VS的项目属性->配置属性->链接器->"附加库目录"中 4,在C++项目中添加Python头文件: #include <python.h> 5,添加必要的Python初始化

python学习笔记2—python文件类型、变量、数值、字符串、元组、列表、字典

python学习笔记2--python文件类型.变量.数值.字符串.元组.列表.字典 一.Python文件类型 1.源代码 python源代码文件以.py为扩展名,由pyton程序解释,不需要编译 [[email protected] day01]# vim 1.py #!/usr/bin/python        print 'hello world!' [[email protected] day01]# python 1.py hello world! 2.字节代码 Python源码文件

Python学习笔记_Python对象

Python学习笔记_Python对象 Python对象 标准类型 其他内建类型 类型对象和type类型对象 Python的Null对象None 标准类型操作符 对象值的比较 对象身份比较 布尔类型 标准类型的内建函数 typeObj cmpobj1 obj2 strobj reprobj typeobj isinstanceobj 标准类型的分类 存储模型 更新模型 访问模型 不支持的类型 Python学习笔记_Python对象 首先来理解一个通俗的含义,什么是对象?其实对象无论在什么语言里面