『Python CoolBook』C扩展库_其六_线程

GIL操作

想让C扩展代码和Python解释器中的其他进程一起正确的执行, 那么你就需要去释放并重新获取全局解释器锁(GIL)。

在Python接口封装中去释放并重新获取全局解释器锁(GIL),此时本段程序失去GIL运行,其他线程可以无视本函数的运行而运行,直到Py_END_ALLOW_THREADS:

#include "Python.h"
...

PyObject *pyfunc(PyObject *self, PyObject *args) {
   ...
   Py_BEGIN_ALLOW_THREADS
   // Threaded C code.  Must not use Python API functions
   ...
   Py_END_ALLOW_THREADS
   ...
   return result;
}

只有当你确保没有Python C API函数在C中执行的时候你才能安全的释放GIL。 GIL需要被释放的常见的场景是在计算密集型代码中需要在C数组上执行计算(比如在numpy中) 或者是要执行阻塞的I/O操作时(比如在一个文件描述符上读取或写入时)。

当GIL被释放后,其他Python线程才被允许在解释器中执行。 Py_END_ALLOW_THREADS 宏会阻塞执行直到调用线程重新获取了GIL。

C和Python中的线程混用

混合使用C、Python和线程, 有些线程是在C中创建的,超出了Python解释器的控制范围, 并且一些线程还使用了Python C API中的函数时,需要确保正确的初始化和管理Python的全局解释器锁(GIL)。

要想这样,可以将下列代码放到你的C代码中并确保它在任何线程被创建之前被调用:

#include <Python.h>
  ...
  if (!PyEval_ThreadsInitialized()) {
    PyEval_InitThreads();
  }
  ...

对于任何调用Python对象或Python C API的C代码,确保你首先已经正确地获取和释放了GIL, 这可以用 PyGILState_Ensure()PyGILState_Release() 来做到,如下所示:

...
/* Make sure we own the GIL */
PyGILState_STATE state = PyGILState_Ensure();

/* Use functions in the interpreter */
...
/* Restore previous GIL state and return */
PyGILState_Release(state);
...

在涉及到C和Python的高级程序中,很多事情一起做是很常见的—— 可能是对C、Python、C线程、Python线程的混合使用。 只要你确保解释器被正确的初始化,并且涉及到解释器的C代码执行了正确的GIL管理,应该没什么问题。

要注意的是调用 PyGILState_Ensure() 并不会立刻抢占或中断解释器。 如果有其他代码正在执行,这个函数被中断知道那个执行代码释放掉GIL。 在内部,解释器会执行周期性的线程切换,因此如果其他线程在执行, 调用者最终还是可以运行的(尽管可能要先等一会)。

原文地址:https://www.cnblogs.com/hellcat/p/9093696.html

时间: 2024-10-07 19:51:43

『Python CoolBook』C扩展库_其六_线程的相关文章

『Python CoolBook』C扩展库_其六_从C语言中调用Python代码

一.C语言运行pyfun的PyObject对象 思路是在C语言中提供实参,传给python函数: 获取py函数对象(PyObject),函数参数(C类型) 获取GIL(PyGILState_Ensure) 确保fun对象可调用 参数转换为python对应类型(Py_BuildValue) 调用python函数(PyObject_Call) 确定调用无异常 检查返回值 释放GIL(PyGILState_Release) 异常处理 #include "Python.h" /* Execut

『Python CoolBook』使用ctypes访问C代码_下

这一次我们尝试一下略微复杂的c程序. 一.C程序 头文件: #ifndef __SAMPLE_H__ #define __SAMPLE_H__ #include <math.h> #ifdef __cplusplus extern "C" { #endif int gcd(int x, int y); int in_mandel(double x0, double y0, int n); int divide(int a, int b, int *remainder); d

『Python CoolBook』数据结构和算法_字典比较&amp;字典和集合

一.字典元素排序 dict.keys(),dict.values(),dict.items() 结合max.min.sorted.zip进行排序是个很好的办法,另外注意不使用zip时,字典的lambda操作方法: price = { 'a':1, 'b':2, 'c':3 } # 多个键的值相同时会采取元组比较的形式,实际应用时注意 min_p = min(zip(price.values(), price.keys())) max_p = max(zip(price.values(), pri

『Python进阶』专题汇总

基础知识 『流畅的Python』第1~4章_数据结构.编码 『Python』基础数据结构常见使用方法 『Python CoolBook』数据结构和算法_多变量赋值&“*”的两种用法 『Python CoolBook:Collections』数据结构和算法_collections.deque队列&yield应用 『Python CoolBook:heapq』数据结构和算法_heapq堆队列算法&容器排序 『Python CoolBook:Collections』数据结构和算法_容器型

Python之安装第三方扩展库

PyPI 地址:https://pypi.python.org/pypi 如果你知道你要找的库的名字,那么只需要在右上角搜索栏查找即可. 1.pip安装扩展库 (1)安装最新版本的扩展库: cmd> pip install django (2)安装指定版本的扩展库: cmd> pip install django==1.9.7 (3)使用 pip 查看当前安装的库 cmd> pip show django (4)卸载库 cmd> pip  uninstall django 2.ta

『python』OpenCV3计算机视觉库第二弹_简单的图片处理

注意,本库基于python2.7,所以语法细节和之前有所不同 cv2和numpy深度契合,其图片读入后就是numpy.array,只不过dtype比较不常用而已,支持全部数组方法(废话... cv2.cvtColor(img,cv2.COLOR_BAYER_BG2BGR) img.item(0,0) img.itemset((0,0),0) cv2.imshow('my image',img) cv2.waitKey() cv2.destroyAllWindows() 1 # coding=ut

『Python基础』第5节:条件控制

if 语句的使用 单分支 if 条件: 满足条件后要执行的代码 例如: if 2 < 3: print(222) print(333) 每个条件后面都要使用冒号 :, 表示接下来是满足条件后要执行的语句块 在Python中没有 switch - case 语句 双分支 if 条件: 满足条件要执行的代码 else: 不满足条件就执行这里的代码 例如: age = 18 if age >= 18: print('恭喜你, 成年了') else: print('小屁孩儿') 缩进 你会发现, 在上

『Python基础』第6节:流程控制之while循环

在生活中经常遇到循环的事情, 比如循环列表播放歌曲等. 在Python中, 也有循环, 就是其流程控制语句while. 1. 基本循环 while 条件: 循环体 # 如果条件为真, 那么就执行循环体 # 如果条件为假, 那么就不执行循环体. 举个例子: while True: print('你不要担心') print('青春') print('有一天') 上面的代码有一个问题就是: 没有停止的时候. 只要电脑不死机, 就会一直循环下去. 那么具体的它是怎么执行的呢? 看下面这张图. 那么应该如

『Python基础』第4节:基础数据类型初识

本节只是对基础数据类型做个简单介绍, 详情会在之后慢慢介绍 什么是数据类型? 我们人类可以分清数字与字符串的区别, 可是计算机不能. 虽然计算机很强大, 但在某种程度上又很傻, 除非你明确告诉它数字与字符串的区别. 因此, 在每个编程语言中都有叫 数据类型 的东西, 其实就是对常用的数据类型进行了明确的划分. Python中常用的数据类型有很多种, 本节只介绍3中: 数字.字符串.布尔类型 整数类型 - int 在32位机器上,整数的位数为32位,取值范围为-231-231-1,即-214748