11.python并发入门(part5 event对象)

一、引入event。

每个线程,都是一个独立运行的个体,并且每个线程的运行状态是无法预测的。

如果一个程序中有很多个线程,程序的其他线程需要判断某个线程的运行状态,来确定自己下一步要执行哪些操作。

threading模块中的event对象恰好能做到这一点,event对象包含了一个可以通过线程设置的一个信号标志位,它允许线程一直等待某些事件的发生。

在初始化默认的情况下,event对象中的信号标识被设置为“假”,如果这时,有一个线程等待这个event对象,而这个event对象的信号标志为“假”,那么这个线程就会被一直阻塞下去,直到这个event信号标志为“真”,所有等待这个event对象的线程才会被唤醒。

也就是说,一个线程如果等待的event对象中的信号标志位“真”,这个线程会忽略这个事件(event),继续执行。

二、event对象的常用方法。

event.isSet():返回event的状态值。

event.wait(): 当event对象内部的信号标识设置为“假”(False),所有等待这个event对象的线程将会全部被阻塞。

event.set():设置event对象内部的信号标识为“真”(True),所有等待这个event对象的线程将会被唤醒,等待操作系统的调度。

event.clear():恢复event的状态值为False。

下面这个图,能让你清楚的明白event.wait和event.set之间的关系:

三、event使用示例。

我们来考虑下event对象的应用场景。

假如,在一个程序中,有多个线程需要到redis中来取数据,每个线程都要去尝试着去连接redis服务器,一般情况下,redis如果连接不成功,在所有线程中都需要尝试着去重新连接。

如果我们想要在程序启动时,先要确保redis服务器工作正常,接着在让其他工作的线程去连接redis服务器,当遇到这种需求的时候,使用event对象就是一个非常不错的选择。

我们可以使用event机制去让各个工作的线程去做一个简单的通信,主线程去连接redis服务器,如果连接到了,event对象内的信号标识改为真,其余工作的线程就会被唤醒。

示例:

#!/usr/local/bin/python2.7

# -*- coding:utf-8 -*-

import threading

import time

import logging

logging.basicConfig(level=logging.DEBUG, format=‘(%(threadName)-10s) %(message)s‘,)

def worker(event):

logging.debug("waiting for redis ready....")

event.wait()

logging.debug("redis ready,and connect to redis server and do some work %s",time.ctime())

time.sleep(1)

def main():

redis_ready = threading.Event()

t1 = threading.Thread(target=worker,args=(redis_ready,),name="threading-1")

t1.start()

t2 = threading.Thread(target=worker,args=(redis_ready,),name="threading-2")

t2.start()

logging.debug("first of all,check redis server, make sure it is ok , and then trigger the redis ready event")

time.sleep(3)

redis_ready.set()

if __name__ == ‘__main__‘:

main()

输出结果:

(threading-1) waiting for redis ready....

(threading-2) waiting for redis ready....

(MainThread) first of all,check redis server, make sure it is ok , and then trigger the redis ready event

(threading-1) redis ready,and connect to redis server and do some work Sun May 14 09:35:46 2017

(threading-2) redis ready,and connect to redis server and do some work Sun May 14 09:35:46 2017

代码分析:

在上面这段代码中,一共开了三个线程,分别是threading-1和threading-2还有主线程,首先主线程运行了main()函数,产生了一个event对象,这个event对象信号的初始值是False,然后创建了threading-1和threading-2两个线程并且运行,输出一条日志first of all,check redis server, make sure it is ok , and then trigger the redis ready event后sleep 3秒,此时切换到了threading-1,threading-1首先执行了worker函数,输出一次日志,然后执行event.wait方法,当这个event对象的信号标识为False时,threading-1就被阻塞住了,暂时无法执行woker函数后面的内容,当threading-1被阻塞住后,随即切换到threading-2(为什么一定切换到threading-2呢?这是因为主线程还在sleep),threading-2此时也去执行woker函数,同样先输出一条日志waiting for redis ready....,当执行到event.wait时,这个event对象的信号标志位依旧为False,所以执行到这里的时候,threading-2也会被阻塞。

过了3秒后,MainThread主线程sleep结束,开始向下运行,执行了redis_ready.set()后,我们创建的那个名为redis_ready的event对象中的信号标志会变为True,当这event对象的信号标志变为True之后,之前阻塞的threading-1和threading-2都会被唤醒,继续执行woker函数后面的代码。

(threading-1) redis ready,and connect to redis server and do some work Sun May 14 09:35:46 2017

(threading-2) redis ready,and connect to redis server and do some work Sun May 14 09:35:46 2017

四、event对象的补充。

threading.Event的wait方法还接受一个超时参数,默认情况下如果事件一致没有发生,wait方法会一直阻塞下去,而加入这个超时参数之后,如果阻塞时间超过这个参数设定的值之后,wait方法会返回。对应于上面的应用场景,如果Redis服务器一致没有启动,我们希望子线程能够打印一些日志来不断地提醒我们当前没有一个可以连接的Redis服务,我们就可以通过设置这个超时参数来达成这样的目的:

def worker(event):

while not event.is_set():

logging.debug(‘Waiting for redis ready...‘)

event.wait(2)

logging.debug(‘redis ready, and connect to redis server and do some work [%s]‘, time.ctime())

time.sleep(1)

时间: 2024-08-04 07:00:43

11.python并发入门(part5 event对象)的相关文章

11.python并发入门(part2 threading模块的基本使用)

一.在使用python多线程之前,你需要知道的. python的多线程中,实现并发是没有问题的,但是!!是无法实现真正的并行的. 这是因为python内部有个GIL锁(全局解释器锁),这个锁限制了在同一时刻,同一个进程中,只能有一个线程被运行!!! 二.threading模块的基本使用方法. 可以使用它来创建线程.有两种方式来创建线程. 1.通过继承Thread类,重写它的run方法. 2.创建一个threading.Thread对象,在它的初始化函数__init__中将可调用对象作为参数传入.

11.python并发入门(part12 初识协程)

一.协程的简介. 协程,又被称为微线程,虽然是单进程,单线程,但是在某种情况下,在python中的协程执行效率会优于多线程. 这是因为协程之间的切换和线程的切换是完全不一样的!协程的切换是由程序自身控制的(程序的开发者使用yield去进行控制,协程和协程之间的切换是可控制的,想什么时候切换就什么时候切换). 当使用多线程时,开的线程越多,协程的优势就越明显. 协程的另一个优点,就是无需锁机制,因为协程只有一个进程,和线程,不存在多线程或者多进程之间访问公共资源的冲突,所以说,在协程中无需加锁,如

11.python并发入门(part10 多进程之间实现通信,以及进程之间的数据共享)

一.进程队列. 多个进程去操作一个队列中的数据,外观上看起来一个进程队列,只是一个队列而已,单实际上,你开了多少个进程,这些进程一旦去使用这个队列,那么这个队列就会被复制多少份. (队列=管道+锁) 这么做的主要原因就是,不同进程之间的数据是无法共享的. 下面是使用进程队列使多进程之间互相通信的示例: 下面这个例子,就是往进程队列里面put内容. #!/usr/local/bin/python2.7 # -*- coding:utf-8 -*- import multiprocessing de

11.python并发入门(part9 多线程模块multiprocessing基本用法)

一.回顾多继承的概念. 由于GIL(全局解释器锁)的存在,在python中无法实现真正的多线程(一个进程里的多个线程无法在cpu上并行执行),如果想充分的利用cpu的资源,在python中需要使用进程. 二.multiprocessing模块的简介. multiprocessing是python中用来管理多进程的包,与threading用法非常类似,它主要使用multiprocessing.Process对象来创建一个进程对象,该进程可以运行在python的函数中. 该Process(进程)对象

11.python并发入门(part15 关于I/O多路复用)

一.为什么要产生I/O多路复用? 两个主机之间通信,主机A和主机B都需要开启socket,主机A首先要等待客户端来进行连接,这是会发起一个recvfrom的系统调用,如果主机B一直没有去连接主机A,没有给主机A发送任何数据,进程就会被阻塞,无法去做其他的事情(默认的阻塞I/O模型),一直阻塞到主机B去连接主机A,主机A收到了这个连接. 其实这种模式在单服务器,单客户端(两台主机之间单独通信)没有什么问题,如果说是多并发场景呢?服务端阻塞与第一个客户端发来的socket对象中,另外一个客户端2要发

11.python并发入门(part11 进程同步锁,以及进程池,以及callback的概念)

一.关于进程锁. 其实关于进程锁没啥好讲的了,作用跟线程的互斥锁(又叫全局锁也叫同步锁)作用几乎是一样的. 都是用来给公共资源上锁,进行数据保护的. 当一个进程想去操作一个公共资源,它就可以给公共资源进程"上锁"的操作,其他进程如果也想去访问或者操作这个公共资源,那么其他的进程只能阻塞,等待刚刚的进程把锁释放,下一个进程才可以对这个公共资源进行操作. 下面是个关于进程锁的使用示范: #!/usr/local/bin/python2.7 # -*- coding:utf-8 -*- im

11.python并发入门(part7 线程队列)

一.为什么要用队列? 队列是一种数据结构,数据结构是一种存放数据的容器,和列表,元祖,字典一样,这些都属于数据结构. 队列可以做的事情,列表都可以做,但是为什么我们还要去使用队列呢? 这是因为在多线程的情况下,列表是一种不安全的数据结构. 为什么不安全?可以看下面这个例子: #开启两个线程,这两个线程并发从列表中移除一个元素. import threading import time l1 = [1,2,3,4,5] def pri(): while l1: a = l1[-1] print a

11.python并发入门(part4 死锁与递归锁)

一.关于死锁. 死锁,就是当多个进程或者线程在执行的过程中,因争夺共享资源而造成的一种互相等待的现象,一旦产生了死锁,不加人工处理,程序会一直等待下去,这也被称为死锁进程. 下面是一个产生"死锁"现象的例子: import threading import time lock_a = threading.Lock() lock_b = threading.Lock() class test_thread(threading.Thread): def __init__(self): su

11.python并发入门(part3 多线程与互斥锁)

一.锁的概念. 锁,通常被用来实现共享数据的访问,为每一个共享的数据,创建一个Lock对象(一把锁),当需要访问这个共享的资源时,可以调用acquire方法来获取一个锁的对象,当共享资源访问结束后,在调用release方法去解锁. 二.python中的互斥锁. 在介绍互斥锁之前,先来一起看一个例子.(每个线程对num实现一次-1的操作) import threading import  time num = 200  #每个线程都共享这个变量. tread_list = [] def count