python进程相关 - 多线程threading库

概念

多线程类似于同时执行多个不同程序,

优点

使用线程可以把占据长时间的程序中的任务放到后台去处理。

用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度

程序的运行速度可能加快

在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。

基础知识

线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行,必须依存在应用程序(进程)中,由应用程序提供多个线程执行控制。

每个线程都有他自己的一组CPU寄存器,称为线程的上下文,该上下文反映了线程上次运行该线程的CPU寄存器的状态。

指令指针和堆栈指针寄存器是线程上下文中两个最重要的寄存器,线程总是在进程得到上下文中运行的,这些地址都用于标志拥有线程的进程地址空间中的内存。

线程可以被抢占(中断)。

在其他线程正在运行时,线程可以暂时搁置(也称为睡眠) -- 这就是线程的退让。

线程可以分为

内核线程:由操作系统内核创建和撤销。

用户线程:不需要内核支持而在用户程序中实现的线程。

python3中的多线程模块

_thread (为了兼容python2)

threading(推荐使用)

python的多线程使用

参考链接

http://www.cnblogs.com/vamei/archive/2012/10/11/2720042.html

Python中使用线程有两种方式:函数或者用类来包装线程对象。

函数式

_thread模块(一般不用)

start_new_thread()函数来产生新线程

threading模块

start_new_thread()函数来产生新线程

currentThread(): 返回当前的线程变量。

enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。

activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果。

threading.Thread类封装线程

使用方法

一般为自定义一个类,继承自threading.Thread类,这样,我们只需实现该类的方法即可。

threading.Thread类中的方法

run(): 用以表示线程活动的方法。

start():启动线程活动。

join([time]): 当前线程等待Thread对象对应的线程中止。

如thread_a.join()表示将阻塞当前线程直至thread_a线程被调用中止/正常退出/抛出异常/超时。

isAlive(): 返回线程是否活动的。

getName(): 返回线程名。

setName(): 设置线程名。

exit():线程的结束一般依靠线程函数的自然结束;也可以在线程函数中调用thread.exit(),他抛出SystemExit exception,达到退出线程的目的。

threading库中的线程同步

参考链接

http://www.cnblogs.com/vamei/archive/2012/10/11/2720042.html

要注意的问题

如果要使用的共享资源是不可变数据类型,则必须加global,将其变为全局变量;如果是可变数据类型,则不用,该数据类型的存储位于堆中

互斥锁threading.Lock对象

获得互斥锁:lock = threading.Lock()

申请互斥锁:lock.acquire()

解除互斥锁:lock.release()

条件变量threading.Condition对象

建立该对象时,会包含创建一个Lock对象

创建条件变量对象:conf = threading.Condition()

申请互斥锁:conf.acquire()

解除互斥锁:conf.release()

多个线程等待:conf.wait()

通知所有等待的线程开始工作:conf.notify_all()

通知指定的线程开始工作:conf.notify()

线程计数锁threading.Semaphore对象

也有申请互斥锁和解除互斥锁的两个方法

线程事件threading.Event对象

类似于无Lock保护的threading.Condition对象

evnetn对象有True和False两种状态,wait()会置为false,该进程等待,set()会置为True,从而所有等待状态的进程开始工作。

创建线程事件对象:event = threading.Event()

多个线程等待:event.wait()

通知所有等待的线程开始工作:event.set()

通知所有event类型的线程等待:event.clear()

适用情景暂时不明确

线程队列Queue

参考链接

http://www.runoob.com/python3/python3-multithreading.html

内容

主要包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列 PriorityQueue。

这些队列都实现了锁原语,能够在多线程中直接使用,可以使用队列来实现线程间的同步。

Queue 模块中的常用方法

Queue.qsize() 返回队列的大小

Queue.empty() 如果队列为空,返回True,反之False

Queue.full() 如果队列满了,返回True,反之False

Queue.full 与 maxsize 大小对应

Queue.get([block[, timeout]])获取队列,timeout等待时间

Queue.get_nowait() 相当Queue.get(False)

Queue.put(item) 写入队列,timeout等待时间

Queue.put_nowait(item) 相当Queue.put(item, False)

Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号

Queue.join() 实际上意味着等到队列为空,再执行别的操作

时间: 2024-11-09 04:34:38

python进程相关 - 多线程threading库的相关文章

Python 进程与多线程

10 进程和多线程 10.1 多进程 # -*- coding: utf-8 -*- import os pid=os.fork() print ('process (%s)start ...' %os.getpid()) if pid==0: print('I am child process (%s) and my parent is %s.' % (os.getpid(), os.getppid())) else: print('I (%s) just created a child pr

Python核心编程——多线程threading和队列

线程与进程类似不过他们是在同一个进程下执行的,并共享相同的上下文.可以将他们认为是在一个主进程或"主线程"中运行的迷你进程. 线程包括开始.执行顺序和结束三部分.它有一个指令指针,用于记录当前运行的上下文.当其他线程运行时,它可以被抢占(中断)和临时挂起(也称为睡眠)--这种做法叫做让步(yielding). threading模块知识概要 threading.Thread Thread 是threading模块中最重要的类之一,可以使用它来创建线程.有两种方式来创建线程:一种是通过继

使用 gdb 调试运行中的 Python 进程

本文和大家分享的是使用 gdb 调试运行中的 Python 进程相关内容,一起来看看吧,希望对大家学习python有所帮助. 准备工作 安装 gdb 和 python2.7-dbg: $ sudo apt-get install gdb python2.7-dbg 设置 /proc/sys/kernel/yama/ptrace_scope: $ sudo su# echo 0 > /proc/sys/kernel/yama/ptrace_scope 运行 test.py: $ python te

python多线程-threading模块

threading 是我们常用的用于 python 多线程的模块,其功能更加丰富.下面我们就来开始学习这个模块. 同样的,我这里声明一样我使用的版本是 python2.7,不同版本直接可能存在差异. 老规矩,使用 help() 函数获取帮助文档,看看里面有什么内容. threading 模块中提供了一个 thread 的类,注意不要和 thread 模块搞混了,两者差别还是很大的.thread 这个类可以实例化一个对象,每个对象代表一个线程,可以调用其中的 run() 方法来开启一个线程的运行.

Python socket进阶 多线程/进程

xSocket语法及相关 Socket Families(地址簇) socket.AF_UNIX unix本机进程间通信  socket.AF_INET IPV4 socket.AF_INET6  IPV6 上面的这些内容代表地址簇,创建socket必须指定,默认为IPV4 Socket Types socket.SOCK_STREAM  #for tcp socket.SOCK_DGRAM   #for udp  socket.SOCK_RAW     #原始套接字,普通的套接字无法处理ICM

python学习笔记-(十三)线程、进程、多线程&多进程

为了方便大家理解下面的知识,可以先看一篇文章:http://www.ruanyifeng.com/blog/2013/04/processes_and_threads.html 线程 1.什么是线程? 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务. 2.python GIL全局解释器锁(仅需了解) 无论你启多少个线程,你有多少个cpu, Python在执行的时

Python 多线程threading模块

首先,我们在了解多线程时需要理解的就是什么是多线程,按照官方的解释就是:多线程(英语:multithreading),是指从软件或者硬件上实现多个线程并发执行的技术. 在我自学到这里的时候,通过会在想进程和线程到底是有什么区别,我的理解就是: 进程就是一个应用程序在处理机上的一次执行过程,它是一个动态的概念,而线程是进程中的一部分,一个进程可以包含多个线程. 下面就以简单的例子来加强我们对python 线程的理解. 默认情况下,我们在没有启动线程的时候,可以看一下程序总的运行时间,应该是每个函数

Python守护进程(多线程开发)

#!/usr/bin/python import sys,time,json,logging import Queue, threading, datetime from lib.base.daemon import Daemon from lib.queue.httpsqs.HttpsqsClient import HttpsqsClient from lib.db.DbMongodb import DbMongodb logging.basicConfig(level=logging.DEB

14-08-07 关于程序、进程、线程,以及python中实现多线程的办法

考核题目中涉及到多线程编程,于是复习了一下系统编程里面的各种概念. 首先,程序是代码,没有活动.通过编译连接之后被加载到内存里运行时,内存活动的就是进程,这里的进程不仅仅是代码段,还包括涉及的数据等.而线程是在同一个进程下的小程序,它们可以"同时"地运行,其中会有一个主线程来控制. 接下来是多线程或着多进程的实现,两者原理基本一样,都是把CPU的时间分片然后进行分配给某个进程或者线程,也就是说在同一个时间只会有一个线程在使用CPU,但是CPU切换线程的频率非常快使得它们看上去是在同一个