python 的线程和进程

线程

线程是操作系统可以调度的最小单元。

线程:一堆指令的集合,包含在进程之中

数据临时存入内存中,程序关闭时,内存清空。

硬盘的读写速度<内存<CPU

每一个程序的内存是独立的,相互之间不能访问。

内存对各种资源管理的集合,就是进程。

进程如果要操作CPU,必须要创建线程。进程本身不具备执行的能力。必须依赖线程去操作CPU。一个进程至少要有一个线程。

所有在同一个进程里的线程是共享同一块内存空间的。

进程

一个程序执行的实例就是一个进程。

主线程启动子线程之后,相互也是独立的

子进程之间也是独立的,不能互相访问。子进程是完全从父进程的拷贝。

同一个进程的不同线程可以直接交流。两个进程如果通信,必须通过一个中间代理。

新的线程很容易创建,新的进程必须对其父进程进行一个拷贝。

一个线程可以控制和操作同一进程的其它线程。进程只能操作子进程。

对子线程的修改会影响同一进程的其它线程,因为内存是共享的。子进程的修改不会影响其它子进程。

import threading
def run(args):
    print "task:%s"%args
t1 = threading.Thread(target=run,args=(1,))
t2 = threading.Thread(target=run,args=(1,))
t1.start()
t2.start()# 并发的,多线程

#另一种写法
import threading
class Mythread(threading.thread):
    def __init__(self,n):
        super(Mythread,self).__init__()
        self.n = n
    def run(self):#必须是run
        print "run task",self.n
t1.getName()# 得到线程的名称 在start()之前设置
threading.current_thread()# 查看当前的线程
threading.active_count()# 
t1.isDaemon()# 判断是否是守护线程
t1.setDaemon(True)# 设置为守护线程
t1.join(5)# 等待子线程执行线束,线束后主程序继续执行(会变成串行)。参数为超时时间。
t1.run()# 线程被CPU调度后自动执行线程对象的run方法(target=run)
# 守护线程:主线程结束之后不会再等待守护线程,直接结束

GIL(全局解释器锁)

python同一时间执行的线程只能只有一个(无论多少核)执行。假线程。因为不断的上下文切换,太快了,看上去像多线程。只有Cpython存在这种问题,未来pypy没有这种问题

给线程加锁:l = threading.Lock(), 加 l.acquire() 加锁,l.release()释放锁.

锁里面有其它的锁。为了区别不同的锁。加 threading.RLock() 递归锁。

信号量(semaphore)

se = threading.BoundedSemaphore(5) 同一时间只能有5个线程同时运行,如果其中有一个线程运行结束,立刻会有新的线程加入,但是同一时间运行线程的数目依然是5个。

se.acquire() 信号量上锁

se.release() 信号量释放

事件(Event)

事件是一个简单的同步对象,代表内部的一个标志。

event =thread.Event()

event.wait( ) #标志位没有设置,将卡在这里,设置之后就不阻塞了

event.set( ) # 设定标志位

event.clear( ) # 清空标志位

队列(queue)

主要两个作用:解耦 使程序实现松耦合   提高处理效率

队列:先进先出, 栈:后进后出

import  Queue # 线程Queue

que = Queue.Queue(maxsize=199) #maxsize设置队列大小

que.put("1")

que.put(‘2‘)

que.get(block=True, timeout=1) # block取不到数据会不会卡住。timeout超时时间

que.empty() # 是否为空

IO操作不占用CPU,计算占用CPU。python 的多线程不适合CPU密集操作型的任务,适合IO密集型的任务

多进程

import multiprocessing
import time

def run(name):
    time.sleep(2)
    print "task:",name
if __name__=="__main__":
    for p in range(10):
        p = multiprocessing.Process(target=run, args=("p",))
        p.start()

Queue 进程Queue

from multiprocessing import Queue, Process

Pipe 管道

from multiprocessing import Queue, Pipe

parent_conn, child_conn = Pipe()

Manager

with Manager as manager:

d = manager.dict() # 生成一个字典, 可在进程或线程间通讯

进程也有锁的概念。Lock

from multiprocessing import Pool, Process

p = Poo(5) #进程池中的最大开启为5个

进程池中的进程执行完毕之后再关闭,先close(), 再join()

进程池有两个方法 apply(func=foo, args=(i,)) 串行,  apply_async(func=foo,args=(1,), callback=Bar) 异步

callback:回调函数,每个进程执行结束之后都会执行即主进程调用回调函数,回调函数是主进程调用。Bar:用户定义的要执行函数

协程

协程,又称微线程。协程是一种用户态的轻量级线程

协程是用户自己控制的。cpu根本不知道。协程能保留上一次调用时的状态。每次过程重入时,就相当于进入上一次调用的状态。

好处:无需上下文切换的开销。改同一份数据不需要加锁(因为协程是单线程)

高并发+高扩展性+低成本

缺点:无法利用多核资源(因为是单线程) 协程需要和进程配合才能运行在CPU上。(协程是跑在线程中的)

手动切换:

from greenlet import greenlet
def fun1():
    print "1"
    gr2.switch() # 切换到fun2
    print "2"
    gr2.switch()
    
def fun2():
    print "3"
    gr1.switch()
    print "4"
gr1 = greenlet(fun1) # 启动一个协程
gr2 = greenlet(fun2)
import gevent,time
start= time.time()
def fun1():
    print "1"
    gevent.sleep(2) 
    print "2"

    
def fun2():
    print "3"
    gevent.sleep(1)
    print "4"
gevent.joinall([
    gevent.spawn(fun1),
    gevent.spawn(fun2)]
)
# time.sleep(10)    
print "time :%s "%(time.time()-start) # 结果:1,3,4,2 time:2
时间: 2024-08-02 03:58:42

python 的线程和进程的相关文章

Python:线程、进程与协程(4)——multiprocessing模块(1)

multiprocessing模块是Python提供的用于多进程开发的包,multiprocessing包提供本地和远程两种并发,通过使用子进程而非线程有效地回避了全局解释器锁. (一)创建进程Process 类 创建进程的类,其源码在multiprocessing包的process.py里,有兴趣的可以对照着源码边理解边学习.它的用法同threading.Thread差不多,从它的类定义上就可以看的出来,如下: class Process(object):     '''     Proces

Python:线程、进程与协程(3)——Queue模块及源码分析

Queue模块是提供队列操作的模块,队列是线程间最常用的交换数据的形式.该模块提供了三种队列: Queue.Queue(maxsize):先进先出,maxsize是队列的大小,其值为非正数时为无线循环队列 Queue.LifoQueue(maxsize):后进先出,相当于栈 Queue.PriorityQueue(maxsize):优先级队列. 其中LifoQueue,PriorityQueue是Queue的子类.三者拥有以下共同的方法: qsize():返回近似的队列大小.为什么要加"近似&q

Python:线程、进程与协程(2)——threading模块(1)

上一篇博文介绍了Python中线程.进程与协程的基本概念,通过这几天的学习总结,下面来讲讲Python的threading模块.首先来看看threading模块有哪些方法和类吧. 主要有: Thread :线程类,这是用的最多的一个类,可以指定线程函数执行或者继承自它都可以实现子线程功能. Timer:与Thread类似,但要等待一段时间后才开始运行,是Thread的子类. Lock :原锁,是一个同步原语,当它锁住时不归某个特定的线程所有,这个可以对全局变量互斥时使用. RLock :可重入锁

python中线程和进程相关

1.操作系统/应用程序 a : 硬盘 , CPU , 主板 , 显卡 , 内存 , 电源 ... b.装系统 (软件) 系统就是一个由程序员写出来的软件 , 该软件用于控制计算机的硬件 , 让他们之间相互进行配合. c.安软件 (安装应用程序) QQ 百度云 pycharm .... 2.操作中的"并发"   ('并行') 并发 , 伪 , 由于执行速度特别快 , 人感觉不到停顿. 并行 , 真 , 创建10个人同时操作. 3.其他语言线程 , 进程 a. 单进程 , 单线程的应用程序

Python基础—线程、进程和协程

今天已是学习Python的第十一天,来干一碗鸡汤继续今天的内容,今天的鸡汤是:超越别人对你的期望.本篇博客主要介绍以下几点内容: 线程的基本使用: 线程的锁机制: 生产者消费之模型(队列): 如何自定义线程池: 进程的基本使用: 进程的锁机制: 进程之间如何实现数据共享: 进程池: 协程的基本使用. 一.线程 1.创建线程 上篇博客已经介绍过如何创建多线程的程序,在这里在复习一下如何创建线程过程以及线程的一些方法: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1

Python菜鸟之路:Python基础-线程、进程、协程

上节内容,简单的介绍了线程和进程,并且介绍了Python中的GIL机制.本节详细介绍线程.进程以及协程的概念及实现. 线程 基本使用 方法1: 创建一个threading.Thread对象,在它的初始化函数(__init__)中将可调用对象作为参数传入 import threading import time def worker(): time.sleep(2) print("test") for i in range(5): t = threading.Thread(target=

Python之线程与进程

1.程序 程序指的是指令的集合:程序不能单独的运行,必须将程序装载在内存中,系统给它分配资源才可以运行. 程序是进程动态运行的静态描述文本 2.进程 进程指的是程序在数据集中一次动态运行的过程: 3.线程 线程进程的最小执行单位,真正在CPU运行的是线程 4.进程与线程的关系 一个线程只能在一个进程里面,一个进程可以包含多个线程: 进程是资源管理单位(容器)  线程是最小执行单位 5.并行与并发 并行:指的是同时处理多个任务(多个线程被不同的CPU执行) 并发:指的是交替处理多个任务(多个线程被

python之线程、进程

进程:资源的集合 线程:操作CPU的最小调试单位 最简单的多线程实例如下: #!/usr/bin/python #Author:sean #线程有2种调用方式,如下: #直接调用 import threading import time def run(n):     print("task ",n)     time.sleep(2) if __name__ == '__main__':     t1 = threading.Thread(target=run,args=("

Python:线程、进程与协程(1)——概念

最近的业余时间主要放在了学习Python线程.进程和协程里,第一次用python的多线程和多进程是在两个月前,当时只是简单的看了几篇博文然后就跟着用,没有仔细去研究,第一次用的感觉它们其实挺简单的,最近这段时间通过看书, 看Python 中文官方文档等等相关资料,发现并没有想想中的那么简单,很多知识点需要仔细去理解,Python线程.进程和协程应该是Python的高级用法.Python的高级用法有很多,看看Python 中文官方文档就知道了,当然有时间看看这些模块是怎么实现的对自己的提高是很有帮