python多线程实现多任务

1.什么是线程?

进程是操作系统分配程序执行资源的单位,而线程是进程的一个实体,是CPU调度和分配的单位。一个进程肯定有一个主线程,我们可以在一个进程里创建多个线程来实现多任务。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2.一个程序实现多任务的方法

如上图所示,实现多任务,我们可以用几种方法。

(1)在主进程里面开启多个子进程,主进程和多个子进程一起处理任务。

有关多个进程实现多任务,可以参考我的博文:https://www.cnblogs.com/chichung/p/9532962.html

(2)在主进程里开启多个子线程,主线程和多个子线程一起处理任务。

(3)在主进程里开启多个协程,多个协程一起处理任务。

有关多个协程实现多任务,可以参考我的博文:https://www.cnblogs.com/chichung/p/9544566.html

注意:因为用多个线程一起处理任务,会产生线程安全问题,所以在开发中一般使用多进程+多协程来实现多任务。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

3.多线程的创建方式

import threading
p1 = threading.Thread(target=[函数名],args=([要传入函数的参数]))
p1.start()  # 启动p1线程

我们来模拟一下多线程实现多任务。

假如你在用网易云音乐一边听歌一边下载。网易云音乐就是一个进程。假设网易云音乐内部程序是用多线程来实现多任务的,网易云音乐开两个子线程。一个用来缓存音乐,用于现在的播放。一个用来下载用户要下载的音乐的。这时候的代码框架是这样的:

import threading
import time

def listen_music(name):
    while True:
        time.sleep(1)
        print(name,"正在播放音乐")

def download_music(name):
    while True:
        time.sleep(2)
        print(name,"正在下载音乐")

if __name__ == ‘__main__‘:
    p1 = threading.Thread(target=listen_music,args=("网易云音乐",))
    p2 = threading.Thread(target=download_music,args=("网易云音乐",))
    p1.start()
    p2.start()

输出:
网易云音乐 正在播放音乐
网易云音乐 正在下载音乐
网易云音乐 正在播放音乐
网易云音乐 正在播放音乐
网易云音乐 正在下载音乐
网易云音乐 正在播放音乐
网易云音乐 正在播放音乐
网易云音乐 正在下载音乐
网易云音乐 正在播放音乐
网易云音乐 正在播放音乐
网易云音乐 正在播放音乐
......
......

观察上面的输出代码可以知道:

1.CPU是按照时间片轮询的方式来执行子线程的。cpu内部会合理分配时间片。时间片到a程序的时候,a程序如果在休眠,就会自动切换到b程序。

2.严谨来说,CPU在某个时间点,只在执行一个任务,但是由于CPU运行速度和切换速度快,因为看起来像多个任务在一起执行而已。

除了上面的方法创建线程,还有另一种方法。可以编写一个类,继承threaing.Thread类,然后重写父类的run方法。

import threading
import time

class MyThread(threading.Thread):
    def run(self):
        for i in range(5):
            time.sleep(1)
            print(self.name,i)

t1 = MyThread()
t2 = MyThread()
t3 = MyThread()
t1.start()
t2.start()
t3.start()

输出:
Thread-1 0
Thread-3 0
Thread-2 0
Thread-1 1
Thread-2 1
Thread-3 1
Thread-1 2
Thread-3 2
Thread-2 2
Thread-1 3
Thread-2 3
Thread-3 3
Thread-1 4
Thread-2 4
Thread-3 4

运行时无序的,说明已经启用了多任务。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

4.线程何时开启,何时结束

(1)子线程何时开启,何时运行
   当调用thread.start()时 开启线程,再运行线程的代码
(2)子线程何时结束
   子线程把target指向的函数中的语句执行完毕后,或者线程中的run函数代码执行完毕后,立即结束当前子线程
(3)查看当前线程数量
   通过threading.enumerate()可枚举当前运行的所有线程
(4)主线程何时结束
   所有子线程执行完毕后,主线程才结束
import threading
import time

def run():
    for i in range(5):
        time.sleep(1)
        print(i)

t1 = threading.Thread(target=run)
t1.start()
print("我会在哪里出现")

输出:
我会在哪里出现
0
1
2
3
4

为什么主进程(主线程)的代码会先出现呢?因为CPU采用时间片轮询的方式,如果轮询到子线程,发现他要休眠1s,他会先去运行主线程。所以说CPU的时间片轮询方式可以保证CPU的最佳运行。

那如果我想主进程输出的那句话运行在结尾呢?该怎么办呢?这时候就需要用到 join() 方法了。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

5.线程的 join() 方法

import threading
import time

def run():
    for i in range(5):
        time.sleep(1)
        print(i)

t1 = threading.Thread(target=run)
t1.start()
t1.join()
print("我会在哪里出现")

输出:
0
1
2
3
4
我会在哪里出现

join() 方法可以阻塞主进程(注意只能阻塞主进程,其他子进程是不能阻塞的),直到 t1 子线程执行完,再解阻塞。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

6.线程可以共享全局变量

这个稍微实验下就可以知道了,所以这里不废话。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

7.多线程共享全局变量出现的问题

我们开两个子线程,全局变量是0,我们每个线程对他自加1,每个线程加一百万次,这时候就会出现问题了,来,看代码:

 1 import threading
 2 import time
 3
 4 num = 0
 5
 6 def work1(loop):
 7     global num
 8     for i in range(loop):
 9         # 等价于 num += 1
10         temp = num
11         num = temp + 1
12     print(num)
13
14
15 def work2(loop):
16     global num
17     for i in range(loop):
18         # 等价于 num += 1
19         temp = num
20         num = temp + 1
21     print(num)
22
23
24 if __name__ == ‘__main__‘:
25     t1 = threading.Thread(target=work1,args=(1000000,))
26     t2 = threading.Thread(target=work2, args=(1000000,))
27     t1.start()
28     t2.start()
29
30     while len(threading.enumerate()) != 1:
31         time.sleep(1)
32     print(num)
33
34 输出:
35 1459526  # 第一个子线程结束后全局变量一共加到这个数
36 1588806  # 第二个子线程结束后全局变量一共加到这个数
37 1588806  # 两个线程都结束后,全局变量一共加到这个数

奇怪了,我不是每个线程都自加一百万次吗?照理来说,应该最后的结果是200万才对的呀。问题出在哪里呢?

我们知道CPU是采用时间片轮询的方式进行几个线程的执行。

假设我CPU先轮询到work1(),num此时为100,在我运行到第10行时,时间结束了!此时,赋值了,但是还没有自加!即temp=100,num=100。

然后,时间片轮询到了work2(),进行赋值自加。num=101了。

又回到work1()的断点处,num=temp+1,temp=100,所以num=101。

就这样!num少了一次自加!

在次数多了之后,这样的错误积累在一起,结果只得到158806!

这就是线程安全问题

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

8.GIL锁(互斥锁)可以弥补部分线程安全问题。注意是部分!至于GIL锁的弊端请关照我的这一篇博文

当多个线程几乎同时修改某一个共享数据的时候,需要进行同步控制

线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。

互斥锁为资源引入一个状态:锁定/非锁定

某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。

GIL锁有三个常用步骤

lock = threading.Lock()  # 取得锁
lock.acquire()  # 上锁
lock.release()  # 解锁

下面让我们用GIL锁来解决上面例子的线程安全问题。

import threading
import time

num = 0
lock = threading.Lock()  # 取得锁
def work1(loop):
    global num
    for i in range(loop):
        # 等价于 num += 1
        lock.acquire()  # 上锁
        temp = num
        num = temp + 1
        lock.release()  # 解锁
    print(num)

def work2(loop):
    global num
    for i in range(loop):
        # 等价于 num += 1
        lock.acquire()  # 上锁
        temp = num
        num = temp + 1
        lock.release()  # 解锁
    print(num)

if __name__ == ‘__main__‘:
    t1 = threading.Thread(target=work1,args=(1000000,))
    t2 = threading.Thread(target=work2, args=(1000000,))
    t1.start()
    t2.start()

    while len(threading.enumerate()) != 1:
        time.sleep(1)
    print(num)

输出:
1945267  # 第一个子线程结束后全局变量一共加到这个数
2000000  # 第二个子线程结束后全局变量一共加到这个数
2000000  # 两个线程都结束后,全局变量一共加到这个数

原文地址:https://www.cnblogs.com/chichung/p/9566734.html

时间: 2024-11-09 00:54:17

python多线程实现多任务的相关文章

Python 多线程就这么简单

来源:Linux社区  作者:StitchSun 多线程和多进程是什么自行google补脑 对于Python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一定要先排一下顺序. (好吧!我们不纠结在DOS时代是否有听音乐和看影的应用.^_^) 1 from time import ctime,sleep 2 3 def m

【Python】关于Python多线程的一篇文章转载

yeayee ------>更多技巧------>更多源码------>http://www.yeayee.com Python 一篇学会多线程 多线程和多进程是什么自行google补脑,廖雪峰官网也有,但是不够简洁,有点晕,所以就整个简单的范例. 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一

搞定python多线程和多进程

1.1 线程 1.1.1 什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务.一个线程是一个execution context(执行上下文),即一个cpu执行时所需要的一串指令. 1.1.2 线程的工作方式 假设你正在读一本书,没有读完,你想休息一下,但是你想在回来时恢复到当时读的具体进度.有一个方法就是记下页数.行数与字数这三个数值,这些数值就是exe

Python 多线程与多进程

原文地址:http://www.cnblogs.com/whatisfantasy/p/6440585.html 1 概念梳理: 1.1 线程 1.1.1 什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务.一个线程是一个execution context(执行上下文),即一个cpu执行时所需要的一串指令. 1.1.2 线程的工作方式 假设你正在读一本书

python多线程

http://blog.csdn.net/pipisorry/article/details/45306973 CPU-bound(计算密集型) 和I/O bound(I/O密集型) I/O bound 指的是系统的CPU效能相对硬盘/内存的效能要好很多,此时,系统运作,大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写,此时 CPU Loading 不高.CPU bound 指的是系统的 硬盘/内存 效能 相对 CPU 的效能 要好很多,此时,系统运作,大部分的状况是 CPU Lo

Python多线程实现方法有几种

目前python多线程实现方式有很多种比如:thread,threading,multithreading ,其中thread模块比较底层,而threading模块是对thread做了一些包装,可以更加方便的被使用. 2.7 版本之前python对线程的支持还不够完善,不能利用多核CPU,但是2.7版本的python中已经考虑改进这点,出现了 multithreading模块.threading模块里面主要是对一些线程的操作对象化,创建Thread的class.一般来说,使用线程有两种 模式:

python多线程、多进程以及GIL

多线程 使用threading模块创建线程 传入一个函数 这种方式是最基本的,即调用threading中的Thread类的构造函数,然后指定参数target=func,再使用返回的Thread的实例调用start()方法,即开始运行该线程,该线程将执行函数func,当然,如果func需要参数,可以在Thread的构造函数中传入参数args=(-).示例代码如下 import threading #用于线程执行的函数 def counter(n): cnt = 0; for i in xrange

Python多线程锁

[Python之旅]第六篇(四):Python多线程锁 python lock 多线程 多线程使用方法 多线程锁 摘要:   在多线程程序执行过程中,为什么需要给一些线程加锁以及如何加锁,下面就来说一说. 1.给线程加锁的原因     我们知道,不同进程之间的内存空间数据是不能够共享的,试想一下,如果可以随意共享,谈何安全?但是一个进程中的多个线程是可以共享这个进程的内存空间中的数据的,比如多个线程可以同时调用某一... 在多线程程序执行过程中,为什么需要给一些线程加锁以及如何加锁,下面就来说一

python多线程学习记录

1.多线程的创建 import threading t = t.theading.Thread(target, args--) t.SetDeamon(True)//设置为守护进程 t.start(),启动线程 t.join(),阻塞当前线程,即使得在当前线程结束时,不会退出.会等到子线程结束之后才退出. 如果不加join语句,主线程不会等到子线程结束才结束,但却不会立即杀死该线程. 但是如果添加了SetDaemon(True),如果不加join,则会在主线程结束后马上杀死子线程. 如果join