多线程/多进程/协程

占用的资源:进程>线程>协程

进程:先加载程序A的上下文,然后开始执行A,保存程序A的上下文,调入下一个要执行的程序B的程序上下文,然后开始执行B,保存程序B的上下文

进程的颗粒度太大,每次都要有上下的调入,保存,调出。

线程:一个软件的执行不可能是一条逻辑执行的,必定有多个分支和多个程序段,就好比要实现程序A,实际分成 a,b,c等多个块组合而成;这里的a,b,c就是线程,也就是说线程是共享了进程的上下文环境,的更为细小的CPU时间段

https://www.zhihu.com/question/25532384/answer/81152571--zhonyong的回答

进程只是资源分配的单位,线程才是cpu执行的单位

所以一般情况下,线程是可以用到多核的

只不过,在python中就比较特殊,本来创建了多个线程,但python解释器对外声称每个时间片只有一个线程要运行,所以对cpu来讲,只能看到一个线程,就变成单线程了;都是GIL搞的鬼

(GIL锁原因:刚开始单线程够用了,而且完美解决线程安全问题;现在就苦逼了。。。)

基于这种情况,出现了补救措施:multiprocessing

python解释器给multiprocessing.Process的每个对象都给了一把锁玩,所以是真的多任务

并发/并行:多个任务,一个核执行就是并发;每个任务都有一个核执行,就是并行

python中的多线程就是并发,多进程才是并行

即并行/并发与是不是线程没关系,只和任务数/核心数有关系;如果没有GIL,多线程也能实现并行

(之前以为只要是多线程就一定是并发,即单个cpu手忙脚乱一会执行这个一下,一会又去执行那个一下;实际上,cpu的眼里只有线程,所以才说线程是cpu调度的单位)

单线程/多线程:

代码是计算密集型的,单线程比多线程快,多线程执行1000命令后就会被GIL切换掉,而切换是要消耗资源的;

计算密集型的多任务:multiprocessing创建多进程,真的多任务,每个进程有各自的GIL

代码是io密集型的,多线程更快,因为有的切换,单线程都没得切换,只能等

io密集型的线程与协程:协程更快,因为是在线程内切换,线程层面都不切的

但一般程序并不是纯io,也是有计算的,所以这就是协程的缺点,毕竟是单线程的;所以线程的优势就又体现出来了

只能这么比较通俗的讲,底层还有用户线程/内核线程什么的 (这篇看着还不错,基本清晰),即该开始只有进程,没有线程,但进程太麻烦了,所以应用级搞了个线程,但内核不支持线程这个东西,依旧按进程来调;后来内核支持了线程,即调的是线程了

最根本的还是要看一本操作系统原理的书,才能理解透彻了

原文地址:https://www.cnblogs.com/justaman/p/11479963.html

时间: 2024-11-08 23:07:34

多线程/多进程/协程的相关文章

多线程 多进程 协程 Queue(爬虫代码)

快速理解多进程与多线程以及协程的使用场合和特点 首先我们来了解下python中的进程,线程以及协程! 从计算机硬件角度: 计算机的核心是CPU,承担了所有的计算任务.一个CPU,在一个时间切片里只能运行一个程序. 从操作系统的角度: 进程和线程,都是一种CPU的执行单元. 进程:表示一个程序的上下文执行活动(打开.执行.保存...) 线程:进程执行程序时候的最小调度单位(执行a,执行b...) 一个程序至少有一个进程,一个进程至少有一个线程. 并行 和 并发: 并行:多个CPU核心,不同的程序就

python并发之多进程、多线程、协程和异步

一.多线程 二.协程(又称微线程,纤程) 协程,与线程的抢占式调度不同,它是协作式调度.协程在python中可以由generator来实现. 首先要对生成器和yield有一个扎实的理解. 调用一个普通的python函数,一般是从函数的第一行代码开始执行,结束于return语句.异常或者函数执行(也可以认为是隐式地返回了None). 一旦函数将控制权交还给调用者,就意味着全部结束.而有时可以创建能产生一个序列的函数,来“保存自己的工作”,这就是生成器(使用了yield关键字的函数). 能够“产生一

分布式计算--(分布式+多进程+多线程+多协程)

先来个最简单的例子: 把1-10000每个数求平方 服务器server: 用两个队列存储任务.结果 定义两个函数 要实现分布式得继承multiprocessing.managers.BaseManager 在主函数里multiprocessing.freeze_support()开启分布式支持 注册两个函数给客户端调用 创建管理器,设置ip地址和开启端口.链接密码. 用两个队列加任务.收结果.用刚刚注册的函数 把1-10000压入队列, 把结果压入队列 最后完成关闭服务器 客户端client:

多线程配合协程

协程配合线程 asyncio.run_coroutine_threadsafe 该方法的语法如下: asyncio.run_coroutine_threadsafe(coro, loop) 其实在协程中也可以使用多线程,有时候我们需要在主线程中启动一个子线程去做别的任务,这个时候我们就要用到下面的方法了,先上一个流畅的Python中的代码. import time import asyncio from threading import Thread now = lambda: time.tim

flask多线程多协程操作

local的作用:各个线程各开辟一块空间互不影响 基于local""" import threading from threading import local import time obj = local() def task(i): obj.xxxxx = i time.sleep(2) print(obj.xxxxx,i) for i in range(10): t = threading.Thread(target=task,args=(i,)) t.start()

Cpython解释器下实现并发编程——多进程、多线程、协程、IO模型

一.背景知识 进程即正在执行的一个过程.进程是对正在运行的程序的一个抽象. 进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一.操作系统的其他所有内容都是围绕进程的概念展开的.   一.操作系统相关的知识 详情见链接:http://www.cnblogs.com/linhaifeng/p/6295875.html 即使可以利用的CPU只有一个(早期的计算机确实如此),也能保证支持(伪)并发的能力.将一个单独的CPU变成多个虚拟的CPU(多道技术:时

python多线程、多进程、协程的使用

本文主要介绍多线程.多进程.协程的最常见使用,每个的详细说明与介绍有时间会在以后的随笔中体现. 一.多线程 1.python通过两个标准库thread和threading提供对线程的支持.thread提供了低级别的.原始的线程以及一个简单的锁.threading通过对thread模块进行二次封装,提供了更方便的API来操作线程.接下来只介绍threading的常见用法. 2.使用 import threading import time def Traversal_5(interval): fo

python 多进程/多线程/协程 同步异步

这篇主要是对概念的理解: 1.异步和多线程区别:二者不是一个同等关系,异步是最终目的,多线程只是我们实现异步的一种手段.异步是当一个调用请求发送给被调用者,而调用者不用等待其结果的返回而可以做其它的事情.实现异步可以采用多线程技术或则交给另外的进程来处理.多线程的好处,比较容易的实现了 异步切换的思想, 因为异步的程序很难写的.多线程本身程还是以同步完成,但是应该说比效率是比不上异步的. 而且多线很容易写, 相对效率也高. 2.异步和同步的区别:  在io等待的时候,同步不会切走,浪费了时间.异

Python爬虫案例演示:Python多线程、多进程、协程

很多时候我们写了一个爬虫,实现了需求后会发现了很多值得改进的地方,其中很重要的一点就是爬取速度.本文 就通过代码讲解如何使用 多进程.多线程.协程 来提升爬取速度.注意:我们不深入介绍理论和原理,一切都在代码中. 二.同步 首先我们写一个简化的爬虫,对各个功能细分,有意识进行函数式编程.下面代码的目的是访问300次百度页面并返回状态码,其中 parse_1 函数可以设定循环次数,每次循环将当前循环数(从0开始)和url传入 parse_2 函数. import requests def pars