[记录]python的简单协程框架(回调+时间循环+select)

# -*- coding: utf-8 -*-
# @Time    : 2018/12/15 18:55
# @File    : coroutine.py

#一个简单的 Coroutine 框架

import socket			# on top of TCP
import time
from selectors import DefaultSelector, EVENT_WRITE, EVENT_READ
# select: System Call -----> watch the readiness of a unix-file(socket) i/o
# only socket is possible in Windows
# non-blocking socket

selector = DefaultSelector()

class Future:				# ~=Promise, return the caller scope a promise
							# about something in the future
	def __init__(self):
		self.callbacks = []

	def resolve(self):		# on future event callback
		for func in self.callbacks:
			func()

class Task:					# responsible for calling next() on generators
							# in charge of the async functions
	def __init__(self, gen, eventLoop):
		self.gen = gen
		self.step()

	def step(self):			# go to next step/next yield
		try:
			f = next(self.gen)
			f.callbacks.append(self.step)
		except StopIteration as e:
			# Task is finished
			eventLoop.n_task -= 1

class EventLoop:
	def __init__(self):
		self.n_task = 0

	def add_task(self, generator):
		self.n_task += 1
		Task(generator, self)

	def start(self):
		while self.n_task > 0:
			events = selector.select()
			for event, mask in events:
				f = event.data
				f.resolve()

def pause(s, event):
	f = Future()
	selector.register(s.fileno(), event, data=f)
	yield f		# pause this function

def resume(s):
	selector.unregister(s.fileno())

def async_await(s, event):
	yield from pause(s, event)
	resume(s)

def async_get(path):
	s = socket.socket()
	s.setblocking(False)
	try:
		s.connect((‘localhost‘, 3000))
	except BlockingIOError as e:
		print(e)

	yield from async_await(s, EVENT_WRITE)

	request = ‘GET %s HTTP/1.0\r\n\r\n‘ % path
	s.send(request.encode())

	totalReceived = []
	while True:
		yield from async_await(s, EVENT_READ)

		received = s.recv(1000)
		if received:
			totalReceived.append(received)
		else:
			body = (b‘‘.join(totalReceived)).decode()
			print(‘--------------------------------------‘)
			print(body)
			print(‘--------------------------------------‘, ‘Byte Received:‘, len(body), ‘\n\n‘)
			return

if __name__ == ‘__main__‘:
	start = time.time()
	eventLoop = EventLoop()

	for i in range(50):
		eventLoop.add_task(async_get(‘/super-slow‘))

	eventLoop.start()

	print(‘%.1f sec‘ % (time.time() - start))

  

原文地址:https://www.cnblogs.com/wsjhk/p/10124352.html

时间: 2024-07-30 18:34:43

[记录]python的简单协程框架(回调+时间循环+select)的相关文章

Python并发之协程

<python并发之协程>一: 单线程下实现并发,即只在一个主线程,并且cpu只有一个的情况下实现并发.(并发的本质:切换+保存状态) cpu正在运行一个任务,会在两种情况下切去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,第二种情况是该任务计算时间过长. 主线程的三种状态:其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来大家都被执行的效果,如果多个程序都是纯计算任务,这种切换反而会降低效率.为此我们基于yield验证.yield本身就是一种在单线

python并发编程&amp;协程

0x01 前导 如何基于单线程来实现并发? 即只用一个主线程(可利用的cpu只有一个)情况下实现并发: 并发的本质:切换+保存状态 cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长 ps:在介绍进程理论时,提及进程的三种执行状态,而线程才是执行单位,所以也可以将上图理解为线程的三种状态 1)其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务都被“同时”执行的效果,如果多

python的协程和异步io【select|poll|epoll】

协程又叫做微线程,协程是一种用户态的轻量级的线程,操作系统根本就不知道协程的存在,完全由用户来控制,协程拥有自己的的寄存器的上下文和栈,协程调度切换时,将寄存器上下文和栈保存到其他地方,在切换回来后,恢复之前保存的寄存器的上下文关系,因此协程能保留上一次调用的状态,每次过程重入的时候,就相当于进入上一次调用的状态 协程一定在单线程中,协程的切换是在线程中切换,和单个线程在cpu之间不停的切换是一样的但是线程切换是cpu控制的,而协程的切换是用户控制的,操作系统根本无感知:协程的切换比线程的切换速

协程及Python中的协程

阅读目录 1 协程 2 Python中如何实现协程 回到顶部 1 协程 1.1协程的概念 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程.(其实并没有说明白~) 我觉得单说协程,比较抽象,如果对线程有一定了解的话,应该就比较好理解了. 那么这么来理解协程比较容易: 线程是系统级别的,它们是由操作系统调度:协程是程序级别的,由程序员根据需要自己调度.我们把一个线程中的一个个函数叫做子程序,那么子程序在执行过程中可以中断去执行别的子程序:别的子程

python 并发编程 协程 目录

python 并发编程 协程 协程介绍 python 并发编程 协程 greenlet模块 原文地址:https://www.cnblogs.com/mingerlcm/p/11148935.html

python 并发编程 协程 gevent模块

一 gevent模块 gevent应用场景: 单线程下,多个任务,io密集型程序 安装 pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程. Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度. gevent可以检测io,实现遇到io自动切换另外一个任务 #用法 g1=gevent.spawn(func,1,

Python与Golang协程异同

背景知识 这里先给出一些常用的知识点简要说明,以便理解后面的文章内容. 进程的定义: 进程,是计算机中已运行程序的实体.程序本身只是指令.数据及其组织形式的描述,进程才是程序的真正运行实例. 线程的定义: 操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位. 进程和线程的关系: 一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务. CPU的最小调度单元是线程不是进程,所以单进程多线程也可以利用多核CPU. 协程的定义: 协

Python实现基于协程的异步爬虫

一.课程介绍 1. 课程来源 本课程核心部分来自<500 lines or less>项目,作者是来自 MongoDB 的工程师 A. Jesse Jiryu Davis 与 Python 之父 Guido van Rossum.项目代码使用 MIT 协议,项目文档使用 http://creativecommons.org/licenses/by/3.0/legalcode 协议. 课程内容在原文档基础上做了稍许修改,增加了部分原理介绍,步骤的拆解分析及源代码注释. 2. 内容简介 传统计算机

Python线程和协程-day10

写在前面 上课第10天,打卡: 感谢Egon老师细致入微的讲解,的确有学到东西! 一.线程 1.关于线程的补充 线程:就是一条流水线的执行过程,一条流水线必须属于一个车间: 那这个车间的运行过程就是一个进程: 即一个进程内,至少有一个线程: 进程是一个资源单位,真正干活的是进程里面的线程: 线程是一个执行单位: 多线程:一个车间内有多条流水线,多个流水线共享该车间的资源: 一个进程内有多个线程,多线程共享一个进程的资源: 线程创建的开销要远远小于创建进程的开销: 进程之间更多的是一种竞争关系: