flask上下文管理之threading.local

Flask之上下文管理

知识储备之问题情境:

request中的参数:

  • 单进程单线程
  • 单进程多线程-->reqeust 会因为多个请求,数据发生错乱.--->可以基于threading.local对象
  • 单进程单线程(多协程)threading.local对象做不到(因为一个线程下多个协程同享一个线程的资源)

解决办法:

? 自定义类似threading.local对象(支持协程)---保证多协程下数据的安全

先来看一下下面这段代码(支持多线程):

# -*- coding: utf-8 -*-

"""
1288::{}

"""

from _thread import get_ident
import threading

class Local(object):
    def __init__(self):
        self.storage = {}
        self.get_ident = get_ident

    # 设置值
    def set(self, k, v):
        # 获取线程的唯一标识
        ident = self.get_ident()
        # 通过唯一标识去字典里面取值
        origin = self.storage.get(ident)
        if not origin:
            origin = {k: v}
        else:
            origin[k] = v
        # 将k,v 保存到  storage中 形式如下
        # {
        #   1023:{k,v},  # self.storage[ident] = origin 所添加的值
        #   1045:{k1,v1}  # 原先storage中有的值

        # }
        self.storage[ident] = origin

    # 获取值
    def get(self, k):

        ident = self.get_ident()
        origin = self.storage.get(ident)
        if not origin:
            return None
        return origin.get(k, None)

# 获取一个线程对象
local_obj = Local()

# 获取每一个线程的唯一标识
def task(num):
    local_obj.set('name',num)
    import time
    time.sleep(1)
    print(local_obj.get('name'),threading.current_thread().name)

for i in range(20):
    th = threading.Thread(target=task, args=(i,), name='线程%s' % i)
    th.start()
"""
0 线程0
1 线程1
2 线程2
5 线程5
6 线程6
3 线程3
4 线程4
10 线程10
9 线程9
11 线程11
7 线程7
13 线程13
14 线程14
17 线程17
18 线程18
15 线程15
19 线程19
8 线程8
12 线程12
16 线程16
"""

再进一步,支持协程

# 首先需要安装依赖
pip3 intall gevent

# gevent 依赖安装 greenlet   可以获取协程的唯一标识

# -*- coding: utf-8 -*-

"""
1288::{

}

"""

try:
    # 优先用协程的
    # 如果是单线程多协程,导入获取协程唯一标识的
    from greenlet import getcurrent as get_ident  # 协程
except ImportError:
    try:
        # 如果是多线程导入获取线程唯一标识的
        from thread import get_ident
    except ImportError:
        # 如果是多线程导入获取线程唯一标识的
        from _thread import get_ident  # 线程

class Local(object):
    def __init__(self):
        self.storage = {}
        self.get_ident = get_ident

    # 设置值
    def set(self, k, v):
        # 获取线程的唯一标识
        ident = self.get_ident()
        # 通过唯一标识去字典里面取值
        origin = self.storage.get(ident)
        if not origin:
            origin = {k: v}
        else:
            origin[k] = v
        # 将k,v 保存到  storage中 形式如下
        # {
        #   1023:{k,v},  # self.storage[ident] = origin 所添加的值
        #   1045:{k1,v1}  # 原先storage中有的值

        # }
        self.storage[ident] = origin

    # 获取值
    def get(self, k):

        ident = self.get_ident()
        origin = self.storage.get(ident)
        if not origin:
            return None
        return origin.get(k, None)

# 获取一个线程对象
local_obj = Local()

# 获取每一个线程的唯一标识
def task(num):
    local_obj.set('name', num)
    import time
    time.sleep(1)
    print(local_obj.get('name'), threading.current_thread().name)

for i in range(20):
    th = threading.Thread(target=task, args=(i,), name='线/协程%s' % i)
    th.start()

flask中实现的方式

flask中运用了面向对象的一些方法重试简化了实现方式

先补充了解面向对象的姿势:

class Foo():

    # 在执行 对象.属性 = 值的时候执行,这里可以写赋值操作
    def __setattr__(self,key,value):
        print(key,value)
    # 在执行 对象.属性的时候,执行, 这里可以写获取对象的属性
    def __getattr__(self, item):
        print(item)
foo = Foo()
foo.x = 123
foo.x

但是还是有点问题 上面写法: 如果在 初始化操作的时候,会出现递归问题

class Foo():
    def __init__(self):
        self.storage ={}

    def __setattr__(self,key,value):
        self.storage = {'k':'v'}
        print(key,value)

    def __getattr__(self, item):
        print(item)
foo = Foo()
foo.x = 123
foo.x

"""
上述办法 会在 __setattr__ 这里产生递归
    self.storage = {'k':'v'}
  [Previous line repeated 327 more times]
RecursionError: maximum recursion depth exceeded
"""

解决办法

class Foo(object):
    def __init__(self):
        object.__setattr__(self, "storage", {})
        # self.storage = {}  

    def __setattr__(self, key, value):
        storage = self.storage
        storage['1024'] = {key: value}

        print(storage)

    def __getattr__(self, item):
        print(item)
"""

{'1024': {'x': 123}}
x
"""

上述问题 接近源码的做法实现一个支持协程线程的自定义类似threading.local 对象

# -*- coding: utf-8 -*-

"""
模仿
flask中运用了一些面向对象的方法: __getattr__,__setattr__

"""

import threading

try:
    # 优先用协程的
    # 如果是单线程多协程,导入获取协程唯一标识的
    from greenlet import getcurrent as get_ident  # 协程
except ImportError:
    try:
        # 如果是多线程导入获取线程唯一标识的
        from thread import get_ident
    except ImportError:
        # 如果是多线程导入获取线程唯一标识的
        from _thread import get_ident  # 线程

class Local(object):
    def __init__(self):
        object.__setattr__(self, "__storage__", {})
        object.__setattr__(self, "__ident_func__", get_ident)

    def __getattr__(self, name):
        try:
            return self.__storage__[self.__ident_func__()][name]
        except KeyError:
            raise AttributeError(name)

    def __setattr__(self, name, value):
        ident = self.__ident_func__()
        storage = self.__storage__
        try:
            storage[ident][name] = value
        except KeyError:
            storage[ident] = {name: value}

# 获取一个线程对象
local_obj = Local()

# 获取每一个线程的唯一标识
def task(num):
    local_obj.name = num
    import time
    time.sleep(1)
    print(local_obj.name, threading.current_thread().name)

for i in range(20):
    th = threading.Thread(target=task, args=(i,), name='线程%s' % i)
    th.start()
"""
0 线程0
3 线程3
4 线程4
1 线程1
2 线程2
8 线程8
7 线程7
5 线程5
6 线程6
10 线程10
9 线程9
11 线程11
12 线程12
15 线程15
14 线程14
13 线程13
19 线程19
16 线程16
18 线程18
17 线程17
"""

flask 源码实现方式

try:
    from greenlet import getcurrent as get_ident
except ImportError:
    try:
        from thread import get_ident
    except ImportError:
        from _thread import get_ident
class Local(object):

    def __init__(self):
        """当类 实例化产生函数的时候初始化的时候被调用"""
        object.__setattr__(self, "__storage__", {})
        object.__setattr__(self, "__ident_func__", get_ident)

    def __call__(self, proxy):
        """
        当类实例化的对象 被 调用的时候执行该函数
        """
        """Create a proxy for a name."""
        return LocalProxy(self, proxy)

    def __release_local__(self):
        self.__storage__.pop(self.__ident_func__(), None)

    def __getattr__(self, name):
        """定义当用户试图获取一个不存在的属性时的行为"""
        try:
            return self.__storage__[self.__ident_func__()][name]
        except KeyError:
            raise AttributeError(name)

    def __setattr__(self, name, value):
        """定义当一个属性被设置时的行为"""
        ident = self.__ident_func__()
        storage = self.__storage__
        try:
            storage[ident][name] = value
        except KeyError:
            storage[ident] = {name: value}

    def __delattr__(self, name):
        """定义当一个属性被删除时的行为"""
        try:
            del self.__storage__[self.__ident_func__()][name]
        except KeyError:
            raise AttributeError(name)

PS: flask 中保存请求相关 session相关的对象的在并发的时候的不同(保证数据的安全),都是基于这个 threading.local 实现的

原文地址:https://www.cnblogs.com/qianzhengkai/p/11396618.html

时间: 2024-10-28 10:19:37

flask上下文管理之threading.local的相关文章

flask上下文管理相关 - threading.local 以及原理剖析

threading.local 面向对象相关: setattr/getattr class Foo(object): pass obj = Foo() obj.x1 = 123 # object.__setattr__(obj,'x1',123) print(obj.x1) # object.__getattr__(obj,'x1') Local类的模拟 简易版 class Local(object): def __init__(self): # self.storage = {} object

Flask上下文管理、session原理和全局g对象

一.一些python的知识 1.偏函数 def add(x, y, z): print(x + y + z) # 原本的写法:x,y,z可以传任意数字 add(1,2,3) # 如果我要实现一个功能,这三个数中,其中一个数必须是3 # 我们就可以使用偏函数来帮着我们传参 from functools import partial # partial:给add这个函数固定传一个数字 3 new_add = partial(add, 3) # 因此新的函数只需要传2个参数 new_add(1,1)

Flask 上下文管理-- (session,request,current_app的传递)

Flask session,request,current_app的传递 1 flask的 request, session 和 current_app 都是 设置方式比较新颖 -- 通过上下文管理的方式实现的 每次请求进来app.run调用 call 方法, 创建 一个本地线程(唯一标识作为键) -- 然后把实例化的对象push到一个地方,在请求结束后返回的时候 pop 掉 local = { '标识':{'stack':[RequestContext(),]} } 2 补充 partial

flask上下文管理

flask的上下文管理分应用上下文和请求上下文: 官方文档里是说先理解应用上下文比较好,不过我还是觉得反过来,从请求上下文开始记录比较合适,所以这篇先记录请求上下文. 那么问题来了,什么才是请求上下文: 通俗点说,其实上下文就像一个容器,包含了很多你需要的信息 request和session都属于请求上下文 request 针对的是http请求作为对象 session针对的是更多是用户信息作为对象 上下文的结构 说到上下文这个概念的数据结构,这里需要先知道,他是运用了一个Stack的栈结构,也就

Flask 上下文管理

flask的request和session设置方式比较新颖,如果没有这种方式,那么就只能通过参数的传递. flask是如何做的呢? 1.Python 实现的本地线程 保证即使是多个线程,自己的值也是互相隔离. import threading local_values = threading.local() def func(num): local_values.name = num import time time.sleep(1) print(local_values.name, threa

python - Flask 上下文管理 流程

上下文管理:    - 请求上下文 (ctx=RequestContext())  : request/session    - App上下文  (app_ctx=AppContext())  : app/g 1. 请求进来执行 __call__ 方法.2. __call__ 方法调用 wsgi_app.3. wsgi_app:    - (1)实例化两个方法:    ctx = RequestContext(request,session)    app_ctx = AppContext(ap

利用flask上下文管理原理,实现线程之间的数据安全

由于一般的程序基本上都是IO密集型,如果只是为了保证数据的安全而去开启进程,这必定是浪费资源的行为:为了保证数据的安全,借用flask的上下文的原理,如下代码实现 from threading import Threadimport time try: from greenlet import getcurrent as get_ident # 协程的唯一标识except ImportError: try: from thread import get_ident except ImportEr

深度剖析Flask上下文管理机制

前言 上下文这个概念多见于文章中,是一句话中的语境,也就是语言环境.一句莫名其妙的话出现会让人不理解什么意思,如果有语言环境的说明,则会更好,这就是语境对语意的影响. 上下文是一种属性的有序序列,为驻留在环境内的对象定义环境.在对象的激活过程中创建上下文,对象被配置为要求某些自动服务,如同步.事务.实时激活.安全性等等. 如在计算机中,相对于进程而言,上下文就是进程执行时的环境.具体来说就是各个变量和数据,包括所有的寄存器变量.进程打开的文件.内存信息等.可以理解上下文是环境的一个快照,是一个用

Flask的上下文管理机制

前引 在了解flask上下文管理机制之前,先来一波必知必会的知识点. 面向对象双下方法 首先,先来聊一聊面向对象中的一些特殊的双下划线方法,比如__call__.__getattr__系列.__getitem__系列. __call__ 这个方法相信大家并不陌生,在单例模式中,我们可能用到过,除此之外,还想就没有在什么特殊场景中用到了.我们往往忽视了它一个很特殊的用法:对象object+()或者类Foo()+()这种很特殊的用法.在Flask上下文管理中,入口就是使用了这种方式. __getit