Python线程、进程知识整理

一.python线程

Threading用于提供线程相关的操作,线程是应用程序中工作的最小单元。


1

2

3

4

5

6

7

8

9

10

11

12

13

14

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import threading

import time

 

def show(arg):

    time.sleep(1)

    print ‘thread‘+str(arg)

 

for in range(10):

    = threading.Thread(target=show, args=(i,))

    t.start()

 

print ‘main thread stop‘

上述代码创建了10个“前台”线程,然后控制器就交给了CPU,CPU根据指定算法进行调度,分片执行指令。

更多方法:

    • start            线程准备就绪,等待CPU调度
    • setName      为线程设置名称
    • getName      获取线程名称
    • setDaemon   设置为后台线程或前台线程(默认)
                         如果是后台线程,主线程执行过程中,后台线程也在进行,主线程执行完毕后,后台线程不论成功与否,均停止
                          如果是前台线程,主线程执行过程中,前台线程也在进行,主线程执行完毕后,等待前台线程也执行完成后,程序停止
    • join              逐个执行每个线程,执行完毕后继续往下执行,该方法使得多线程变得无意义
    • run              线程被cpu调度后自动执行线程对象的run方法
    • import threading
      import time
      
      class MyThread(threading.Thread):
          def __init__(self,num):
              threading.Thread.__init__(self)
              self.num = num
      
          def run(self):#定义每个线程要运行的函数
      
              print("running on number:%s" %self.num)
      
              time.sleep(3)
      
      if __name__ == ‘__main__‘:
      
          t1 = MyThread(1)
          t2 = MyThread(2)
          t1.start()
          t2.start()
      
      自定义线程类

      自定义线程类

二.线程锁(Lock、RLock)

由于线程之间是进行随机调度,并且每个线程可能只执行n条执行之后,当多个线程同时修改同一条数据时可能会出现脏数据,所以,出现了线程锁 - 同一时刻允许一个线程执行操作。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import threading
import time

gl_num = 0

def show(arg):
    global gl_num
    time.sleep(1)
    gl_num +=1
    print gl_num

for i in range(10):
    t = threading.Thread(target=show, args=(i,))
    t.start()

print ‘main thread stop‘

未使用锁

未使用锁


互斥锁 同时只允许一个线程更改数据,而Semaphore是同时允许一定数量的线程更改数据 ,比如厕所有3个坑,那最多只允许3个人上厕所,后面的人只能等里面有人出来了才能再进去。

三.信号量(Semaphore)


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

import threading,time

def run(n):

    semaphore.acquire()

    time.sleep(1)

    print("run the thread: %s" %n)

    semaphore.release()

if __name__ == ‘__main__‘:

    num= 0

    semaphore  = threading.BoundedSemaphore(5) #最多允许5个线程同时运行

    for in range(20):

        t = threading.Thread(target=run,args=(i,))

        t.start()

四.事件(event)

python线程的事件用于主线程控制其他线程的执行,事件主要提供了三个方法 set、wait、clear。

事件处理的机制:全局定义了一个“Flag”,如果“Flag”值为 False,那么当程序执行 event.wait 方法时就会阻塞,如果“Flag”值为True,那么event.wait 方法时便不再阻塞。

  • clear:将“Flag”设置为False
  • set:将“Flag”设置为True

五.条件(Condition)

使得线程等待,只有满足某条件时,才释放n个线程

def condition_func():

    ret = False
    inp = input(‘>>>‘)
    if inp == ‘1‘:
        ret = True

    return ret

def run(n):
    con.acquire()
    con.wait_for(condition_func)
    print("run the thread: %s" %n)
    con.release()

if __name__ == ‘__main__‘:

    con = threading.Condition()
    for i in range(10):
        t = threading.Thread(target=run, args=(i,))
        t.start()

六.Timer

七.python进程

八.进程数据共享

进程各自持有一份数据,默认无法共享数据

#!/usr/bin/env python
#coding:utf-8

from multiprocessing import Process
from multiprocessing import Manager

import time

li = []

def foo(i):
    li.append(i)
    print ‘say hi‘,li

for i in range(10):
    p = Process(target=foo,args=(i,))
    p.start()

print ‘ending‘,li

进程间默认无法数据共享

进程间默认无法数据共享

‘c‘: ctypes.c_char,  ‘u‘: ctypes.c_wchar,
    ‘b‘: ctypes.c_byte,  ‘B‘: ctypes.c_ubyte,
    ‘h‘: ctypes.c_short, ‘H‘: ctypes.c_ushort,
    ‘i‘: ctypes.c_int,   ‘I‘: ctypes.c_uint,
    ‘l‘: ctypes.c_long,  ‘L‘: ctypes.c_ulong,
    ‘f‘: ctypes.c_float, ‘d‘: ctypes.c_double

类型对应表

类型对应表

from multiprocessing import Process, Queue

def f(i,q):
    print(i,q.get())

if __name__ == ‘__main__‘:
    q = Queue()

    q.put("h1")
    q.put("h2")
    q.put("h3")

    for i in range(10):
        p = Process(target=f, args=(i,q,))
        p.start()

Code

Code

当创建进程时(非使用时),共享数据会被拿到子进程中,当进程中执行完毕后,再赋值给原值。

九.进程池

进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。

进程池中有两个方法:

  • apply
  • apply_async

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

#!/usr/bin/env python

# -*- coding:utf-8 -*-

from  multiprocessing import Process,Pool

import time

 

def Foo(i):

    time.sleep(2)

    return i+100

 

def Bar(arg):

    print arg

 

pool = Pool(5)

#print pool.apply(Foo,(1,))

#print pool.apply_async(func =Foo, args=(1,)).get()

 

for in range(10):

    pool.apply_async(func=Foo, args=(i,),callback=Bar)

 

print ‘end‘

pool.close()

pool.join()#进程池中进程执行完毕后再关闭,如果注释,那么程序直接关闭。

时间: 2024-10-17 12:07:12

Python线程、进程知识整理的相关文章

Python线程进程[event,队列,进程[未完]]

Event: 由于每个线程都是独立运行的,但是如果某个线程的运行需要通过另一个线程的运行状态来进行自己的下一步运行操作时.这时就需要event对象来支持这种操作了.它运行线程等待某些时间的发生,初始对象中的信号标志被设置为False.如果有一个线程在等待一个Event对象,如果信号标志位一直是False ,那这个线程会一直等下去直至信号标志变为True.如果信号标志原本就是True,线程就会忽略这个设置继续运行. 用法:event.isSet():返回event的状态值: event.wait(

python线程进程

多道技术: 多道程序设计技术 所谓多道程序设计技术,就是指允许多个程序同时进入内存并运行.即同时把多个程序放入内存,并允许它们交替在CPU中运行,它们共享系统中的各种硬.软件资源.当一道程序因I/O请求而暂停运行时,CPU便立即转去运行另一道程序. 多道程序的运行过程:将A.B两道程序同时存放在内存中,它们在系统的控制下,可相互穿插.交替地在CPU上运行:当A程序因请求I/O操作而放弃CPU时,B程序就可占用CPU运行,这样 CPU不再空闲,而正进行A I/O操作的I/O设备也不空闲,显然,CP

python线程,进程,队列和缓存

一.线程 threading用于提供线程相关的操作,线程是应用程序中工作的最小单元. 创建线程的两种方式1.threading.Thread import threading def f1(arg): print(arg) t = threading.Thread(target=f1,args=(123,)) #t.start代表这个线程已经准备就绪,等待cpu的调度. t.start() 2.自定义,继承threading.Thread class MyThread(threading.Thr

python 函数基础知识整理

一.函数的定义: 定义:def 关键词开头,空格之后接函数名称和圆括号(),最后还有一个":". def 是固定的,不能变,必须是连续的def三个字母,不能分开... 空格 为了将def关键字和函数名分开 函数名:必须由字母下划线数字组成,不能是关键字,不能是数字开头,函数名还是要有一定的意义能够简单说明函数的功能 括号:是必须加的 注释:每一个函数都应该对功能和参数进行相应的说明,应该写在函数下面第一行.以增强代码的可读性. 调用:就是 函数名() 要记得加上括号 def 函数名(参

Python入门零散知识整理(! 格式化输出)

目录 内置类型转换 数学 字符串 变量赋值模型(有书上称为便签模型) 简单输入和输出 格式化输入输出 1. 字符串格式化运算符% (类似C中的printf()函数) 2. 字符串格式化方法format() 函数 内置类型转换 type()可直接查看变量类型 补充: >>>dict(name = 'aloha', food = 'apple pie', id = '0') {'name': 'aloha', 'food': 'apple pie', 'id': '0'} 数学 分数 pyt

Python介绍与特点(自学python知识整理)

Python 简介 Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言. Python 的设计: Python 是一种解释型语言: 这意味着开发过程中没有了编译这个环节.类似于PHP和Perl语言. Python 是交互式语言: 这意味着,您可以在一个Python提示符,直接互动执行写你的程序. Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术. Python 是初学者的语言:Python 对初级程序员而言,是一种伟大的语

Linux进程管理知识整理

Linux进程管理知识整理 1.进程有哪些状态?什么是进程的可中断等待状态?进程退出后为什么要等待调度器删除其task_struct结构?进程的退出状态有哪些? TASK_RUNNING(可运行状态) TASK_INTERRUPTIBLE(可中断等待状态) TASK_UNINTERRUPTIBLE(不可中断等待状态) TASK_STOPPED(进程被其它进程设置为暂停状态) TASK_TRACED(进程被调试器设置为暂停状态) TASK_DEAD(退出状态) 进程由于所需资源得不到满足,从而进入

线程池Python 线程、进程和协程

Python   线程 Threading是用于提供线程相关的操作,线程是应用程序中工作的最小单元.线程与进程的关系下图所示: 子线程是由主线程产生的,但两者并没有关联. 利用threading创建线程: 1 '''利用threading包创建''' 2 import threading 3 import time 4 5 def run(n): 6 time.sleep(2) 7 print("task:",n) 8 9 '''串行:一个运行完后,再运行另外一个''' 10 run(

Android进程与线程基本知识

Android进程与线程基本知识 本文介绍Android平台中进程与线程的基本知识. 很早的时候就想介绍一下Android中的进程和线程,但由于其他的事情一直给耽搁了,直到现在才能和大家一起分享下. 1.Android进程基本知识: 我们先来了解下Android中的进程基本知识. 当一个程序第一次启动的时候,Android会启动一个LINUX进程和一个主线程.默认的情况下,所有该程序的组件都将在该进程和线程中运行. 同时,Android会为每个应用程序分配一个单独的LINUX用户.Android