python多线程和多进程

Python多线程存取MySQL数据

为什么在Python里推荐使用多进程而不是多线程?

廖雪峰关于多进程

python进程池剖析(二)

示例说话

准备数据库,数据表

# 新建数据库
create database mxshop;

# 新建测试表
create table table_iin (id int primary key auto_increment, `in` int, time datetime);

# 授权用户
grant all on mxshop.* to [email protected] identified by ‘mxshop_pass‘;

insert插入数据 -- 多线程插入

import MySQLdb
import datetime
import time
import threading

def insert(io):
        time_now = datetime.datetime.now()
        print io,time_now
        conn = MySQLdb.connect(user = "mxshop_user", passwd = "mxshop_pass", host = "localhost", db = "mxshop")
        cur = conn.cursor()
        sql = "insert into table_in (`in`, `time`) values (‘%s‘,‘%s‘);"
        cur.execute(sql%(io,time_now))
        #sql = ‘show databases;‘
        #print cur.execute(sql)
        cur.close()
        conn.commit()
        time_end = datetime.datetime.now()
        print ‘\033[41mTask     %s runs %s seconds.\033[0m‘ % (io, (time_end - time_now))
        # time.sleep(2)
print ‘Parent process begin‘
t_res = []
for i in range(1,313):
    t = threading.Thread(target=insert, args=(i,))
    t.start()
    t_res.append(t)

for r in t_res:
    r.join()
print ‘\033[42mWaiting for all subpro done\033[0m‘
print ‘all done‘

update更新数据 -- 多进程更新

import MySQLdb
import datetime
import time
import threading
from multiprocessing import Pool

def update_sql(io):
        time_now = datetime.datetime.now()
        print io,time_now
        conn = MySQLdb.connect(user = "mxshop_user", passwd = "mxshop_pass", host = "localhost", db = "mxshop")
        cur = conn.cursor()
        sql = "update table_in set `time`=‘%s‘ where `in`=‘%s‘;"
        cur.execute(sql%(time_now,io))
        #sql = ‘show databases;‘
        #print cur.execute(sql)
        cur.close()
        conn.commit()
        time_end = datetime.datetime.now()
        print ‘\033[41mTask     %s runs %s seconds.\033[0m‘ % (io, (time_end - time_now))
        # time.sleep(2)
print ‘Parent process begin‘
i = 1
# 多次循环 update,注意 Pool()应在的位置
while i < 5:
    p = Pool()
    for n in range(1,313):
        p.apply_async(update_sql, args=(n,))
    #    if n == 5:
    #        break
    print ‘\033[42mWaiting for all subpro done\033[0m‘
    p.close()
    p.join()
    print ‘\033[32m %s all done\033[0m‘ %i
    i += 1

多线程适用IO密集型的操作,不适合CPU密集型,为什么呢?

原文地址:http://blog.51cto.com/11114389/2177872

时间: 2024-10-17 06:44:38

python多线程和多进程的相关文章

Python多线程和多进程谁更快?

python多进程和多线程谁更快 python3.6 threading和multiprocessing 四核+三星250G-850-SSD 自从用多进程和多线程进行编程,一致没搞懂到底谁更快.网上很多都说python多进程更快,因为GIL(全局解释器锁).但是我在写代码的时候,测试时间却是多线程更快,所以这到底是怎么回事?最近再做分词工作,原来的代码速度太慢,想提速,所以来探求一下有效方法(文末有代码和效果图) 这里先来一张程序的结果图,说明线程和进程谁更快 一些定义 并行是指两个或者多个事件

基于Windows平台的Python多线程及多进程学习小结

python多线程及多进程对于不同平台有不同的工具(platform-specific tools),如os.fork仅在Unix上可用,而windows不可用,该文仅针对windows平台可用的工具进行总结. 1.多线程 单线程中,如果某一任务(代码块)是long-time running的,则必须等待该任务(代码块)结束,才可以对下一个任务进行操作,为解决long-time 任务的block问题,可将创建多个线程,间隔选择多线程进行操作.python 中多线程常用的库为_thread,thr

python多线程、多进程以及GIL

多线程 使用threading模块创建线程 传入一个函数 这种方式是最基本的,即调用threading中的Thread类的构造函数,然后指定参数target=func,再使用返回的Thread的实例调用start()方法,即开始运行该线程,该线程将执行函数func,当然,如果func需要参数,可以在Thread的构造函数中传入参数args=(-).示例代码如下 import threading #用于线程执行的函数 def counter(n): cnt = 0; for i in xrange

python多线程、多进程、协程的使用

本文主要介绍多线程.多进程.协程的最常见使用,每个的详细说明与介绍有时间会在以后的随笔中体现. 一.多线程 1.python通过两个标准库thread和threading提供对线程的支持.thread提供了低级别的.原始的线程以及一个简单的锁.threading通过对thread模块进行二次封装,提供了更方便的API来操作线程.接下来只介绍threading的常见用法. 2.使用 import threading import time def Traversal_5(interval): fo

python 多线程、多进程

一.首先说下多线程.多进程用途及异同点,另外还涉及到队列的,memcache.redis的操作等: 1.在python中,如果一个程序是IO密集的操作,使用多线程:运算密集的操作使用多进程. 但是,其实在python中,只支持一个cpu的多线程,多个任务是切换执行的,并不能并行执行,所以有的时候,多线程并不比单线程要快,在我们的理解中,下意识的就会认为 多线程肯定比单线程要快,其实不然,多线程只会在有线程阻塞的情况下才会起到效果,下面我们来看一个实例: 1 import os,sys,json

python 多线程和多进程

多线程与多进程 知识预览 一 进程与线程的概念 二 threading模块 三 multiprocessing模块 四 协程 五 IO模型 回到顶部 一 进程与线程的概念 1.1 进程 考虑一个场景:浏览器,网易云音乐以及notepad++ 三个软件只能顺序执行是怎样一种场景呢?另外,假如有两个程序A和B,程序A在执行到一半的过程中,需要读取大量的数据输入(I/O操作),而此时CPU只能静静地等待任务A读取完数据才能继续执行,这样就白白浪费了CPU资源.你是不是已经想到在程序A读取数据的过程中,

python多线程,多进程编程。

程,是目前计算机中为应用程序分配资源的最小单位: 进程,是目前计算机中运行应用程序的最小单位: 在实际系统中,其实进程都是被分为进程来实现的,所以参与时间片轮转的是线程: 但是管理应用程序的资源的单位和任务调度的单位都是进程.更像是一个逻辑概念. 线程是进程分出来的更精细的单位,线程间的上下文切换比进程间的上下文切换,要快很多. 多进程与多核,这个概念很奇怪,因为进程是不会直接在核心上运行的. 多线程与多核,涉及一个内核线程与用户线程的对应关系. 内核线程(Kernel Thread),一般与核

Python 多线程 和 多进程的CPU使用情况进行对比

# 多进程 这是没跑多进程之前的使用情况 跑了2个多进程之后: 使用率 65%, 跑了4个多进程后: CPU使用率:100% --------------------------------------------------分割线------------------------------------------------------------ 多线程: 开启了4个线程,但使用率始终是百分之20多,因为在Python里,永远只有一个线程在工作 -----------------------

Python多线程与多进程(一)

多线程 多线程是程序在同样的上下文中同时运行多条线程的能力.这些线程共享同一个进程的资源,可以在并发模式(单核处理器)或并行模式(多核处理器)下执行多个任务 多线程有以下几个优点: 持续响应:在单线程的程序中,执行一个长期运行的任务可能会导致程序的冻结.多线程可以把这个长期运行的任务放在一个线程中,在程序并发的运行任务时可以持续响应客户的需求 更快的执行速度:在多核处理器的操作系统上,多线程可以通过真正的并行提高程序的运行速度 较低的资源消耗:利用线程模式,程序可以利用一个进程内的资源响应多个请

Python多线程,多进程,并行,并发,异步编程

Python并发与并行的新手指南:http://python.jobbole.com/81260/ Python 中的多线程,多进程,并发,并行,同步,通信:https://blog.csdn.net/timemachine119/article/details/54091323 python进阶笔记 thread 和 threading模块学习:https://www.cnblogs.com/forward-wang/p/5970640.html Python 中的多线程,多进程,并发,并行,