使用Python多线程犯的错误总结

在使用Python多线程的时候,在使用多线程编程的时候,由于对于变量作用域和多线程不是很熟悉,导致在使用多线程的时候,犯了低级的错误。

第一个错误:

在多线程中使用全局变量,导致多个线程修改全局变量。执行信息错乱,开始是几个个进程,后面就变成一个了。后来经过重新学习多线程,才把原来的错误修改过来。

脚本功能,多线程向设备上传和下载文件,测试ftp功能和性能。错误原因是把ftp变量设置为了全局变量,导致出现怪异的现象,开始有几个线程在跑,然后几个进程退出,最后变为一个,还出现了ftp密码错误的提示。当时调试了好久,后来使用pycharm工具,观察到了问题的原因。

代码如下:

红色的代码为错误的版本,最初的时候,ftp变量在外面,作为全局变量使用。绿色的代码为修改正确的版本。

#! /usr/bin/env python
#coding=utf-8

from ftplib import FTP
from datetime import datetime
import sys
import os
import threading

FTP_Port=‘21‘
Telnet_Port=‘23‘
buffsize=1024
#ftp=FTP()
class ftp_test(threading.Thread):
    upload_dir="../upload/"
    download_dir="../download"
    IP =‘‘
    Username=‘‘
    Password=‘‘

    def __init__(self,env_para):
        threading.Thread.__init__(self)

        self.IP=env_para[‘IP_Addr‘]
        self.Password= env_para[‘Password‘]
        self.Username= env_para[‘admin‘]
        self.upload_dir= env_para[‘upload_dir‘]
        self.download_dir= env_para[‘download_dir‘]

    def ftp_upload(self,tfile):
        ftp=FTP()
        ftp.connect(self.IP, FTP_Port,timeout=10)
        ftp.login(self.Username,self.Password)
        #print ftp.getwelcome()
        ftp.cwd(ramdisk)
        #print ftp.dir()

        file_handler=open(self.upload_dir + tfile,‘rb‘)
        ftp.storbinary(‘STOR ‘+ tfile ,file_handler,buffsize)
        #ftp.dir()

        file_handler.close()
        ftp.quit()
        print tfile,‘ Upload OK‘

    def ftp_download(self,t_file):
        ftp=FTP()
        ftp.connect(self.IP, FTP_Port,timeout=10)
        #ftp.set_debuglevel(2)
        ftp.login(self.Username,self.Password)

        filename = t_file +‘_download‘
        file_write=open( self.download_dir + filename,‘wb‘).write
        ftp.retrbinary(‘RETR ‘+ filename, file_write, buffsize)
        ftp.delete(filename)
        ftp.quit()
        print t_file,‘ FTP download OK‘

    def run(self):
        file_list=os.listdir(self.upload_dir)
        for each_file in file_list:
            try:
                self.ftp_upload(each_file)
            except Exception ,e:
                print each_file ,‘ FTP Upload fail‘
                print e

            try:
                self.ftp_download(each_file)
            except Exception ,e:
                print each_file ,‘ FTP download fail‘
                print e

这样在函数中定义,缩小了ftp变量的作用域,终于完成了ftp并行的上传和下载。

定位过程:

在使用pycharm调试时,观察ftp变量的变化,发现只有一个ftp变量,所有的进程都使用的是这一个变量,ftp变量记录的ftp状态不断在变化,出现了各种奇怪的现象。

在缩小了ftp变量的作用域后,重新调试,观察到ftp变量在每个进行中的地址都不一样,每个ftp的变化不受其他进程影响。

第二个错误:

因为在网络上学习分享的多线程文章,受 http://www.cnblogs.com/fnng/p/3670789.html 这个分享的影响,在线程启动后,直接写了t.join(),不是把所有的进程都加了join。

导致执行慢的进程被主线程直接终止,出现了多次ftp没有执行完成,线程就退出。

正确的写法是:

for t in threads:

  t.join()

这个分析当时把我害苦了,调试了老半天才发现这个错误。

总结心得:

对于学习还是要看书籍系统的学习。

另外,学会使用工具调试,观察变量的变化,深入理解程序运行,方便定位问题。

时间: 2024-10-15 08:03:46

使用Python多线程犯的错误总结的相关文章

Python新人常犯的错误有哪些?

Python 以其简单易懂的语法格式与其它语言形成鲜明对比,初学者遇到最多的问题就是不按照 Python 的规则来写,即便是有编程经验的程序员,也容易按照固有的思维和语法格式来写 Python 代码,有一个外国小伙总结了一些大家常犯的错误,我把他翻译过来并在原来的基础补充了我的一些理解,希望可以让你避开这些坑,更好的学习python. 0.忘记写冒号 在 if.elif.else.for.while.class.def 语句后面忘记添加 ":" if spam == 42 print(

Python程序的常见错误(收集篇)

关于Python Python是一门解释性的,面向对象的,并具有动态语义的高级编程语言.它高级的内置数据结构,结合其动态类型和动态绑定的特性,使得它在快速应用程序开发(Rapid Application Development)中颇为受欢迎,同时Python还能作为脚本语言或者胶水语言讲现成的组件或者服务结合起来.Python支持模块(modules)和包(packages),所以也鼓励程序的模块化以及代码重用. 关于本文 Python简单.易学的语法可能会误导一些Python程序员(特别是那些

Python多线程(threading)学习总结

注:此文除了例子和使用心得是自己写的,很多都是Python核心编程中的原文.原文文风应该能看出来,就不每个地方单独表明出处了. 线程(有时被称为轻量级进程)跟进程有些相似,不同的是,所有的线程运行在同一个进程中,共享相同的运行环境.它们可以想像成是在主进程或"主线程"中并行运行的"迷你进程". 线程有开始,顺序执行和结束三部分.它有一个自己的指令指针,记录自己运行到什么地方.线程的运行可能被抢占(中断),或暂时的被挂起(也叫睡眠),让其它的线程运行,这叫做让步.一个

Python多线程问题的资料查找与汇总by tsy

声明: 1)本报告由博客园bitpeach撰写,版权所有,免费转载,请注明出处,并请勿作商业用途. 2)若本文档内有侵权文字或图片等内容,请联系作者bitpeach删除相应部分. 3)本文档内容涉及Python的多线程问题,没有介绍多线程的概念,没有介绍多线程的程序模块,只是讨论多线程产生的交织问题,并查找一些材料进行佐证和学习. 4)仅仅作为参考用途,抛砖引玉,不作为证据证明用途,请自行取舍,核实引用. 5)本文的超链接,请不要直接点击,为方便阅读,请选择“在新标签页打开”. 非常抱歉,我不是

人生苦短之Python多线程

#encoding=utf-8 import threading import time ''' python多线程并不是真正意义上的多线程,通常我们所说的多线程是多个线程同时执行某功能,而在python中 则是同一时间只有一个获得GIL的线程在跑,也就是GIL的存在使得python并不是真正意义上的多线程,特别是 在处理CPU密集型程序,但是在处理IO密集型程序时python多线程还是能发挥多线程的优势的,这是因为IO速 度相对于CPU来是很慢的(例如网络传输等).GIL(global int

python多线程

http://blog.csdn.net/pipisorry/article/details/45306973 CPU-bound(计算密集型) 和I/O bound(I/O密集型) I/O bound 指的是系统的CPU效能相对硬盘/内存的效能要好很多,此时,系统运作,大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写,此时 CPU Loading 不高.CPU bound 指的是系统的 硬盘/内存 效能 相对 CPU 的效能 要好很多,此时,系统运作,大部分的状况是 CPU Lo

Python多线程实现方法有几种

目前python多线程实现方式有很多种比如:thread,threading,multithreading ,其中thread模块比较底层,而threading模块是对thread做了一些包装,可以更加方便的被使用. 2.7 版本之前python对线程的支持还不够完善,不能利用多核CPU,但是2.7版本的python中已经考虑改进这点,出现了 multithreading模块.threading模块里面主要是对一些线程的操作对象化,创建Thread的class.一般来说,使用线程有两种 模式:

python多线程、多进程以及GIL

多线程 使用threading模块创建线程 传入一个函数 这种方式是最基本的,即调用threading中的Thread类的构造函数,然后指定参数target=func,再使用返回的Thread的实例调用start()方法,即开始运行该线程,该线程将执行函数func,当然,如果func需要参数,可以在Thread的构造函数中传入参数args=(-).示例代码如下 import threading #用于线程执行的函数 def counter(n): cnt = 0; for i in xrange

Python多线程锁

[Python之旅]第六篇(四):Python多线程锁 python lock 多线程 多线程使用方法 多线程锁 摘要:   在多线程程序执行过程中,为什么需要给一些线程加锁以及如何加锁,下面就来说一说. 1.给线程加锁的原因     我们知道,不同进程之间的内存空间数据是不能够共享的,试想一下,如果可以随意共享,谈何安全?但是一个进程中的多个线程是可以共享这个进程的内存空间中的数据的,比如多个线程可以同时调用某一... 在多线程程序执行过程中,为什么需要给一些线程加锁以及如何加锁,下面就来说一