python内存泄露的诊断(转)

  本篇文章非原创,转载自:http://rstevens.iteye.com/blog/828565 。



  对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。

  最近在我的项目中,就出现了内存持续增长的情况,google 了一下,发现 Tracing Python memory leaks 讲了一种诊断方式,并给出了实例。而我的案例与此文稍有不同,下面就结合我的案例,谈谈如何诊断内存泄露:

一、内存泄露的原因

  对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:

  1、 所用到的用 C 语言开发的底层模块中出现了内存泄露。 
  2、 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收 
  3、 代码中有“引用循环”, python 垃圾处理机制无法进行回收

二、 内存泄露的诊断思路

  无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。

三、 内存泄露的诊断步骤

  用到的工具: gc 模块和 objgraph 模块 
  objgraph 是一个用于诊断内存问题的有用的工具

  1、 在服务程序的循环逻辑中,选择出一个诊断点

  2、 在诊断点,插入如下诊断语句  

import gc
import objgraph
### 强制进行垃圾回收
gc.collect()
### 打印出对象数目最多的 50 个类型信息
objgraph.show_most_common_types(limit=50)  

  

  3、 检查统计信息,找到异常对象。

  运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。

  以我的程序为例,我将日志记录到 log.txt 中,运行一段时间后,发现 tuple 和 list 类型的对象不停增长:

# grep "^list " log.txt
# grep "^tuple " log.txt  

  

  如果不停增长的对象,是一些非通用的类型(例如你自己实现的一个 class),那么问题就比较好定位,例如Tracing Python memory leaks中提到的案例。

  而对 tuple 和 list 这类通用类型,要想知道对象到底是什么,泄露发生在哪里,还得想点办法。我采用了排查的方式。由于程序的模块化还不错,可以每次禁用一个模块,然后重新跑程序,重新检查日志,看看 tuple 和 list 是否仍然不停增长。这样,很快就能将故障定位到具体的模块中。

  最后终于找到了原因,属于上面总结的第二种原因:

  我的程序是一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。

四、参考文档

1. http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks 
2. http://mg.pov.lt/blog/python-object-graphs.html 
3. http://mg.pov.lt/blog/hunting-python-memleaks

时间: 2024-10-12 10:28:36

python内存泄露的诊断(转)的相关文章

记一次调试python内存泄露的问题

转载:http://www.jianshu.com/p/2d06a1a01cc3 这两天由于公司需要, 自己编写了一个用于接收dicom文件(医学图像文件)的server. 经过各种coding-debuging-coding-debuging之后, 终于上线了, 上线后心里美滋滋的, 一切正常. 第二天一上班, 负责人和我说接收太慢了, 卡的要死. 我想难道是python本身的问题?(程序员本征思维)我好奇的打开了终端输入 ps -aux | grep python 找到进程id 即 2161

关于排查python内存泄露的简单总结

这次的内存泄露问题是发生在多线程场景下的. 各种工具都试过了,gc,objgraph, pdb,pympler等,仍然没有找到问题所在. pdb感觉用起来很方便,可以调试代码,对原来的代码无侵入性. 排查问题的过程中,多线程场景下,相关的工具,显得无力的. 使用objgraph时,代码执行很长时间后,show_growth()显示没有新创建的对象.这个可能是因为objgraph只针对当前线程的上下文. pympler,也是同样的问题. 最后,是通过分析进程的资源占用数据,找到的问题位置. 总结一

使用gc、objgraph干掉python内存泄露与循环引用!

Python使用引用计数和垃圾回收来做内存管理,前面也写过一遍文章<Python内存优化>,介绍了在python中,如何profile内存使用情况,并做出相应的优化.本文介绍两个更致命的问题:内存泄露与循环引用.内存泄露是让所有程序员都闻风丧胆的问题,轻则导致程序运行速度减慢,重则导致程序崩溃:而循环引用是使用了引用计数的数据结构.编程语言都需要解决的问题.本文揭晓这两个问题在python语言中是如何存在的,然后试图利用gc模块和objgraph来解决这两个问题. 注意:本文的目标是Cpyth

如何解决python训练数据内存泄露问题?

Python语言 越来越广泛的应用于机器学习/ 深度学习领域,是目前最火的该领域编程语言,各大深度学习框架基本都支持 python 接口. 在TensorFlow 训练模型的过程中,一般数据加载分情景各有不同. 1.  当数据量能直接全部载入内存时,当然最是方便,直接全部载入内存,然后训练即可. 2.  数据无法全部载入内存时,有多种方法.介绍其中 2 种用的多的,其一是边训练边读取(可以用多线程进行优化),其二是随机打乱所有训练数据的索引然后随机选择部分数据进行训练测试. 第2 类情景中,有可

python性能优化、内存优化、内存泄露;与其他语音比较效率如何?

1.内存泄露:http://www.cnblogs.com/xybaby/p/7491656.html 2.内存优化:http://www.cnblogs.com/xybaby/p/7488216.html 3.性能提升:http://www.cnblogs.com/xybaby/p/6510941.html 4.与其他语音相比效率如何:http://benchmarksgame.alioth.debian.org/u64q/compare.php?lang=python3&lang2=gpp

.Net内存泄露原因及解决办法

1.    什么是.Net内存泄露 (1).NET 应用程序中的内存 您大概已经知道,.NET 应用程序中要使用多种类型的内存,包括:堆栈.非托管堆和托管堆.这里我们需要简单回顾一下. 以运行库为目标的代码称为托管代码,而不以运行库为目标的代码称为非托管代码. 在运行库的控制下执行的代码称作托管代码.相反,在运行库之外运行的代码称作非托管代码.COM 组件.ActiveX 接口和 Win32 API 函数都是非托管代码的示例. COM/COM++组件,ActiveX控件,API函数,指针运算,自

node.js内存泄露问题记录

先说一下.事情的来龙去脉. 公司开发一款游戏棋牌游戏,服务端的开发是IO密集型,开发的时候,考虑过使用python,java,node.js. 终于选择了node.js(node.js宣传的杀手功能.异步IO,node.js另外一个分支叫io.js),事情也就由此而起. 由于第一次做手机游戏.对移动网络的预计不足.选择了json作为通信数据传输格式.上线后玩家就频繁掉线(通信数据量太大,移动网络hold不住), 于是想了一个解决方式,把json数据用zip压缩一下,事情好像就万事大吉了(尽管也有

Python内存管理机制

1 概述 对于Python这样的动态语言,如何高效的管理内存,是很重要的一部分,在很大程度上决定了Python的执行效率.与大多数编程语言不同,Python中的变量无需事先申明,变量无需指定类型,程序员无需关心内存管理,Python解释器给你自动回收.我们知道在变量分配内存时,是借用系统资源,在使用完成后,应该归还所借用的系统资源,Python承担了这个复杂的内存管理工作,从而让程序员更加的关注程序的编写质量上. 在执行过程中,Python会频繁的创建和销毁大量的对象,这些都涉及到内存的管理.以

查看w3wp进程占用的内存及.NET内存泄露,死锁分析

一 基础知识 在分析之前,先上一张图: 从上面可以看到,这个w3wp进程占用了376M内存,启动了54个线程. 在使用windbg查看之前,看到的进程含有 *32 字样,意思是在64位机器上已32位方式运行w3wp进程.这个可以通过查看IIS Application Pool 的高级选项进行设置: 好了,接下打开Windbg看看这个w3wp进程占用了376M内存,启动的54个线程. 1. 加载 WinDbg SOS 扩展命令 .load C:\Windows\Microsoft.NET\Fram