python程序之profile分析

操作系统 : CentOS7.3.1611_x64

python版本:2.7.5

问题描述

1、Python开发的程序在使用过程中很慢,想确定下是哪段代码比较慢;

2、Python开发的程序在使用过程中占用内存很大,想确定下是哪段代码引起的;

解决方案

使用profile分析分析cpu使用情况

profile介绍: https://docs.python.org/2/library/profile.html

可以使用profile和cProfile对python程序进行分析,这里主要记录下cProfile的使用,profile参考cProfile即可。

假设有如下代码需要进行分析(cProfileTest1.py):

#! /usr/bin/env python
#-*- coding:utf-8 -*-

def foo():
    sum = 0
    for i in range(100):
        sum += i
    return sum

if __name__ == "__main__" :
    foo()

可以通过以下两种使用方式进行分析:

1、不修改程序

分析程序:

python -m cProfile -o test1.out cProfileTest1.py

查看运行结果:

python -c "import pstats; p=pstats.Stats(‘test1.out‘); p.print_stats()"

查看排序后的运行结果:

python -c "import pstats; p=pstats.Stats(‘test1.out‘); p.sort_stats(‘time‘).print_stats()"

2、修改程序

加入如下代码:

import cProfile
cProfile.run("foo()")

完整代码如下: https://github.com/mike-zhang/pyExamples/blob/master/profileOpt/cpuProfile1/cProfileTest2.py

运行效果如下:

Ordered by: standard name

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.000    0.000    0.000    0.000 <string>:1(<module>)
     1    0.000    0.000    0.000    0.000 cProfileTest2.py:4(foo)
     1    0.000    0.000    0.000    0.000 {method ‘disable‘ of ‘_lsprof.Profiler‘ objects}
     1    0.000    0.000    0.000    0.000 {range}

结果说明:

ncalls : 函数的被调用次数
tottime :函数总计运行时间,除去函数中调用的函数运行时间
percall :函数运行一次的平均时间,等于tottime/ncalls
cumtime :函数总计运行时间,含调用的函数运行时间
percall :函数运行一次的平均时间,等于cumtime/ncalls
filename:lineno(function) 函数所在的文件名,函数的行号,函数名

使用memory_profiler分析内存使用情况

https://pypi.python.org/pypi/memory_profiler

需要安装memory_profiler :

pip install psutil
pip install memory_profiler

假设有如下代码需要进行分析:

def my_func():
    a = [1] * (10*6)
    b = [2] * (10*7)
    del b
    return a

使用memory_profiler是需要修改代码的,这里记录下以下两种使用方式:

1、不导入模块使用

@profile
def my_func():
    a = [1] * (10*6)
    b = [2] * (10*7)
    del b
    return a

完整代码如下: https://github.com/mike-zhang/pyExamples/blob/master/profileOpt/memoryProfile1/test1.py

profile分析:

python -m memory_profiler test1.py

2、导入模块使用

from memory_profiler import profile

@profile
def my_func():
    a = [1] * (10*6)
    b = [2] * (10*7)
    del b
    return a

完整代码如下:

直接运行程序即可进行分析。

运行效果如下:

(py27env) [[email protected] test]$ python test1.py
Filename: test1.py

Line #    Mem usage    Increment   Line Contents
================================================
     6     29.5 MiB      0.0 MiB   @profile
     7                             def my_func():
     8     29.5 MiB      0.0 MiB       a = [1] * (10*6)
     9     29.5 MiB      0.0 MiB       b = [2] * (10*7)
    10     29.5 MiB      0.0 MiB       del b
    11     29.5 MiB      0.0 MiB       return a

profile分析完整代码地址:https://github.com/mike-zhang/pyExamples/tree/master/profileOpt

好,就这些了,希望对你有帮助。

本文github地址:

https://github.com/mike-zhang/mikeBlogEssays/blob/master/2017/20170907_python程序之profile分析.rst

欢迎补充

时间: 2024-09-30 07:03:44

python程序之profile分析的相关文章

CSDN日报20170319——《人工智能风口, Python 程序员的狂欢与企业主的哀嚎》

[程序人生]人工智能风口, Python 程序员的狂欢与企业主的哀嚎 作者:赖勇浩 人工智能风口有多火?估计很多人已经感受到了,我在这里引用一下新智元的报道: "2017年短短不到三个月的时间,国内AI获投项目已有36个,千万级别融资占据半数以上." 嗯,就是那么霸道.两会刚刚结束,"人工智能"首次被列入政府工作报告,随之而来的是人工智能板块领跑大盘涨势,无疑,这一切将刺激人工智能在多个领域的全面发展. [深度学习]NeuralFinder :集成人工生命和遗传算法

作业:老板现在给你任务,公司有haproxy配置文件,希望通过python程序可以对ha配置文件进行增删改

1 # 老板现在给你任务,公司有haproxy配置文件,希望通过python程序可以对ha配置文件进行增删改 2 #分析:对文件进行增删改,首先需要找到需要修改文件的位置,即必须先把文件读取出来,找到对应 3 #位置,进行内容的修改,增加和删除: 4 import json,os #json模块用于将用户输入的字符串转换为字典 5 6 #首先定义fetch函数,同时传入指定参数backend,用来将修改的地方找出来 7 def fetch(backend): 8 flag=False #定义fl

对“第一个Python程序”的改进

概述: 本程序主要是模仿<Python核心编程>中3.6节--第一个Python程序,并在其基础上做了一些小的改进,而改进的要求则是来源于第三章的课后练习题. 本篇博客的一个核心问题就是在我们如何避免重复制造轮子. 课本源程序: 这里不对课本上的源程序作过多地讲解,因为课本本身就说得非常清楚而且易懂. 改进需求: 1. 可以创建新的文件: 2. 可以读取新的文件: 3. 可以让用户选择创建或是读取文件. 看到上面的需求,可以你的第一感觉就是,哦,这个太简单了.不就是把之前写过的代码在这里复制粘

Python程序的执行原理(转载)

Python程序的执行原理 2013-09-17 10:35 佚名 tech.uc 1. 过程概述 Python先把代码(.py文件)编译成字节码,交给字节码虚拟机,然后虚拟机一条一条执行字节码指令,从而完成程序的执行. 2. 字节码 字节码在Python虚拟机程序里对应的是PyCodeObject对象..pyc文件是字节码在磁盘上的表现形式. 3. pyc文件 PyCodeObject对象的创建时机是模块加载的时候,即import.Python test.py会对test.py进行编译成字节码

介绍Python程序员常用的IDE和其它开发工具

概述 “工欲善其事,必先利其器”,如果说编程是程序员的手艺,那么IDE就是程序员的吃饭家伙了. IDE 的全称是Integration Development Environment(集成开发环境),一般以代码编辑器为核心,包括一系列周边组件和附属功能.一个优秀的IDE,最重要的就是在普通文本编辑之外, 提供针对特定语言的各种快捷编辑功能,让程序员尽可能快捷.舒适.清晰的浏览.输入.修改代码.对于一个现代的IDE来说,语法着色.错误提示.代码折 叠.代码完成.代码块定位.重构,与调试器.版本控制

使用gprof来对程序的性能分析总结

综述 gprof用于分析函数调用耗时,可用之抓出最耗时的函数,以便优化程序. gcc链接时也一定要加-pg参数,以使程序运行结束后生成gmon.out文件,供gprof分析. gprof默认不支持多线程程序,默认不支持共享库程序. gcc -pg 编译程序 运行程序,程序退出时生成 gmon.out gprof ./prog gmon.out -b 查看输出 注意事项 程序如果不是从main return或exit()退出,则可能不生成gmon.out. 程序如果崩溃,可能不生成gmon.out

用GDB排查Python程序故障

某Team在用Python开发一些代码,涉及子进程以及设法消除僵尸进程的需求.实践中他们碰上Python程序非预期退出的现象.最初他们决定用GDB调试Python解释器,查看exit()的源头.我听了之后,觉得这个问题应该用别的调试思路.帮他们排查这次程序故障时,除去原始问题,还衍生了其他问题. 这次的问题相比西安研发中心曾经碰上的Python信号处理问题,有不少基础知识.先验知识是共用的,此处不做再普及,感兴趣的同学可以翻看我以前发过的文章. 下文是一次具体的调试.分析记录.为了简化现场.方便

Eclipse+python的安装与使用(详细阐述了eclipse编写Python程序的基本功能及技巧)

安装环境说明: 操作系统:win7 JDK:jdk1.7.0_11 下载网址:http://www.oracle.com/technetwork/java/javase/downloads/index.html Eclipse:eclipse-jee-kepler-SR2-win32-x86_64 下载网址: http://www.eclipse.org/downloads/ http://www.eclipse.org/downloads/download.php?file=/technolo

Python和R数据挖掘分析技术高级公开课在上海举行

2017年5月15日,Python和R数据挖掘分析技术培训在上海开课. 来自各企业的系统架构师.系统分析师.高级程序员.资深开发人员.大数据来源单位的负责人,参加了此次培训. 本次培训中,老师将会针对具体实际问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深学员们对于这些解决方案的理解. 希望学员们在接下来两天的学习中再接再励,技术上取得更大进步! 附: Python是一个数据分析和图形显示的程序设计环境,用于统计分析.绘图的语言和操作环境.Python有简便而强大的编程语言