在Python中,列表是一个动态的指针数组,而array模块所提供的array对象则是保存相同类型的数值的动态数组。由于array直接保存值,因此它所使用的内存比列表少。列表和array都是动态数组,因此往其中添加新元素,而没有空间保存新的元素时,它们会自动重新分配内存块,并将原来的内存中的值复制到新的内存块中。为了减少重新分配内存的次数,通常每次重新分配时,大小都为原来的k倍。k值越大,则重新分配内存的次数越少,但浪费的空间越多。本节通过一系列的实验观察列表和array的内存分配模式。
一、通过getsizeof()计算列表的增长模式
step1
sys.getsizeof()可以获得列表所占用的内存大小。请编写程序计算一个长度为10000的列表,它的每个下标都保存列表增长到此下标时的大小:
import sys # 【你的程序】计算size列表,它的每个小标都保存增长到此下标时size列表的大小 size = [] for i in range(10000): size.append(sys.getsizeof(size)) import pylab as pl pl.plot(size, lw=2, c=‘b‘) pl.show()
图中每个阶梯跳变的位置都表示一次内存分配,而每个阶梯的长度表示内存分配多出来的大小。
step2
请编写程序计算表示每次分配内存时列表的内存大小的resize_pos数组:
import numpy as np #【你的程序】计算resize_pos,它的每个元素是size中每次分配内存的位置 # 可以使用NumPy的diff()、where()、nonzero()快速完成此计算。 size = [] for i in range(10000): size.append(sys.getsizeof(size)) size = np.array(size) new_size = np.diff(size) resize_pos = size[np.where(new_size)] # resize_pos = size[np.nonzero(new_size)] pl.plot(resize_pos, lw=2) pl.show() print ("list increase rate:") tmp = resize_pos[25:].astype(np.float) # ? print (np.average(tmp[1:]/tmp[:-1])) # ?
由图可知曲线呈指数增长,第45次分配内存时,列表的大小已经接近10000。
?为了计算增长率,只需要计算resize_pos数组前后两个值的商的平均值即可。
?为了提高精度,我们只计算后半部分的平均值,注意需要用astype()方法将整数数组转换为浮点数数组。程序的输出如下:
list increase rate:
1.12754776209
【注】np.where索引定位的两种用法,np.nonzero非零值bool判断的用法,np.diff差分函数的用法。
step3
我们可以用scipy.optimize.curve_fit()对resize_pos数组进行拟合,拟合函数为指数函数:
请编写程序用上面的公式对resize_pos数组进行拟合:
from scipy.optimize import curve_fit #【你的程序】用指数函数对resize_pos数组进行拟合 def func(x, a, b, c, d): return a * np.exp(b * x + c) + d xdata = range(len(resize_pos)) ydata = resize_pos popt, pcov = curve_fit(func, xdata, ydata) y = [func(i, *popt) for i in xdata] pl.plot(xdata, y, lw=1, c=‘r‘) pl.plot(xdata, ydata, lw=1, c=‘b‘) pl.show() print ("list increase rate by curve_fit:") print (10**popt[1])
list increase rate by curve_fit: 1.31158606108
【注意】本程序中对于scipy中的指数拟合做了示范。
二、通过运算时间估算array内存分配情况
遗憾的是,无论array对象的长度是多少,sys.getsizeof()的结果都不变。因此无法用上节的方法计算array对象的增长因子。
由于内存分配时会耗费比较长的时间,因此可以通过测量每次增加元素的时间,找到内存分配时的长度。请编写测量增加元素的时间的程序:
from array import array import time #【你的程序】计算往array中添加元素的时间times times = [] times_step = [] arrays = [array(‘l‘) for i in range(1000)] start = time.time() for i in range(1000): start_step = time.time() [a.append(i) for a in arrays] end = time.time() times_step.append(end-start_step) times.append(end-start) pl.figure() pl.plot(times) pl.figure() pl.plot(times_step) pl.show()
输出两幅图,前面的表示元素个数对应的程序总耗时,后面的表示每一次添加元素这一过程的耗时,注意,这张图只有在array数量较大时才是这个形状,数组数量不够时折线图差异很大。
进一步的,我们分析一下耗时显著大于附近点(极大值)的时刻的序列对应此时元素数量的折线图。
ts = np.array(times_step) le = range(np.sum(ts>0.00025)) si = np.squeeze(np.where(ts>0.00025)) pl.plot(le,si,lw=2) pl.show()
原文地址:https://www.cnblogs.com/hellcat/p/8795841.html