python 字典dict和列表list的读取速度问题, range合并

python 字典和列表的读取速度问题

最近在进行基因组数据处理的时候,需要读取较大数据(2.7G)存入字典中,然后对被处理数据进行字典key值的匹配,在被处理文件中每次读取一行进行处理后查找是否在字典的keys中,以下两段代码的效率差别非常大:

第一段:

if(pos in fre_dist.keys()):
newvalue= fre_dist[pos]

第二段:

if(pos in fre_dist):
newValue=fre_dist[pos]

在处理3万条数据时,第二段代码的速度是第一段代码速度的上千倍。

原因是:第一段代码 fre_dist.keys()变成了list,python在检索list的时候是比较慢的,第二段代码 fre_dist是字典,python在检索字典的时候速度是比较快的。

血的教训。

dict结构,我想大多数人都会想到 for key in dictobj 的方法,确实这个方法在大多数情况下都是适用的。但是并不是完全安全,请看下面这个例子:

复制代码代码如下:

#这里初始化一个dict
>>> d = {‘a‘:1, ‘b‘:0, ‘c‘:1, ‘d‘:0}
#本意是遍历dict,发现元素的值是0的话,就删掉
>>> for k in d:
...   if d[k] == 0:
...     del(d[k])
... 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
RuntimeError: dictionary changed size during iteration
#结果抛出异常了,两个0的元素,也只删掉一个。
>>> d
{‘a‘: 1, ‘c‘: 1, ‘d‘: 0}

>>> d = {‘a‘:1, ‘b‘:0, ‘c‘:1, ‘d‘:0}
#d.keys() 是一个下标的数组
>>> d.keys()
[‘a‘, ‘c‘, ‘b‘, ‘d‘]
#这样遍历,就没问题了,因为其实其实这里遍历的是d.keys()这个list常量。
>>> for k in d.keys():
...   if d[k] == 0:
...     del(d[k])
... 
>>> d
{‘a‘: 1, ‘c‘: 1}
#结果也是对的
>>>

其实,这个例子是我简化过的,我是在一个多线程的程序里发现这个问题的,所以,我的建议是:遍历dict的时候,养成使用 for k in d.keys() 的习惯。
不过,如果是多线程的话,这样就绝对安全吗?也不见得:当两个线程都取完d.keys()以后,如果两个线程都去删同一个key的话,先删的会成功,后删的那个肯定会报 KeyError ,这个看来只能通过其他方式来保证了。

另一篇:dict 两种遍历方式的性能对比

关于纠结dict遍历中带括号与不带括号的性能问题

复制代码代码如下:

for (d,x) in dict.items():
     print "key:"+d+",value:"+str(x)

for d,x in dict.items():
    print "key:"+d+",value:"+str(x)

我们可以看出,dict条数在200一下的时候是带括号的性能比较高一点,但是在200条以上的数据后不带括号的执行时间会少些.

字典用花括号({})表示,里面的项成对出现,一个 key 对应一个 value;key 与 value
之间用冒号(:)分隔;不同的项之间用逗号(,)分隔。

Python Shell:

n = {‘username‘:‘zz‘,"password":123}
n.keys()
dict_keys([‘username‘, ‘password‘])
n.values()
dict_keys([‘zz‘, 123])

n.items()
dict_items([(‘username‘, ‘zc‘), (‘password‘, 123)])

for (k,v) in n.items():
        print("this‘s key:%r" %k)
        print("this‘s value:%r" %v")

this‘s key:‘username‘
this‘s value:‘zc‘
this‘s key:‘password‘
this‘s value:123

zip():就是依次取出每一个数组的元素,然后组合

n = [1,2,3]
m = [‘a‘,‘b‘,‘c‘]
a = zip(m,n)

for i in a:
    print(i)

(‘a‘, 1)
(‘b‘, 2)
(‘c‘, 3)

n = [1,2,3]
m = [‘a‘,‘b‘,‘c‘]
a = zip(m,n)

for (m,n) in a:
        print(m,n)

a 1
b 2
c 3

range合并:

for i in range(48,58)+range(65,91):    c8=chr(i);

原文地址:https://www.cnblogs.com/timxgb/p/8905268.html

时间: 2024-07-28 14:38:26

python 字典dict和列表list的读取速度问题, range合并的相关文章

Python 字典items返回列表,iteritems返回迭代器

Python 字典items返回列表,iteritems返回迭代器 字典items()方法和iteritems()方法,是python字典的内建函数,分别会返回Python列表和迭代器,下面一起来看下字典items()和iteritems()的具体操作方法. 作用 python字典的items方法作用:是可以将字典中的所有项,以列表方式返回.如果对字典项的概念不理解,可以查看Python映射类型字典基础知识一文.因为字典是无序的,所以用items方法返回字典的所有项,也是没有顺序的.python

15.python 字典dict - python基础入门

前面的课程讲解了字符串str/列表list/元组tuple,还有最后一种比较重要的数据类型也需要介绍介绍,那就是python字典,俗称:dict. python中的字典可与字符串/列表/元组不同,因为字典dict需要由两部分组成,分别是key和value,简称:键值对,下面具体讲解一下关于字典的特点: 1.由一个或者多个键值对构成,键值对的类型可以不相同也可以相同: 2.字典中的键值对需要写在{}中括号内部,键值对中的key和value用:隔开,键值对与键值对之间用逗号隔开: 3.字典是一个无序

Python 字典(dict)中元素的访问

访问python字典中元素的几种方式 一:通过“键值对”(key-value)访问: print(dict[key]) dict = {1: 1, 2: 'aa', 'D': 'ee', 'Ty': 45} print(dict['D']) 输出: ee dict.get(key,[default]) :default为可选项,用于指定当‘键’不存在时 返回一个默认值,如果省略,默认返回None dict = {1: 1, 2: 'aa', 'D': 'ee', 'Ty': 45} print(

Python字典(dict)使用技巧

字典dict是Python中使用频率非常高的数据结构,关于它的使用,也有许多的小技巧,掌握这些小技巧会让你高效地的使用dict,也会让你的代码更简洁. 1.默认值 假设name_for_userid存放的是name和id的映射关系: name_for_userid = { 1: '张三', 2: '李四', 3: '王五', } 获取name_for_userid中的某一个id的name,最简单的方式: name_for_userid[1] '张三' 这种方式虽然简单,但有一个不便之处就是,如果

python 字典dict

一.字典(dict)  1.字典 字典:用 {} 来表示, 键值对数据 {key:value}, 具有唯一性. 键:都必须是可哈希的,不可变的数据类型就可以当做字典中的键值,没有任何限制. 2.字典的增删改查 1增加 dic[键名] = value               新增,强制添加 dic.setdefault(key,value)   如果字典中存在就不进行操作,不存在就进行添加. 1 dic = {"k1":"v1","k2":&q

Python - 字典(dict)删除元素

字典(dict)删除元素, 可以选择两种方式, dict.pop(key)和del dict[key]. 代码 # -*- coding: utf-8 -*- def remove_key(d, key): r = dict(d) del r[key] return r x = {1: 2, 3: 4, 4: 3, 2: 1, 0: 0} x.pop(1) print x x = {1: 2, 3: 4, 4: 3, 2: 1, 0: 0} del x[1] print x x = {1: 2,

Python字典dict

dict Python内置了字典:dict的支持,dict全称dictionary,在其他语言中也称为map,使用键-值(key-value)存储,具有极快的查找速度.Python中的唯一一种映射类型. 举个例子,假设要根据同学的名字查找对应的成绩,如果用列表(list)实现,需要两个list: names = ['Michael', 'Bob', 'Tracy'] scores = [95, 75, 85] 给定一个名字,要查找对应的成绩,就先要在names中找到对应的位置,再从scores取

python字典value为列表时遇到的问题

a = [1,2,3,4,5,5,5,5,5,5,5] c = set(a) c = list(c) b = {}.fromkeys(a,[0,0,0,0,0]) for x in c: b[x][0] = a.count(x) print b 猜猜会发生什么? 我猜python在执行程序的过程中,把a.count(x)当成一个常量来执行循环,把每个列表的第一个元素都变成了a.count(5) 但是当去掉代表列表的[0]时 把b[x][0] = a.count(x)改为b[x]=a.count(

python 字典(dict)get方法应用

如果我们需要获取字典值的话,我们有两种方法,一个是通过dict['key'],另外一个就是dict.get()方法. 今天给大家分享的就是字典的get()方法. 这里我们可以用字典做一个小游戏,假设用户在终端输入字符串:"1"或者是"2"或者是"3",返回对应的内容,如果是输入其他的,则返回"error" 这里有的朋友可能会用if elif else判断语句来操作,确实可以,但是比较繁琐.给大家推荐一个字典的get()方法非常