python 去重

#coding:utf-8 #author:Blood_Zero import re tmp_list=[] f=open("E:/ASP.txt","r") f1=f.readlines() for i in f1: rule=re.compile('\W') i=re.sub(rule,'',i) tmp_list.append(i) f.close() new_list=list(set(tmp_list)) new_file=open("E:/ou

在python中,有两种方法进行去重: 1)对于list数据,去重方式如下: a)原列表list_origin的内容如下: list_origin = ["aaa", "ccc", "bbb", "aaa", "ddd", "bbb"] b)进行去重,获得新的列表new_list: new_list = list(set(list_origin)) 这里的new_list=['aaa',

python对列表去重例子 #!/usr/bin/env python arr_num1 = [1,2,3,4,2,12,3,14,3,2,12,3,14,3,21,2,2,3,4111,22,3333,4] arr_num2 = [2,1,3,2,43,234,454,452,234,14,21,14] num_list = [] for i in arr_num1:     if i in arr_num2 and i not in num_list:      num_list.appen

问题就是对一个list中的新闻id进行去重,去重之后要保证顺序不变. 直观方法 最简单的思路就是: 复制代码代码如下: ids = [1,2,3,3,4,2,3,4,5,6,1]news_ids = []for id in ids:    if id not in news_ids:        news_ids.append(id) print news_ids 这样也可行,但是看起来不够爽. 用set 另外一个解决方案就是用set: 复制代码代码如下: ids = [1,4,3,3,4,2

http://bbs.chinaunix.net/thread-1680208-1-1.html 如何找出 python list 中有重复的项 http://www.cnblogs.com/feisky/archive/2012/12/06/2805251.html 比较容易记忆的是用内置的setl1 = ['b','c','d','b','c','a','a']l2 = list(set(l1))print l2 还有一种据说速度更快的,没测试过两者的速度差别l1 = ['b','c','d

方法一:利用集合去重 1 list1 = [5,3,4,'ok',4,3,'abc',8,52,'ok'] 2 list1=list(set(list1)) 3 print(list1) 方法二:此方法略微冗余,先判断元素是否重复,再将重复元素提取并保存到新列表中,再for 新建的列表元素,删除原列表 1 def list_dup(ls): 2 list2 = [] 3 length = len(ls) #获取列表元素个数 4 for i in range(0,length-1): 5 for

之前用 Python 写过一个脚本,用来处理上千万用户的一些数据,其中有一个需求是统计用户的某一数据的去重数量.为了加快程序的速度,我启用了多进程.但不幸的是,程序跑了近一个星期,还没处理完.这时,我感觉到了不对,于是开始查看程序的性能瓶颈. 对于统计去重数,我是将用户的数据放到一个列表中,然后用 len(set(data)) 去统计去重数量.刚开始我以为这的数据量并不大,每个用户的数据不会过百,我并没有注意到有的用户会有上万条的数据,因此消耗了大量的时间(其实我的脚本消耗时间最大的地方是因为从

列表的去重 1.使用set的特型,python的set和其他语言类似, 是一个无序不重复元素集 orgList = [1,0,3,7,7,5] #list()方法是把字符串str或元组转成数组 formatList = list(set(orgList)) print (formatList) 2.使用keys()方法 orgList = [1,0,3,7,7,5] #list()方法是把字符串str或元组转成数组 formatList = list({}.fromkeys(orgList).k

今天笔者想对pandas中的行进行去重操作,找了好久,才找打相关的函数 先看一个小例子 <span style="font-size:18px;">from pandas import Series, DataFrame data = DataFrame({'k': [1, 1, 2, 2]}) print data IsDuplicated = data.duplicated() print IsDuplicated print type(IsDuplicated) da