python使得文件不包含重复行

set函数去重

# -*- coding:utf-8 -*-
srcTxt=open(‘1.txt‘,‘r‘).readlines()
noRepeat=open(‘2.txt‘,‘w‘)
st=set(srcTxt)
noRepeat.write(‘‘.join(st))

原文地址:https://www.cnblogs.com/taoyuanming/p/10869623.html

时间: 2024-10-25 10:50:47

python使得文件不包含重复行的相关文章

sort排序命令 uniq 去除排序过的文件中的重复行 cut提取命令 wc 统计命令

sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [[email protected] ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字

python读取文件的前几行

文件内容rolling.txt: There's a fire starting in my heart 我怒火中烧 Reaching a fever pitch and it's bringing me out the dark 熊熊烈焰带我走出黑暗 Finally, I can see you crystal clear 最终 我将你看得一清二楚 Go ahead and sell me out and I'll lay your ship bare 去吧 出卖我 我会让你一无全部 See

Matlab 读取dat文件(包含几行多余文本,数据带有数字和字符串,且以逗号分隔)

需要删除前几行多余文本,并去除逗号和最后一列标签项,保存数据 处理前: matlab代码: fid = fopen('E:\study\研究生\a\backup新\backup\数据库\ecoli1.dat','rt'); %FormatString='%f %f %f %f %f %f %f %s';%取前8列数据 FormatString='%f %f %f %f %f %f %f %*[^\n]';%取前七列数据,最后一列标签去掉 % 注意:%*[^\n] 就是从当前直接跳到行尾.%*是一

Python 删除文件特定字符的行

import re p=re.compile("gmail|aol|yahoo") f = open("test.txt",'r+') lines = [line for line in f.readlines() if p.search(line) is None] f.seek(0) f.truncate(0) f.writelines(lines) f.close()

Python之文件的打开关闭

打开文件 1.建立磁盘 上的文件与程序中的对象相关联 2.通过相关的文件对象获得 文件操作 (1)读取(2)写入(3)其他:追加. 计算等 关闭文件 (1)切断文件与程序的联系(2)写入磁盘, 并释放文件缓冲区 打开文件 1 Open( ) 2 <variable> = open (<name>, <mode>)<name>磁盘文件名 3 <mode>打开模式 打开模式 1 #例如,打开一个名为7.1.txt文件 2 textfile = ope

文本删除重复行(UltraEdit)

问题:给定文本如下,文本行包含重复行,给文本排序并删除重复行 操作方法:[编辑]-->[排序]-->[高级排序/选项]如下: 如下图为排序删除重复后结果图: 原文地址:https://www.cnblogs.com/wleyang/p/8696000.html

用python计算文件行数[装载自http://www.centoscn.com/python/2013/0806/1110.html]

一.计算文件的行数 最简单的办法是把文件读入一个大的列表中,然后统计列表的长度.如果文件的路径是以参数的形式filepath传递的,那么只用一行代码就可以完成我们的需求了: count = len(open(filepath,'rU').readlines()) 如果是非常大的文件,上面的方法可能很慢,甚至失效.此时,可以使用循环来处理: count = -1 for count, line in enumerate(open(thefilepath, 'rU')): pass count +=

【转载】python计算文件的行数和读取某一行内容的实现方法

一.计算文件的行数 最简单的办法是把文件读入一个大的列表中,然后统计列表的长度.如果文件的路径是以参数的形式filepath传递的,那么只用一行代码就可以完成我们的需求了: count = len(open(filepath,'rU').readlines()) 如果是非常大的文件,上面的方法可能很慢,甚至失效.此时,可以使用循环来处理: count = -1for count, line in enumerate(open(thefilepath, 'rU')):    passcount +

C语言关于“输入包含多行数据,请处理到文件结束”的问题

今天,笔者在做本校ACM校赛网络赛的时候,遇到输入格式中有这样的要求:输入包含多行数据,请处理到文件结束.题目的逻辑很简单,主要功能代码很容易实现,但是题目中没有“明确”指出控制台中输入数据以什么方式结束,例如:#.双回车等等.笔者尝试了利用clock_t变量控制程序运行时间,但是在评判平台显示“编译错误”.在认真分析后,笔者得到答案,“输入包含多行数据,请处理到文件结束”的含义是,当输入足够数据后,可以使用“Ctrl+Z”退出控制台,即为“处理文件结束”,原因是:Ctrl+Z会使scanf()