linux删除两个文档中相同记录的行

文档1(a.txt)

111
222
333
444
555
666
777
888
999

文档2(b.txt)

aaa
bbb
ccc
ddd
eee
111
fff
222
333
jjj
kkk
444

整理后的文件三內容如下:  (c.txt)
aaa
bbb
ccc
ddd
eee
fff
jjj
kkk

作法如下:
    1.先合并两个文本到一个临时文件中 
        cat a.txt b.txt > temp1.txt
    2. 对生成的临时文件內容进行排序,將排序后的结果放到一个临时文件中
        sort +0 -0 -o temp2.txt temp1.txt  /* 以第一個字段對文件temp1.txt進行排序,
                                        將排序后的結果放到temp2.txt文件中 */
    3. 對排序后的文件進行重複行的刪除
        uniq -u temp2.txt > c.txt    /*對重複的行全部刪除*/
        注: 如果想對重複的記錄保留一個,其餘的刪除則用法如下.
        uniq -d temp2.txt > c.txt    /*對重複的行只保留一行*/
至此 c.txt中的內容就是兩個文件相減后的內容了.

时间: 2024-11-08 09:12:22

linux删除两个文档中相同记录的行的相关文章

如何批量删除PDF文档中的”www.it-ebooks.info“

      经常在http://www.it-ebooks.info/下载电子教程,但是下载的教程每页都会打上www.it-ebooks.info的标签.之前也没太注意,最近每次看到这些标签都有点小烦躁,想着是不是可以批量去除,首先考虑是在Adobe Acrobat XI Pro下去除水印,但是很遗憾参考很多网上的教程都没有处理掉.萌生了写个脚本批量处理的想法,在谷歌搜到一个外国人写的相关分析和教程,我觉得挺好的,也就依葫芦画瓢演示一遍,算是留个笔记吧.       大致思路是,用hex编辑器打

删除空白行+删除不可见内容+删除文档中某个样式+阻止快速样式切换

一.删除空白行 操作:编辑组中的替换---选择更多---特殊格式---点击两次 段落标记(替换行中)----点击一段落标记(被替换为) 二.删除不可见内容 操作:文件---检查问题---检查文档---是---检查(检查器对话框)---不可见内容  全部删除---重新检查确认是否删除完,然后再关闭 三.删除文档中某些样式 样式功能组---管理样式---导入/导出---选中所有需要删除的样式---删除 四.阻止快速样式切换 样式组功能---管理样式---限制---勾选阻止样式自动切换 原文地址:ht

可视化webpart基础开发——利用事件接收器实现同步操作两个文档库(添加、删除、修改文档)

可视化webpart基础开发——利用事件接收器实现同步操作两个文档库(添加.删除.修改文档) 分类: SharePoint2012-01-18 18:02 1189人阅读 评论(0) 收藏 举报 文档propertiesstringurl测试web 1.测试文档库(Doclib1.Doclib2): 增加一栏“测试栏1”. 2.新建“可视化web部件项目”,添加“解决方案资源管理器”里边选中项目右键“添加”-“新建项”-"事件接收器“ 如图操作,选择”列表项事件“和”文档库“集相应处理事件 实现

【Linux】用grep在文档中查找内容

有时候,我们需要在文档中查找一些内容,常用grep.它在文档查找相关内容并输出匹配行. > 查找某关键字 在system.log中,查找包含keyword的行 grep 'keyword' system.log 查找时附带输出行号,方便查看 grep -n 'keyword' system.log > 默认支持基本正则表达式 查找以2015-09-24开头的行 grep '^2015-09-24' system.log > 支持扩展正则表达式 正则表达式应用在各个领域,用它配合grep查

如何在word2007中并排查看对比显示两个文档

使用word编辑或修改文件时,有时会需要对两个文档进行对比,此时就应该使用并排查看功能. 点击“视图”菜单中的“并排查看” 所打开的两个文档就会同时打开,并排显示 可点击“同步滚动”设置或取消同步滚动

用python从符合一定格式的txt文档中逐行读取数据并按一定规则写入excel(openpyxl支持Excel 2007 .xlsx格式)

前几天接到一个任务,从gerrit上通过ssh命令获取一些commit相关的数据到文本文档中,随后将这些数据存入Excel中.数据格式如下图所示 观察上图可知,存在文本文档中的数据符合一定的格式,通过python读取.正则表达式处理并写入Excel文档将大大减少人工处理的工作量. 1. 从gerrit获取原始信息,存入文本文档: $ssh –p 29418 <your-account>@192.168.1.16 gerrit query status:merged since:<date

LaTeX技巧22:LaTeX文档中的参考文献初级

用 LaTeX 处理文档, 经常就要书写参考文献, 本篇就是介绍如何在 LaTeX 中使用参考文献, 注意这里讲的是LaTeX默认的 thebibliography 环境, 如果要了解 LaTeX 中更高级的参考文献管理工具 BibTeX, 请见技巧二十三. 参考文献格式:\begin{thebibliography}{编号样本}\bibitem[记号]{引用标志}文献条目1\bibitem[记号]{引用标志}文献条目2……\end{thebibliography} 其中文献条目包括:作者,题目

Aspose.Words使用教程之在文档中找到并替换文本

Aspose.Words使用教程之在文档中找到并替换文本 Aspose.Words是一款先进的文档处理控件,在不使用Microsoft Words的情况下,它可以使用户在各个应用程序中执行各种文档处理任务,其中包括文档的生成.修改.渲染.打印,文档格式转换和邮件合并等文档处理.此外,Aspose.Words支持DOC,OOXML,RTF,HTML,OpenDocument, PDF, XPS, EPUB和其他格式. 使用范围:在前的范围内替换查找或替换特定的字符串,因为它会返回替换的数量,所以它

[daily][troubleshoot][archlinux][wps][font] wps文档中的图内容无法显示中文

序 用linux作为工作生产环境的几个需要解决的问题之一是:文档协作,即如何兼容Micro$oft Office格式的文档. 我一般的工作方式是:在linux下创建一个win7的虚拟机,安装常用的windows软件,office,QQ,teamview等. 写文档的时候,我会进入win虚拟机,使用office软件进行编写,保证其他大多数使用windows的同事可以正常打开我的文档. 读文档的时候,我在linux里使用wps.先后用过openoffice, libreoffice,wps.wps与