shell 去重

sort -u 和 uniq都能起到删除重复信息的功能,那么他们的区别究竟在哪呢?$ cat test              jasonjasonjasonfffffjason 下面分别执行三个命令 1:sort -u test sort -u testfffffjason 2: uniq test $uniq test jasonfffffjason 3: sort test|uniq $sort test |uniq fffffjason 从上面三个命令我们很容易看出他们之间的区别.un

bash环境配置: 配置文件: 生效范围划分,存在两类:   全局配置: /etc/profile,/etc/profile.d/*.sh /etc/bashrc   个人配置: ~/.bash_profile ~/.bashrc 按功能划分,存在两类: profile类: 为交互式登录的shell提供配置 /etc/profile,/etc/profile.d/*.sh ~/.bash_profile 功用: 1 定义环境变量,例如PATH,PS1 2 运行命令或脚本 bashrc类: 为非交

简单来说,这个技巧对应的是如下一种场景 假设有文本如下 cccc aaaa bbbb dddd bbbb cccc aaaa 现在需要对它进行去重处理,这个很简单,sort -u就可以搞定,但是如果我希望保持文本原有的顺序,比如这里有两个aaaa,我只是希望去掉第二个aaaa,而第一个aaaa在bbbb的前面,去重后仍旧要在它前面,所以我期望的输出结果是 cccc aaaa bbbb dddd 当然,这个问题本身并不难,用C++或python写起来都很容易,但所谓杀机焉用牛刀,能用shell命令

试想一下,如果有10G数据,或者更多:怎么才能够快速地去重呢?你会说将数据导入到数据库(mysql等)进行去重,或者用java写个程序进行去重,或者用Hadoop进行处理.如果是大量的数据要写入数据库也不是一件容易的事情,首先你需要开发一个程序将数据写入数据库,然后再用数据库的select distinct或者group by进行去重.如果是一次性的工作,这种方式显得就比较笨拙了.那么有没有更好的办法呢?下面记录一下我是怎么从10G数据里面迅速去重的.这里采用shell脚本的方式进行处理.如果您

前面写过一篇通过shell脚本去重10G数据的文章,见<用几条shell命令快速去重10G数据>.然而今天又碰到另外一个业务,业务复杂度比上次的单纯去重要复杂很多.找了很久没有找到相应的办法,于是用shell脚本程序去处理.具体业务逻辑: 1.首先根据给定指定进行排序 2.排序后对给定字段进行去重,去重的规则如下: a)排序后如果相邻N行给定字段值相同的行数不超过两行,则两行都保留. a)排序后如果相邻N行给定字段值相同的行数超过两行,则保留首行和尾行. 就这样一个业务逻辑,其实看起来并不是太

逛ChinaUnix论坛,常常可看到到日经帖,怎么快速排序一个文本内容,或者计算某行出现次数.这些问 题大部分都可以通过简单的sort.uniq命令来解决. 首先准备两个文本 cat file1: Boys in Company C       :HK     :192    :2192 Alien                   :HK     :119    :1982 The Hill                :KL     :63     :2972 Aliens      

测试文件 [[email protected] ~]# cat >test jason jason jason fffff 按 Ctr + D保存 1.sort -u [[email protected] ~]# sort -u test fffff jason 2.uniq [[email protected] ~]# uniq test jason fffff jason 由此可见,uniq需要先排序后才能去重 3.sort.管道和uniq结合运用 去除重复并保留一份重复的数据 [[emai

a文件为 1 a 2 a 3 a 4 s 5 s 6 d 1.怎么把a文件变为 1 a 3 4 s 2 6 d 1 2.怎么把a文件变为 1 a 3 2 a 3 3 a 3 4 s 2 5 s 2 6 d 1 解题方法如下:

sort -u 和 uniq都能起到删除重复信息的功能,那么他们的区别究竟在哪呢?$ cat test              jasonjasonjasonfffffjason 下面分别执行三个命令 1:sort -u test sort -u testfffffjason 2: uniq test $uniq test jasonfffffjason 3: sort test|uniq $sort test |uniq fffffjason 从上面三个命令我们很容易看出他们之间的区别.un