12-sed命令详解

1.1 功能与版本

sed命令时操作，过滤和转换文本内容的强大工具。常用功能有增删改查。期中查询的功能中最常用的2大功能时过滤，取行

[[email protected] cron]# sed --version

GNU sed version 4.2.1

[[email protected] cron]# uname -r

2.6.32-642.el6.x86_64

[[email protected] cron]# cat /etc/redhat-release

CentOS release 6.8 (Final)

1.1.1 语法格式

sed [options] [sed-commands] [input-file]

说明：

1. 注意sed软件及后面选项，sed命令和输入文件，每隔元素之间都至少有一个空格。

2. sed-commands既可以是单个sed命令，也可以是多个sed命令组合

3. input-file（输入文件）是可选项，sed还能够从标准的输入如管道获取输入

1.1.2 命令执行流程

概括：sed软件从文件或管道中读取一行，处理一行，输出一行，然后继续第二行，循环至文件结束。

流程图：

sed软件有两个内置的存储空间:

模式空间（pattern space）：是sed软件从文件读取一行文本然后存入的缓冲区（这个缓冲区是在内存中的），然后使用sed命令操作模式空间的内容。

保持空间（hold space）：是sed软件另一个缓冲区，用来存放临时数据，也是在内存中的，但是模式空间和保持空间的用途是不一样的。sed可以交换保持空间和模式空间的数据，但是不能在保持空间上执行普通的sed命令，也就是说我们可以在保持空间存储数据。

初始情况，模式空间和保持空间都是没有内容的。每次循环读取数据的过程中，模式空间的原内容都会被清空写入新的内容。但保持空间的内容保持不变，不会在循环中被删除，除非使用sed命令操作保持空间。

1.1.3 参数说明：

1.2 增删改查

实验文本：

  1 [[email protected] aige]# cat lirc.txt
  2
  3 I look in your eyes
  4
  5 just don‘t know what to say
  6
  7 It feels like I‘m drowning in salty water
  8
  9 A few hours left ‘til the sun‘s gonna rise
 10
 11 tomorrow will come an it‘s time to realize
 12
 13 our love has finished forever
 14
 15 how I wish to come with you
 16 

view code

1.2.1 增

单行增加

行后，append

  1 [[email protected] aige]# sed ‘2a This is my input‘ lirc.txt |cat -n
  2
  3 1 I look in your eyes
  4
  5 2 just don‘t know what to say
  6
  7 3 This is my input
  8
  9 4 It feels like I‘m drowning in salty water
 10
 11 5 A few hours left ‘til the sun‘s gonna rise
 12
 13 6 tomorrow will come an it‘s time to realize
 14
 15 7 our love has finished forever
 16
 17 8 how I wish to come with you
 18 

view code

$表示最后一行， $a

行前，insert

  1 [[email protected] aige]# sed ‘2i This is my input‘ lirc.txt |cat -n
  2
  3 1 I look in your eyes
  4
  5 2 This is my input
  6
  7 3 just don‘t know what to say
  8
  9 4 It feels like I‘m drowning in salty water
 10
 11 5 A few hours left ‘til the sun‘s gonna rise
 12
 13 6 tomorrow will come an it‘s time to realize
 14
 15 7 our love has finished forever
 16
 17 8 how I wish to come with you
 18 

view code

多行增加

  1 [[email protected] aige]# sed ‘2a This is my input\n This is two!!!!!!!!!!!!!‘ lirc.txt |cat -n
  2
  3 1 I look in your eyes
  4
  5 2 just don‘t know what to say
  6
  7 3 This is my input
  8
  9 4 This is two!!!!!!!!!!!!!
 10
 11 5 It feels like I‘m drowning in salty water
 12
 13 6 A few hours left ‘til the sun‘s gonna rise
 14
 15 7 tomorrow will come an it‘s time to realize
 16
 17 8 our love has finished forever
 18
 19 9 how I wish to come with you
 20 

view code

  1 [[email protected] aige]# sed ‘2i This is my input\n This is two!!!!!!!!!!!!!‘ lirc.txt |cat -n
  2
  3 1 I look in your eyes
  4
  5 2 This is my input
  6
  7 3 This is two!!!!!!!!!!!!!
  8
  9 4 just don‘t know what to say
 10
 11 5 It feels like I‘m drowning in salty water
 12
 13 6 A few hours left ‘til the sun‘s gonna rise
 14
 15 7 tomorrow will come an it‘s time to realize
 16
 17 8 our love has finished forever
 18
 19 9 how I wish to come with you
 20 

view code

1.2.2 删

sed软件可以对单行或多行文本进行处理，如果在sed命令前面不指定地址范围，那么默认会匹配所有行。

用法：n1[,n2]{sed-commands}

地址用逗号分隔，n1，n2可以用数字，正则表达式，或者二者的组合表示。

逗号：英文的。或者说任何命令都是英文的。

工作的时候尽量只使用数字的。防止删多了

对~的解释。

格式：“first~step”表示从first行开始，以步长step递增，等差。

  1 [[email protected] aige]# seq 10 |sed -n ‘1~2p‘
  2
  3 1
  4
  5 3
  6
  7 5
  8
  9 7
 10
 11 9
 12 

view code

  1 [[email protected] aige]# sed ‘3,$d‘ lirc.txt
  2
  3 I look in your eyes
  4
  5 just don‘t know what to say
  6 

view code

取反

  1 [[email protected] aige]# sed ‘2!d‘ person.txt
  2
  3 102,zhangyao,CTO
  4
  5 [[email protected] aige]#
  6 

view code

1.2.3 改

参数c：

  1 [[email protected] aige]# sed ‘2c This is my input‘ lirc.txt |cat -n
  2
  3 1 I look in your eyes
  4
  5 2 This is my input
  6
  7 3 It feels like I‘m drowning in salty water
  8
  9 4 A few hours left ‘til the sun‘s gonna rise
 10
 11 5 tomorrow will come an it‘s time to realize
 12
 13 6 our love has finished forever
 14
 15 7 how I wish to come with you
 16 

view code

1.2.4 文本替换

选项：

“s”：单独使用->将每一行中第一处匹配的字符串进行替换。

“g”：每一行进行全部替换->sed命令s的替换标志之一（全局替换），非sed命令

“-i”：修改文件内容->sed软件的选项，注意和sed命令i区分

  1 sed -i ‘s/old/new/g‘ person.txt
  2
  3 sed -i ‘s#old#new#g‘ person.txt
  4 

特点：

1. 两边是引号，引号里面的两边分别为s和g，中间是三个一样的字符/或#作为定界符。字符#能在替换内容包含字符/有助于区别。定界符可以是任意字符如：或|等，但当替换内容包含定界符时，需要转义既“\”。建议使用#

2. 定界符/或#，第一个和第二个之间的就是被替换的内容，第二个和第三个之间的就是替换后的内容。

3. s#old#new#g，old：能用正则表达式，但new不能用，必须具体。new，用正则- -你想换什么？

4. 默认sed软件是对模式空间（内存中的数据）操作，而-i选项会更改磁盘上的文件内容。

参数sg

  1 [[email protected] aige]# sed ‘s#l#TEST#‘ lirc.txt
  2
  3 I TESTook in your eyes
  4
  5 just don‘t know what to say
  6
  7 It feeTESTs like I‘m drowning in salty water
  8
  9 [[email protected] aige]# sed ‘s#l#TEST#g‘ lirc.txt
 10
 11 I TESTook in your eyes
 12
 13 just don‘t know what to say
 14
 15 It feeTESTs TESTike I‘m drowning in saTESTty water
 16
 17  cat >test.txt<<EOF
 18 a
 19 b
 20 a
 21 EOF
 22
 23 eval sed ‘s#$x#$y#g‘ test.txt
 24
 25 b
 26
 27 b
 28
 29 b
 30
 31 [[email protected] aige]# echo ‘`hostname -I`‘
 32
 33 `hostname -I`
 34
 35 [[email protected] aige]# eval echo ‘`hostname -I`‘
 36
 37 10.0.0.100 172.168.1.100
 38
 39 [[email protected] aige]#
 40 

view code

开机自启动优化：

  1 chkconfig --list|grep 3:on|egrep -v "crond|sshd|network|rsyslog|sysstat"|awk ‘{print "chkconfig",$1,"off"}‘|bash

view code

扩展正则

  1 [[email protected] aige]# sed -n ‘s#\(look\)#\1#gp‘ lirc.txt
  2
  3 I look in your eyes
  4
  5 [[email protected] aige]# sed -rn ‘s#(look)#\1#gp‘ lirc.txt
  6
  7 I look in your eyes
  8 

view code

&代表被替换的内容

  1 [[email protected] aige]# sed -rn ‘s#I (.*) in#\1-------&#gp‘ lirc.txt
  2
  3 look-------I look in your eyes
  4
  5 [[email protected] aige]#
  6 

view code

批量改名：

  1 [[email protected] test]# ls | sed -r ‘s#(.*)(_finished)(.*)#mv & \1\3#g‘
  2
  3 mv stu_102999_1_finished.jpg stu_102999_1.jpg
  4
  5 mv stu_102999_2_finished.jpg stu_102999_2.jpg
  6
  7 mv stu_102999_3_finished.jpg stu_102999_3.jpg
  8
  9 mv stu_102999_4_finished.jpg stu_102999_4.jpg
 10
 11 mv stu_102999_5_finished.jpg stu_102999_5.jpg
 12
 13 rename "_finished" "" *.jpg
 14 

view code

1.2.5 查

“p”：输出指定内容，但默认会输出2次匹配的结果，因此使用-n选项取消默认输出

p：print

  1 [[email protected] aige]# sed -n ‘2p‘ lirc.txt
  2
  3 just don‘t know what to say
  4 

view code

1.2.6 扩展正则

  1 sed -rn ‘/aige|jack/‘ person.txt

正则需要//，必须用

awk的正则也一样

1.2.7 修改文件

备份文件

sed -i.ori ‘s#zhangyao#NB#‘ person.txt

sed ‘[地址范围|模式范围] s#[被替换的字符串]#[替换后的字符串]#[替换标志]‘ [输入文件]

命令说明：

1.[地址范围|模式范围]：可选项，如果没有指定，sed软件将在所有行上进行替换。

2.“s”既执行替换命令substitute

3.被替换的字符串。可以是一个正则表达式

4.替换后的字符串，只能是一个具体的内容

5.替换标志：可选项，包括前面详述的全局标志。g（global），还有数字标志。打印标志p（print），写标志w（write），忽略大小写i（ignore），执行命令标志e（excute），根据需要可以把一个或多个代替标志组合起来使用

1.2.8 另存为文件

sed ‘w newfile.txt‘ oldfile.txt

1.3 扩展

1.3.1 Ms# # #Ng：

语法说明：M N也就是坐标

Ms----对第M行处理，无G替换标志，只处理第一处，有g替换标志则对第M行全部替换

Ng---对每一行，从第N处开始替换 N范围1-512

Ms、Ng何用表示只对第M行从第N处匹配开始替换

  1 [[email protected] aige]# cat test
  2 1 1 1 1 1 1 1 1
  3 1 1 1 1 1 1 1 1
  4 1 1 1 1 1 1 1 1
  5 1 1 1 1 1 1 1 1
  6 1 1 1 1 1 1 1 1
  7 1 1 1 1 1 1 1 1
  8 1 1 1 1 1 1 1 1
  9 1 1 1 1 1 1 1 1
 10 

view code

  1 [[email protected] aige]# sed ‘s#1#0#2g‘ test
  2 1 0 0 0 0 0 0 0
  3 1 0 0 0 0 0 0 0
  4 1 0 0 0 0 0 0 0
  5 1 0 0 0 0 0 0 0
  6 1 0 0 0 0 0 0 0
  7 1 0 0 0 0 0 0 0
  8 1 0 0 0 0 0 0 0
  9 1 0 0 0 0 0 0 0
 10 

view code

  1 [[email protected] aige]# sed ‘5s#1#0#g‘ test
  2 1 1 1 1 1 1 1 1
  3 1 1 1 1 1 1 1 1
  4 1 1 1 1 1 1 1 1
  5 1 1 1 1 1 1 1 1
  6 0 0 0 0 0 0 0 0
  7 1 1 1 1 1 1 1 1
  8 1 1 1 1 1 1 1 1
  9 1 1 1 1 1 1 1 1
 10 

view code

  1 [[email protected] aige]# sed ‘5s#1#0#5g‘ test
  2 1 1 1 1 1 1 1 1
  3 1 1 1 1 1 1 1 1
  4 1 1 1 1 1 1 1 1
  5 1 1 1 1 1 1 1 1
 6 1 1 1 1 0 0 0 0
 7 1 1 1 1 1 1 1 1
 8 1 1 1 1 1 1 1 1

 9 1 1 1 1 1 1 1 1

view code

忽略大小写

sed ‘s#old#new#gi‘ test.txt

获取行号

  1 [[email protected] aige]# sed "=" lirc.txt |sed ‘N;s#\n# #‘
  2 1 I look in your eyes
  3 2 just don‘t know what to say
  4 3 It feels like I‘m drowning in salty water
  5 4 A few hours left ‘til the sun‘s gonna rise
  6 5 tomorrow will come an it‘s time to realize
  7 6 our love has finished forever
  8 7 how I wish to come with you
  9 

view code

1.3.2 一条sed语句执行多条命令

-e：

sed -e ‘3,$d‘ -e ‘s#10#01#‘ person.txt

分号;

sed ‘3,$d;s#10#01#‘ person.txt

-f：指定一个文件person.sed里的内容来做sed命令

[[email protected] aige]# cat person.sed

3,$d

s#10#01#g

[[email protected] aige]# sed -f person.sed person.txt

011,oldboy,CEO

012,zhangyao,CTO

1.3.3 一些联系和{}用法

  1 [[email protected] aige]# wc -l lirc.txt
  2 7 lirc.txt
  3 [[email protected] aige]# sed -n "$=" lirc.txt
  4 7
  5 [[email protected] aige]#
  6 [[email protected] sed-4.2.1]# sed -n ‘5p;50p;60p‘ /etc/services
  7 # IANA services version: last updated 2009-11-10
  8 # 24 - private mail system
  9 nameserver 42/udp name # IEN 116
 10 

view code

{}可以把多个命令括起来，用来处理单个地址或者地址范围

  1 [[email protected] aige]# sed -n ‘2,3{p;=}‘ person.txt
  2 102,zhangyao,CTO
  3 2
  4 103,Alex,COO
  5 3
  6 

view code

1.4 保持空间两个命令

1.4.1 命令n

命令n的作用：清空当前模式空间的内容，然后从输入文件中读取下一行。如果在命令行执行过程中遇到n，那么它会改变正常的执行流程。（读取数据，执行命令，打印输出，重复循环）

[[email protected] aige]# sed -n ‘n;p‘ person.txt

102,zhangyao,CTO

104,yy,CFO

1.4.2 命令N

命令N的作用：不会清空模式空间的内容，并且从输入文件中读取下一行的数据，追加到模式空间中，两行数据换行符\n连接。

反转：

  1 [[email protected] aige]# rev person.txt
  2 OEC,yobdlo,101
  3 OTC,oaygnahz,201
  4 OOC,xelA,301
  5 OFC,yy,401
  6 OIC,euxief,501
  7 [[email protected] aige]# tac person.txt
  8 105,feixue,CIO
  9 104,yy,CFO
 10 103,Alex,COO
 11 102,zhangyao,CTO
 12 101,oldboy,CEO
 13 [[email protected] aige]# sed -n ‘1!G;h;$p‘ person.txt
 14 105,feixue,CIO
 15 104,yy,CFO
 16 103,Alex,COO
 17 102,zhangyao,CTO
 18 101,oldboy,CEO

view code

1.5 sedsed调试工具

软件官网： http://aurelio.net/projects/sedsed/。

wget  http://sedsed.sourceforge.net/sedsed-1.0 -O /bin/sedsed

chmod +x /bin/sedsed

[[email protected] aige]# sedsed -d --hide=hold -n ‘2,3p;=‘ person.txt