sed常用案例（转自老男孩）

功能说明

Sed是Stream Editor(流编辑器)缩写，是操作、过滤和转换文本内容的强大工具。常用功能有增删改查，过滤，取行。

  1. [[email protected] ~]# sed --version #→ sed软件版本
  2. GNU sed version 4.2.1

语法格式

  1. sed [options] [sed-commands] [input-file]
  2. sed [选项] [sed命令] [输入文件]
  4. 说明：
  5. 1. 注意sed和后面的选项之间至少有一个空格。
  6. 2. 为了避免混淆，本文称呼sed为sed软件。sed-commands(sed命令)是sed软件内置的一些命令选项，为了和前面的options(选项)区分，故称为sed命令。
  7. 3. sed-commands既可以是单个sed命令，也可以是多个sed命令组合。
  8. 4. input-file(输入文件)是可选项，sed还能够从标准输入如管道获取输入。

命令执行流程

概括流程：Sed软件从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行……

模式空间:sed软件内部的一个临时缓存，用于存放读取到的内容。

使用范例

1. 统一实验文本

  1. # 创建包含下面内容的文件，后面的操作都会使用这个文件。
  3. [[email protected] ~]# cat person.txt
  4. 101,oldboy,CEO
  5. 102,zhangyao,CTO
  6. 103,Alex,COO
  7. 104,yy,CFO
  8. 105,feixue,CIO

2. 增删改查

2.1 增

  • a 追加文本到指定行后
  • i 插入文本到指定行前
2.1.1 单行增加
  1. [[email protected] ~]# sed ‘2a 106,dandan,CSO‘ person.txt
  2. 101,oldboy,CEO
  3. 102,zhangyao,CTO
  4. 106,dandan,CSO
  5. 103,Alex,COO
  6. 104,yy,CFO
  7. 105,feixue,CIO
  9. [[email protected] ~]# sed ‘2i 106,dandan,CSO‘ person.txt
  10. 101,oldboy,CEO
  11. 106,dandan,CSO
  12. 102,zhangyao,CTO
  13. 103,Alex,COO
  14. 104,yy,CFO
  15. 105,feixue,CIO
2.1.2 多行增加
  1. [[email protected] ~]# sed ‘2a 106,dandan,CSO\n107,bingbing,CCO‘ person.txt
  2. 101,oldboy,CEO
  3. 102,zhangyao,CTO
  4. 106,dandan,CSO #→第1种写法
  5. 107,bingbing,CCO
  6. 103,Alex,COO
  7. 104,yy,CFO
  8. 105,feixue,CIO
  10. [[email protected] ~]# sed ‘2a 106,dandan,CSO \
  11. > 107,bingbing,CCO‘ person.txt
  12. 101,oldboy,CEO
  13. 102,zhangyao,CTO
  14. 106,dandan,CSO #→第2种写法
  15. 107,bingbing,CCO
  16. 103,Alex,COO
  17. 104,yy,CFO
  18. 105,feixue,CIO
  20. #→sed命令i的使用方法是一样的，因此不再列出。
企业案例1：优化SSH配置（一键完成增加若干参数）

在我们学习系统优化时，有一个优化点：更改ssh服务远程登录的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面参数的具体含义见其他课程。)

  1. Port 52113
  2. PermitRootLogin no
  3. PermitEmptyPasswords no
  4. UseDNS no
  5. GSSAPIAuthentication no

我们可以使用vi命令编辑这个文本，但这样就比较麻烦，现在想一条命令增加5行文本到第13行前？

指定执行的地址范围

  1. sed软件可以对单行或多行进行处理。如果在sed命令前面不指定地址范围，那么默认会匹配所有行。
  3. 用法：n1[,n2]{sed-commands}
  5. 地址用逗号分隔的，n1,n2可以用数字、正则表达式、或二者的组合表示。
  7. 例子：
  8. 　　　10{sed-commands} 对第10行操作
  9. 　　　10,20{sed-commands} 对10到20行操作,包括第10,20行
  10. 　　　10，+20{sed-commands} 对10到30(10+20)行操作,包括第10,30行
  11. 　　　1~2{sed-commands} 对1,3,5,7,……行操作
  12. 　　　10，${sed-commands} 对10到最后一行($代表最后一行)操作,包括第10行
  13. /oldboy/{sed-commands} 对匹配oldboy的行操作
  14. /oldboy/,/Alex/{sed-commands} 对匹配oldboy的行到匹配Alex的行操作
  15. /oldboy/,${sed-commands} 对匹配oldboy的行到最后一行操作
  16. /oldboy/,10{sed-commands} 对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行，如果有。
  17. 1,/Alex/{sed-commands} 对第1行到匹配Alex的行操作
  18. /oldboy/,+2{sed-commands} 对匹配oldboy的行到其后的2行操作

2.2 删

d 删除指定的行

  1. [[email protected] ~]# sed ‘d‘ person.txt
  2. [[email protected] ~]#
  4. [[email protected] ~]# sed ‘2d‘ person.txt
  5. 101,oldboy,CEO
  6. 103,Alex,COO
  7. 104,yy,CFO
  8. 105,feixue,CIO
  10. [[email protected] ~]# sed ‘2,5d‘ person.txt
  11. 101,oldboy,CEO
  13. [[email protected] ~]# sed ‘3,$d‘ person.txt
  14. 101,oldboy,CEO
  15. 102,zhangyao,CTO
  17. [[email protected] ~]# sed ‘1~2d‘ person.txt
  18. 102,zhangyao,CTO
  19. 104,yy,CFO
  21. [[email protected] ~]# sed ‘1,+2d‘ person.txt
  22. 104,yy,CFO
  23. 105,feixue,CIO
  25. [[email protected] ~]# sed ‘/zhangyao/d‘ person.txt
  26. 101,oldboy,CEO
  27. 103,Alex,COO
  28. 104,yy,CFO
  29. 105,feixue,CIO
  31. [[email protected] ~]# sed ‘/oldboy/,/Alex/d‘ person.txt
  32. 104,yy,CFO
  33. 105,feixue,CIO
  35. [[email protected] ~]# sed ‘/oldboy/,3d‘ person.txt
  36. 104,yy,CFO
  37. 105,feixue,CIO
企业案例2：打印文件内容但不包含oldboy
  1. [[email protected] ~]# sed ‘/oldboy/d‘ person.txt #→删除包含"oldboy"的行
  2. 102,zhangyao,CTO
  3. 103,Alex,COO
  4. 104,yy,CFO
  5. 105,feixue,CIO

2.3 改

2.3.1 按行替换

c 用新行取代旧行

  1. [[email protected] ~]# sed ‘2c 106,dandan,CSO‘ person.txt
  2. 101,oldboy,CEO
  3. 106,dandan,CSO
  4. 103,Alex,COO
  5. 104,yy,CFO
  6. 105,feixue,CIO
2.3.2 文本替换

s：单独使用→将每一行中第一处匹配的字符串进行替换 ==>sed命令 g：每一行进行全部替换  ==>sed命令s的替换标志之一，非sed命令 -i：修改文件内容 ==>sed软件的选项

sed软件替换模型(方框▇被替换成三角▲)

sed -i ‘s/▇/▲/g‘ oldboy.log sed -i ‘s#▇#▲#g‘ oldboy.log

观察特点

  1. 两边是引号，引号里面的两边分别为s和g，中间是三个一样的字符/或#作为定界符。#能在替换内容包含/有助于区别。定界符可以是任意符号如:或|等，但当替换内容包含定界符时，需转义即: |。经过长期实践，建议大家使用#作为定界符。
  2. 定界符/或#，第一个和第二个之间的就是被替换的内容，第二个和第三个之间的就是替换后的内容。
  3. s#▇#▲#g，▇能用正则表达式，但▲不能用，必须是具体的。
  4. 默认sed软件是对模式空间(内存中的数据)操作，而-i选项会更改磁盘上的文件内容。
  1. [[email protected] ~]# sed ‘s#zhangyao#oldboyedu#g‘ person.txt
  2. 101,oldboy,CEO
  3. 102,oldboyedu,CTO
  4. 103,Alex,COO
  5. 104,yy,CFO
  6. 105,feixue,CIO
  7. [[email protected] ~]# cat person.txt
  8. 101,oldboy,CEO
  9. 102,zhangyao,CTO
  10. 103,Alex,COO
  11. 104,yy,CFO
  12. 105,feixue,CIO
  14. [[email protected] ~]# sed -i ‘s#zhangyao#BBB#g‘ person.txt
  15. [[email protected] ~]# cat person.txt
  16. 101,oldboy,CEO
  17. 102,BBB,CTO
  18. 103,Alex,COO
  19. 104,yy,CFO
  20. 105,feixue,CIO
  22. [[email protected] ~]# sed -i ‘s#oldboyedu#zhangyao#g‘ person.txt #→还原测试文件
企业案例3：指定行修改配置文件

指定行精确修改配置文件，这样可以防止修改多了地方。

  1. [[email protected] ~]# sed ‘3s#0#9#‘ person.txt
  2. 101,oldboy,CEO
  3. 102,zhangyao,CTO
  4. 193,Alex,COO
  5. 104,yy,CFO
  6. 105,feixue,CIO
2.3.3 变量替换
  1. [[email protected] ~]# cat test.txt #→再新建一个文本
  2. a
  3. b
  4. a
  5. [[email protected] ~]# x=a
  6. [[email protected] ~]# y=b
  7. [[email protected] ~]# echo $x $y
  8. a b
  9. [[email protected] ~]# sed s#$x#$y#g test.txt
  10. b
  11. b
  12. b
  13. [[email protected] ~]# sed ‘s#$x#$y#g‘ test.txt
  14. a
  15. b
  16. a
  17. [[email protected] ~]# sed ‘s#‘$x‘#‘$y‘#g‘ test.txt
  18. b
  19. b
  20. b
  21. [[email protected] ~]# sed "s#$x#$y#g" test.txt
  22. b
  23. b
  24. b
  25. [[email protected] ~]# eval sed ‘s#$x#$y#g‘ test.txt
  26. b
  27. b
  28. b
2.3.4 分组替换\( \)和\1的使用说明

sed软件的\( \)的功能可以记住正则表达式的一部分，其中，\1为第一个记住的模式即第一个小括号中的匹配内容，\2第二记住的模式，即第二个小括号中的匹配内容，sed最多可以记住9个。

例：echo I am oldboy teacher.如果想保留这一行的单词oldboy，删除剩下的部分，使用圆括号标记想保留的部分。

  1. [[email protected] ~]# echo I am oldboy teacher. |sed ‘s#^.*am \([a-z].*\) tea.*$#\1#g‘
  2. oldboy
  3. [[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#^.*am ([a-z].*) tea.*$#\1#g‘
  4. oldboy
  5. [[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#I (.*) (.*) teacher.#\1\2#g‘
  6. amoldboy

命令说明

思路：用oldboy字符替换I am oldboy teacher.

下面解释用□代替空格

  1. ^.*am□ –>这句的意思是以任意字符开头到am□为止，匹配文件中的I am□字符串;
  2. \([a-z].*\)□–>这句的外壳就是括号\(\），里面的[a-z]表示匹配26个字母的任何一个，[a-z].*合起来就是匹配任意多个字符，本题来说就是匹配oldboy字符串，由于oldboy字符串是需要保留的,因此用括号括起来匹配，后面通过\1来取oldboy字符串。
  3. □tea.*$–>表示以空格tea起始,任意字符结尾，实际就是匹配oldboy字符串后，紧接着的字符串□teacher.;
  4. 后面被替换的内容中的\1就是取前面的括号里的内容了，也就是我们要的oldboy字符串。
  5. ()是扩展正则表达式的元字符，sed软件默认识别基本正则表达式，想要使用扩展正则需要使用\转义，即\(\）。sed使用-r选项则可以识别扩展正则表达式，此时使用\(\）反而会出错。
企业案例4：系统开机启动项优化
  1. [[email protected] ~]# chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk ‘{print $1}‘|sed -r ‘s#^(.*)#chkconfig \1 off#g‘|bash
  2. [[email protected] ~]# chkconfig --list|grep "3:on"
  3. crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off
  4. network 0:off 1:off 2:on 3:on 4:on 5:on 6:off
  5. rsyslog 0:off 1:off 2:on 3:on 4:on 5:on 6:off
  6. sshd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
  7. sysstat 0:off 1:on 2:on 3:on 4:on 5:on 6:off
2.3.5 特殊符号&代表被替换的内容
  1. [[email protected] ~]# sed ‘1,3s#C#--&--#g‘ person.txt #→此处&等于C
  2. 101,oldboy,--C--EO #→将1到3行的C替换为--C--
  3. 102,zhangyao,--C--TO
  4. 103,yy,--C--OO
  5. 104,feixue,CFO
  6. 105,dandan,CIO
企业案例5：批量重命名文件

当前目录下有文件如下所示：

  1. [[email protected] test]# ls
  2. stu_102999_1_finished.jpg stu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpg stu_102999_5_finished.jpg

要求用sed命令重命名，效果为stu_102999_1_finished.jpg==>stu_102999_1.jpg,即删除文件名的_finished

2.4 查

p 输出指定内容，但默认会输出2次匹配的结果，因此使用n取消默认输出

2.4.1 按行查询
  1. [[email protected] ~]# sed ‘2p‘ person.txt
  2. 101,oldboy,CEO
  3. 102,zhangyao,CTO
  4. 102,zhangyao,CTO
  5. 103,Alex,COO
  6. 104,yy,CFO
  7. 105,feixue,CIO
  9. [[email protected] ~]# sed -n ‘2p‘ person.txt
  10. 102,zhangyao,CTO
  12. [[email protected] ~]# sed -n ‘2,3p‘ person.txt
  13. 102,zhangyao,CTO
  14. 103,Alex,COO
  15. 说明：取行就用sed，最简单
  17. [[email protected] ~]# sed -n ‘1~2p‘ person.txt
  18. 101,oldboy,CEO
  19. 103,Alex,COO
  20. 105,feixue,CIO
  22. [[email protected] ~]# sed -n ‘p‘ person.txt
  23. 101,oldboy,CEO
  24. 102,zhangyao,CTO
  25. 103,yy,COO
  26. 104,feixue,CFO
  27. 105,dandan,CIO
2.4.2 按字符串查询
  1. [[email protected] ~]# sed -n ‘/CTO/p‘ person.txt
  2. 102,zhangyao,CTO
  4. [[email protected] ~]# sed -n ‘/CTO/,/CFO/p‘ person.txt
  5. 102,zhangyao,CTO
  6. 103,Alex,COO
  7. 104,yy,CFO
2.4.3 混合查询
  1. [[email protected] ~]# sed -n ‘2,/CFO/p‘ person.txt
  2. 102,zhangyao,CTO
  3. 103,Alex,COO
  4. 104,yy,CFO
  6. [[email protected] ~]# sed -n ‘/feixue/,2p‘ person.txt
  7. 105,feixue,CIO
  8. #→特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行。

转发自http://blog.oldboyedu.com/commands-sed/

时间： 2024-10-06 08:09:46

sed常用案例（转自老男孩）的相关文章

文本处理sed常用操作

文本处理sed常用操作 linux sed (stream editor) is a Unix utility that parses and transforms text, using a simple, compact programming language 修改配置文件的sed sed -i '/#datelist/ s/\=.*/\=."'$var'"/g' file sed 往文件顶部加一行 sed -i '1s/^/line to insert\n/' file sed

jQuery常用案例总结

模态对话框 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset="UTF-8"> 5 <title>test</title> 6 <style> 7 .field{ 8 z-index: 1; 9 } 10 .cover{ 11 display: none; 12 z-index: 2; 13 position:

Logstash语法常用案例解析（一）

摘要 简述logstash的常用插件,以及简单的使用案例 一:基础运行 建议使用supervisor来管理ELK中的各个组件,方便同一管理 安装 https://www.aolens.cn/?p=809      有讲解 提供一个常用的配置: [program:logstash] command=/opt/logstash/bin/logstash -f /opt/logstash/conf/index.conf numprocs=1 ;开几个进程 dirrectory=/opt/logstas

linux sed常用用法总结

sed是linux中比较常用的文本编辑类命令,规则为逐行输出 其比较常用的用法如下: sed [OPTION] {SCRIPT} FILENAME 主要[OPTION]: -n:不再显示默认模式空间中的内容 -i:修改源文件 -e:同时执行多个操作 例如:sed -e {SCRIPT} -e {SCRIPT} ... -f:指定脚本文件处理文本内容 例如:sed -f SCRIPTNAME FILENAME -r:允许使用扩展的正则表达式(同grep -e 或者 egrep) {SCRIPT}可

Linux入门之sed命令案例

实战: 1.删除/etc/grub.conf文件中行首的空白符: sed -r '[email protected]^[[:spapce:]][email protected]@g' /etc/grub.conf 2.替换/etc/inittab文件中"id:3:initdefault:"一行中的数字为5: sed '[email protected]\(id:\)[0-9]\(:initdefault:\)@\15\[email protected]' /etc/inittab 3.

JS中Dom操作的常用案例实现

本文介绍几个Dom操作的几个常用的案例.虽然现在各种web框架层出不穷,也很方便.但是了解最基本的实现方法对我们开发还是有很大的帮助的: 1.图片滚动案例 1.1  效果如下: 1.2  代码如下: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> .

三剑客grep和sed相关案例

1.grep(-i -n -w -A -B -C -l -R -E)1.1grep -l 只找出来文件名,不显示内容1.2.grep -R 递归进行过滤,使grep 后面可以加目录 1.3.grep -A(after) 显示找出来的内容及接下来的几行1.4.grep -B(before) 显示找出来的内容及上面的几行1.5.grep -C(-C2==-A2 -B2) 显示找出来的内容及上下的几行2.sed 流编辑器(增删改查)2.1 sed -n(p-print显示)取消默认输出,若不加-n,会

sed常用模板整理

sed可以按照指令或脚本编辑文本的linux工具,文本处理功能非常强大,本文总结一些工作中常用的sed模板,方便大家使用 替换 1. 替换文件中所有的 aaa 到 bbb sed -i 's/aaa/bbb/g' /path/to/file 2. 找到文件的修改日期 stat deploy | sed -n '/^Modify.*/p' # 找到 stat deploy | sed -n '/^Modify.*/p' | grep -Eo "....-..-.. ..:..:.." #

sed 实践案例 （不定期更新）

删除每行第一个字符 sed -r 's/^.//g' /etc/passwd 删掉每行第二个字符 sed -r 's/^(.)(.)/\1/g' /etc/passwd 删掉每行最后一个字符 sed -r 's/.$//g' /etc/passwd 取消一行的注释 cat cas.properties | sed '/Oracle10gDialect$/ s/^#//g' 给某行增加注释 cat cas.properties | sed -r '/MySQLDialect$/ s/^(.)/#\