三剑客之SED行天下

三剑客之SED行天下

功能说明

Sed是Stream Editor(流编辑器)缩写，是操作、过滤和转换文本内容的强大工具。常用功能有增删改查，过滤，取行。

    

  1. [[email protected] ~]# sed --version  #→ sed软件版本
    2. 

  2. GNU sed version 4.2.1
    3.

语法格式

    

  1. sed [options] [sed-commands] [input-file]
    2. 

  2. sed [选项]     [sed命令]      [输入文件]
    3. 

    4. 

  4. 说明：
    5. 

  5. 1. 注意sed和后面的选项之间至少有一个空格。
    6. 

  6. 2. 为了避免混淆，本文称呼sed为sed软件。sed-commands(sed命令)是sed软件内置的一些命令选项，为了和前面的options(选项)区分，故称为sed命令。
    7. 

  7. 3. sed-commands既可以是单个sed命令，也可以是多个sed命令组合。
    8. 

  8. 4. input-file(输入文件)是可选项，sed还能够从标准输入如管道获取输入。
    9.

命令执行流程

概括流程：Sed软件从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行……

模式空间:sed软件内部的一个临时缓存，用于存放读取到的内容。

使用范例

1. 统一实验文本

    

  1. # 创建包含下面内容的文件，后面的操作都会使用这个文件。
    2. 

    3. 

  3. [[email protected] ~]# cat person.txt
    4. 

  4. 101,oldboy,CEO
    5. 

  5. 102,zhangyao,CTO
    6. 

  6. 103,Alex,COO
    7. 

  7. 104,yy,CFO
    8. 

  8. 105,feixue,CIO
    9.

2. 增删改查

2.1 增

  • a 追加文本到指定行后
  • i 插入文本到指定行前
2.1.1 单行增加
    

  1. [[email protected] ~]# sed ‘2a 106,dandan,CSO‘ person.txt
    2. 

  2. 101,oldboy,CEO
    3. 

  3. 102,zhangyao,CTO
    4. 

  4. 106,dandan,CSO
    5. 

  5. 103,Alex,COO
    6. 

  6. 104,yy,CFO
    7. 

  7. 105,feixue,CIO
    8. 

    9. 

  9. [[email protected] ~]# sed ‘2i 106,dandan,CSO‘ person.txt
    10. 

  10. 101,oldboy,CEO
    11. 

  11. 106,dandan,CSO
    12. 

  12. 102,zhangyao,CTO
    13. 

  13. 103,Alex,COO
    14. 

  14. 104,yy,CFO
    15. 

  15. 105,feixue,CIO
    16.
2.1.2 多行增加
    

  1. [[email protected] ~]# sed ‘2a 106,dandan,CSO\n107,bingbing,CCO‘ person.txt
    2. 

  2. 101,oldboy,CEO
    3. 

  3. 102,zhangyao,CTO
    4. 

  4. 106,dandan,CSO #→第1种写法
    5. 

  5. 107,bingbing,CCO
    6. 

  6. 103,Alex,COO
    7. 

  7. 104,yy,CFO
    8. 

  8. 105,feixue,CIO
    9. 

    10. 

  10. [[email protected] ~]# sed ‘2a 106,dandan,CSO \
    11. 

  11. > 107,bingbing,CCO‘ person.txt
    12. 

  12. 101,oldboy,CEO
    13. 

  13. 102,zhangyao,CTO
    14. 

  14. 106,dandan,CSO #→第2种写法
    15. 

  15. 107,bingbing,CCO
    16. 

  16. 103,Alex,COO
    17. 

  17. 104,yy,CFO
    18. 

  18. 105,feixue,CIO
    19. 

    20. 

  20. #→sed命令i的使用方法是一样的，因此不再列出。
    21.
企业案例1：优化SSH配置（一键完成增加若干参数）

在我们学习系统优化时，有一个优化点：更改ssh服务远程登录的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面参数的具体含义见其他课程。)

    

  1. Port 52113
    2. 

  2. PermitRootLogin no
    3. 

  3. PermitEmptyPasswords no
    4. 

  4. UseDNS no
    5. 

  5. GSSAPIAuthentication no
    6.

我们可以使用vi命令编辑这个文本，但这样就比较麻烦，现在想一条命令增加5行文本到第13行前？

指定执行的地址范围

    

  1. sed软件可以对单行或多行进行处理。如果在sed命令前面不指定地址范围，那么默认会匹配所有行。
    2. 

    3. 

  3. 用法：n1[,n2]{sed-commands}
    4. 

    5. 

  5. 地址用逗号分隔的，n1,n2可以用数字、正则表达式、或二者的组合表示。
    6. 

    7. 

  7. 例子：
    8. 

  8. 　　　10{sed-commands}        对第10行操作
    9. 

  9. 　　　10,20{sed-commands}     对10到20行操作,包括第10,20行
    10. 

  10. 　　　10，+20{sed-commands}   对10到30(10+20)行操作,包括第10,30行
    11. 

  11. 　　　1~2{sed-commands}       对1,3,5,7,……行操作
    12. 

  12. 　　　10，${sed-commands}     对10到最后一行($代表最后一行)操作,包括第10行
    13. 

  13.     /oldboy/{sed-commands}         对匹配oldboy的行操作
    14. 

  14.     /oldboy/,/Alex/{sed-commands}  对匹配oldboy的行到匹配Alex的行操作
    15. 

  15.     /oldboy/,${sed-commands}       对匹配oldboy的行到最后一行操作
    16. 

  16.     /oldboy/,10{sed-commands}      对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行，如果有。
    17. 

  17.     1,/Alex/{sed-commands}         对第1行到匹配Alex的行操作
    18. 

  18.     /oldboy/,+2{sed-commands}      对匹配oldboy的行到其后的2行操作
    19.

2.2 删

d 删除指定的行

    

  1. [[email protected] ~]# sed ‘d‘ person.txt
    2. 

  2. [[email protected] ~]#
    3. 

    4. 

  4. [[email protected] ~]# sed ‘2d‘ person.txt
    5. 

  5. 101,oldboy,CEO
    6. 

  6. 103,Alex,COO
    7. 

  7. 104,yy,CFO
    8. 

  8. 105,feixue,CIO
    9. 

    10. 

  10. [[email protected] ~]# sed ‘2,5d‘ person.txt
    11. 

  11. 101,oldboy,CEO
    12. 

    13. 

  13. [[email protected] ~]# sed ‘3,$d‘ person.txt
    14. 

  14. 101,oldboy,CEO
    15. 

  15. 102,zhangyao,CTO
    16. 

    17. 

  17. [[email protected] ~]# sed ‘1~2d‘ person.txt
    18. 

  18. 102,zhangyao,CTO
    19. 

  19. 104,yy,CFO
    20. 

    21. 

  21. [[email protected] ~]# sed  ‘1,+2d‘ person.txt
    22. 

  22. 104,yy,CFO
    23. 

  23. 105,feixue,CIO
    24. 

    25. 

  25. [[email protected] ~]# sed ‘/zhangyao/d‘ person.txt
    26. 

  26. 101,oldboy,CEO
    27. 

  27. 103,Alex,COO
    28. 

  28. 104,yy,CFO
    29. 

  29. 105,feixue,CIO
    30. 

    31. 

  31. [[email protected] ~]# sed ‘/oldboy/,/Alex/d‘ person.txt
    32. 

  32. 104,yy,CFO
    33. 

  33. 105,feixue,CIO
    34. 

    35. 

  35. [[email protected] ~]# sed ‘/oldboy/,3d‘ person.txt
    36. 

  36. 104,yy,CFO
    37. 

  37. 105,feixue,CIO
    38.
企业案例2：打印文件内容但不包含oldboy
    

  1. [[email protected] ~]# sed ‘/oldboy/d‘ person.txt #→删除包含"oldboy"的行
    2. 

  2. 102,zhangyao,CTO
    3. 

  3. 103,Alex,COO
    4. 

  4. 104,yy,CFO
    5. 

  5. 105,feixue,CIO
    6.

2.3 改

2.3.1 按行替换

c 用新行取代旧行

    

  1. [[email protected] ~]# sed ‘2c 106,dandan,CSO‘ person.txt
    2. 

  2. 101,oldboy,CEO
    3. 

  3. 106,dandan,CSO
    4. 

  4. 103,Alex,COO
    5. 

  5. 104,yy,CFO
    6. 

  6. 105,feixue,CIO
    7.
2.3.2 文本替换

s：单独使用→将每一行中第一处匹配的字符串进行替换 ==>sed命令

g：每一行进行全部替换 ==>sed命令s的替换标志之一，非sed命令

-i：修改文件内容 ==>sed软件的选项

sed软件替换模型(方框▇被替换成三角▲)

sed -i ‘s/▇/▲/g‘ oldboy.log

sed -i ‘s#▇#▲#g‘ oldboy.log

观察特点

  1. 两边是引号，引号里面的两边分别为s和g，中间是三个一样的字符/或#作为定界符。#能在替换内容包含/有助于区别。定界符可以是任意符号如:或|等，但当替换内容包含定界符时，需转义即: |。经过长期实践，建议大家使用#作为定界符。
  2. 定界符/或#，第一个和第二个之间的就是被替换的内容，第二个和第三个之间的就是替换后的内容。
  3. s#▇#▲#g，▇能用正则表达式，但▲不能用，必须是具体的。
  4. 默认sed软件是对模式空间(内存中的数据)操作，而-i选项会更改磁盘上的文件内容。
    

  1. [[email protected] ~]# sed ‘s#zhangyao#oldboyedu#g‘ person.txt
    2. 

  2. 101,oldboy,CEO
    3. 

  3. 102,oldboyedu,CTO
    4. 

  4. 103,Alex,COO
    5. 

  5. 104,yy,CFO
    6. 

  6. 105,feixue,CIO
    7. 

  7. [[email protected] ~]# cat person.txt
    8. 

  8. 101,oldboy,CEO
    9. 

  9. 102,zhangyao,CTO
    10. 

  10. 103,Alex,COO
    11. 

  11. 104,yy,CFO
    12. 

  12. 105,feixue,CIO
    13. 

    14. 

  14. [[email protected] ~]# sed -i ‘s#zhangyao#BBB#g‘ person.txt
    15. 

  15. [[email protected] ~]# cat person.txt
    16. 

  16. 101,oldboy,CEO
    17. 

  17. 102,BBB,CTO
    18. 

  18. 103,Alex,COO
    19. 

  19. 104,yy,CFO
    20. 

  20. 105,feixue,CIO
    21. 

    22. 

  22. [[email protected] ~]# sed -i ‘s#oldboyedu#zhangyao#g‘ person.txt #→还原测试文件
    23.
企业案例3：指定行修改配置文件

指定行精确修改配置文件，这样可以防止修改多了地方。

    

  1. [[email protected] ~]# sed ‘3s#0#9#‘ person.txt
    2. 

  2. 101,oldboy,CEO
    3. 

  3. 102,zhangyao,CTO
    4. 

  4. 193,Alex,COO
    5. 

  5. 104,yy,CFO
    6. 

  6. 105,feixue,CIO
    7.
2.3.3 变量替换
    

  1. [[email protected] ~]# cat test.txt #→再新建一个文本
    2. 

  2. a
    3. 

  3. b
    4. 

  4. a
    5. 

  5. [[email protected] ~]# x=a
    6. 

  6. [[email protected] ~]# y=b
    7. 

  7. [[email protected] ~]# echo $x $y
    8. 

  8. a b
    9. 

  9. [[email protected] ~]# sed s#$x#$y#g test.txt
    10. 

  10. b
    11. 

  11. b
    12. 

  12. b
    13. 

  13. [[email protected] ~]# sed ‘s#$x#$y#g‘ test.txt
    14. 

  14. a
    15. 

  15. b
    16. 

  16. a
    17. 

  17. [[email protected] ~]# sed ‘s#‘$x‘#‘$y‘#g‘ test.txt
    18. 

  18. b
    19. 

  19. b
    20. 

  20. b
    21. 

  21. [[email protected] ~]# sed "s#$x#$y#g" test.txt
    22. 

  22. b
    23. 

  23. b
    24. 

  24. b
    25. 

  25. [[email protected] ~]# eval sed ‘s#$x#$y#g‘ test.txt
    26. 

  26. b
    27. 

  27. b
    28. 

  28. b
    29.
2.3.4 分组替换\( \)和\1的使用说明

sed软件的\( \)的功能可以记住正则表达式的一部分，其中，\1为第一个记住的模式即第一个小括号中的匹配内容，\2第二记住的模式，即第二个小括号中的匹配内容，sed最多可以记住9个。

例：echo I am oldboy teacher.如果想保留这一行的单词oldboy，删除剩下的部分，使用圆括号标记想保留的部分。

    

  1. [[email protected] ~]# echo I am oldboy teacher. |sed ‘s#^.*am \([a-z].*\) tea.*$#\1#g‘
    2. 

  2. oldboy
    3. 

  3. [[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#^.*am ([a-z].*) tea.*$#\1#g‘
    4. 

  4. oldboy
    5. 

  5. [[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#I (.*) (.*) teacher.#\1\2#g‘
    6. 

  6. amoldboy
    7.

命令说明

思路：用oldboy字符替换I
am oldboy teacher.

下面解释用□代替空格

  1. ^.*am□ –>这句的意思是以任意字符开头到am□为止，匹配文件中的I
    am□    字符串;
  2. \([a-z].*\)□–>这句的外壳就是括号\(\），里面的[a-z]表示匹配26个字母的任何一个，[a-z].*合起来就是匹配任意多个字符，本题来说就是匹配oldboy字符串，由于oldboy字符串是需要保留的,因此用括号括起来匹配，后面通过\1来取oldboy字符串。
  3. □tea.*$–>表示以空格tea起始,任意字符结尾，实际就是匹配oldboy字符串后，紧接着的字符串□teacher.;
  4. 后面被替换的内容中的\1就是取前面的括号里的内容了，也就是我们要的oldboy字符串。
  5. ()是扩展正则表达式的元字符，sed软件默认识别基本正则表达式，想要使用扩展正则需要使用\转义，即\(\）。sed使用-r选项则可以识别扩展正则表达式，此时使用\(\）反而会出错。
企业案例4：系统开机启动项优化
    

  1. [[email protected] ~]# chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk ‘{print $1}‘|sed -r  ‘s#^(.*)#chkconfig \1 off#g‘|bash
    2. 

  2. [[email protected] ~]# chkconfig --list|grep "3:on"
    3. 

  3. crond           0:off   1:off   2:on    3:on    4:on    5:on    6:off
    4. 

  4. network         0:off   1:off   2:on    3:on    4:on    5:on    6:off
    5. 

  5. rsyslog         0:off   1:off   2:on    3:on    4:on    5:on    6:off
    6. 

  6. sshd            0:off   1:off   2:on    3:on    4:on    5:on    6:off
    7. 

  7. sysstat         0:off   1:on    2:on    3:on    4:on    5:on    6:off
    8.
2.3.5 特殊符号&代表被替换的内容
    

  1. [[email protected] ~]# sed ‘1,3s#C#--&--#g‘ person.txt #→此处&等于C
    2. 

  2. 101,oldboy,--C--EO      #→将1到3行的C替换为--C--
    3. 

  3. 102,zhangyao,--C--TO
    4. 

  4. 103,yy,--C--OO
    5. 

  5. 104,feixue,CFO
    6. 

  6. 105,dandan,CIO
    7.
企业案例5：批量重命名文件

当前目录下有文件如下所示：

    

  1. [[email protected] test]# ls
    2. 

  2. stu_102999_1_finished.jpg stu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpg stu_102999_5_finished.jpg
    3.

要求用sed命令重命名，效果为stu_102999_1_finished.jpg==>stu_102999_1.jpg,即删除文件名的_finished

2.4 查

p 输出指定内容，但默认会输出2次匹配的结果，因此使用n取消默认输出

2.4.1 按行查询
    

  1. [[email protected] ~]# sed ‘2p‘ person.txt
    2. 

  2. 101,oldboy,CEO
    3. 

  3. 102,zhangyao,CTO
    4. 

  4. 102,zhangyao,CTO
    5. 

  5. 103,Alex,COO
    6. 

  6. 104,yy,CFO
    7. 

  7. 105,feixue,CIO
    8. 

    9. 

  9. [[email protected] ~]# sed -n ‘2p‘ person.txt
    10. 

  10. 102,zhangyao,CTO
    11. 

    12. 

  12. [[email protected] ~]# sed -n ‘2,3p‘ person.txt
    13. 

  13. 102,zhangyao,CTO
    14. 

  14. 103,Alex,COO
    15. 

  15. 说明：取行就用sed，最简单
    16. 

    17. 

  17. [[email protected] ~]# sed -n ‘1~2p‘ person.txt
    18. 

  18. 101,oldboy,CEO
    19. 

  19. 103,Alex,COO
    20. 

  20. 105,feixue,CIO
    21. 

    22. 

  22. [[email protected] ~]# sed -n ‘p‘ person.txt
    23. 

  23. 101,oldboy,CEO
    24. 

  24. 102,zhangyao,CTO
    25. 

  25. 103,yy,COO
    26. 

  26. 104,feixue,CFO
    27. 

  27. 105,dandan,CIO
    28.
2.4.2 按字符串查询
    

  1. [[email protected] ~]# sed -n ‘/CTO/p‘ person.txt
    2. 

  2. 102,zhangyao,CTO
    3. 

    4. 

  4. [[email protected] ~]# sed -n ‘/CTO/,/CFO/p‘ person.txt
    5. 

  5. 102,zhangyao,CTO
    6. 

  6. 103,Alex,COO
    7. 

  7. 104,yy,CFO
    8.
2.4.3 混合查询
    

  1. [[email protected] ~]# sed -n ‘2,/CFO/p‘ person.txt
    2. 

  2. 102,zhangyao,CTO
    3. 

  3. 103,Alex,COO
    4. 

  4. 104,yy,CFO
    5. 

    6. 

  6. [[email protected] ~]# sed -n ‘/feixue/,2p‘ person.txt
    7. 

  7. 105,feixue,CIO
    8. 

  8. #→特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行
    9.
时间： 2024-09-30 18:10:36

三剑客之SED行天下的相关文章

三剑客之 sed详解

    sed 作者:Jack.X 归档:学习笔记 2017/4/13 三剑客之sed 第1章 sed详解: 1.1 sed介绍: sed是linux命令中三剑客的老二,sed命令是操作.过滤和转换文本内容的强大工具,常用功能有增删改查(增加,删除,修改,查询).其中查询的功能中最常用的两大功能是过滤(过滤指定字符串),取行(取出指定行). 我先在用的sed版本是GNU开源版本的,实验环境是Centos6.8系统,内核是2.6.32-642.el6.x86_64 [[email protecte

文本处理三剑客之sed

文本处理三剑客之sed sed概述 sed使用示例 sed的高级应用 sed概述 sed, 作为文本三剑客之一,其定位就是一个编辑器, 而且sed是一个流式编辑器(stream editor),其主要功能是过滤和转换文本. sed - stream editor for filtering and transforming text 作为一个强大的文本处理功能,sed 自然能够配合正则表达式,另外,所谓流编辑器,sed 是逐行地读取文本,在文本行中应用指定的命令,且默认输出到stdout; se

文本处理三剑客之sed（流编辑器）

文本处理三剑客之sed(流编辑器) - 行编辑器 把当前处理的行存储在临时缓冲区,称为模式空间,然后把模式空间的内容送往屏幕,一行一行的处理,主要用来编辑一个或者多个文件. - 用法 sed [option]... 'script' inputfile... ###### - 常用选项 -n:不输出模式空间内容到屏幕,即不自动打印 默认会打印模式空间的内容加-n 可以只显示需要打印的行 [root@localhost home]# sed -n '2,3p' /etc/passwd bin:x:

8.9_Linux文本处理三剑客之sed和文本编辑利器vim的使用

本文处理三剑客之sed的使用   什么是sed? Stream EDitor(简称sed), 行编辑器,一次只读一行,只处理一行,不对源文件做处理,至输出到屏幕上. sed是一种流编辑器,它一次处理一行内容.处理时,把当前处理的行存储在临时缓冲区中,称为"模式空间"(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.接着处理下一行,这样不断重复,直到文件末尾.文件内容并没有改变,除非你使用重定向存储输出.sed主要用来自动编辑一个或多

Linux文本处理“三剑客”之sed

sed(Stream Editor)是一个行编辑工具.下面我们介绍 sed 的实现原理和基本使用方法. 一.sed 的处理文本的流程 基本处理流程如下: 处理流程是:每次读入文本文件的一行到内存中的模式空间中,在模式空间中处理后将处理的结果输出,默认会打印到屏幕上.因此,默认情况下,不会改变原文件的内容. 二.sed 命令的使用 基本语法:sed [options]... '地址定位 编辑命令' FILE... 地址定位的方法: 1.行定位: start_line[,end_line] 2.模式

文本工具三剑客：sed

文本工具三剑客:sedsde是一种流编辑器,它一次处理一行内容.处理时,把当前处理的行存储在临时缓存区,称为 模式空间    用法:    sed [选项] [加自己的语言] [要处理的文件]    选项:        -n  不输出模式中的内容至屏幕            # sed -n "10p" f2 只打印出第10行匹配到的行 其他不显示            10  UUID=07a475f4-3d7a-4b27-9ec9-500bc8a19c4d /boot      

不看绝对后悔的Linux三剑客之sed实战精讲

二.Linux三剑客之sed命令精讲 1,前言 我们都知道,在Linux中一切皆文件,比如配置文件,日志文件,启动文件等等.如果我们相对这些文件进行一些编辑查询等操作时,我们可能会想到一些vi,vim,cat,more等命令.但是这些命令效率不高,这就好比一块空地准备搭建房子,请了10个师傅拿着铁锹挖地基,花了一个月的时间才挖完,而另外一块空地则请了个挖土机,三下五除二就搞定了,这就是效率.而在linux中的"挖土机"有三种型号:顶配awk,中配sed,标配grep.使用这些工具,我们

深入浅出linux三剑客之sed必杀技一例

转 http://oldboy.blog.51cto.com/2561410/949365 缘起:上完培训课后,同学们对sed加正则处理问题的热情高涨,氛围相当好,但是,有个别同学还是有些晕乎,因此,撰写此文.此例如果搞熟练了,sed和正则的大部分常用技术你掌握起来就简单了. 如果还有不会的,老男孩就拿出最后的讲解必杀技(先保密,嘿!),同学们想不会那是不可能的,除非你们自己主动放弃,哈哈.来,开整~! 老男孩linux培训第三节课程课前第考试一题,问题如下 1.如何取得/etiantian文件

文本三剑客之一 “sed”的基础用法和高级用法

sed工具: 用法: sed [option]- 'script' inputfile- 常用选项: -n:不输出模式空间内容到屏幕,即不自动打印[[email protected] ~]# sed -n -e "2p" -e "6p" f1 (2:6代表处理第几行)-e: 多点编辑-f:/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本-r: 支持使用扩展正则表达式-i.bak: 备份文件并原处编辑 script: '地址命令' 地址定界: (1) 不