linux命令总结:sed

说明:

sed用于过滤和转换文本的流编辑器

可以采用正则匹配,对文本进行插入删除修改等操作

Sed处理的时候,一次处理一行,每一次把当前处理的存放在临时缓冲区,处理完后输出缓冲区内容到屏幕,然后把下一行读入缓冲区,如此重复,直到处理完最后一行。

用法:

sed [OPTION] ... {script-only-if-no-other-script} [input-file] ...

sed [选项] ... [动作] [文件]

参数:

-n 安静模式,取消默认输出
-e 直接在命令列上进行sed动作编辑
-f 读取脚本文件内sed命令处理文件
-r sed动作支持延伸的正则表达(默认只是基础正则)
-i 直接修改文件内容(实验时慎用系统文件)

-u 从输入文件加载少量的数据并刷新更多的输出缓冲区

--help 显示帮助信息并退出

--version  输出版本信息并退出

命令:

:label     是b和t命令的标签,用来实现跳转处理,名字可以随便取(label)

=     打印当前行号码

a\    追加,在当前行的下一行追加文本

i\    插入,在当前行的上一行插入文本

q    退出,与Q一样

b label    分行到标签,如果标签被省略,则分支到脚本的末尾。

t label    如果从上一次做了一个成功的替代,输入行被读取,并且从最后一个t或T命令,然后分支到标签,如果省略则分支到末尾。

T label    如果没有s///从上一次成功替换输入行被读取,并且从最后一个t或T命令,然后分支到标签。如果省略则分支到末尾。

c \    用所有嵌入的文本替换所选行,换行符前面加反斜杠。

d    删除选择的行

D    删除模版快的第一行

h H    复制或追加模版块的内容到缓冲区

g G    获取内存缓存区的内容,并替换或追加到当前模版块文本

x    交换保留和模式空间的内容

l    以视觉上明确的形式列出当前行

n N  将下一行输入读取或附加到模式空间中

p    打印当前模版块的行

P    打印莫板块的第一行

s/// 替换匹配字符,可以使用正则

w    将当前模式空间写入文件

W    将当前模式空间的第一行写入文件

!   表示后面的命令对所有没有被选定的行发生作用

#    把注释扩展到下一个换行符以前

sed替换标记

g   表示行内全面替换 
p   表示打印行 
w   表示把行写入一个文件 
x   表示交换莫板块中的文本和缓冲区中的文本 
y   表示把一个字符翻译成另外的字符 
\1  子串匹配标记

&   已匹配字符串标记

sed 元字符集 :
^     匹配行开始

$   匹配行结束

.   匹配一个非换行符的任意字符

*   匹配0个或多个字符匹配所有模块是一个或多个空格后紧跟sed的行

[]  匹配一个指定范围内的字符

[^] 匹配一个不再指定范围内的字符

\(..\) 匹配子串,保存匹配的字符,如 s/\(love\)able/\1rs loveable被替换成lovers

&    保存搜索字符用来替换其他字符,如s/love/**&**/ love这成**love**

\<   匹配单词的开始,如 /\<love/匹配包含以love开头的单词行

\>   匹配单词的结束,如/love\>/匹配包含以love结尾的单词的行

x\{m\}   重复字符x,m次,如 /0{5\}/匹配包含5个0的行

x\{m,\}  重复字符x,至少m次,如 /0\{5,\}/匹配至少有5个0的行

x\{m,n\} 重复字符x ,至少m次,不多于n次,如 /0\{5,10\}/匹配5~10个0的行

实例:

替换操作 :s命令

替换文本中的字符串

[[email protected] ~]# sed ‘s/aa/99/‘ aa.txt 
99  123  345 aa bb cc dd bb ee
bb 123 333 444 333 222 bb

-n 选项和p选项一起使用表示只打印发生变化的行

[[email protected] ~]# sed -n ‘s/aa/www.baidu.com/p‘ aa.txt 
www.baidu.com  123  345 aa bb cc dd bb ee

直接编辑文件选项-i,会匹配文件中每一行匹配的内容

[[email protected] ~]#sed -i ‘s/aa/888/g‘ aa.txt   #全面替换标记g
[[email protected] ~]# cat aa.txt 
888  123  345 888 bb cc dd bb ee
bb 123 333 444 333 222 bb

当需要从第N出匹配开始替换时,可以使用/Ng:

[[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/2g‘
abABABABABABAB
[[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/3g‘
ababABABABABAB
[[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/4g‘
abababABABABAB
[[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/5g‘
ababababABABAB

以上命令中/在sed中作为定界符使用,也可以使用任意的定界符,例如使用#号将输出内容转换成大写,其中的U在元字符里是大写大意思,&代表已匹配的字符。

[[email protected] ~]# echo abcd |sed ‘s#[a-z]#\U&#g‘
ABCD

删除操作:d命令

删除空白行
sed ‘/^$/d‘ file
删除文件的第2行
sed ‘2d‘ file
删除文件的第2行到末尾所有行
sed ‘2,$d‘ file
删除文件最后一行
sed ‘$d‘ file11
删除文件中所有开头的test的行
sed ‘/^test/d‘ file

已匹配字符串标记& 
正则表达式\w+匹配每一个单词,使用[&]替换它,&对于之前所匹配到的单词

[[email protected] ~]# echo a b c d |sed ‘s/\w\+/[&]/g‘
[a] [b] [c] [d]

&代表前面匹配的内容然后加上后面需要替换的内容:

[[email protected] ~]# echo "202.106.0.20"|sed ‘s/202.106.0.20/&DNS/g‘
202.106.0.20DNS

子串匹配标记 \1 
匹配给定样式的其中一部分,第一个使用\1第二个使用\2,下面是截取IP和mac地址

[[email protected] ~]# ifconfig eth0|sed -n ‘s/^.*addr:\(.*\)  .*  Mask:\(.*\)$/ip:\1 mac:\2/gp‘
ip:10.0.0.4 mac:255.255.255.0

命令中第一个()内的内容匹配\1,第二个()内大内容匹配\2,依此类推 
例如:[a-z]+代表任意字符后面的+是多个的意思,此处使用-r选项使用延伸的正则表达式,就不需要对特殊字符转义了。

[[email protected] ~]# echo "aaa BBB"|sed -r ‘s/([a-z]+) ([A-Z]+)/\2 \1/‘
BBB aaa

引用 
sed表达式可以使用单引号来引用,但是如果表达式内部包含变量字符串,就需要使用双引号

[[email protected] ~]# aa=mysql;echo "this is sqlserver"|sed ‘s/sqlserver/$aa/‘
this is $aa
[[email protected] ~]# aa=mysql;echo "this is sqlserver"|sed "s/sqlserver/$aa/"
this is mysql

选定行的范围: ,逗号 
所有在模板bbb和ddd所确定的范围内的行都被打印

[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd"|sed -n ‘/bbb/,/ddd/p‘
bbb
ccc
ddd

打印从第2行开始到第一个包含以ccc开始的行之间的所有行包括ccc:

[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd"|sed -n ‘2,/^ccc/p‘
bbb
ccc

对于aaa和ccc之间的行,每行的末尾追加www.com

[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd"|sed ‘/aaa/,/ccc/s/$/www.com/‘
aaawww.com
bbbwww.com
cccwww.com
ddd

多点编辑:e 命令

[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd\neee"|sed -e ‘1,3d‘ -e ‘s/eee/www/‘
ddd
www

上面sed表达式的第一条命令删除1至3行,第二条命令用eee替换www,命令的执行顺序对结果有影响,如果两个 命令都是替换命令,那么第一个命令将 影响第二个替换命令的结果

和-e等价的命令是–expression

[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd\neee"|sed --expression ‘s/aaa/MMM/‘ --expression ‘s/eee/www/‘
MMM
bbb
ccc
ddd
www

从文件读入: r命令 
file里面的内容被读进来,显示在与aaa匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的后面sed ‘/aaa/r filename

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/aaa/r aa.txt‘
aaa
www.org
blog.com
bbb
aaa
www.org
blog.com
ddd
eee

从文件写入:w命令

将匹配的行写入到文件内,注意会覆盖原文件内容

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘/aaa/w aa.txt‘
[[email protected] ~]# cat aa.txt 
aaa
aaa

追加: a\ 命令 
将www.gun.org追加到以aaa开头的行后面

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/a\www.gun.org‘
aaa
www.gun.org
bbb
aaa
www.gun.org
ddd
eee

在文件第2行之后追加www,centos.org

[[email protected] ~]# sed -i ‘2a\www.centos.org‘ aa.txt 
[[email protected] ~]# cat aa.txt 
aaa
aaa
www.centos.org

插入: i\ 命令

在匹配的行前面插入内容

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/i\www.gun.org‘
www.gun.org
aaa
bbb
www.gun.org
aaa
ddd
eee

下一个 n/N 命令 
:label将存储一个标签位置,使用N追加下一行文本到此空间,此处就有了两行文本(aa$bb),然后使用s/\n//p替换功能替换换行符(\n),输出aabb,b将跳转标签位为bb后,赋值给label。然后逐行执行语句到行尾。

[[email protected] ~]# cat a.txt 
aa
bb
cc
[[email protected] ~]# sed ‘:label;N;s/\n//p;b label‘ a.txt 
aabb
aabbcc
aabbcc

变形: y命令 
把1~10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘1,4y/abcde/ABCDE/‘
AAA
BBB
AAA
DDD
eee

退出 q命令 
打印完第10行后,退出sed

sed ‘10q‘ file

打印奇数行或偶数行

方法1,使用n命令下一行打印

打印奇数行:
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘p;n‘
aaa
aaa
eee
打印偶数行:
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘n;p‘
bbb
ddd

方法2,指定从第几行开始打印,后面数字指定间隔几行打印

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘1~2p‘
aaa
aaa
eee
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘2~2p‘
bbb
ddd

打印匹配字符串的下一行

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘/ddd/{n;p}‘
eee

使用b做跳转,当判断字符为aaa时b就跳转到x,此处的:x为定义的标签,标签后为执行的动作。匹配字符aa就跳转到x执行动作,在aa后面添加制表符和YES,如果不为aa就不跳转直接执行后面的s/$/\tYES/,在后面添加制表符和YES。

[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/bx;s/$/\tNO/;b;:x;s/$/\tYES/‘
aaaYES
bbbNO
aaaYES
dddNO
eeeNO
使用t做跳转时,如果有一次成功的替换则读入最后一个T或t命令,此处还是不太明白,有懂的大神希望留言告知。
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/tx;s/$/\tNO/;t;:x;s/$/\tYES/‘
aaaNO
bbbNO
aaaNO
dddNO
eeeNO
使用T做跳转时,如果有一次成功的替换则读入最后一个T或t命令,使用取反跳转,此处还是不太明白,有懂的大神希望留言告知。
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/Tx;s/$/\tNO/;T;:x;s/$/\tYES/‘
aaaYES
bbbNOYES
aaaYES
dddNOYES
eeeNOYES

分析多行日志取IP和mac地址并做统计实例:

grep -wE ‘^lease|hardware‘ $patha/dhcpd.leases|sed ‘:x;N;s/{\n//;b x‘|sed -n "s/;$//gp"|awk ‘BEGIN{print "IP""\t\t""MAC"} {print $2"\t"$5}‘ >$patha/ip_table.txt
cat $patha/ip_table.txt | wc -l > $patha/aa.txt

后期补充。。。。

时间: 2024-10-28 13:56:38

linux命令总结:sed的相关文章

Linux命令之sed使用入门概述

sed:stream editor,Linux的一款流编辑器,主要对文本内容进行过滤与替换.使用命令man sed,可以看到对sed命令的介绍 下文总体指导思想: 对于sed的工作过程,个人认为如果不是非要把sed的所有功能都学会,是不需要把工作过程搞懂的.绝大部分人,特别针对于想要先尽快上手的人,掌握如何使用基本的sed功能应该比较重要的! 学习sed命令的使用,主要还是结合man sed中的提示来学习: sed synopsis(大纲):命令的格式 sed [option][script][

每日linux命令学习-sed

Linux的文本处理实用工具主要由sed和awk命令,二者虽然略有差异,但都使用正则表达式,默认使用标准I/O,并且使用管道命令可以将前一个命令的输出作为下一个命令的输入.笔者将在本节学习sed命令. sed命令 sed命令是以行为单位的非交互式编辑器,从通过标准输入或文件获得要处理的输入文本,对指定的行进行逐行处理,然后将结果输出传送到标准输出或文件.sed命令也可以在vi(m)编辑器中使用.sed决定对指定地址范围内的哪些输入行进行处理,此时可在地址范围内使用行号或正则表达式模式.例如,5d

转摘--如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/ 你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核. 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要想让Lin

linux命令之sed

sed命令格式 sed [options] 'command' file(s) 替换:s命令 sed 's/原字符串/替换字符串/' 末尾的"g"代表替换全部,否则只替换每行的第一个: # 替换所有匹配关键字 sed 's/原字符串/替换字符串/g' "-i"参数:直接修改并保存 sed -i 's/原字符串/替换字符串/g' filename 对文件做备份: sed -i '.bak' 's/原字符串/替换字符串/g' filename 例:source Insi

linux 命令之sed

sed是linux轻量级流编辑器,用于行的操作,主要用来数据的选取.替换.删除.新增等. 权  限:所有用户 位  置:/bin/sed 用  法:sed [-nefr]  [动作]  file 参数: -n 不加-n的时候,sed处理的数据和不处理的都会输出,加上-n只会输出sed操作的行 -e 直接在命令行模式上进行sed的动作编辑 例如:sed -e 's/aaa/b/g; s/aa/b/g' file 也即多个动作同时操作,注意中间的分号 -f       直接将sed动作写在一个文件内

Linux命令:sed简介

sed是一种在线行编辑器,一次处理一行.工作时,把当前处理的行放到"模式空间"中进行编辑,编辑完成后把内容输送至屏幕. 语法:sed [OPTION]-{script}-[input file] 选项: -r:支持正则表达式 -n:静默模式,不显示内容 -e: script1 -e script2 -e script3:指定多脚本运行 -f /path/to/script_file:从指定的文件中读取脚本并运行 -i: 直接修改源文件 命令: d: 删除模式空间中的行: =:显示行号:

linux命令:sed

   sed命令简介: 文本编辑器,流编辑器,行编辑器.默认不编辑原文件, 仅对模式空间中的数据做处理: 而后处理结束后,将模式空间打印至屏幕: 1.命令格式: sed [option]'addresscommand' file ...对这个或这些文件的某一段进行编辑 Address:(表示操作文本范围) 1.StartLine,EndLine 比如1,100 $:最后一行 2./RegExp/ 使用正则表达式来匹配模式 必须使用// /^root/ 3./pattern1/,/pattern2

linux命令之sed 实现某一文件首行添加字符#

需求: 将build.sbt文件的,45行到77行,行首添加注释符# 命令如下: #sed -i "45,77s/^/#/g" build.sbt 查看文件 如果是同时修改多个文件的话,可以直接在后面添加文件,  文件之间使用空格分隔即可了.

Linux命令之sed批量替换字符串操作

使用sed命令可以进行字符串的批量替换操作,以节省大量的时间及人力: 使用的格式如下: sed -i "s/oldstring/newstring/g" `grep oldstring -rl path` 其中,oldstring是待被替换的字符串,newstring是待替换oldstring的新字符串,grep操作主要是按照所给的路径查找oldstring,path是所替换文件的路径: -i选项是直接在文件中替换,不在终端输出: -r选项是所给的path中的目录递归查找: -l选项是

Linux命令之——sed命令

编程能力: 脚本编程 grep,sed(流编程器),awk sed 基本用法: sed:Stream EDitor 行编辑器(全屏编辑器:vi) sed:模式空间 默认不编辑原文件,仅对模式空间中的数据做处理:而后,将处理结束后的空间打印到屏幕上 用法: sed [OPTION]... {script-only-if-no-other-script} [input-file]... sed +选项+{sed 脚本} sed [选项] 'AddressCommand' file... \对这个(这