shell脚本学习笔记 (流编辑器sed)

sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用很普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出。

sed不只支持正則表達式。它另一些比較厉害的功能。

我给出一个样例,大家看看有什么办法能够解决它吧。

<html><head><title>Hello World</title>
<body>Welcome to the world of regexp!</body></html>
Hello World
Welcome to the world of regexp!

上面这个HTML文件中的内容怎么通过sed将它变成以下的没有<>的内容呢?我预计在座的非常少有人可以非常快的将它搞定吧,这是我遇到的一个题目,弄了半小时才搞定的。

我用到了sed,先将解题思路给出来解解馋吧^_^

上面的知识一个样例而已,以下要開始介绍sed这款工具的使用了。

首先sed的运行方式有两种:

1. sed option ‘script‘ file1 file2 ...

2. sed option -f scriptfile file1 file2 ...

能够看到sed支持对多个文件操作,事实上它是一行一行的解析的,就像流水一样,知道运行到文件末尾。它的编辑命令

为: /pattem/action  当中pattern是正則表達式,action是编辑操作,以下就介绍一下它的简单使用吧。

1. /pattern/p :打印匹配pattern的行

注意sed默认的是将待处理的已经处理好的都打印出来,所以上面的结果会反复打印匹配的,所以此时我们须要

使用 ‘-n‘ 选项来打印我们感兴趣的部分。

2. /pattern/d :删除匹配pattern的行

  

      须要注意的是虽说 ‘d‘ 是删除匹配的行,可是它并没有删除文件中面的内容。由于在sed中想要使改动生效,我们

须要用 ‘-i‘ 选项。

3. /pattern/s/pattern1/pattern2/     :查找符合pattern的行,将该行第一个匹配pattern1的字符串替换为pattern2

4. /pattern/s/pattern1/pattern2/g   :查找符合pattern的行,将该行全部匹配pattern1的字符串替换为pattern2

须要注意最后有 ‘g‘ 与无的时候的差别,一个字符对整个的影响事实上非常大。

5. sed -i  : 做的操作会改动原文件

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

 这个參数的使用要注意。它真的会使改动生效的。想一想已经写好的project,想看看替换一些小地方后的样子,却又不小心

写错了,结果将整个project的重要代码给替换了,最后想进入project按 ‘U’还原(此时按U还原是无效的),此时你真的有剁手的冲动。

 6.定址

定址用于决定对哪些行进行编辑。地址的形式能够是数字、正則表達式、或二者的结合。假设没有指定地址,sed将处理输入文件的全部行。

可是定址也有好几种情况:

上述这样的情况是按行来定位的,能够打印或删除某一行或者多行,用起来比較简单,比如 sed ‘1,3d‘ file ,

sed -n ‘3p‘ file , sed -n ‘2,5p‘ file 等等。可是以下的情况却是比較复杂的:

当中:

1. sed ‘/pattem1/,/pantem2/d‘  :删除全部包括‘pattem1‘ 和 ‘pattem2‘ 的行,以及在他们之间的行,从上

述样例中能够看出吧。

2. sde ‘/patten1/,nd‘  : 删除包括 ‘pattem1‘ 的行到第 n 行的内容

以上两点大家须要自己下去多多尝试一下,由于它却是不易理解。

7.正則表達式

一開始就说sed支持正則表達式,可是却没实用到,嘿嘿。以下就来使用一下吧。

(1). ‘^‘ ,‘$‘

(2).
‘.‘ ,‘*‘

(3) . ‘\<‘ 。‘\>‘

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

以下的两种使用方法比較特殊。是sed的特殊功能

上面的语句中是将test保存起来了记为标签1,以后能够使用 ‘\1‘ 来引用它。

看的不是非常清楚的话,以下的样例

会让你明确:

&:保存查找串以便在替换串中引用:s/[0-9]/*&*/g 符号&代表查找串。这个还是自己去试一试,这样你才会

更加的熟悉使用方法,以下另一个样例帮助理解。

以上就是sed的基本使用方法,sed事实上支持非常多命令和一些选项,比如:

命令:

a\ :在当前?行后加入一行或多行。多行时除最后一行外。每行末尾需用“\”续行

c\ :用此符号后的新文本替换当前行中的文本。

多行时除最后一行外,每行末尾需用”\"续行

i\ :在当前行之前插入文本。多行时除最后一行外,每行末尾需用”\"续行d删除行

h : 把模式空间里的内容拷贝到暂存缓冲区(保持空间)

H :把模式空间里的内容追加到暂存缓冲区(保持空间)

g :把暂存缓冲区里的内容拷贝到模式空间,覆盖原有的内容

G:把暂存缓冲区的内容追加到模式空间里,追加在原有内容的后面

l :列出非打印字符

p :打印行

n :读入下一输入行,并从下一条命令而不是第一条命令開始对其的处理

q :结束或退出sed

r :从文件里读取输入行

! :对所选行以外的全部行应用命令

s :用一个字符串替换还有一个

g :在行内进行全局替换

w :将所选的行写入文件

x :交换暂存缓冲区与模式空间的内容

y :将字符替换为还有一字符(不能对正則表達式使用y命令)

选项:

-e :进行多项编辑。即对输入行应用多条sed命令时使用

-n :取消默认的输出

-f :指定sed脚本的文件名称

这些选项我并没有一一解说,常常须要使用它的人就再去好好钻研吧。

至于sed一些高级使用方法,比如在sed中有

"模式空间"和"状态空间"的概念,应该去了解一下,上面给的命令中一些就是针对这两种空间来操作的,我如今还没

有研究好,所以就没写出来,望谅解。

时间: 2024-08-27 11:49:58

shell脚本学习笔记 (流编辑器sed)的相关文章

shell脚本学习笔记系列--1

一.学好shell编程的知识储备 1.相关Linux系统命令应用: 2.Vi/vim 编辑器的熟练使用,相关客户端软件的设置: 3.基础的服务,系统服务ntp,crond,网络服务:nfs,rsync,inotify,sersync,ssh,lanmp等. 补充:清空日志的三种方法: 1)echo  " " > filename.log 2)>filename.log 3)cat  /dev/null > filename.log 注:工作中有的时候不能删除(日志)文

shell脚本学习笔记 (sed的高级用法----模式空间和保持空间)

前段时间在学习shell脚本,上次有提到sed的模式空间和保持空间概念,但是一直没有研究好,这两天研究了一下,所以将它发出来,不是很全面,仅仅供大家参考一下. 保持空间sed在正常情况下,将处理的行读入模式空间,脚本中的"sed command(sed命令)"就一条接着一条进行处理,直到脚本执行完毕.然后该行被输出,模式被清空:接着,在重复执行刚才的动作,文件中的新的一行被读入,直到文件处理完毕. 模式空间可以比喻为一个生产线,而保持空间则可以被比喻为仓库,这个比喻希望可以帮助大家理解

shell脚本学习笔记之sed命令用法

sed基本用法 sed:stream editor 行编辑器 sed:模式空间 将匹配的文本内容储存到模式空间中 默认不编辑原文件,仅对模式空间中的数据做处理,而后,处理结束后,架构模式空间的内容显示 sed -n -i:直接修改原文件 -e script -e script:可以同时执行多个脚本 -f file sed -f /scripts  file -r:表示使用扩展正则表达式 sed 'adresscommand' file... -n:静默模式,不再默认显示模式空间中的内容,即只显示

shell脚本学习笔记:通过shell实现linux用户管理和监控

学习shell做的第一个脚本,感谢云知梦李强强老师的shell编程教程 创建shell脚本文件: touch menu.sh touch index.sh touch welcome.sh 赋予脚本文件可执行权限: chmod a+x menu.sh index.sh welcome.sh menu.sh #!/bin/bash #menu.sh function menu(){ title="My Home" name="Randy" time=`date +%Y

Shell 脚本学习笔记十:Shell输入输出重定向

command > file       将输出重定向到 file. command < file       将输入重定向到 file. command >> file     将输出以追加的方式重定向到 file. n > file              将文件描述符为 n 的文件重定向到 file. n >> file             将文件描述符为 n 的文件以追加的方式重定向到 file. n >& m             

shell 脚本学习笔记--函数

一.定义格式 [function] 函数名() { 命令表 } 二.调用方法 先定义,后使用,直接输入函数名,不需要圆括号() 三.函数参数传递方法 可以利用位置参数或者变量进行传递 #! /bin/bash# myfirst.sh testFunction() { echo "$1,$2" #位置参数传递参数 echo "$val1,$val2" #变量传递参数 } val1="test1" val2="test2" tes

Shell脚本学习笔记-函数

1.  基本的脚本函数 1.1 函数的定义 function name { commands } 或者 name() { commands } 1.2 简单示例 #!/bin/sh function Func01 { echo "This is function of Func01" } Func02() { echo "This is function of Func02" } Func01 Func02 运行结果: 1.3 函数返回值与退出码 #!/bin/sh

shell脚本学习笔记之正则表达式

***基本正则表达式(可支持grep,sed,awk等shell工具) * 0个或多个在*字符前面的那个普通字符. 匹配任意字符^ 匹配行首,或后面字符是非$ 匹配行尾 []匹配字符集合\ 转义符,屏蔽一个元字符的特殊意义\<\>  精确匹配符号\{n\} 匹配前面字符出现n次\{n,\} 匹配前面字符至少出现n次\{n,m\} 匹配前面字符出现n~m次 注意:符号*前面必须至少有两个字符(当符号*后面没有字符时)或必须*前面至少有一个字符(当符号*后面至少有一个字符时)才有意义      符

shell脚本学习笔记

1.判断符号:中括号[ ] [ ]进行数据的判断,例如我想知道HOME这个变量是否为空,[ -z "$HOME" ],或者两个字符串是否相等,[ "$HOME"  ==  "$MALI" ].由于中括号使用的地方有很多,所以在bash中作为判断式时,中括号的两端需要有空格来分隔.在使用中需要注意: 在中括号内的每个组件都需要有空格键来分隔 在中括号内的变量,最好以双引号括号起来,例如"$HOME" 在中括号内的常量,最好以单或