第九章正则扩展

第十二课预习任务

一、打印文件中特定的某行到某行之间的内容

例如:有个文件test的内容如下:

ert

fff

**

[abcfd]

123

324

444

[rty]

**

fgfgf

怎么能截取

[abcfd]

123

324

444

[rty]

这一部分出来呢?

 sed -n ‘/\[abcfd\]/,/\[rty\]/p‘ test

http://ask.apelearn.com/question/559

二、sed中,使用\u表示大写,\l表示小写

1. 把每个单词的第一个小写字母变大写:

sed ‘s/\b[a-z]/\u&/g‘ filename

2. 把所有小写变大写:

sed ‘s/[a-z]/\u&/g‘ filename

3. 大写变小写:

sed ‘s/[A-Z]/\l&/g‘ filename

http://ask.apelearn.com/question/7758

三、sed在某一行最后添加一个数字

sed ‘s/\(^a.*\)/\1 12/‘ test

#

cat  test

askdj

aslkd aslkdjf3e

skdjfsdfj

sdkfjk

fsdkfjksdjfkjsdf

12sdfesdf

aslkdjfkasdjf asdlfkjaskdfj

#sed ‘s/\(^a.*\)/\1 12/‘ test

askdj 12

aslkd aslkdjf3e  12

skdjfsdfj

sdkfjk

fsdkfjksdjfkjsdf

12sdfesdf

aslkdjfkasdjf asdlfkjaskdfj  12

http://ask.apelearn.com/question/288

四、删除某行到最后一行

[[email protected] ~]# cat test

a

b

c

d

e

f

[[email protected] ~]# sed ‘/c/{p;:a;N;$!ba;d}‘ test

a

b

c

定义一个标签a,匹配c,然后N把下一行加到模式空间里,匹配最后一行时,才退出标签循环,然后命令d,把这个模式空间里的内容全部清除。

if 匹配"c"

:a

追加下一行

if 不匹配"$"

goto a

最后退出循环,d命令删除。

http://ask.apelearn.com/question/213

五、打印1到100行含某个字符串的行

这个需求,其实就是sed指定行范围匹配,较少见。实现:

1. sed  -n ‘1,100{/abc/p}‘  1.txt

http://ask.apelearn.com/question/1048

六、awk 中使用外部shell变量

如:

A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’

说明:-v选项用于定义参数,这里表示将变量A的值赋予GET_A。

有多少个变量需要赋值,就需要多少个-v选项。与之等价的:应用于脚本中:

#! /bin/bash

sort -n filename |awk -F ‘:‘ ‘{print $1}‘|uniq >id.txt

for id in `cat id.txt`; do

        echo "[$id]"

        awk -v id2=$id -F ‘:‘ ‘$1==id2 {print $2}‘ filename  // 另外的方式为: awk -F ‘:‘ ‘$1=="‘id‘" {print $2}‘ filename  

done

附件:

cat filename

1111111:13443253456

2222222:13211222122

1111111:13643543544

3333333:12341243123

2222222:12123123123

运行脚本后结果为:

[1111111]

13443253456

13643543544

[2222222]

13211222122

12123123123

[3333333]

12341243123

http://ask.apelearn.com/question/199

七、awk 合并一个文件

我有这样的需求,需要把两个文件中,第一列相同的行合并到同一行中。举个例子,有两个文件,内容如下

cat 1.txt

1 aa

2 bb

3 ee

4 ss

cat 2.txt

1 ab

2 cd

3 ad

4 bd

5 de

合并后的结果为:

1 ab aa

2 cd bb

3 ad ee

4 bd ss

5 de

实现的命令为:

awk ‘NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}‘  1.txt  2.txt

解释:NR表示读取的行数, FNR表示读取的当前行数,大家可以运行这个命令 awk ‘{print NR,FNR}‘ 1.txt  2.txt,比较NR和FNR

所以其实NR==FNR 就表示读取1.txt的时候。 同理NR>FNR表示读取2.txt的时候

数组a其实就相当于一个map

http://ask.apelearn.com/question/493

八、把一个文件多行连接成一行

a=`cat file`;echo $a

awk ‘{printf("%s ",$0)}‘ file   // %s 后记得要有一空格,否则出来就是完全连在一起的,中间连空格都没有

cat file |xargs

http://ask.apelearn.com/question/266

九、awk中gsub函数的使用

awk ‘gsub(/www/,"abc")‘ /etc/passwd  // passwd文件中把所有www替换为abc

awk -F ‘:‘ ‘gsub(/www/,"abc",$1) {print $0}‘ /etc/passwd  // 替换$1中的www为abc

http://ask.apelearn.com/question/200

十、awk 截取指定多个域为一行

用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行?

以/etc/passwd为例,该文件以":"作为分隔符,分为了7段。

for i in `seq 1 7`

do

    awk -F ‘:‘ -v a=$i ‘{printf $a " "}‘ /etc/passwd

    echo

done

http://ask.apelearn.com/question/224

十一、过滤两个或多个关键词

grep -E ‘123|abc‘ filename  // 找出文件(filename)中包含123或者包含abc的行

egrep ‘123|abc‘ filename    //用egrep同样可以实现

awk ‘/123|abc/‘  filename // awk 的实现方式

http://ask.apelearn.com/question/198

十二、用awk生成以下结构文件

http://ask.apelearn.com/question/5494

十三、awk用print打印单引号

awk ‘BEGIN{print "a‘"‘"‘s"}‘  //不用脱义,就多写几个单引号、双引号

awk ‘BEGIN{print "a‘\‘‘s"}‘  //用脱义,脱义的是单引号

awk ‘BEGIN{print "a\"s"}‘  //用脱义,脱义的是双引号

http://ask.apelearn.com/question/1738

十四、把两个文件中相同的行合并成一行

paste  filename1  filename2

这样就可以实现了。举个例子。

cat  a.txt

1 2 3

4 5 6

a b c

cat b.txt

3 2 1

6 5 4

c b a

则  paste  a.txt  b.txt  结果为

1 2 3   3 2 1

4 5 6   6 5 4

a b c   c b a

如果,你想在两个文件连接处用一个指定的字符连接,还可以用-d来指定

paste -d ‘+‘  a.txt b.txt

结果为

1 2 3+3 2 1

4 5 6+6 5 4

a b c+c b a

http://ask.apelearn.com/question/945

十五、awk的BEGIN和END

http://blog.51cto.com/151wqooo/1309851

十六、awk的参考教程

http://www.cnblogs.com/emanlee/p/3327576.html

十七、课堂笔记

一、sed -r   #插入字符   (常用)

sed -r ‘s/(.*)/aaa:&/’     #在所有行行首加上aaa

sed -r ‘s/(.*)/&:aaa/’      #在所有行行尾加上aaa

sed -r ‘1s/(.*)/aaa:&/’     #在行首加入aaa

sed -r ‘1,5s/(.*)/aaa:&/    在第1到5行加入aaa

#s前写入数字或者范围就是具体数加的位置

sed追加(行后):a\命令

将this is a test line  追加到以test开头的行后面

sed ‘/^test/a\this is a test line ‘ file

在 1.txt文件第二行之后插入this is a test line :

sed  -i  ‘2a\this is a test line‘   1.txt

sed插入(行前):i\命令

将this is a test line  追加到以test开头的行前面

sed ‘/^test/i\this is a test line ‘ file

在 1.txt文件第五行之前插入this is a test line :

sed  -i  ‘5i\this is a test line‘   1.txt

二、

sed -i  #修改文件内容

sed -i s#old_word#new_word#g    #全局替换

三、awk

awk语法结构:

awk -F ‘:‘ ‘BEGIN{语句} {if(条件){语句1;语句2;语句3} } END{语句}‘ filename

#如果awk忽略了-F,默认将会以空格、空白字符为分隔符去打印

$NF    #最后一段的内容

$NR   #第几行的第几列,比如第一行第一列,第二行第二列

$0      #表示整行

例:(#重点,要掌握)

1;2:3#4,5   如何用:# ,三种间隔符分割为1 2 3 4 5

awk -F ‘: | # | ,‘  ‘{print $1,$2,$3,$4,$5}‘  1.txt

四、以指定分隔符分隔

1、在print内段间插入"分隔符"

awk  -F ‘:‘{print $1"#"$2"#"$3"#"$4"#"$5} 1.txt    #以#做分隔符

2、通过内置变量OFS

awk -F ‘:‘ ‘{OFS="#"} {print $1,$2,$3,$4,$5}  1.txt    #以#做分隔符

加上双引号”“之后,相当于sort不加-n。就代表1000不再是数字,而是一个字符串,是以ASSIC码计算的。

awk -F ":" ‘{$NR":"$NF}‘ passwd

第一行第一列 ,7段

第二行第二列 ,7段

第三行第三列 ,7段

第四行第四列 ,7段

第五行第五列 ,7段

第六行第六列 ,7段

第七行第七列 ,7段

awk -F ‘:‘ ‘$NF=="/sbin/nologin" {print  $1}‘  /etc/passwd

#匹配最后一段为/sbin/nologin的行,然后输出该行的第一段

awk -F ‘:‘ ‘$3=$4 && $NF=="/sbin/nologin" {print  $1}‘  /etc/passwd

#匹配第三段等于第四段且最后一列等于/sbin/nologin的行,然后输出第一段

awk -F ‘:‘ ‘{tot=tot+$3}; END {print tot}‘ passwd     #某段求和

#total=0;  total=total+$3  第三段第一行的tot加第三段第二行的tot,循环加到底

五、扩展

把一个目录下,过滤所以*.php文档中含有eval的行

grep -r --include="*.php"  ‘eval‘ /data/

原文地址:https://www.cnblogs.com/Lucky-LGX/p/9520790.html

时间: 2024-10-05 23:25:20

第九章正则扩展的相关文章

第九章 正则

9.1 正则介绍 grep(上) 1)正则解释正则就是一串有规律的字符串:grep 过滤关键词< mkdir /grep/ >< cp /etc/passwd /root/grep/ >< grep 'nologin' passwd > 过滤nologin 自动标红了 < grep -c 'nologin' passwd > 显示行数<grep -n 'nologin' passwd > 显示行号< grep -ni 'nologin' p

第九章 常用模块

第九章 常用模块 1.模块介绍 什么是模块: 模块就是我们通常说的py文件(因此写python程序的时候不要命名为模块的名称),模块是写好了但不直接使用的功能 为什么这些模块中提供的方法 不能像print这些内置函数一样直接使用呢? 是因为如果所有的模块都是执行python程序直接导入了,会非常占用内存空间的 常见导入模块的方法 1.import time 2.from time import sleep 模块的分类: 内置模块 扩展模块 https://pypi.org 自定义模块 2.扩展数

Learning Perl 第九章习题第二题

把输入文件中的所有Fred换成Larry, 不区分大小写. 知识点 1. 文本文件读写 2. 简单的正则替换 3. unless 的用法 4. $_ 的用法 Learning Perl 第九章习题第二题,布布扣,bubuko.com

jQuery第九章

第九章 jQuery Mobile 一.HTML5.0简介 谈到Web设计,我们经常把Web分为三个层: (1)结构层:(2)表现层:(3)行为层. 对应的技术分别是: (1)HTML:(2)CSS:(3)JavaScript 二.jQuery Mobile简介 对于Web开发者来说,jQuery是非常流行JavaScript类库,而且一直以来它都是为Web浏览器设计的,并没有特别为移动应用程序设计.jQuery Mobile则是用来填补jQuery在移动设备应用上的缺憾的一个新项目.它基于jQ

c++ primer plus(第6版)中文版 第九章编程练习答案

首先,说明下环境: linux:fedora14: IDE:eclipse: python:python2.7 python框架:django web服务器:apache web服务器的python模块:mod_wsgi 写在前面: 之前用的windows下面的xampp,写的php后台,现在想转向linux下面的python,跟以前一样,选择apache和eclipse作为自己的开发工具. eclipse的python配置, 参见之前的博客:http://blog.csdn.net/zy416

深入浅出Zabbix 3.0 -- 第九章 数据可视化

第九章 数据可视化 Zabbix是一个非常灵活.强大的监控系统,它不仅能够监控大量不同类型的数据指标,并为这些数据及数据之间的关联提供了多种可视化工具,通过图形.展示屏.网络拓扑图等将数据直观的展现出来,实时的浏览和查看监控设备的状态. 9.1 图形 Zabbix 3.0中支持三种graphs(图形),即simple graphs(简单图形).ad-hocgraphs(自组图形)和customgraphs(自定义图形). 9.1.1 简单图形 简单图形是Zabbix系统内置的一种方法,为监控项数

Java学习笔记—第九章 字符串String

第九章 字符串String Java中使用String类来创建一个字符串变量,字符串变量是类类型变量,是一个对象.声明字符串的语法格式如下:String s; 创建字符串:通过String类提供的构造方法可创建字符串,有以下几种方式: (1)创建字符串对象时直接赋值,例如: String s1 = "hello"; String s2 = new String("hello"); (2)由一个字符串创建另一个字符串,例如: String s1 = "hel

第九章 虚拟存储器

第九章 虚拟存储器 虚拟存储器是计算机系统最重要的概念之一,它是对主存的一个抽象 物理和虚拟寻址 计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组,每字节都有一个唯一的物理地址PA. 根据物理地址寻址的是物理寻址. 虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组. 使用虚拟寻址时,CPU通过生成一个虚拟地址VA来访问主存,这个虚拟地址在被送到存储器之前先转换成适当的物理地址(这个过程叫做地址翻译,相关硬件为存储器管理单元MMU) 虚拟存储器作为缓存的工具

现代软件工程讨论第九章-十七章

第九章 9.5.1  PM们的故事 9.5.2  我是做PM 的料么? 在校学生如何为成为PM做准备 你是否觉得你的长处不在于写代码和debug,而是协调.沟通,让一个团队或组织有效运转起来?你是否喜欢表达,善于和各种专业背景的人沟通?你是否经常思考如何改进生活中点点滴滴的小问题?你会思考这样的问题么:新浪微博.豆瓣.qq.微信都可以社交,它们的定位.产品特性.用户群.解决的需求,有什么不同?你是否对以下领域感兴趣,甚至自己找过相关的书来看:心理学.社会学.组织行为学.统计学.商业模式? 如果你