Linux文本处理命令

正则表达式

POSIX标准将正则表达式分为两类

1.基本的正则表达式

2.扩展的正则表达式

大部分Linux应用和工具仅支持基本的正则表达式

基本正则表达式

扩展正则表达式

通配符

bash Shell本身不支持正则表达式，使用正则表达式的是shell命令和工具，如grep，AWK，sed等。但是bash Shell可以使用正则表达式中的一些元字符实现通配。

Grep

全面搜索正则表达式并把行打印出来（Global search Regular Expression and Print out the line）

grep [选项][模式][文件…]

选项

模式

字符串、变量、正则表达式

注意：只要模式中包含空格，就需要使用双引号将模式引进来

实例

1. -w和-x选项

   grep命令模式支持正则表达式，正则表达式的元字符被解释成特殊含义；

   -w选项表示匹配整词，即以模式的字面含义去解释

   如：

   grep cer* *.pem

   grep -w cer* *.pem

   -x 是匹配整行

   -w 使用不方便,最好和 -F 一起使用

grep命令族

• grep

  标准grep命令，支持基本正则表达式

• egrep

  扩展grep命令，支持基本和扩展正则表达式

  等价于grep -E

• fgrep

  快速grep命令，不支持正则表达式，按照字面意思进行匹配

  等价于grep -F

sed

sed,stream editor,流编辑器,将一系列编辑命令作用于一批文本文件

适用场合：

• 编辑相对交互式编辑器而言太大的文件
• 编辑命令太复杂，在交互式文本编辑器中难以输入的情况
• 对文件扫描一遍，但是需要执行多个编辑函数的情况

三种调用方式

• sed [选项] ‘sed命令’ 输入文件
• sed [选项] -f sed脚本 输入文件
• ./sed脚本文件 输入文件

选项

sed命令

通常由定位文本行和sed编辑命令两部分组成，sed编辑命令对定位文本行进行各种处理

sed定位文本行

sed编辑命令

sed编辑命令标示对文本进行何种处理，如打印，删除，追加，插入，替换等

实例

• sed -n ‘1p’ file
• sed -e ‘/^f*/p’ -e ‘/^f*/=’ file
• 定位命令
  • 匹配元字符

    sed -n ‘/./p’ input

    sed -n ‘/$/p’ input

  • 使用元字符进行匹配

    sed -n ‘p′input（注意：在sed命令中表示最后一行）

    sed -n ‘/^$/p’ input （匹配空行）

    sed -n ‘/.*bus/p’ input

  • !符号

    sed -n ‘2,10!p’ input

  • 使用行号与关键字匹配限定行范围

    sed -n ‘/seugrid/,$p’ input

    sed -n ‘3,/seugrid/p’ input

• 编辑命令
  • 插入文本

    sed ‘指定地址i\text’ input （在指定位置之前插入）

    sed ‘指定地址a\text’ input （在指定位置之后插入）

    sed ‘/i/i\input\nsecond’ （插入两行input和second）

    sed ‘/i/a\input\nsecond’

  • 修改文本

    sed ‘指定地址c\text’ input （将整个匹配行修改为新文本行）

    sed ‘/Certificate/c\New line:’ input

  • 删除文本

    sed ‘指定位置d’ input （删除指定行）

  • 替换文本

    sed ‘s/被替换字符串/新字符串/[替换选项]’

    sed ‘s/被替换字符串/新字符串/number[替换选项]’（表示第number（1~512）次匹配）

  选项	意义
  g	全部替换
  p	与-n选项结合，只打印替换行
  w 文件名	表示将输出定向到一个文件

  • 写入新文件

    sed ‘指定地址w file’ input

    sed ‘1,5w file’ input

    sed ‘/Certificate/w file’ input

  • 从文件读入文本

    sed ‘指定地址r file’ input

  • 退出命令

    sed ‘指定地址q’ input

  • 变换命令

    sed ‘y/被替换字符序列/变换的字符序列/’ 输入文件

    两个序列长度必须一样

    sed ‘y/fmg/FMG/’ input

  • 显示控制字符

    显示退格符，F1键，shift键等

    sed -n l input

    sed -n ‘指定位置l’ input

  • 在定位行执行命令组

    sed -n -e ‘/Certificate/p’ -e ‘/Certificate/=’ input

    sed -n ‘/Certificate/{p;=}’ input

• 高级编辑命令
  • 处理匹配行的下一行

    sed ‘/Certificate/{n;s/11/99/;}’ input

  • sed缓冲区的处理

    sed ‘/Subject/h;/seugrid/x;$G’ input

    1.匹配Subject，并将匹配行写入保持缓冲区

    2.匹配seugrid,将保持缓冲区和模式缓冲区交换

    3.到结尾行，将保持缓冲区追加到模式缓冲区

  • 利用分号分隔多个编辑命令

    上例已经使用了这种表示

AWK

awk的基本语法与C语言类似，与sed的功能类似，用来处理文本，awk可以从文件或字符串中基于指定规则浏览和抽取信息，在抽取信息的基础上，才能进行其他文本操作

最新的awk是gawk,可以实现数据查找，抽取文件中数据，创建管道流命令

AWK编程模型

awk程序由一个主输入循环维持，主输入循环自动依次读取文件行，用程序员定义的处理文件行的动作处理，循环执行直到终止条件。

与C，C++，Java的不同是，程序员不需要关注打开文件，读取文件行，关闭文件的动作，而只关注处理行的执行动作。

AWK调用

• Shell中调用

  awk [-F 域分隔符] ‘awk程序段’ 输入文件

• 将awk程序段插入脚本文件

  awk -f awk脚本文件 输入文件

• 将脚本文件设置为可执行

  ./awk脚本文件 输入文件

AWK编程

AWK模式匹配

awk由模式和动作组成。模式是一组用于测试输入行是否需要执行语句，动作则是包含语句，函数和表达式的执行过程。即模式决定动作何时触发事件，动作执行对输入行处理

如：awk ‘/^$/{print “this is a blank line.”}’ input

记录和域

awk认为文件是有结构的，每一行为一个记录，记录由域组成，域之间使用空格,Tab或其他符号进行分隔。

域操作符$:指定执行动作的域，$1…标识每一个域，$0表示整个记录；也可以跟变量或变量表达式

如：awk ‘BEGIN{one=1;two=2} {print $(one+two)}’ input

默认是空格，Tab键被认为是多个空格（也多个空格被当成一个空格）

1.可以使用-F 来改变默认的分隔符

2.可以使用环境变量FS设置分隔符

实例：

1.FS=”\t”

2.FS=”\t+”

记录：waz\t\tcq

对于FS=”\t” 分成三个域，waz,空域，cq;对于FS=”\t+”,结果是waz，cq

关系和布尔运算符

实例：测试~运算符

• awk ‘BEGIN{FS=”:”} $1~/root/’ input
• awk 条件语句

  与C类似，有if,if/else,if/else if/else

  awk ‘BEGIM{FS=”:”}{if(1 /root/)print0}’ passwd

表达式

支持加(+)，减（-），乘（*），除（/），模（%），乘方（^或**），自增（++x,x++）

一个表达式可由数值，字符常量，变量，操作符，函数和正则表达式

实例

1.统计空白行数

awk ‘/^$/{x+=1}END{print x}’ input

2.计算平均成绩

awk ‘BEGIN{FS=”,”}{total=4+5+6+7;avg=total/4;print $1,avg}’ input

系统变量

格式化输出

awk的一大功能是产生报表，报表就需要按照预定的格式化输出

printf(格式控制符，参数)

内置字符串函数

实例

• awk ‘BEGIN{FS=”:”;OFS=”:”} gsub(/root/,”gridsphere”,$1)’ input
• awk ‘BEGIN{FS=”:”;OFS=”:”} gsub(/root/,”gridsphere”){print $0}’ input
• awk ‘BEGIN{print index(“gridsphere”,”ph”)}’
• awk ‘BEGIN{print length(“gridsphere”)}’
• awk ‘BEGIN{print match(“hello”,/h.*/)}’

向awk脚本传递参数

awk脚本内的变量可以在命令行中进行赋值，实现awk脚本传递参数，变量赋值放在脚本之后、输入文件之前，如

awk脚本 parameter=value 输入文件

awk传递的参数可以是自定义的，也可以是系统变量

条件语句和循环语句

if() 动作1 [else 动作2]

while() 动作

do 动作 while()

for()动作

数组

array[index]=value

1.关联数组

关联数组是指数组的索引可以是字符串，也可以是数字

关联数组的值无须以连续的地址进行存储。

awk的所有数组都是关联数组。使用的数字索引并不代表数组存储地址信息

访问数组：

for(variable in array) do something with array[variable]

判断数组中是否存在某元素

if(index in array) do

2.split函数

split(r,s,t):以t为分隔符，将r字符串拆分为字符串数组，并存放在s中

awk ‘BEGIN{print split(“abc/def/ghi”,str,”/”);for(i in str) print str[i]}’

文本处理命令

文本处理命令包含对文件记录的排序、文件的合并和分隔等。具体命令：sort，uniq,join,cut,paste,split,tr,tar。这些命令实现了对文件记录排序，统计，合并，提取，粘贴，分隔，过滤，压缩和解压等功能。与sed,awk构成了Linux文本处理的所有命令和工具

sort

rt：对文件进行排序。将输入文件看做由多条记录组成的数据流，而记录由可变宽度的字段组成。，以换行符作为定界符，sort命令与awk一样，可将记录分成多个域进行处理，默认的域分隔符是空格符

sort [选项] [输入文件]

• sort -t: input
• sort -t: -k3 input
• sort -t: -k3n input

  -n一般不单独使用，一般放在域号之后

• sort -t: -k3nr input
• sort -t: -u input
• sort -t: -k3n -o output input
• sort -t: -c input
• sort -t: -m input1 input2

  input1和input2必须有序

uniq

用于去除文本文件中的连续的重复行，类似sort -u

统计文件中的单词数

cat input | sed ‘s/./ /g;s/=/ /g;s/,/ /g;s/\// /g;s/ /\n/g;s/\t/\n/g’| sed ‘/^$/d’|sort| uniq -c | sort -nr

join

连接操作将两个文件中具有相同域的记录选择出来，再将这些记录所有的域放到一行（包含来自两个文件的所有域）

注意：文件必须有序

join [选项] file1 file2

有点像sql中的join

• join -t: teacher.db teacher_hobby.db

  默认第一个域比较，相等就连接。

• -a有点像左外连接，右外连接

  -a1 左连接 -a2右连接

• -o表示显示那些域（sql中的字段）

  表示方式为 -o1.n 2.n

• -i忽略大小写
• -t设置域分隔符
• -v取反，即不显示共同域

  用法与-a类似，-v1 -v2

• -1,-2表示用来连接的域

实例

对于多个域的连接，使用awk

awk ’

//（NR表示读取的记录数，FNR表示在当前文件中的记录数，只有第一个文件才能使得NR\==FNR）

NR==FNR

{

a[$1 FS $2]=$0;

//相当于break，本行处理结束，处理下一行

next;

}

//最终执行到这里时，a中存储的是文件1中的记录

//当文件2的$1 FS $2在a中说明两个文件这两行一样

$1 FS$2 in a

{

//将指定列相等的记录存储在b中

b[FNR]=a[$1 FS $2] FS $3

}

END

{

//打印

//awk中的数组是关联数组

for(i=1;i<=FNR;i++)

if(i in b)

print b[i]

}’

test1 test2

cut

cut命令用于从标准输入或文本文件中按域或按行提取文本

• -c按字符提取文本

  cut -c2 input

  cut -c1,5 input（提取第1个和第5个字符）

  cut -c1-5 input（提取1~5这五个字符）

• -f按域提取文本
• -d类似sort和join中的-t

paste

用于将文本文件或标准输出中的内容粘贴到新的文件，它可以将来自不同文件的数据粘贴到一起，形成新的文件。如果两个文件的行数不同，少的那个为空

paste [选项] 文件1 文件2…

split

用于将大文件切割成小文件，split命令可以按照文件的行数，字节数切割文件，并能在输出的多个文件中自动加上编号

split [选项] 待切割的大文件 输出的小文件

• split -2 input input(默认是x)
• split -b100 input input
• split -C100 input input

tr

现字符转换功能，tr能完成的sed都能完成，但是tr简单

tr [选项] 字符串1 字符串2 < 输入文件

tar

归档命令，实现了打包和解压文件

tar [选项] 文件名或目录名

gzip 压缩文件

Linux文本处理总结

版权声明：本文为博主原创文章，未经博主允许不得转载。