整理grep实战文本搜索过滤技巧

一:grep的简介:

文本搜索工具,根据用户指定的文本模式对目标文件进行逐行搜索,显示能够被模式所匹配到的行。配合正则表达式的使用可以实现强大的文本处理。下面一一说明正则的例子。

二:文本处理工具分类

常用的有:grep,egrep,fgrep。

区别:

grep:在没有参数的情况下,只输出符合RE(Regular Expression)字符。

egrep:等同于grep -E,和grep最大的区别就是表现在转义符上比如grep 做次数匹配时\{n,m\}egrep则不需要直接{n,m}。egrep方便,简介。

fgrep:等同于grep -f,但是不能使用正则表达式。所有的字符匹配功能均已消失。

三:grep参数说明:

格式:grep [OPTIONS] PATTERN(模式) [FILE...]

常用选项:

--color=auto:显示颜色的参数。

-c:只输出匹配行的计数。

-I:不区分大 小写(只适用于单字符)。

-h:查询多文件时不显示文件名。

-l:查询多文件时只输出包含匹配字符的文件名。

-n:显示匹配行及 行号。

-s:不显示不存在或无匹配文本的错误信息。

-v:显示不包含匹配文本的所有行。

pattern正则表达式主要参数:

\: 忽略正则表达式中特殊字符的原有含义。

^:匹配正则表达式的开始行。

$: 匹配正则表达式的结束行。

\<:从匹配正则表达 式的行开始。

\>:到匹配正则表达式的行结束。

[ ]:单个字符,如[A]即A符合要求 。

[ - ]:范围,如[A-Z],即A、B、C一直到Z都符合要求 。

。:所有的单个字符。

* :有字符,长度可以为0。

例子:

grep命令使用简单实例

$ grep ‘test’ d*

显示所有以d开头的文件中包含 test的行。

$ grep ‘test’ aa bb cc

显示在aa,bb,cc文件中匹配test的行。

$ grep ‘[a-z]\{5\}’ aa

显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

$ grep ‘w\(es\)t.*\1′ aa

如果west被匹配,则es就被存储到内存中,并标记为1,然后搜索任意个字符(.*),这些字符后面紧跟着 另外一个es(\1),找到就显示该行。如果用egrep或grep -E,就不用”\”号进行转义,直接写成’w(es)t.*\1′就可以了。

5.grep命令使用复杂实例

假设您正在’/usr/src/Linux/Doc’目录下搜索带字符 串’magic’的文件:

$ grep magic /usr/src/Linux/Doc/*

sysrq.txt:* How do I enable the magic SysRQ key?

sysrq.txt:* How do I use the magic SysRQ key?

其中文件’sysrp.txt’包含该字符串,讨论的是 SysRQ 的功能。

默认情况下,’grep’只搜索当前目录。如果 此目录下有许多子目录,’grep’会以如下形式列出:

grep: sound: Is a directory

这可能会使’grep’ 的输出难于阅读。这里有两种解决的办法:

明确要求搜索子目录:grep -r

或忽略子目录:grep -d skip

如果有很多 输出时,您可以通过管道将其转到’less’上阅读:

$ grep magic /usr/src/Linux/Documentation/* | less

这样,您就可以更方便地阅读。

有一点要注意,您必需提供一个文件过滤方式(搜索全部文件的话用 *)。如果您忘了,’grep’会一直等着,直到该程序被中断。如果您遇到了这样的情况,按 <CTRL c> ,然后再试。

下面还有一些有意思的命令行参数:

grep -i pattern files :不区分大小写地搜索。默认情况区分大小写,

grep -l pattern files :只列出匹配的文件名,

grep -L pattern files :列出不匹配的文件名,

grep -w pattern files :只匹配整个单词,而不是字符串的一部分(如匹配’magic’,而不是’magical’),

grep -C number pattern files :匹配的上下文分别显示[number]行,

grep pattern1 | pattern2 files :显示匹配 pattern1 或 pattern2 的行,

grep pattern1 files | grep pattern2 :显示既匹配 pattern1 又匹配 pattern2 的行。

grep -n pattern files  即可显示行号信息

grep -c pattern files  即可查找总行数

这里还有些用于搜索的特殊符号:

\< 和 \> 分别标注单词的开始与结尾。

例如:

grep man * 会匹配 ‘Batman’、’manic’、’man’等,

grep ‘\<man’ * 匹配’manic’和’man’,但不是’Batman’,

grep ‘\<man\>’ 只匹配’man’,而不是’Batman’或’manic’等其他的字符串。

‘^’:指匹配的字符串在行首,

‘$’:指匹配的字符串在行 尾,

Grep 命令 用法大全

1、 参数:

-I :忽略大小写

-c :打印匹配的行数

-l :从多个文件中查找包含匹配项

-v :查找不包含匹配项的行

-n:打印包含匹配项的行和行标

2、RE(正则表达式)

\ 忽略正则表达式中特殊字符的原有含义

^ 匹配正则表达式的开始行

$ 匹配正则表达式的结束行

\< 从匹配正则表达式的行开始

\> 到匹配正则表达式的行结束

[ ] 单个字符;如[A] 即A符合要求

[ - ] 范围 ;如[A-Z]即A,B,C一直到Z都符合要求

. 所有的单个字符

* 所有字符,长度可以为0

3、举例

# ps -ef | grep in.telnetd

root 19955 181 0 13:43:53 ? 0:00 in.telnetd

# more size.txt size文件的内容

b124230

b034325

a081016

m7187998

m7282064

a022021

a061048

m9324822

b103303

a013386

b044525

m8987131

B081016

M45678

B103303

BADc2345

# more size.txt | grep ‘[a-b]‘ 范围 ;如[A-Z]即A,B,C一直到Z都符合要求

b124230

b034325

a081016

a022021

a061048

b103303

a013386

b044525

# more size.txt | grep ‘[a-b]‘*

b124230

b034325

a081016

m7187998

m7282064

a022021

a061048

m9324822

b103303

a013386

b044525

m8987131

B081016

M45678

B103303

BADc2345

# more size.txt | grep ‘b‘ 单个字符;如[A] 即A符合要求

b124230

b034325

b103303

b044525

# more size.txt | grep ‘[bB]‘

b124230

b034325

b103303

b044525

B081016

B103303

BADc2345

# grep ‘root‘ /etc/group

root::0:root

bin::2:root,bin,daemon

sys::3:root,bin,sys,adm

adm::4:root,adm,daemon

uucp::5:root,uucp

mail::6:root

tty::7:root,tty,adm

lp::8:root,lp,adm

nuucp::9:root,nuucp

daemon::12:root,daemon

# grep ‘^root‘ /etc/group 匹配正则表达式的开始行

root::0:root

# grep ‘uucp‘ /etc/group

uucp::5:root,uucp

nuucp::9:root,nuucp

# grep ‘\<uucp‘ /etc/group

uucp::5:root,uucp

# grep ‘root$‘ /etc/group 匹配正则表达式的结束行

root::0:root

mail::6:root

# more size.txt | grep -i ‘b1..*3‘ -i :忽略大小写

b124230

b103303

B103303

# more size.txt | grep -iv ‘b1..*3‘ -v :查找不包含匹配项的行

b034325

a081016

m7187998

m7282064

a022021

a061048

m9324822

a013386

b044525

m8987131

B081016

M45678

BADc2345

# more size.txt | grep -in ‘b1..*3‘

1:b124230

9:b103303

15:B103303

# grep ‘$‘ /etc/init.d/nfs.server | wc -l

128

# grep ‘\$‘ /etc/init.d/nfs.server | wc –l 忽略正则表达式中特殊字符的原有含义

15

# grep ‘\$‘ /etc/init.d/nfs.server

case "$1" in

>/tmp/sharetab.$$

[ "x$fstype" != xnfs ] &&

echo "$path\t$res\t$fstype\t$opts\t$desc"

>>/tmp/sharetab.$$

/usr/bin/touch -r /etc/dfs/sharetab /tmp/sharetab.$$

/usr/bin/mv -f /tmp/sharetab.$$ /etc/dfs/sharetab

if [ -f /etc/dfs/dfstab ] && /usr/bin/egrep -v ‘^[ ]*(#|$)‘

if [ $startnfsd -eq 0 -a -f /etc/rmmount.conf ] &&

if [ $startnfsd -ne 0 ]; then

elif [ ! -n "$_INIT_RUN_LEVEL" ]; then

while [ $wtime -gt 0 ]; do

wtime=`expr $wtime - 1`

if [ $wtime -eq 0 ]; then

echo "Usage: $0 { start | stop }"

# more size.txt

the test file

their are files

The end

# grep ‘the‘ size.txt

the test file

their are files

# grep ‘\<the‘ size.txt

the test file

their are files

# grep ‘the\>‘ size.txt

the test file

# grep ‘\<the\>‘ size.txt

the test file

# grep ‘\<[Tt]he\>‘ size.txt

the test file

==================================================================

1,简介

使用正则表达式的一个多用途文本搜索工具.这个php?name=%C3%FC%C1%EE" class="t_tag">命令本来是ed行编辑器中的一个php?name=%C3%FC%C1%EE" class="t_tag">命令/过滤器:

g/re/p -- global - regular expression - print.

基本格式

grep pattern [file...]

(1)grep 搜索字符串 [filename]

(2)grep 正则表达式 [filename]

在文件中搜索所有 pattern 出现的位置, pattern 既可以是要搜索的字符串,也可以是一个正则表达式.

注意:在输入要搜索的字符串时最好使用双引号/而在模式匹配使用正则表达式时,注意使用单引号

2,grep的选项

-c 只输出匹配行的计数

-i 不区分大小写(用于单字符)

-n 显示匹配的行号

-v 不显示不包含匹配文本的所以有行

-s 不显示错误信息

-E 使用扩展正则表达式

更多的选项请查看:man grep

3,常用grep实例

(1)多个文件查询

grep "sort" *.doc       #见文件名的匹配

(2)行匹配:输出匹配行的计数

grep -c "48" data.doc   #输出文档中含有48字符的行数

(3)显示匹配行和行数

grep -n "48" data.doc       #显示所有匹配48的行和行号

(4)显示非匹配的行

grep -vn "48" data.doc      #输出所有不包含48的行

(4)显示非匹配的行

grep -vn "48" data.doc      #输出所有不包含48的行

(5)大小写敏感

grep -i "ab" data.doc       #输出所有含有ab或Ab的字符串的行

4, 正则表达式的应用

(1)正则表达式的应用 (注意:最好把正则表达式用单引号括起来)

grep ‘[239].‘ data.doc      #输出所有含有以2,3或9开头的,并且是两个数字的行

(2)不匹配测试

grep ‘^[^48]‘ data.doc      #不匹配行首是48的行

(3)使用扩展模式匹配

grep -E ‘219|216‘ data.doc

(4) ...

这需要在实践中不断应用和总结,熟练掌握正则表达式。

5, 使用类名

可以使用国际模式匹配的类名:

[[:upper:]]   [A-Z]

[[:lower:]]   [a-z]

[[:digit:]]   [0-9]

[[:alnum:]]   [0-9a-zA-Z]

[[:space:]]   空格或tab

[[:alpha:]]   [a-zA-Z]

(1)使用

grep ‘5[[:upper:]][[:upper:]]‘ data.doc     #查询以5开头以两个大写字母结尾的行

时间: 2024-10-14 08:47:16

整理grep实战文本搜索过滤技巧的相关文章

Linux命令:grep命令 文本搜索

linux grep命令 (global search regular expression(RE) and print out the line )是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来.grep这个应用程序最早由肯·汤普逊写成.grep原先是ed下的一个应用程序,名称来自于g/re/p(globally search a regular expression and print,以正规表示法进行全域查找以及打印). grep是非常强大的命令,配合管道一起使

基于文本图形(ncurses)的文本搜索工具 ncgrep

作为一个VIM党,日常工作开发中,会经常利用grep进行关键词搜索,以快速定位到文件.如图: 利用grep进行文本搜索 但是,这一过程会有两个效率问题: 展示的结果无法进行直接交互,需要手动粘贴文件路径在打开 展示的结果没有进行分组,直接将结果罗列出来 可想而知,当搜索的内容结果集比较大时,可谓痛苦. 那可以用Vim中的Ag插件进行搜索啊? 是的,但他只解决了交互的问题.仍然没有解决结果集分组分类的痛点. 在vim下利用ag进行文本搜索 思路 在使用Eclipse等IDE进行文本全局搜索时,在加

Linux下grep的基本过滤技巧

Linux下grep的基本过滤技巧 显示包含Orcl-Extract-Serv:63的字符串 tail -f /opt/apache/apache-tomcat-6.0.29/logs/catalina.out |grep Orcl-Extract-Serv:63 白名单过滤策略 显示包含Orcl-Extract-Serv:63或Orcl-Extract-Serv:62的字符串 tail -f /opt/apache/apache-tomcat-6.0.29/logs/catalina.out

Linux常用指令---grep(搜索过滤)

Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来.grep全称是Global Regular Expression Print,表示全局正则表达式版本,它的使用权限是所有用户. grep的工作方式是这样的,它在一个或多个文件中搜索字符串模板.如果模板包括空格,则必须被引用,模板后的所有字符串被看作文件名.搜索的结果被送到标准输出,不影响原文件内容. grep可用于shell脚本,因为grep通过返回一个状态值来说明搜索的状态,如果模板搜索成

grep文本搜索工具与正则表达式

一.文本搜索工具grep (一)grep简介 Linux上常用的三个文本处理工具被人们称为Linux文本处理三剑客,他们分别是: 1.grep(egrep,fgrep):文本搜索工具,基于"pattern"对给定的文本进行搜索操作. 2.sed:stream editor,流编辑器,行编辑工具,文本编辑工具. 3.awk:GNU awk,文本格式化工具,文本报告生成器. 他们都是很优秀的文本处理工具.现在,我就重点介绍下grep. grep:global search regular

文本搜索grep知识点总结

文本搜索工具:grep, egrep     根据用户指定的模式对目标文件进行过滤,显示被模式匹配到的行     grep [OPTION]... 'PATTERN' FILE...           --color         难点在于模式如何书写,模式主要是应用正则表达式     正则表达式:由一类字符书写的模式,其中有些字符不表示字符的字面意义,                 而是表示控制或者统配的功能         元字符:*, ?等         两类:          

正则表达式和grep文本搜索工具

正则表达式和文本搜索工具介绍 正则表达式:如果想搜索/etc/passwd文件中以root开头的行,对与人来说很容易理解,但是对与计算机来说就无法理解,这个时候就需要使用正则表达式来表达过滤条件了,让用户实现对文本的智能搜索.正则表达式就是由元字符及正常字符所书写的模式,其中的元字符不表示字符本身的意义,而是用于表达控制或通配等功能. 正则表达式的特点是: 1. 灵活性.逻辑性和功能性非常的强: 2. 可以迅速地用极简单的方式达到字符串的复杂控制. grep:支持正则表达式,是一个文本搜索工具,

正则表达式和文本搜索工具grep

正则表达式是由字面文本和具有特殊意义的符号组成的.我们可以根据具体需求,使用它们构造出合适的正则表达式来匹配文本.它是一种匹配文本的通用语言.正则表达式是模式匹配技术的核心,借助合适的正则表达式,可以生成我们所需的各类输出结果,例如过滤.剥离.替换.搜索等. 正则表达式的基本组成部分 ^ #行起始标记(使用cat -a显示空格,行首,行尾等标记.) #示例 ^It 匹配以It起始的行 $ #行尾标记 #示例 It$ 匹配以It结尾的行 . #匹配任意一个字符 #示例:Hack.匹配Hackl和H

搜索过滤grep(win下为findstr)

搜索过滤grep(win下为findstr) 1.主要参数 [options]主要参数: -c:只输出匹配行的计数. -i:不区分大小写 -h:查询多文件时不显示文件名. -l:查询多文件时只输出包含匹配字符的文件名. -n:显示匹配行及行号. -s:不显示不存在或无匹配文本的错误信息. -v:显示不包含匹配文本的所有行. pattern正则表达式主要参数: \: 忽略正则表达式中特殊字符的原有含义. ^:匹配正则表达式的开始行. $: 匹配正则表达式的结束行. \<:从匹配正则表达 式的行开始