shell编程之文本小工具

一、文本处理工具
1、grep工具
2、cut工具
3、sort工具
4、uniq工具
5、tee工具
6、diff工具
7、paste工具
二、bash的特性
1、命令和文件自动补全
2 、常用的通配符
3、bash中的引号

一、文本处理工具

1. grep工具

grep是==行==过滤工具；用于根据关键字进行行过滤

语法和选项

语法：

# grep [选项] ‘关键字‘ 文件名

常见选项：

OPTIONS:
    -i: 不区分大小写
    -v: 查找不包含指定内容的行,反向选择
    -w: 按单词搜索
    -o: 打印匹配关键字
    -c: 统计匹配到的行数
    -n: 显示行号
    -r: 逐层遍历目录查找
    -A: 显示匹配行及后面多少行
    -B: 显示匹配行及前面多少行
    -C: 显示匹配行前后多少行
    -l：只列出匹配的文件名
    -L：列出不匹配的文件名
    -e: 使用正则匹配
    -E:使用扩展正则匹配
    ^key:以关键字开头
    key$:以关键字结尾
    ^$:匹配空行
    --color=auto ：可以将找到的关键词部分加上颜色的显示

颜色显示（别名设置）：

临时设置：
# alias grep=‘grep --color=auto‘            //只针对当前终端和当前用户生效

永久设置：
1）全局（针对所有用户生效）
vim /etc/bashrc
alias grep=‘grep --color=auto‘
source /etc/bashrc

2）局部（针对具体的某个用户）
vim ~/.bashrc
alias grep=‘grep --color=auto‘
source ~/.bashrc

举例说明：

==说明：不要直接使用/etc/passwd文件，将其拷贝到/tmp下做实验！==

# grep -i root passwd                       忽略大小写匹配包含root的行
# grep -w ftp passwd                        精确匹配ftp单词
# grep -w hello passwd                      精确匹配hello单词;自己添加包含hello的行到文件
# grep -wo ftp passwd                       打印匹配到的关键字ftp
# grep -n root passwd                       打印匹配到root关键字的行好
# grep -ni root passwd                      忽略大小写匹配统计包含关键字root的行
# grep -nic root passwd                     忽略大小写匹配统计包含关键字root的行数
# grep -i ^root passwd                      忽略大小写匹配以root开头的行
# grep bash$ passwd                             匹配以bash结尾的行
# grep -n ^$ passwd                             匹配空行并打印行号
# grep ^# /etc/vsftpd/vsftpd.conf       匹配以#号开头的行
# grep -v ^# /etc/vsftpd/vsftpd.conf    匹配不以#号开头的行
# grep -A 5 mail passwd                     匹配包含mail关键字及其后5行
# grep -B 5 mail passwd                     匹配包含mail关键字及其前5行
# grep -C 5 mail passwd                     匹配包含mail关键字及其前后5行

2. cut工具

cut是==列==截取工具，用于列的截取

语法和选项

语法：

# cut 选项  文件名

常见选项：

-c: 以字符为单位进行分割,截取
-d: 自定义分隔符，默认为制表符\t
-f: 与-d一起使用，指定截取哪个区域

举例说明:

# cut -d: -f1 1.txt             以:冒号分割，截取第1列内容
# cut -d: -f1,6,7 1.txt     以:冒号分割，截取第1,6,7列内容
# cut -c4 1.txt                 截取文件中每行第4个字符
# cut -c1-4 1.txt           截取文件中每行的1-4个字符
# cut -c4-10 1.txt          截取文件中每行的4-10个字符
# cut -c5- 1.txt                从第5个字符开始截取后面所有字符

3. sort工具

sort工具用于排序;它将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

语法和选项

-u ：去除重复行
-r ：降序排列，默认是升序
-o : 将排序结果输出到文件中,类似重定向符号>
-n ：以数字排序，默认是按字符排序
-t ：分隔符
-k ：第N列
-b ：忽略前导空格。
-R ：随机排序，每次运行的结果均不同

举例说明

# sort -n -t: -k3 1.txt             按照用户的uid进行升序排列
# sort -nr -t: -k3 1.txt            按照用户的uid进行降序排列
# sort -n 2.txt                         按照数字排序
# sort -nu 2.txt                        按照数字排序并且去重
# sort -nr 2.txt
# sort -nru 2.txt
# sort -nru 2.txt
# sort -n 2.txt -o 3.txt            按照数字排序并将结果重定向到文件
# sort -R 2.txt
# sort -u 2.txt

4.uniq工具

uniq用于去除==连续==的==重复==行

常见选项：
-i: 忽略大小写
-c: 统计重复行次数
-d:只显示重复行

举例说明：
# uniq 2.txt
# uniq -d 2.txt
# uniq -dc 2.txt

5.tee工具

tee工具是从标准输入读取并写入到标准输出和文件，即：双向覆盖重定向（屏幕输出|文本输入）

选项：
-a 双向追加重定向

# echo hello world
# echo hello world|tee file1
# cat file1
# echo 999|tee -a file1
# cat file1

6.diff工具

diff工具用于逐行比较文件的不同

注意：diff描述两个文件不同的方式是告诉我们==怎样改变第一个==文件之后==与第二个文件匹配==。

语法和选项

语法：

diff [选项] 文件1 文件2

常用选项：

选项 含义 备注
-b 不检查空格
-B 不检查空白行
-i 不检查大小写
-w 忽略所有的空格
--normal 正常格式显示(默认)
-c 上下文格式显示
-u 合并格式显示

举例说明：

  • 比较两个==普通文件==异同，文件准备：
[[email protected] ~]# cat file1
aaaa
111
hello world
222
333
bbb
[[email protected] ~]#
[[email protected] ~]# cat file2
aaa
hello
111
222
bbb
333
world

1）正常显示

diff目的：file1如何改变才能和file2匹配
[[email protected] ~]# diff file1 file2
1c1,2                   第一个文件的第1行需要改变(c=change)才能和第二个文件的第1到2行匹配
< aaaa              小于号"<"表示左边文件(file1)文件内容
---                 ---表示分隔符
> aaa                   大于号">"表示右边文件(file2)文件内容
> hello
3d3                 第一个文件的第3行删除(d=delete)后才能和第二个文件的第3行匹配
< hello world
5d4                 第一个文件的第5行删除后才能和第二个文件的第4行匹配
< 333
6a6,7                   第一个文件的第6行增加(a=add)内容后才能和第二个文件的第6到7行匹配
> 333                   需要增加的内容在第二个文件里是333和world
> world

2）上下文格式显示

[[email protected] ~]# diff -c file1 file2
前两行主要列出需要比较的文件名和文件的时间戳；文件名前面的符号***表示file1，---表示file2
*** file1       2019-04-16 16:26:05.748650262 +0800
--- file2       2019-04-16 16:26:30.470646030 +0800
*************** 我是分隔符
*** 1,6 ****        以***开头表示file1文件，1,6表示1到6行
! aaaa              !表示该行需要修改才与第二个文件匹配
  111
- hello world       -表示需要删除该行才与第二个文件匹配
  222
- 333                   -表示需要删除该行才与第二个文件匹配
  bbb
--- 1,7 ----        以---开头表示file2文件，1,7表示1到7行
! aaa                   表示第一个文件需要修改才与第二个文件匹配
! hello             表示第一个文件需要修改才与第二个文件匹配
  111
  222
  bbb
+ 333                   表示第一个文件需要加上该行才与第二个文件匹配
+ world             表示第一个文件需要加上该行才与第二个文件匹配

3）合并格式显示

[[email protected] ~]# diff -u file1 file2
前两行主要列出需要比较的文件名和文件的时间戳；文件名前面的符号---表示file1，+++表示file2
--- file1       2019-04-16 16:26:05.748650262 +0800
+++ file2       2019-04-16 16:26:30.470646030 +0800
@@ -1,6 +1,7 @@
-aaaa
+aaa
+hello
 111
-hello world
 222
-333
 bbb
+333
+world
  • 比较两个==目录不同==
默认情况下也会比较两个目录里相同文件的内容
[[email protected]  tmp]# diff dir1 dir2
diff dir1/file1 dir2/file1
0a1
> hello
Only in dir1: file3
Only in dir2: test1
如果只需要比较两个目录里文件的不同，不需要进一步比较文件内容，需要加-q选项
[[email protected]  tmp]# diff -q dir1 dir2
Files dir1/file1 and dir2/file1 differ
Only in dir1: file3
Only in dir2: test1

其他小技巧：

有时候我们需要以一个文件为标准，去修改其他文件，并且修改的地方较多时，我们可以通过打补丁的方式完成。

1）先找出文件不同，然后输出到一个文件
[[email protected] ~]# diff -uN file1 file2 > file.patch
-u:上下文模式
-N:将不存在的文件当作空文件
2）将不同内容打补丁到文件
[[email protected] ~]# patch file1 file.patch
patching file file1
3）测试验证
[[email protected] ~]# diff file1 file2
[[email protected] ~]#

7. paste工具

paste工具用于合并文件行

常用选项：
-d：自定义间隔符，默认是tab
-s：串行处理，非并行

##8. tr工具

tr用于字符转换，替换和删除；主要用于==删除文件中控制字符==或进行==字符转换==

语法和选项

语法：

用法1：命令的执行结果交给tr处理，其中string1用于查询，string2用于转换处理
# commands|tr  ‘string1‘  ‘string2‘
用法2：tr处理的内容来自文件，记住要使用"<"标准输入
# tr  ‘string1‘  ‘string2‘ < filename

用法3：匹配string1进行相应操作，如删除操作
# tr options ‘string1‘ < filename

常用选项：

-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串

常匹配字符串：

字符串 含义 备注
==a-z==或[:lower:] 匹配所有小写字母 [a-zA-Z0-9]
==A-Z==或[:upper:] 匹配所有大写字母
==0-9==或[:digit:] 匹配所有数字
[:alnum:] 匹配所有字母和数字
[:alpha:] 匹配所有字母
[:blank:] 所有水平空白
[:punct:] 匹配所有标点符号
[:space:] 所有水平或垂直的空格
[:cntrl:] 所有控制字符 \f Ctrl-L 走行换页<br/>\n Ctrl-J 换行

\r Ctrl-M 回车
\t Ctrl-I tab键 |

举例说明：

[[email protected]  shell01]# cat 3.txt  自己创建该文件用于测试
ROOT:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
boss02:x:516:511::/home/boss02:/bin/bash
vip:x:517:517::/home/vip:/bin/bash
stu1:x:518:518::/home/stu1:/bin/bash
mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin
smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin
aaaaaaaaaaaaaaaaaaaa
bbbbbb111111122222222222233333333cccccccc
hello world 888
666
777
999

# tr -d ‘[:/]‘ < 3.txt              删除文件中的:和/
# cat 3.txt |tr -d ‘[:/]‘           删除文件中的:和/
# tr ‘[0-9]‘ ‘@‘ < 3.txt            将文件中的数字替换为@符号
# tr ‘[a-z]‘ ‘[A-Z]‘ < 3.txt        将文件中的小写字母替换成大写字母
# tr -s ‘[a-z]‘ < 3.txt             匹配小写字母并将重复的压缩为一个
# tr -s ‘[a-z0-9]‘ < 3.txt      匹配小写字母和数字并将重复的压缩为一个
# tr -d ‘[:digit:]‘ < 3.txt         删除文件中的数字
# tr -d ‘[:blank:]‘ < 3.txt         删除水平空白
# tr -d ‘[:space:]‘ < 3.txt         删除所有水平和垂直空白

小试牛刀

  1. 使用小工具分别截取当前主机IP；截取NETMASK；截取广播地址；截取MAC地址
# ifconfig eth0|grep ‘Bcast‘|tr -d ‘[a-zA-Z ]‘|cut -d: -f2,3,4
10.1.1.1:10.1.1.255:255.255.255.0
# ifconfig eth0|grep ‘Bcast‘|tr -d ‘[a-zA-Z ]‘|cut -d: -f2,3,4|tr ‘:‘ ‘\n‘
10.1.1.1
10.1.1.255
255.255.255.0
# ifconfig eth0|grep ‘HWaddr‘|cut -d: -f2-|cut -d‘ ‘ -f4
00:0C:29:25:AE:54
# ifconfig eth0|grep ‘HW‘|tr -s ‘ ‘|cut -d‘ ‘ -f5
00:0C:29:B4:9E:4E

# ifconfig eth1|grep Bcast|cut -d: -f2|cut -d‘ ‘ -f1
# ifconfig eth1|grep Bcast|cut -d: -f2|tr -d ‘[ a-zA-Z]‘
# ifconfig eth1|grep Bcast|tr -d ‘[:a-zA-Z]‘|tr ‘ ‘ ‘@‘|tr -s ‘@‘|tr ‘@‘ ‘\n‘|grep -v ^$
# ifconfig eth0|grep ‘Bcast‘|tr -d [:alpha:]|tr ‘[ :]‘ ‘\n‘|grep -v ^$
# ifconfig eth1|grep HWaddr|cut -d ‘ ‘ -f11
# ifconfig eth0|grep HWaddr|tr -s ‘ ‘|cut -d‘ ‘ -f5
# ifconfig eth1|grep HWaddr|tr -s ‘ ‘|cut -d‘ ‘ -f5
# ifconfig eth0|grep ‘Bcast‘|tr -d ‘a-zA-Z:‘|tr ‘ ‘ ‘\n‘|grep -v ‘^$‘
  1. 将系统中所有普通用户的用户名、密码和默认shell保存到一个文件中，要求用户名密码和默认shell之间用tab键分割
# grep ‘bash$‘ passwd |grep -v ‘root‘|cut -d: -f1,2,7|tr ‘:‘ ‘\t‘ |tee abc.txt

二、bash的特性

1、命令和文件自动补全

Tab只能补全==命令和文件== （RHEL6/Centos6）

##2、常见的快捷键

^c              终止前台运行的程序
^z              将前台运行的程序挂起到后台
^d              退出 等价exit
^l              清屏
^a |home    光标移到命令行的最前端
^e |end     光标移到命令行的后端
^u              删除光标前所有字符
^k              删除光标后所有字符
^r              搜索历史命令

2 、常用的通配符

*:  匹配0或多个任意字符
?:  匹配任意单个字符
[list]: 匹配[list]中的任意单个字符,或者一组单个字符   [a-z]
[!list]: 匹配除list中的任意单个字符
{string1,string2,...}：匹配string1,string2或更多字符串

# rm -f file*
# cp *.conf  /dir1
# touch file{1..5}

3、bash中的引号

  • 双引号"" :会把引号的内容当成整体来看待，允许通过$符号引用其他变量值
  • 单引号‘‘ :会把引号的内容当成整体来看待，禁止引用其他变量值，shell中特殊符号都被视为普通字符
  • 反撇号`` :反撇号和$()一样，引号或括号里的命令会优先执行，如果存在嵌套，反撇号不能用
[[email protected]  dir1]# echo "$(hostname)"
server
[[email protected]  dir1]# echo ‘$(hostname)‘
$(hostname)
[[email protected]  dir1]# echo "hello world"
hello world
[[email protected]  dir1]# echo ‘hello world‘
hello world

[[email protected]  dir1]# echo $(date +%F)
2018-11-22
[[email protected]  dir1]# echo `echo $(date +%F)`
2018-11-22
[[email protected]  dir1]# echo `date +%F`
2018-11-22
[[email protected]  dir1]# echo `echo `date +%F``
date +%F
[[email protected]  dir1]# echo $(echo `date +%F`)
2018-11-22

————————————本文到此结束，感谢阅读————————————

原文地址：https://blog.51cto.com/14157628/2472543

时间： 2024-10-16 17:29:24

shell编程之文本小工具的相关文章

shell之三大文本处理工具grep、sed及awk

grep.sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了.只不过,相比较而言,sed和awk功能更强大而已,且已独立成一种语言来介绍. grep:文本过滤器,如果仅仅是过滤文本,可使用grep,其效率要比其他的高很多: sed:Stream EDitor,流编辑器,默认只处理模式空间,不处理原数据,如果你处理的数据是针对行进行处理的,可以使用sed: awk:报告生成器,格式化以后显示.如果对处

拾遗：shell 技巧之 yes 小工具

当需要在脚本中自动回答 'yes' 或 'no' 等选项时,就可以调用 yes 小工具,语法如下: 如(对于管道后面的命令执行过程中提出的每个询问,都发送定制的内容 no 过去): yes no | cp -i testfile /tmp 就等同于: cp -n testfile /tmp 对于没有像 cp 一样提供内置选项的工具,就可以使用 yes 工具自动回答任何需要的内容.

Shell正则表达式和文本处理工具(一)

作业一:整理正则表达式博客 1.什么是正则正则就是用一些具有特殊含义的符号组合而成(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则. 通配符是由shell解释得.如果shell是爷爷,通配符就是爹.正则表达式则是由命令解释得,命令又被shell解释.如果shell是爷爷,正则表达式就是孙子.通配符和命令是一个级别的. 通配符是为了方便命令操作,正则表达式是为了操作文本内容.字符或字符串. *:左边的那一个字符有0个到无穷个+:左边的那一个字符有1个到无穷个?:

shell编程之文本与日志过滤

1:grep命令: grep -v  "char"  file_name 匹配不包括"char"的文本 grep -n -w "char" file_name 完整匹配某个字符 grep ^s $s  分别为匹配行首为s的 或者行末为s的文本. 2:tr 命令 tr set1  set2   替换集合set1 为set2 tr -s set1  压缩字符 tr -t  ":"     指定分隔符 默觉得空格 tr -d &qu

shell脚本，tee小工具的用法。

解释: tee是个工具 , 它的作用就是把标准输出,复制一份,扔文件里 ,原标准输出还输出,-a就相当于 >> 追加到文件里的意思. 不加就是 > 重定向到文件里去.

shell编程中的小问题

1.变量用=赋值时左边不能有空格.例如userName =nihao回车后会报userName:未找到命令.因为这里把userName当做命令来处理了.正确的做法是userName=nihao.仔细才是最重要的,像这样的小问题真是很难发现.不过在用vim编辑器时有高亮显示命令是白色的,变量时绿色的. 2.用read -p 命令读取用户输入时,在-p后的提示后的变量名必须要有空格.例如read -p "Input your name:"Name会输出Input your name:Nam

如何在WordPress文本小工具中使用PHP

只需添加以下代码片段到你当前主题的functions.php文件 1 add_filter('widget_text', 'php_text', 99); 2 function php_text($text) { if (strpos($text, '<' . '?') !== false) { ob_start(); eval('?' . '>' . $text); $text = ob_get_contents(); ob_end_clean(); } return $text;}

Shell编程之正则表达式（二）

文本处理器 在 Linux/UNIX 系统中包含很多种文本处理器或文本编辑器,其中包括我们之前学习过的VIM 编辑器与 grep 等.而 grep.sed.awk 更是 shell 编程中经常用到的文本处理工具,被称之为 Shell 编程三剑客. sed 工具 sed(Stream EDitor)是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑(删除.替换.添加.移动等),最后输出所有行或者仅输出处理的某些行.sed 也可以在无交互的情况下实现相复杂的文本处理

shell编程基础之基本文本工具集合

一 shell简介: 1 描述 Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁.Shell 既是一种命令语言,又是一种程序设计语言.Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务.Ken Thompson 的 sh 是第一种 Unix Shell,Windows Explorer 是一个典型的图形界面 Shell.shell环境shell和Java.php 编程一样,只要有一个能编写代码的文本编辑器和一个能解释执行脚本