【转帖】vim/sed/awk/grep等文件批处理总结

https://www.cnblogs.com/cangqiongbingchen/p/9760544.html

Vim相关操作

1.基础

  • * 和 # 对对当前光标所在的单词进行搜索
  • %匹配括号移动,包括 (, {, [
  • K 查看man手册
  • ga 查看ascii值
  • g CTRL-G 统计字数,使用Visual模式选取统计部分
  • q: 打开历史记录窗口
  • :marks 打开编辑标记窗口, `0 准确回到上一次退出vim的位置
  • gf 打开光标下的指定文件, CTRL-W f 在新窗口中打开
  • 格式转换: :set fileformat=unix
  • 增加/减少缩进: >>/<<
  • 块编辑: :set virtualedit=all , 退出 :set virtualedit= 。特别适用于表格编辑
  • gv 再次选定上次选择的Visual区域
  • CTRL-A , CTRL-X 对数字加/减
  • ls | vim - 从标准输入读取要编辑的内容
  • \c, \C 忽略/不忽略大小写匹配
  • / 重复前一次搜索
  • zM 关闭所有折行, zR 打开所有折行, zo, zc 打开,关闭某个折行
  • 剪切版: "xy 复制到x缓冲区, "xp 粘贴x缓冲区, "+y 复制到系统剪贴板, "+p 从系统剪切板粘贴

2.光标移动

  • 0 到行头
  • ^ 到本行的第一个非blank字符
  • $ 到行尾
  • g_ 到本行最后一个不是blank字符的位置
  • fa 到下一个为a的字符位置
  • ta 到a前一个字符处
  • 3fa 在当前行查找第三个出现的a
  • F和T 和f和t一样,只不过方向向反

3.可视化选择

  • v(单个字符) V(单行) CTRL+v(单列)
  • J 把所有的选择连接起来(变成一行)
  • < 或 > 左右缩进
  • = 自动缩进

4.替换

  • :20,100s/bc/a&d/g                          # 表示把bc替换为abcd(& 是一个特殊字符,表示被替换的内容。)
  • :%s/((d+))/="(".(submatch(1)+1).")"/g     # % 表示全文搜索,s表示替换,(d+
  • :%s/^/\=line(‘.‘)."\t"/      # 在每行的行首添加行号数字和tab
  • :10,20s/^/\=line(‘.‘)."\t"/  # 从10到20行的行首添加数字和tab
  • :let counter=0|10,20g//let counter=counter+1|s/^/\=counter."\t"  # 从0开始添加数字

5.匹配与搜索

  • /ab* “*”匹配任意个(零个或多个)b
  • /\(ab\)* “ab”作为整体
  • /ab\+ “+”至少一次
  • /folders\= “=”一次或零次
  • /ab\{m,n} 匹配至少m次,至多n次
  • /foo\|bar “|”模式中的或操作
\d 数字 [0-9]
\D 非数字 [^0-9]
\x 十六进制数 [0-9a-fA-F]
\X 非十六进制数 [^0-9a-fA-F]
\s 空白字符 [ ] (<Tab> 和<Space>)
\S 非空白字符 [^ ] (除 <Tab> 和 <Space>之外)
\l 小写字母 [a-z]
\L 非小写字母 [^a-z]
\u 大写字母 [A-Z]
\U 非大写字母 [^A-Z]

Sed相关操作

1.指令

a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除,删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容,并替代当前模板块中的文本。
G 获得内存缓冲区的内容,并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
w file 写并追加模板块到file末尾。
W file 写并追加模板块的第一行到file末尾。
! 表示后面的命令对所有没有被选定的行发生作用。
= 打印当前行号码。
# 把注释扩展到下一个换行符以前。  

2.替换标记

g 表示行内全面替换。
p 表示打印行。
w 表示把行写入一个文件。
x 表示互换模板块中的文本和缓冲区中的文本。
y 表示把一个字符翻译为另外的字符(但是不用于正则表达式)
\1 子串匹配标记
& 已匹配字符串标记

3.元字符集

^ 匹配行开始,如:/^sed/匹配所有以sed开头的行。
$ 匹配行结束,如:/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符,如:/s.d/匹配s后接一个任意字符,最后是d。
* 匹配0个或多个字符,如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符,如/[ss]ed/匹配sed和Sed。
[^] 匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。
\(..\) 匹配子串,保存匹配的字符,如s/\(love\)able/\1rs,loveable被替换成lovers。
& 保存搜索字符用来替换其他字符,如s/love/**&**/,love这成**love**。
\< 匹配单词的开始,如:/\<love/匹配包含以love开头的单词的行。
\> 匹配单词的结束,如/love\>/匹配包含以love结尾的单词的行。
x\{m\} 重复字符x,m次,如:/0\{5\}/匹配包含5个0的行。
x\{m,\} 重复字符x,至少m次,如:/0\{5,\}/匹配至少有5个0的行。
x\{m,n\} 重复字符x,至少m次,不多于n次,如:/0\{5,10\}/匹配5~10个0的行。

4.示例

sed ‘s/book/books/‘ file    # 字符串替换

sed -n ‘s/test/TEST/p‘ file                    # 只打印那些发生替换的行

sed -i ‘s/book/books/g‘ file # 替换源文件
sed ‘s/book/books/g‘ file   # 全局替换
echo sksksksksksk | sed ‘s/sk/SK/3g‘ # 从第三个开始替换
sed ‘/^$/d‘ file    # 删除空行
sed ‘2d‘ file   # 删除第2行
sed ‘2,$d‘ file   # 删除第2行至文件末尾
sed ‘$d‘ file  # 删除最后一行
sed ‘/^test/d‘ file   # 删除以test开头的行
echo this is a test line | sed ‘s/\w\+/[&]/g‘  # 匹配单词,替换成[单词]的形式
sed ‘s/^192.168.0.1/&localhost/‘ file  # 把以192.168.0.1开头的行替换为192.168.0.1localhost
echo this is digit 7 in a number | sed ‘s/digit \([0-9]\)/\1/‘ # 把digit 7替换为7
echo aaa BBB | sed ‘s/\([a-z]\+\) \([A-Z]\+\)/\2 \1/‘  # 交换aaa和BBB的位置
sed -n ‘s/\(love\)able/\1rs/p‘ file   # 匹配loveable,替换为lovers,并打印出来这些替换的行
sed ‘表达式‘ | sed ‘表达式‘   # 多个sed通过管道连接
sed -n ‘/test/,/check/p‘ file  # 打印test到check直接的行
sed -n ‘5,/^test/p‘ file # 打印从第5行开始,到第一个以test开始之间的所有行
sed ‘/test/,/west/s/$/aaa bbb/‘ file # 把test到west之间的行的末尾替换成aaa bbb
sed -e ‘1,5d‘ -e ‘s/test/check/‘ file  # 先删除第1行到第5行,再把test替换为check

awk相关操作

1. 内建变量

$0 当前记录(这个变量中存放着整个行的内容)
$1~$n 当前记录的第n个字段,字段间由FS分隔
FS 输入字段分隔符 默认是空格或Tab
NF 当前记录中的字段个数,就是有多少列
NR 已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。
FNR 当前记录数,与NR不同的是,这个值会是各个文件自己的行号
RS 输入的记录分隔符, 默认为换行符
OFS 输出字段分隔符, 默认也是空格
ORS 输出的记录分隔符,默认为换行符
FILENAME 当前输入文件的名字

2.示例

awk‘BEGIN{FS=":"} {print $1,$3,$6}‘OFS="\t" /etc/passwd    # 在处理前设置使用:作为分隔符,对/etc/passwd打印第1、3、6列

awk‘$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}‘OFS="\t"netstat.txt     # 匹配第6列不包含WAIT的行,并打印行号、第4、5、6列

awk‘NR!=1{print > $6}‘netstat.txt   # 按第6列的名字进行文件拆分

ls-l  *.py | awk‘{sum+=$5} END {print sum}‘  # 统计python文件的总大小

psaux | awk‘NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}‘  # 统计每个用户进程占用内存的大小

awk‘length>80‘file  # 获取长度大于80的行

netstat-ntu | awk‘{print $5}‘cut-d: -f1 | sortuniq-c | sort-nr    # 按连接数查看客户端IP

grep相关操作

grep ‘nos_client‘ -nr .     # n表示打印行号,r表示递归查找

grep -noE ‘gm_client\.[a-zA-Z_]+‘ vhttpservice.py     # E表示使用正则表达式匹配,o表示仅打印匹配结果

$grep -C 5 ‘parttern‘ inputfile //打印匹配行的前后5行

$grep -A 5 ‘parttern‘ inputfile //打印匹配行的后5行

$grep -B 5 ‘parttern‘ inputfile //打印匹配行的前5行

原文地址:https://www.cnblogs.com/jinanxiaolaohu/p/11802062.html

时间: 2024-11-09 00:54:16

【转帖】vim/sed/awk/grep等文件批处理总结的相关文章

Linux的文本编辑diff & sed & awk & grep

grep(关键字: 截取) 文本搜集工具, 结合正则表达式非常强大    主要参数 []    -c : 只输出匹配的行    -I : 不区分大小写    -h : 查询多文件时不显示文件名    -l : 查询多文件时, 只输出包含匹配字符的文件名    -n : 显示匹配的行号及行    -v : 显示不包含匹配文本的所有行(我经常用除去grep本身)    基本工作方式: grep 要匹配的内容 文件名, 例如:    grep 'test' d* 显示所有以d开头的文件中包含test的

linux下的文本处理命令sed&amp;awk&amp;grep

Sedsed 是个精简的.非交互式的编辑器.他能执行和编辑vi和emacs相同的编辑任务.sed编辑器不提供交互使用方式:只能在命令行输入编辑命令.指定文件名,然后在屏幕上察看输出.sed编辑器没有破坏性.他不会修改文件,除非用shell重定向来保存输出结果.缺省情况下,所以的输出都被打印到屏幕上.sed 编辑器在shell脚本中非常有用,因为在shell脚本中使用像vi或emacs这类交互式编辑器,需求脚本用户精通该编辑器,而且还会导致用户对打开 的 文件做出不必的修改.如果需要执行多项编辑任

Linux 常用命令sed/awk/grep及正则表达式

linux命令sed和awk sed 主要功能 sed,stream editor.是一个"非交互式"字符流编辑器.输入流通过程序并输出到标准输出端. sed主要用来自动编辑一个或者多个文件(替换,插入,删除,追加,更改) 常见应用 抽区域 匹配正则表达式 比较域 增加,附加,替换 执行过程 sed一次处理一行或多行内容.处理时,把当前处理的行存储在临时缓冲区中,称为"模式空间"(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区

inux基础命令 sed awk grep 及部分快捷键

基本命令 sed      stream deitor(编辑器)   流编辑器,实现对文件的增加删除及该替换查 1.使用sed命令 进行查看 [root@VM_86_3_centos 000.txt]# seq 80 >000.txt(cat 000.txt 出现1-100数列) [root@VM_86_3_centos 000.txt]# sed -n '55,65'p 000.txt(此处可不加引号,但其他情况下不加引号可能会出错  参数 n  取消默认输出  p 打印 )555657585

sed awk grep三剑客常用

sed的常用用法: awk的常用用法: grep的常用用法: 除了列出符合行之外,并且列出后10行. grep -A 10 Exception kzfinance-front.log 除了列出符合行之外,并且列出前10行. grep -B 10 Exception kzfinance-front.log 除了列出符合行之外,并且列出前后10行. grep -C 10 Exception kzfinance-front.log 详情参考: http://blog.csdn.net/xiaokang

20150915 Linux 数组 sed awk

第一部分数组: bash脚本编程:     变量:变量名   ,命名的命名空间     数组:连续的多个独立内存空间:每个内存空间相当于一个变量:         数据元素的引用:数组名[索引] bash 4.0+以后版本支持二种类型:         传统数组(基本数组):索引为数字,从0开始编号:             declare -a ARRAY_NAME         关联数组:索引可以自定义,可以使用任意字符串做索引:             declare -A ARRAY_

十七. 正则以及grep ,sed,awk的简单应用

一.正则表达式:/ / grep,sed,awk 都能解释正则表达式 正则表达式:把一些特殊符号组合到一起描述字符和字符串的方法.^ 以什么开头 grep '^root' /etc/passwd$ 以什么结尾 如能登入系统的所有用 grep 'bash$'/etc/passwd. 任意一个字符 grep '^b.n' /etc/passwd 过滤取到bin的.* 所有字符* 代表前面的字符有0个或者无穷个 grep 'b*' /+ 必须用egrep 或 egrep -E 'ab+'表示前面的字符

LINUX 下 find grep sed awk 的常见基本用法特点

LINUX 下 find grep sed awk 的常见基本用法特点 只为让自己具有更高的水准,这就开始了长达6个月的小白进阶路! 这几天学习linux基础命令有点犯蒙,尤其是对文件查找这块.所有我想把一些我觉得常用的实用的参数项总结下来,大神勿喷哈... 不到之处请大家指教,小女子在此谢过了. 一.find:命令用于查找文件系统中指定的文件,其命令格式为: 1.find pathname -options [ -print  -exec  -ok ... ] (1)find 命令的参数: p

Linux进阶命令-sort、uniq、 cut、sed、grep、find、awk

命令难度总体来说有简入难,参数都是工作中常常用到的.如果涉及到一些生僻的参数还请百度或man一下. sort(参考学习网站:http://www.cnblogs.com/dong008259/archive/2011/12/08/2281214.html) 功能:根据不同的数据类型进行排序 格式:sort [-cMnrtk][源文件][-o 输出文件] 说明: 如果有一个文件"1.txt",假如有一列数字,分别为1,2,2,3,5,4 -n:   依照数值的大小排序 --> 数字