使用Cygwin在WIN系统下处理文本常用命令

1.打开Cygwin,把需要处理的文本复制你的安装目录例如:D:\cygwin\home\Administrator

使用 ls命令查看根目录文件

2.现在我们就可以对1.txt文本进行操作,

3.我常用到命令

Sort排序功能】

1.指定列正向排序

对文本第一列排序 默认TAB分割

Sort -k 1 1.txt -o 输出.txt

对文本第二列排序 :分割

Sort -t: -k 2 1.txt -o 输出.txt

  

2.指定列逆向排序

对文本第一列排序 默认TAB分割

Sort -r -k 1 1.txt -o 输出.txt

  

对文本第二列排序 自定义分割符号“:”

Sort -r -t: -k 2 1.txt -o 输出.txt

  

3.指定列排序并去重

对文本第一列排序 默认TAB分割

Sort -u -r -k 1 1.txt -o 输出.txt

  

对文本第二列排序 自定义分割符号“:”

Sort -u -r -t: -k 2 1.txt -o 输出.txt

  

1.通用正向排序

sort 1.txt -o 输出.txt

2.通用逆向排序

sort -r 1.txt -o 输出.txt

3.数字正向排序

sort -n 1.txt -o 输出.txt

4.排序并去重

sort -u 1.txt -o 输出.txt

Uniq统计】

1.统计文本出现次数

详解:排序之后删除了重复行,同时在行首位置输出该行重复的次数

#sort testfile | uniq -c

1 friend

3 hello

2 world

2.只输出重复的行,并输出重复次数

#sort testfile | uniq -d -c

3 hello

2 world

3.仅显示不重复的行

sort testfile | uniq -u

split分割】

1.按行分割

分割成10行  文件名5位数字开头

split -l 10 -d -a 5  file

2.按MB分割

分割成10MB大小  文件名5位数字开头

split -b 10m -d -a 5 file

Cat 合并文件】

Cat命令详解:http://www.cnblogs.com/perfy/archive/2012/07/23/2605550.html

1.合并多个文件

Cat 1.txt 2.txt 3.txt > hb.txt

2.合并整个文件夹

Cat *.txt > newfile

Sed 】

以行为单位行头行尾添加字符

1.行首添加字符

在每行的头添加字符,比如"TOU_",命令如下:

sed ‘s/^/TOU_&/g‘ 1.txt

2.行尾添加字符

2.在每行的尾添加字符,比如"Wei_",命令如下:

sed ‘s/$/Wei_&/g‘ 1.txt

3.每一行的行头和行尾分别添加字符

sed ‘/./{s/^/Tou_/;s/$/Wei/}‘ 1.txt

"^"代表行首,"$"代表行尾

‘s/$/&TAIL/g‘中的字符g代表每行出现的字符全部替换,如果想在特定字符处添加,g就有用了,否则只会替换每行第一个,而不继续往后找了

以行为单位的新增/删除

将第 2~5 行删除

sed ‘2,5d

只要删除第 2 行

sed ‘2d‘

要删除第 3 到最后一行

sed ‘3,$d‘

在第二行后(亦即是加在第三行)加上『drink tea?』字样!

sed ‘2a drink tea‘

那如果是要在第二行前

sed ‘2i drink tea‘

以行为单位的替换与显示

将第2-5行的内容取代成为『No 2-5 number』呢?

sed ‘2,5c No 2-5 number‘

仅列出文件内的第 5-7 行

Sed -n ‘5,7p‘

数据的搜寻并显示

搜索有root关键字的行 模糊搜索哦

sed -n ‘/root/p

数据的搜寻并删除

删除/etc/passwd所有包含root的行,其他行输出

nl /etc/passwd | sed ‘/root/d‘

数据的搜寻并替换

sed ‘s/要被取代的字串/新的字串/g‘ 1.txt

替换@开 到TAB尾

sed ‘s/@[^\t]*\t/\t/g‘ 1.txt

只保留有某个字符的行 用于保留某行,或者删除没有分隔符的行

sed -n ‘/\t/p‘> out.txt  只输出包含TAB的行

WC 】

统计行数,在对记录数时,很常用

Wc -l 1.txt

时间: 2024-08-26 04:13:37

使用Cygwin在WIN系统下处理文本常用命令的相关文章

Linux系统下项目部署常用命令

1. 远程传送文件: scp xxx.zip [email protected]:/usr/local/src 远程服务器用户:root ip:10.74.165.114 :后面的传递文件保存路径 2. 解压zip文件: unzip xxx.zip -d aaa 解压xxx.zip文件置于当前路径下的aaa文件夹下: 3. vi xxx ---- 打开文件,并可以对文件进行修改 vi 打开一个不存在的文件a时,在没有输入保存命令时,a文件是不会存储到机器磁盘上的. vi打开一个文件时,进入的是阅

Win系统下用Eclipse中运行远程hadoop MapReduce程序常见错误及解决方法

一.Permission denied 1.Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x

Linux系统下安装rz/sz命令以及使用说明

Linux系统下安装rz/sz命令以及使用说明 对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多Linux系统初始并没有这两个命令.今天,我们就简单的讲解一下如何安装和使用rz.sz命令. 一.软件安装 1.编译安装(方法一) 这种方法必须保证机器可以上网,使用root账号登录系统后,依次执行下面命令: cd /tmp wget http://www.ohse.de/uwe/releases

二十八、Linux下Vim工具常用命令

在linux下做开发,甚至是只做管理维护工作,也少不了Vim的使用.作为一个新手,我也是刚刚接触,本节将我日常使用或收集的Vim常用命令记录下来. 当然,直接在命令行上输入:vimtutor,就可以学习到Vim的所有命令了.Vim很强大,很多牛人在vim里集成很多插件什么的,但这里只介绍基本vim命令 移动命令 h "左 j "下 k "上 l "右 w "光标移动到下一个单词的首字符 a word forward b "光标移动到上一个单词的首

Linux 系统基础优化和常用命令

目录 Linux 系统基础优化和常用命令 软连接 tar解压命令 gzip命令 netstart命令 ps命令 kill命令 killall命令 SELinux功能 iptables防火墙 Linux中文显示设置(防止中文乱码) df 命令 tree命令 设置主机名 DNS 查看Linux的dns, 唯一配置文件 本地强制dns解析文件 /etc/hosts nslookup命令 计划任务crond服务 软件包管理 windows程序 macos程序 RPM软件包管理器 实例 rpm安装软件 r

【Oracle】RAC下的一些常用命令(一)

节点层: olsnodes -n:显示每个节点编号. [[email protected] ~]# olsnodes -n rac1    1 rac2    2 -p:显示每个节点用于private interconnect的网络接口名称. [[email protected] ~]# olsnodes -p rac1    rac1-priv rac2    rac2-priv -i:显示每个节点的VIP [[email protected] ~]# olsnodes -i rac1    

win系统下的eclipse连接和使用linux上的hadoop集群

准备工作 先在win系统的hosts文件中加入下面内容 10.61.6.164master     //hadoop集群的master节点 一.首先在eclipse上安装hadoop插件 下载hadoop-eclipse-plugin-1.1.2.jar.将其复制到eclipse 安装文件夹下的plugins,再启动eclispe.这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi

Windows系统下如何在cmd命令窗口中切换Python2.7和Python3.6

针对在同一系统下我们可能安装多个版本的Python,毕竟Python2.7与Python3.6还是有不同的需求,但是在用Cmd命令窗口是我们可能默认的系统变量环境是其中一个版本,当我们需要在cmd命令窗口中需要对另外的一个版本进行操作时,我以前只有去更改系统环境变量Python2.7与Python3.6的位置前后顺序,让暂时需要的版本的位置处于环境变量前排..........But ~~这不是一个省心好方法,终于在今天,我get到了一个新的办法,目前感觉还不错. ================

转-Linux系统下安装rz/sz命令及使用说明

时间: 2013/03/20 | 分类: Linux常用命令 | 作者: 李坏 | 浏览:39,146 | 评论:5 对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多Linux系统初始并没有这两个命令.今天,我们就简单的讲解一下如何安装和使用rz.sz命令. 1.软件安装 (1)编译安装 root 账号登陆后,依次执行以下命令: 1 cd /tmp 2 wget http://www.ohs