命令行

  • 学习Bash的基础知识。具体来说,输入 man bash 并至少全文浏览一遍; 它很简单并且不长。其他的shell可能很好用,但Bash功能强大且几乎所有情况下都是可用的 ( 学习 zsh,fish或其他的shell的话,在你自己的电脑上会显得很方便,但在很多情况下会限制你,比如当你需要在服务器上工作时)。
  • 学习并掌握至少一个基于文本的编辑器。通常 Vim (vi) 会是你最好的选择。
  • 学会如何使用man命令去阅读文档。学会使用apropos去查找文档。了解有些命令并不对应可执行文件,而是Bash内置的,可以使用helphelp -d命令获取帮助信息。
  • 学会使用><来重定向输出和输入,学会使用|来重定向管道。了解标准输出stdout和标准错误stderr。
  • 学会使用通配符* (或许再算上?{...}) 和引用以及引用中"的区别。
  • 熟悉Bash任务管理工具: &ctrl-zctrl-cjobsfgbgkill 等。
  • 了解ssh,以及基本的无密码认证,ssh-agentssh-add等。
  • 学会基本的文件管理: ls 和 ls -l (了解ls -l中每一列代表的意义),lessheadtailtail -f (甚至 less +F),ln and ln -s (了解硬链接与软链接的区别),chownchmoddu (硬盘使用情况概述: du -sk *)。 关于文件系统的管理,学习 dfmountfdiskmkfslsblk
  • 学习基本的网络管理: ip 或 ifconfigdig
  • 熟悉正则表达式,以及grep/egrep里不同参数的作用,例如-i-o-A,和 -B
  • 学会使用 apt-getyumdnf 或 pacman (取决于你使用的Linux发行版)来查找或安装包。确保你的环境中有 pip来安装基于Python的命令行工具 (部分程序使用pip来安装会很简单)。

日常使用

  • 在Bash中,可以使用Tab自动补全参数,使用ctrl-r搜索命令行历史。
  • 在Bash中,使用ctrl-w删除你键入的最后一个单词,使用ctrl-u删除整行,使用alt-balt-f按单词移动,使用ctrl-k从光标处删除到行尾,使用ctrl-l清屏。键入man readline查看Bash中的默认快捷键,内容很多。例如alt-. 循环地移向前一个参数,以及alt-*展开通配符。
  • 你喜欢的话,可以键入set -o vi来使用vi风格的快捷键。
  • 键入history查看命令行历史记录。其中有许多缩写,例如!$ (最后键入的参数)和!!(最后键入的命令),尽管通常被ctrl-ralt-.取代。
  • 回到上一个工作路径: cd -
  • 如果你输入命令的时候改变了主意,按下alt-#在行首添加#(将你输入的命令视为注释),并回车。这样做的话,之后你可以很方便的利用命令行历史回到你刚才输入到一半的命令。
  • 使用xargs ( 或parallel)。他们非常给力。注意到你可以控制每行参数个数(-L)和最大并行数 (-P)。如果你不确定它们是否会按你想的那样工作,先使用xargs echo查看一下。此外,使用-I{}会很方便。例如:
      find . -name ‘*.py‘ | xargs grep some_function
      cat hosts | xargs -I{} ssh [email protected]{} hostname
  • pstree -p有助于展示进程树。
  • 使用pgreppkill根据名字查找进程或发送信号。
  • 了解你可以发往进程的信号的种类。比如,使用kill -STOP [pid]停止一个进程。使用man 7 signal查看详细列表。
  • 使用nohupdisown使一个后台进程持续运行。
  • 使用netstat -lntpss -plat检查哪些进程在监听端口(默认是检查TCP端口; 使用参数-u检查UDP端口)。
  • 有关打开套接字和文件,请参阅lsof
  • 在Bash脚本中,使用set -x去调试输出,尽可能的使用严格模式,使用set -e令脚本在发生错误时退出而不是继续运行,使用set -o pipefail严谨地对待错误(尽管问题可能很微妙)。当牵扯到很多脚本时,使用trap
  • 在Bash脚本中,子shell(使用括号(...))是一种便捷的方式去组织参数。一个常见的例子是临时地移动工作路径,代码如下:
      # do something in current dir
      (cd /some/other/dir && other-command)
      # continue in original dir
  • 在Bash中,注意到其中有许多形式的扩展。检查变量是否存在: ${name:?error message}。例如,当Bash脚本需要一个参数时,可以使用这样的代码input_file=${1:?usage: $0 input_file}。数学表达式: i=$(( (i + 1) % 5 ))。序列: {1..10}。 截断字符串: ${var%suffix}${var#prefix}。例如,假设var=foo.pdf,那么echo ${var%.pdf}.txt将输出foo.txt
  • 通过使用<(some command)可以将输出视为文件。例如,对比本地文件/etc/hosts和一个远程文件:
      diff /etc/hosts <(ssh somehost cat /etc/hosts)
  • 了解Bash中的"here documents",例如cat <<EOF ...
  • 在Bash中,同时重定向标准输出和标准错误,some-command >logfile 2>&1。通常,为了保证命令不会在标准输入里残留一个打开了的文件句柄导致你当前所在的终端无法操作,添加</dev/null是一个好习惯。
  • 使用man ascii查看具有十六进制和十进制值的ASCII表。man unicodeman utf-8,以及 man latin1 有助于你去了解通用的编码信息。
  • 使用screentmux来使用多个屏幕,当你在使用ssh时(保存session信息)将尤为有用。另一个轻量级的解决方案是dtach
  • ssh中,了解如何使用-L-D(偶尔需要用-R)去开启隧道是非常有用的,例如当你需要从一台远程服务器上访问web。
  • 对ssh设置做一些小优化可能是很有用的,例如这个~/.ssh/config文件包含了防止特定环境下断开连接、压缩数据、多通道等选项:
      TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%[email protected]%h:%p
      ControlPersist yes
  • 部分其他的关于ssh的选项是安全敏感且应当小心启用的。例如在可信任的网络中:StrictHostKeyChecking=noForwardAgent=yes
  • 获取文件的八进制格式权限,使用类似如下的代码:
      stat -c ‘%A %a %n‘ /etc/timezone
  • 使用percol可以交互式地从另一个命令输出中选取值。
  • 使用fpp(PathPicker)可以与基于另一个命令(例如git)输出的文件交互。
  • 将web服务器上当前目录下所有的文件(以及子目录)暴露给你所处网络的所有用户,使用: python -m SimpleHTTPServer 7777 (使用端口7777和Python 2)或python -m http.server 7777 (使用端口7777和Python 3)。

文件及数据处理

  • 在当前路径下通过文件名定位一个文件,find . -iname ‘*something*‘(或类似的)。在所有路径下通过文件名查找文件,使用 locate something (但请记住updatedb可能没有对最近新建的文件建立索引)。
  • 使用ag在源代码或数据文件里检索(比grep -r更好)。
  • 将HTML转为文本: lynx -dump -stdin
  • Markdown,HTML,以及所有文档格式之间的转换,试试 pandoc
  • 如果你不得不处理XML,xmlstarlet宝刀未老。
  • 使用jq处理JSON。
  • Excel或CSV文件的处理,csvkit提供了in2csvcsvcutcsvjoincsvgrep等工具。
  • 关于Amazon S3,s3cmd很方便而s4cmd更快。Amazon官方的aws是其他AWS相关工作的基础。
  • 了解如何使用sortuniq,包括uniq的-u参数和-d参数,详见后文一行代码节。另外可以了解一下comm
  • 了解如何使用cutpastejoin来更改文件。很多人都会使用cut,但几乎都不会使用join
  • 了解如何运用wc去计算新行数(-l),字符数(-m),单词数(-w)以及字节数(-c)。
  • 了解如何使用tee将标准输入复制到文件甚至标准输出,例如ls -al | tee file.txt
  • 了解语言环境对许多命令行工具的微妙影响,包括排序的顺序和性能。大多数Linux的安装过程会将LANG或其他有关的变量设置为符合本地的设置。意识到当你改变语言环境时,排序的结果可能会改变。明白国际化可能会时sort或其他命令运行效率下降许多倍。某些情况下(例如集合运算)你可以放心的使用export LC_ALL=C来忽略掉国际化并使用基于字节的顺序。
  • 了解awksed关于数据的简单处理的用法。例如,将文本文件中第三列的所有数字求和: awk ‘{ x += $3 } END { print x }‘. 这可能比同等作用的Python代码块三倍且代码量少三倍。
  • 替换一个或多个文件中出现的字符串:
      perl -pi.bak -e ‘s/old-string/new-string/g‘ my-files-*.txt
  • 依据某种模式批量重命名多个文件,使用rename。对于复杂的重命名规则,repren或许有帮助。
      # Recover backup files foo.bak -> foo:
      rename ‘s/\.bak$//‘ *.bak
      # Full rename of filenames,directories,and contents foo -> bar:
      repren --full --preserve-case --from foo --to bar .
  • 使用shuf从一个文件中随机选取行。
  • 了解sort的参数。明白键的工作原理(-t-k)。例如,注意到你需要-k1,1来仅按第一个域来排序,而-k1意味着按整行排序。
  • 稳定排序(sort -s)在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用sort -k1,1 | sort -s -k2,2
  • 如果你想在Bash命令行中写tab制表符,按下ctrl-v [Tab] 或键入$‘\t‘(后者可能更好,因为你可以复制粘贴它)。
  • 标准的源代码对比及合并工具是diffpatch。使用diffstat查看变更总览数据。注意到diff -r对整个文件夹有效。使用diff -r tree1 tree2 | diffstat查看变更总览数据。
  • 对于二进制文件,使用hd使其以十六进制显示以及使用bvi来编辑二进制。
  • 同样对于二进制文件,使用strings(包括grep等等)允许你查找一些文本。
  • 二进制文件对比(Delta压缩),使用xdelta3
  • 使用iconv更改文本编码。而更高级的用法,可以使用uconv,它支持一些高级的Unicode功能。例如,这条命令将所有元音字母转为小写并移除了:
      uconv -f utf-8 -t utf-8 -x ‘::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ‘ < input.txt > output.txt
  • 拆分文件,查看split(按大小拆分)和csplit(按模式拆分)。
  • 使用zlesszmorezcatzgrep对压缩过的文件进行操作。

系统调试

  • curlcurl -I可以便捷地被应用于web调试中,它们的好兄弟wget也可以,或者是更潮流的httpie
  • 使用iostatnetstattop (htop更佳) 和dstat去获取硬盘、cpu和网络的状态。熟练掌握这些工具可以使你快速的对系统的当前状态有一个大概的认识。
  • 若要对系统有一个深度的总体认识,使用glances。它在一个终端窗口中向你提供一些系统级的数据。这对于快速的检查各个子系统非常有帮助。
  • 若要了解内存状态,运行并理解freevmstat的输出。尤其注意"cached"的值,它指的是Linux内核用来作为文件缓存的内存大小,因此它与空闲内存无关。
  • Java系统调试则是一件截然不同的事,一个可以用于Oracle的JVM或其他JVM上的调试的小技巧是你可以运行kill -3 <pid>同时一个完整的栈轨迹和堆概述(包括GC的细节)会被保存到标准输出/日志文件。
  • 使用mtr去跟踪路由,用于确定网络问题。
  • ncdu来查看磁盘使用情况,它比常用的命令,如du -sh *,更节省时间。
  • 查找正在使用带宽的套接字连接或进程,使用iftopnethogs
  • ab工具(捆绑于Apache)可以简单粗暴地检查web服务器的性能。对于更复杂的负载测试,使用siege
  • wiresharktsharkngrep可用于复杂的网络调试。
  • 了解straceltrace。这俩工具在你的程序运行失败、挂起甚至崩溃,而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意profile参数(-c)和附加到一个运行的进程参数 (-p)。
  • 了解使用ldd来检查共享库。
  • 了解如何运用gdb连接到一个运行着的进程并获取它的堆栈轨迹。
  • 学会使用/proc。它在调试正在出现的问题的时候有时会效果惊人。比如:/proc/cpuinfo/proc/xxx/cwd/proc/xxx/exe/proc/xxx/fd//proc/xxx/smaps
  • 当调试一些之前出现的问题的时候,sar非常有用。它展示了cpu、内存以及网络等的历史数据。
  • 关于更深层次的系统分析以及性能分析,看看stap (SystemTap),perf,以及sysdig
  • 查看你当前使用的Linux发型版(大部分发行版有效): lsb_release -a
  • 无论什么东西工作得很欢乐时试试dmesg(可能是硬件或驱动问题)。

一行代码

一些命令组合的例子:

  • 当你需要对文本文件做集合交、并、差运算时,结合使用sort/uniq很有帮助。假设ab是两内容不同的文件。这种方式效率很高,并且在小文件和上G的文件上都能运用 (sort不被内存大小约束,尽管在/tmp在一个小的根分区上时你可能需要-T参数),参阅前文中关于LC_ALLsort-u参数的部分。
      cat a b | sort | uniq > c   # c is a union b
      cat a b | sort | uniq -d > c   # c is a intersect b
      cat a b b | sort | uniq -u > c   # c is set difference a - b
  • 使用grep . *来阅读检查目录下所有文件的内容,例如检查一个充满配置文件的目录比如/sys/proc/etc
  • 计算文本文件第三列中所有数的和(可能比同等作用的Python代码块三倍且代码量少三倍):
      awk ‘{ x += $3 } END { print x }‘ myfile
  • 如果你想在文件树上查看大小\日期,这可能看起来像递归版的ls -l但比ls -lR更易于理解:
      find . -type f -ls
  • 尽可能的使用xargsparallel。注意到你可以控制每行参数个数(-L)和最大并行数 (-P)。如果你不确定它们是否会按你想的那样工作,先使用xargs echo查看一下。此外,使用-I{}会很方便。例如:
      find . -name ‘*.py‘ | xargs grep some_function
      cat hosts | xargs -I{} ssh [email protected]{} hostname
  • 假设你有一个类似于web服务器日志文件的文本文件,并且一个确定的值只会出现在某些行上,假设一个acct_id参数在URI中。如果你想计算出每个acct_id值有多少次请求,使用如下代码:
      cat access.log | egrep -o ‘acct_id=[0-9]+‘ | cut -d= -f2 | sort | uniq -c | sort -rn
  • 运行这个函数从这篇文档中随机获取一条小技巧(解析Markdown文件并抽取项目):
      function taocl() {
        curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
          pandoc -f markdown -t html |
          xmlstarlet fo --html --dropdtd |
          xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
          xmlstarlet unesc | fmt -80
      }

冷门但有用

  • expr: 计算表达式或正则匹配
  • m4: 简单地宏处理器
  • yes: 多次打印字符串
  • cal: 漂亮的日历
  • env: 执行一个命令(脚本文件中很有用)
  • printenv: 打印环境变量(调试时或在使用脚本文件时很有用)
  • look: 查找以特定字符串开头的单词
  • cutpastejoin: 数据修改
  • fmt: 格式化文本段落
  • pr: 将文本格式化成页/列形式
  • fold: 包裹文本中的几行
  • column: 将文本格式化成多列或表格
  • expandunexpand: 制表符与空格之间转换
  • nl: 添加行号
  • seq: 打印数字
  • bc: 计算器
  • factor: 分解因数
  • gpg: 加密并签名文件
  • toe: terminfo entries列表
  • nc: 网络调试及数据传输
  • socat: 套接字代理,与netcat类似
  • slurm: 网络可视化
  • dd: 文件或设备间传输数据
  • file: 确定文件类型
  • tree: 以树的形式显示路径和文件,类似于递归的ls
  • stat: 文件信息
  • tac: 反向输出文件
  • shuf: 文件中随机选取几行
  • comm: 一行一行的比较排序过的文件
  • pv: 监视通过管道的数据
  • hd 和 bvi: 保存或编辑二进制文件
  • strings: 从二进制文件中抽取文本
  • tr: 转换字母
  • iconvuconv: 简易的文件编码
  • splitcsplit: 分割文件
  • units: 将一种计量单位转换为另一种等效的计量单位(参阅/usr/share/units/definitions.units)
  • 7z: 高比例的文件压缩
  • ldd: 动态库信息
  • nm: 提取obj文件中的符号
  • ab: 性能分析web服务器
  • strace: 系统调用调试
  • mtr: 更好的网络调试跟踪工具
  • cssh: 可视化的并发shell
  • rsync: 通过ssh同步文件和文件夹
  • wiresharktshark:抓包和网络调试工具
  • ngrep: 网络层的grep
  • host 和 dig: DNS查找
  • lsof: 列出当前系统打开文件的工具以及查看端口信息
  • dstat: 系统状态查看
  • glances: 高层次的多子系统总览
  • iostat: CPU和硬盘状态
  • htop: top的加强版
  • last: 登入记录
  • w: 查看处于登录状态的用户
  • id: 用户/组ID信息
  • sar: 系统历史数据
  • iftop 或 nethogs: 套接字及进程的网络利用
  • ss: 套接字数据
  • dmesg: 引导及系统错误信息
  • hdparm: SATA/ATA磁盘更改及性能分析
  • lsb_release: Linux发行版信息
  • lsblk: 列出块设备信息: 以树形展示你的磁盘以及磁盘分区信息
  • lshw 及 lspci: 查看硬件信息,包括RAID、显卡等
  • fortuneddatesl: 额,这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否"有用"
时间: 2024-10-11 06:08:34

命令行的相关文章

【Windows10&nbsp;IoT开发系列】Powershell命令行实用程序

原文:[Windows10 IoT开发系列]Powershell命令行实用程序 更新帐户密码: 强烈建议你更新默认的管理员帐户密码.若要更新帐户密码,你可以发出以下命令: net user Administrator [new password]​ (其中 [new password] 表示你选择的强密码). 创建本地用户帐户: 如果你想要授予其他人访问你的 Windows IoT Core 设备的权限,你可以通过在 net user [username] [password] /add​ 中键

windows下cmd命令行显示UTF8字符设置(CHCP命令)

在中文windows系统中,如果一个文本文件是utf-8编码的,那么在cmd.exe命令行窗口(所谓的dos窗口)中不能正确显示文件中的内容.在默认情况下,命令行窗口中使用的代码页是中文或者美国的,即编码是中文字符集或者西文字符集. 如果想正确显示UTF-8字符,可以按照以下步骤操作: 1.打开CMD.exe命令行窗口 2.通过 chcp命令改变代码页,UTF-8的代码页为65001 1 chcp 65001 执行该操作后,代码页就被变成UTF-8了.但是,在窗口中仍旧不能正确显示UTF-8字符

CentOS设置默认启动命令行(不启动图形界面)

CentOS中如何进入图形界面和文字界面,Linux真正的服务器是不会运行图形化界面的,怎么样才能在不卸载桌面的前提下开机直接进入命令界面呢?(我安装的是CentOS 6.5)下面就简单介绍以下: 一.如果要进入图形界面: 1.首先得安装有图形界面,一般为X-window图形界面. 2.启动linux在终端下输入:startx 即可进入X11的图形操作界面. 二.在图形界面还可以在多个界面中进行切换: 在X-window图形操作界面中按"Alt+Ctrl+功能键Fn n=1~6 "就可

如何编写一个带命令行参数的Python文件

看到别人执行一个支持命令行参数的python文件,瞬间觉得高大上起来.牛逼起来,那么如何编写一个带命令行参数的python脚本呢?不用紧张,下面将简单易懂地让你学会如何让自己的python脚本,支持命令行参数. 首先你要知道python中的sys模块的一些功能: import sys print "the number of python program's argument:",len(sys.argv) print "the value of every argument

JNI之——在cmd命令行下编译执行C/C++源文件

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46604269 一直用java来敲代码,java配置好jre路径之后.在cmd下编译执行.非常方便. 刚好要给一个舍友改下C程序,想到可不能够像java一样在环境变量里配置好C的编译路径呢? 于是上网搜了一下,得到例如以下结果: 一.假设装有VC,那就简单了,由于VC带有C的编译器,能够将此路径设置进环境变量. Windows系统下编译连接源码方法: cl -GX test.c -

调用cmd命令行命令(借鉴)

留待以后观看 ---------------------------------------------------------------------------- public class IP_MAC_TypeHelper { /** * 控制台执行arp -a命令 * * @return * */ public static InputStream getInputStream() { Runtime rt = Runtime.getRuntime(); InputStream in =

MySQL命令行工具

shell> mysql --user=user_name --password=your_password db_name shell> mysql --help shell> mysql -? 选项 --protocol={TCP | SOCKET | PIPE | MEMORY} mysql 命令 有些命令mysql可以自己解释.要查看这些命令,在mysql>提示下输入help或\h 默认mysql>可以重新配置,怎么配置有哪几种方法? 1. 使用环境变量 shell&

Java命令行程序构建工具-airline

以前对于开发Java命令行程序,我都是很头大的,命令行程序麻烦的是解析参数,以及一些帮助信息,今天在研究接口测试时偶然发现了一个工具可以让你快速构建命令行程序 github地址 airline 导入jar包 airline jar 在maven仓库里搜索适合你构建系统的语句 代码 我找了个解析har文件的项目,来讲解开发过程 定制自己的命令行 我的命令行以doctorq作为命令,参数为company,命令的完整格式应该为doctorq company XXXXX. @Command(name="

第八章命令行操作基础

H3C Comware采用基于命令行的用户接口(Command Line Interface,CLI)进行管理和操作.用户可以通过Console.AUS.Telnet和SSH等多种方法连接到网络设备.为了提高网络配置的安全性和可管理性,H3C Comware采用了配置权限的分级控制方法.H3C Comware还提供了的操作界面和灵活而丰富的配置命令,以便用户更好地使用网络设备,本章将介绍一些常用的命令行特性和操作配置命令. 访问网络设备的命令行接口 连接到命令行接口的方法 为了通过命令行接口(c

Mac OS X 10.10上以命令行模式使用GLWF3

GLWF3的介绍请移步其官网:http://www.glfw.org/docs/latest/index.html 按照其官网上的安装介绍,用cmake从源码安装GLWF3 Building Applications with GLWF3可以见http://www.glfw.org/docs/latest/build.html#build_link_osx 但它给的用命令行模式在Mac OS X上使用的方法是不全的,会导致不少错误,比如: Undefined symbols for archit