Xargs


  1. alias cd=‘rm -rf‘

日志君注:显然这个答案是开个玩笑,可别真的去试啊,否则你一定会感觉到世界都错乱了呢。不过,下面才是好戏,请看:

===============我是严肃的分割线==================

如果从生产力的角度来说,我觉得xargs是见过的最牛逼的命令行工具。 举个栗子。比如要把该文件夹下的所有jpg文件转成png格式,普通青年可以用for循环 (代码未测试)

  1. for fn in *.jpg; do convert "$fn" `echo $fn | sed ‘s/jpg$/png/‘`; done

文艺青年会用xargs来写,类似 (代码未测试):

  1. ls *.jpg | xargs -I{} convert "{}" `echo {} | sed ‘s/jpg$/png/‘`

好像没什么区别?

现在你的电脑有8个核,想要同时转换格式。咋整?for或者一般的shell就傻逼了,难道要用python/multiprocessing甚至开C++/OpenMP写段小程序?no no no no no(印度口音)。xargs有个逆天的参数-P:

  1. ls *.jpg | xargs -I{} -P 8 convert "{}" `echo {} | sed ‘s/jpg$/png/‘`

执行的效果是,电脑会自动读前8个文件进来,转换格式。这8个进程里任何一个执行结束后,会自动读取下一个文件,保证始终有8个进程在执行,直到所有任务执行完毕。作为一个科研狗,这简直是各种并行处理的大杀器。

===============放福利的分割线==================

如果有多台机器怎么办呢?xargs可以在多台机器上自动并行吗?

坏消息是不行,好消息是,穿个马甲就好啦。把xargs改成parallel (GNU Parallel - GNU Project)即可。

  1. ls *.jpg | parallel -I{} -S 32/m{1..4} convert "{}" `echo {} | sed ‘s/jpg$/png/‘`

这个的意思是在名字是m1, m2, m3和m4的4台机器上并行处理,每个机器跑32个进程。这样parallel就会自动监视每个机器的运行情况,谁家CPU负载低了就自动分配给它其他任务,保证吞吐量。(当然parallel还没有智能到自动传输数据的程度,但这个可以用NFS等轻松解决)

效果?

AWS上面只要1美元一小时,用我的脚本5分钟轻松搞出来128核cluster这种事我会到处乱说?!

时间: 2024-10-07 03:17:56

Xargs的相关文章

xargs 原理&使用

1. 简介 之所以能用到这个命令,是由于很多 linux 命令不支持用管道传递参数,例如 find /sbin -perm +700 | ls -l 这个命令是错误的 find /sbin -perm +700 |xargs ls -l   这样才是正确的 通常Linux命令可以用|首尾相连,上一个命令的 stdout 连接到下一个命令的 stdin.但是有些命令,比如ls.rm等,是从命令行参数接受输入的.这时候如果想把上一个命令的输出传给它们,就不好办了.所以就有了xargs. 简单而言,x

linux下xargs命令用法详解 【转】

xargs在linux中是个很有用的命令,它经常和其他命令组合起来使用,非常的灵活.xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具.它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理.由此 这个命令也是后置引用的一个强有力的替换.在一般使用过多参数的命令替换失败的时候,用xargs来替换它一般都能成功.通常情况下,xargs从管道或 者stdin中读取数据,但是它也能够从文件的输出中读取数据.xargs的默认命令是echo.这意味着通过管道传递给xargs的输入将

xargs的原理剖析及用法详解

http://www.cnblogs.com/f-ck-need-u/p/5925923.html 1,使用find 的exec选项去处理匹配到的选项时,find 一次性将匹配到得参数传给exec执行.但有的系统,对exec 传的参数长度有限制,这样在find 命令执行几分钟后会报溢出,错误信息通常是"参数列太长"或"参数列溢出". 2,xargs 与find 命令合用的时候,find 把匹配到得命令传递给xargs ,xargs 每次只获取一部分文件,而不是全部.

-exec和xargs的区别

-exec和xargs的区别 2010-11-27 星期六 晴朗 当你在命令行执行: $find . -name 'core' -type f -exec rm {} /; 时,find -exec 命令会对每个匹配的文件执行一个单独的rm操作(execute a separate rm for each one), 正如你手动敲入下面命令: rm ./bin/core rm ./source/shopping_cart/core rm ./backups/core ... 但是使用这种方式,如

xargs用法

http://m.blog.csdn.net/article/details?id=44875865 为啥要xargs? 通常linux命令可以用|首尾相连,上一个命令的 stdout 连接到下一个命令的 stdin.但是有些命令,比如ls.rm等,是从命令行参数接受输入的.这时候如果想把上一个命令的输出传给它们,就不好办了.所以就有了xargs. 简单而言,xargs可以把从 stdin 接受到的输入,用空白符分隔开,然后依次作为参数去调用xargs后面的命令. 用法 举个例子,想把所有.jp

【转】【Linux】linux下xargs命令

xargs命令当前位置:首页 ? 软件·打印·开发·工具 ? xargs xargs命令常用工具命令 xargs命令是给其他命令传递参数的一个过滤器,也是组合多个命令的一个工具.它擅长将标准输入数据转换成命令行参数,xargs能够处理管道或者stdin并将其转换成特定命令的命令参数.xargs也可以将单行或多行文本输入转换为其他格式,例如多行变单行,单行变多行.xargs的默认命令是echo,空格是默认定界符.这意味着通过管道传递给xargs的输入将会包含换行和空白,不过通过xargs的处理,换

Xargs的用法和理解

用途: 关于这个命令的诞生是由于管道输出不能支持有些命令于是需要用到xargs:例如 find /sbin -perm +700 |ls -l       这个命令是错误的 find /sbin -perm +700 |xargs ls -l   这样才是正确的 语法及参数 xargs -参数 +命令 -0 当sdtin含有特殊字元时候,将其当成一般字符,想/'空格等 例如:[email protected]:~/test#echo "//"|xargs  echo [email pr

xargs命令使用手册翻译总结

一.xargs基础属性 [[email protected] ~]# type xargs           # 外置命令 xargs is /usr/bin/xargs [[email protected] ~]# whereis xargs    #二进制文件.源.使用手册位置 xargs:/usr/bin/xargs/usr/share/man/man1/xargs.1.gz/usr/share/man/man1p/xargs.1p.gz [[email protected] ~]# w

Xargs用法详解

1. 简介 之所以能用到这个命令,关键是由于很多命令不支持|管道来传递参数,而日常工作中有有这个必要,所以就有了xargs命令,例如: find /sbin -perm +700 | ls -l 这个命令是错误的 find /sbin -perm +700 | xargs ls -l 这样才是正确的 将文件名作为touch命令的参数 echo "1.txt 2.txt" | xargs touch xargs 可以读入 stdin 的资料,并且以空白字元或断行字元作为分辨,将 stdi

xargs 命令

NAME       xargs - build and execute command lines from standard input 从标准输入构建并执行命令行 SYNOPSIS xargs [-0prtx] [-E  eof-str] [-e[eof-str]] [--eof[=eof-str]] [--null] [-d  delimiter] [--delimiter delimiter] [-Ireplace-str] [-i[replace-str]] [--replace[=