数学之路-分布式计算-linux/unix技术基础(2)

让进程在后台运行，执行命令后立即返回，可以继续执行其它命令，在命令行最后加上“&”

bash-4.2$ find ~ -name doc &
[1] 5453
bash-4.2$ /home/myhaspl/hadoop-2.4.1/share/doc
/home/myhaspl/pypy-2.3.1-src/site-packages/numpy/doc
/home/myhaspl/pypy-2.3.1-src/ctypes_configure/doc
/home/myhaspl/pypy-2.3.1-src/pypy/doc
/home/myhaspl/numpy/doc
/home/myhaspl/numpy/build/lib.linux-x86_64-2.7/numpy/doc
/home/myhaspl/numpy/numpy/doc
/home/myhaspl/numpy/numpy/numpy/doc
/home/myhaspl/numpy/numpy/numpy/f2py/doc

重定向

下面命令查找文件，并将结果列表重定向到一个文件中

bash-4.2$ find ~ -name doc >mydoclist &
[1] 5461
bash-4.2$ ls
hadoop-2.4.1 hadoop-2.4.1.tar.gz  numpy
hadoop-2.4.1-src.tar.gz  mydoclist      pypy-2.3.1-src
[1]+  完成                  find ~ -name doc > mydoclist
bash-4.2$ cat mydoclist
/home/myhaspl/hadoop-2.4.1/share/doc
/home/myhaspl/pypy-2.3.1-src/site-packages/numpy/doc
/home/myhaspl/pypy-2.3.1-src/ctypes_configure/doc
/home/myhaspl/pypy-2.3.1-src/pypy/doc
/home/myhaspl/numpy/doc
/home/myhaspl/numpy/build/lib.linux-x86_64-2.7/numpy/doc
/home/myhaspl/numpy/numpy/doc
/home/myhaspl/numpy/numpy/numpy/doc
/home/myhaspl/numpy/numpy/numpy/f2py/doc
/home/myhaspl/numpy/numpy/build/lib.linux-x86_64-2.7/numpy/doc
bash-4.2$

重定向增加到一个文件中,使用">>"

bash-4.2$ find ~ -name hadoop >>mydoclist &
[1] 5466

bash-4.2$ cat mydoclist
/home/myhaspl/hadoop-2.4.1/share/doc
/home/myhaspl/pypy-2.3.1-src/site-packages/numpy/doc
/home/myhaspl/pypy-2.3.1-src/ctypes_configure/doc
/home/myhaspl/pypy-2.3.1-src/pypy/doc
/home/myhaspl/numpy/doc
/home/myhaspl/numpy/build/lib.linux-x86_64-2.7/numpy/doc
/home/myhaspl/numpy/numpy/doc
/home/myhaspl/numpy/numpy/numpy/doc
/home/myhaspl/numpy/numpy/numpy/f2py/doc
/home/myhaspl/numpy/numpy/build/lib.linux-x86_64-2.7/numpy/doc
/home/myhaspl/hadoop-2.4.1/bin/hadoop
/home/myhaspl/hadoop-2.4.1/etc/hadoop
/home/myhaspl/hadoop-2.4.1/share/hadoop
/home/myhaspl/hadoop-2.4.1/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/classes/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/classes/org/apache/hadoop/lib/service/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/api/src-html/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/api/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/api/org/apache/hadoop/lib/service/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/src-html/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/src-html/org/apache/hadoop/lib/service/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/org/apache/hadoop/lib/service/hadoop

本博客所有内容是原创，如果转载请注明来源

http://blog.csdn.net/myhaspl/

使用管道“|"，将第1个命令的输出变为第2个命令的输入。

bash-4.2$ find ~ -name hadoop|grep hdfs
/home/myhaspl/hadoop-2.4.1/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/classes/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/classes/org/apache/hadoop/lib/service/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/src-html/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/src-html/org/apache/hadoop/lib/service/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/org/apache/hadoop
/home/myhaspl/hadoop-2.4.1/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/org/apache/hadoop/lib/service/hadoop

时间： 2024-11-05 18:46:15

数学之路-分布式计算-linux/unix技术基础(2)的相关文章

数学之路-分布式计算-linux/unix技术基础(4)

pwd显示当前文件夹,ls查看文件夹下的文件,cd 进入文件夹 -bash-4.2$ pwd /home/myhaspl-bash-4.2$ lsabc        hadoop-2.4.1             mydoclist  mypylst   mypylsts  numpyabd        hadoop-2.4.1-src.tar.gz  myl2       mypylst1  myrun     pypy-2.3.1-srcerror.log  hadoop-2.4.1.

数学之路-分布式计算-linux/unix技术基础(1)

以centos为例 1.当前用户 $表示普通用户状态,#表示超级用户状态 -bash-4.2$ -bash-4.2$ su密码:[[email protected] myhaspl]# 2.命令基础 命令名 [命令选项] [命令参数] 系统信息命令 说明# arch 显示机器的处理器架构(1)   [man]# cal 2007 显示2007年的日历表   [man]# cat /proc/cpuinfo 显示CPU info的信息   [man]# cat /proc/interrupts 显

数学之路-分布式计算-linux/unix技术基础(3)

目录: ~表示当前用户的主目录 .表示当前目录 ..表示上级目录 链接文件 可用不同的文件名引用同一个数据或程序,为硬链接 在同一物理文件系统中,创建硬链接 -bash-4.2$ find ~ -name "*.py">mypylist ls -la 表示以长格式的形式查看当前目录下所有文件,包括隐藏文件,各字段含义如下: 7个段分别是: 文件属性:drwxr-xr-x 文件硬链接数或目录子目录数:3 (一个空目录的该字段是2,表示该目录下有两个子目录,因为每一个目录都有一个指向

数学之路-分布式计算-linux/unix技术基础(5)

shell的命令行参数 -bash-4.2$ cat test1.sh#!/bin/shecho "$0  "echo "$1  "echo "$2  " -bash-4.2$ ./test1.sh a b c./test1.sh  a  b  -bash-4.2$ 本博客所有内容是原创,如果转载请注明来源 http://blog.csdn.net/myhaspl/ 显示所有命令行参数 -bash-4.2$ cat test1.sh#!/bin/

数学思想方法-分布式计算-linux/unix技术基础(3)

夹: ~表示当前用户的主文件夹 .它代表了当前文件夹 ..它代表的父文件夹 链接文件 使用不同的文件名指的是相同的数据或程序.硬链接 在相同的物理文件系统,创建一个硬链接 -bash-4.2$ find ~ -name "*.py">mypylist ls -la 表示以长格式的形式查看当前文件夹下全部文件,包含隐藏文件,各字段含义例如以下: 7个段各自是: 文件属性:drwxr-xr-x 文件硬链接数或文件夹子文件夹数:3 (一个空文件夹的该字段是2.表示该文件夹下有两个子文件

数学之路-分布式计算-disco(1)

Disco是一个轻量级的.开源的基于mapreduce模型计算的框架,Disco强大且易于使用,这都要归功于python,Disco分发且复制数据,可高效安排作业.Disco甚至拥有能对数以亿计的数据点进行索引以及实时查询的工具.Disco于2008年在Nokia研究中心诞生,解决了在大量数据处理方面的挑战. Disco支持大数据集的并行计算,在不可靠的计算机集群中,Disco是一个完美的分析和处理大数据的工具,无需考虑因为分布式带来的技术困难,比如通信协议.负载均衡.锁.作业规划.故障容忍.

数学之路-分布式计算-storm(3)

5.安装zookeeper 本博客全部内容是原创.假设转载请注明来源 http://blog.csdn.net/myhaspl/ [email protected]:~/jzmq-master$cd .. [email protected]:~$wget http://apache.fayea.com/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz [email protected]:~$tar -xzvf zookeeper-3.3.6.tar

数学之路-分布式计算-disco(2)

Disco旨在较大的应用程序轻松集成,比如web服务,那样要求计算的任务可以委托给独立于核心应用程序的集群去执行.Disco提供了一个非常紧凑的Python API--通常只需要两个函数,以及一个rest样式的Web API的工作控制和简单易用的状态监控Web界面.此外,Disco还拥有了一个简单的工作协议,允许作业以任何语言编写,实现协议. Disco对LINUX商业服务器集群非常友好,新节点可以通过单击Web界面动态地添加到系统.如果服务器崩溃,能够自动将失败的任务重新分配,这样就没有任何中

数学之路-分布式计算-disco(4)

第一个参数iter是一个迭代器,涉及被map函数产生的键和值,它们是reduce实例. 在本例中,单词随机被委托给不同的reduce实例,然后,要单词相同,处理它的reduce也相同,可确保最终合计是正确的. 第二个参数params与map函数中一致,在此,仅简单使用disco.util.kvgroup()来提取每个单词统计计数,累计计数,yield(产生)结果. 运行作业 下面开始运行作业,可使用大量参数定制作业,但通常来说,对于简单的任务来说 ,仅使用其中3个即可.除了启动作业之外,我们还需