shell 并发

1.并发->服务器端执行ip -a命令并返回结果 # cat ip_only 192.168.36.149 192.168.36.144 #!/bin/bash Usage:return the server command 'ip a' Author:chengyanli Date:2016/08/18 thead_num=2     # 自定义并发数,根据自身服务器性能或应用调整大小, 开始千万别定义太大,避免管理机宕机 mkfifo $tmp_fifo_file     #创建临时管道文件

    最初业务需求:将文件从ftp下到本地并上传到hdfs,其中ftp到本地和本地到hdfs皆有文件完整性校验,ftp到本地的逻辑由于和业务耦合度较高,因此本文不再叙述,这里仅说一下从本地到hdfs的并发脚本相关说明及代码实现. 测试环境: RHEL6.4 x86_64 / Hadoop 2.4.0.2.1.5.0-695 部分需求说明: 1.需要提供一个文件列表,以文件的形式,每行一个文件,所有文件有一个共同的父目录,且文件是有效存在的,当然,不存在脚本也会判断并记录的. 2.需要提供一个h

1 #!/bin/bash 2 3 SEND_THREAD_NUM=13 #设置进程数. 4 tmp_fifofile="/tmp/$$.fifo" # 脚本运行的当前进程ID号作为文件名 5 mkfifo "$tmp_fifofile" # 新建一个随机fifo管道文件 6 exec 6<>"$tmp_fifofile" # 定义文件描述符6指向这个fifo管道文件 7 rm "$tmp_fifofile" 8

    遇到ftp到多台机器的问题,等待上一个执行完再执行下一个,时间就会比较长,如果能够同时向多台机器发送文件,就可以达到节约时间的目的.   语法结构 #!/bin/bash -- 循环(for 或者 while) {    -- }  & wait   --   举个网上找的例子: #!/bin/bash mkfifo fd2 exec 9<>fd2 echo -n -e "1\n1\n1\n" 1>&9 for((i=0;i<20;i++

原文地址:shell实例手册  作者:没头脑的土豆 shell实例手册 0说明{ 手册制作: 雪松 更新日期: 2013-12-06 欢迎系统运维加入Q群: 198173206 请使用"notepad++"打开此文档,"alt+0"将函数折叠后方便查阅 请勿删除信息,转载请说明出处,抵制不道德行为. 错误在所难免,还望指正! # shell实例手册最新下载地址: http://hi.baidu.com/quanzhou722/item/f4a4f3c9eb37f02

摘自雪松同学 0说明{ # shell实例手册最新下载地址: http://hi.baidu.com/quanzhou722/item/f4a4f3c9eb37f02d46d5c0d9 # python实例手册下载地址: http://hi.baidu.com/quanzhou722/item/cf4471f8e23d3149932af2a7 # LazyManage系统批量管理软件下载[shell]: http://hi.baidu.com/quanzhou722/item/4ccf7e88a

2年前在蓝汛的时候管理的一个CDN节点, 因某些特殊原因, 没有采用蓝汛标准的系统管理方法... 为了解决日志收集的问题, 自己写了一个shell并发的小脚本.... 有时日志传输会出现一些问题, 会产生一些日志堆积,  有时上千个~...单进程传输效率实在太底下了..就写了这么一个脚本... 主要并发是, 通过判断要传的目录下有多少个文件, 当前运行的进程是多少个, 达到上限就等待...不足上限就继续传... #!/bin/bash # Chinacache CPIS-OPT # $Id: u

shell实例手册 1文件{ touch file              # 创建空白文件rm -rf 目录名           # 不提示删除非空目录(-r:递归删除 -f强制)dos2unix                # windows文本转linux文本  unix2dos                # linux文本转windows文本enca filename           # 查看编码  安装 yum install -y enca md5sum        

1 文件{ ls -rtl # 按时间倒叙列出所有目录和文件 ll -rt touch file # 创建空白文件 rm -rf 目录名 # 不提示删除非空目录(-r:递归删除 -f强制) dos2unix # windows文本转linux文本 unix2dos # linux文本转windows文本 enca filename # 查看编码 安装 yum install -y enca md5sum # 查看md5值 ln 源文件 目标文件 # 硬链接 ln -s 源文件 目标文件 # 符号