shell脚本，awk在需要的行上打打印空行。

在使用flume中发现由于网络.HDFS等其它原因,使得经过Flume收集到HDFS上得日志有一些异常,表现为: 1.有未关闭的文件:以tmp(默认)结尾的文件.加入存到HDFS上得文件应该是gz压缩文件,以tmp为结尾的文件就无法使用: 2.有大小为0的文件,比如gz压缩文件大小为0,我们单独拿下这个文件解压发现是无限循环压缩的...这个也不能直接用来跑mapreduce 目前发现上述两种情况,其它还暂未发现.至于出现上述情况还没明确原因,且这两种情况都会影响hive.MapReduce的正常

一.awk工作原理 二.awk的用法 awk [option] ... 'program' FILE ...     1.program语句必须使用单引号!    2.多条program语句使用用大括号包含起来,可以并列,可以嵌套三.awk的常用参数 -F   #指定分隔符 示例:awk -F: '{print $1}' /etc/passwd     #输出/etc/passwd/文件中以:为分隔符的第一列 -v    #因为awk是一种语言编译器,能自己定义变量,同时也有自己的内置变量(与s

脚本:check_log.sh 主要功能:用于检查日志文件是否上传到ftp服务器,若未上传的,则发邮件报警 ------------------- #!/bin/bash #Auto check log files and notice by email #By colin #Revision on 2015-11-03 # #Useage: ./check_log.sh /home/upload/  # 10 * * * * /root/check_log.sh # #############

需求: 文本中第一列字符相等时,第二列相加 ,最后输出字符和最后的和(为了方便最后核对,都给了1) 文本如下: cat test.log abc 1 aaa 1 bbb 1 ddd 1 sss 1 iii 1 abc 1 sss 1 ddd 1 ddd 1 ddd 1 ddd 1 bbb 1 bbb 1 bbb 1 bbb 1 bbb 1 思路1: awk把第一列取出,然后排序sort,去重uniq,赋值给变量x,然后遍历x,从文本中grep,然后awk截取第二列并相加,这个思路需要多次awk,

原创文件,欢迎阅读,禁止转载. 例子中是把 finish 前一行的 "yes" 改成 "YES"有一个方法就是利用sed+awk一起来完成. [email protected]:~$ cat a.txt line 0 is yes line 1 is yes line 2 is yes line 3 is yes finish line this line is no this line is no #//用awk找到匹配行号算出要修改的行 [email prote

在某些场合,可能我们需要在脚本中生成一个临时文件,然后把该文件作为最终文件放入目录中.(可参考ntop.spec文件)这样有几个好处,其中之一就是临时文件不是唯一的,可以通过变量赋值,也可根据不同的判断生成不同的最终文件等等.一.cat和EOFcat命令是linux下的一个文本输出命令,通常是用于观看某个文件的内容的:EOF是“end of file”,表示文本结束符.结合这两个标识,即可避免使用多行echo命令的方式,并实现多行输出的结果.二.使用看例子是最快的熟悉方法: # cat <<

统计当前目录下cpp的行数命令行代码:find ./ -type f -name "*.cpp" -print0 | xargs -0 wc -l 使用如下 记录下,不仅限于cpp,可改后缀,方便使用.

#!/bin/bash source /etc/profile cd /mnt/workspace/weifeng-ui-pre/ npm i && npm run build rm -rf /mnt/workspace/weifeng-ui-pre/dockerfile/build cd /mnt/workspace/weifeng-ui-pre/dockerfile mv ../build . sudo docker build -t pre-weifeng-ui -f Dockerf

shell总结 shell脚本的本质是shell命令的有序集合 建立shell脚本的步骤:建立shell脚本,编写任意多行操作系统命令或shell命令,增加文件的执行权限,结束 shell变量 shell允许用户建立变量存储数据,但不支持数据类型.将任何赋给变量的值都解释为一串字符 shell有如下四种变量:用户自定义变量,位置变量,预定义变量,环境变量 用户自定义变量: 定义变量:COUNT=1 使用时前面加$:echo $COUNT 删除变量的赋值:unset COUNT 位置变量: $0