备忘几个有用的shell脚本

（1）在shell下，操作hadoop目录，批量命名或删除，最终的命令sed的正则贪婪替换，看下面的脚本：

Java代码  

1. # 遍历 hadoop 目录下的文件名
2. for line in `hadoop fs -ls /user/d1 | gawk ‘{ print $8 }‘ `
3. do
4. #echo $line;
5. #将2级目录下的文件，移动到上一级
6. #hadoop fs -mv $line"/tmp_search_keywords_cate_stat/*"  $line ;
7. #删除2级目录
8. #hadoop fs   -rm -r  $line"/tmp_search_keywords_cate_stat"
9. for line2 in `hadoop fs -ls $line  | gawk ‘{ print $8 }‘   `
10. do
11. echo $line2 ;
12. #将/tmp/a/b 使用sed变成/tmp/a_b 注意下面的正则式子
13. newname=`echo $line2 | sed -e ‘s/\(.*\)\//\1_/‘ ` ;
14. #echo $newname;
15. hadoop fs -mv $line2   $newname
16. done
17. done

# 遍历 hadoop 目录下的文件名

for line in `hadoop fs -ls /user/d1 | gawk '{ print $8 }' `
do

#echo $line;   

#将2级目录下的文件，移动到上一级
#hadoop fs -mv $line"/tmp_search_keywords_cate_stat/*"  $line ;
#删除2级目录
#hadoop fs   -rm -r  $line"/tmp_search_keywords_cate_stat"

for line2 in `hadoop fs -ls $line  | gawk '{ print $8 }'   `

do

echo $line2 ;

#将/tmp/a/b 使用sed变成/tmp/a_b 注意下面的正则式子

newname=`echo $line2 | sed -e 's/\(.*\)\//\1_/' ` ;

#echo $newname;

hadoop fs -mv $line2   $newname
done
done

Java代码  

1. [search@fse4 solr]$ cat start.sh
2. #下面的代码，将当前启动的上次启动的进程id记录下来
3. #方便关闭时，kill掉
4. #$$记录当前的进程id，$!记录上次启动的进程id
5. #nohup 是后台挂起线程方式运行，并将日志文件输出到nohup.out里面，进行监控
6. nohup java -jar start.jar  &> nohup.out &  echo $! >pid&
7. #echo $$ > pid
8. [search@fse4 solr]$

[[email protected] solr]$ cat start.sh 

#下面的代码，将当前启动的上次启动的进程id记录下来
#方便关闭时，kill掉

#$$记录当前的进程id，$!记录上次启动的进程id
#nohup 是后台挂起线程方式运行，并将日志文件输出到nohup.out里面，进行监控
nohup java -jar start.jar  &> nohup.out &  echo $! >pid&

#echo $$ > pid
[[email protected] solr]$ 

Java代码  

1. [search@fsedump01sand tempshell]$ date -d ‘2015-12-01‘ +%s
2. 1448899200