shell脚本处理大数据系列之(一)方法小结

2

3

4

for((i=0;i<5;i++));do

    cat query_ctx.20k | awk ‘NR%5==‘$i‘‘ |\

     wc -l  1> output_$i 2>err_$i &

 done

2

3

4

5

6

7

8

9

10

infile=$1

opdir=querys

opfile=res

s=`date "+%s"`

while read line

do

    imei=`./awk_c "$line"`

    no=`./tools/default $imei 1000`

    echo $line >> $opdir/$opfile-$no

done<$infile

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

output=hier_res

input=dbscan_res

prefix1=tmp-

prefix2=res-

for file in `ls  $input/res*`

do

    tmp=`echo ${file#*-}`

    ofile1=${prefix1}${tmp}

    ofile2=${prefix2}${tmp}

    if [ ! -f $output/$ofile1 -a ! -f $output/$ofile2 ];then

        touch $output/aaa_$tmp

        mv $output/aaa_$tmp $output/$ofile1

        if [ $? -eq 0 ]

        then

            echo "dealing "$file

            cat $file | python hcluster.py 1> $output/$ofile1 2> hier.err

            mv $output/$ofile1 $output/$ofile2

        fi

    fi

done