EPG文件数据清洗

批量文件检查 
for id in `seq 0 9`
do
./check2.sh epg_201506270$id.dat
done
for id in `seq 10 23`
do
./check2.sh epg_20150627$id.dat
done

for id in `seq 0  9`
do
./filter.sh epg_20150627$id.dat
done
 
for id in `seq 10 23`
do
./filter.sh epg_20150627$id.dat
done

剔除过长的字段

cat epg_2015062712.dat|awk -F ‘|‘ ‘{if(length($4)<=32)print $0}‘>>epg_2015062712.tmp
mv epg_2015062712.tmp epg_2015062712.dat