source: branches/libIGCM_MPI_OpenMP/libIGCM_post/check_expe_files_size.sh @ 559

#!/bin/sh
##set -xv
# stephane.senesi 'at' meteo.fr, CNRM-GAME/GMGEC, mars-avril 2010
doc="\nScript d'analyse des fichiers d'un repertoire pour y trouver des formes \n\
de nom de fichier avec dates, les dates, et des sequences de dates. \n\
On synthetise la 
\n\n\t Syntaxe : $(basename $0) [-d] [-v/q] [-R] [-Z] dir [-S subdir] [-I maxyear]\n\n\
L'option -R permet d'inclure les sous-repertoires\n\
L'option -Z permet de verifier que les tailles des fichiers mensuels sont identiques par mois\n\
dir permet de decrire le repertoire selectionne : . par defaut \n\
-S subdir permet de decrire les sous-repertoires selectionnes : \*/Output par exemple\n\
-I maxyear ne traite que les dates inferieures ou egales a maxyear. Toutes les dates par defaut\n\
Les formes de dates identifiables sont illustrees dans l'exemple obtenu par \n\
    \t$(basename $0) -exemple\n\
la valeur retournee est le nombre de formes de noms de fichier qui presentent des trous\n
Si l option -Z est precisee, le code retour y ajoute le nombre de mois avec tailles differentes.\n
-q pour n avoir aucun message / -v pour avoir les patterns et erreurs  a  l ecran \n
-d pour activer l echo des commandes \n
Exemples :\n
check_expe_files_size.sh SRF/Output/MO # verification des noms du repertoire SRF/Output/MO\n
check_expe_files_size.sh -Z SRF/Output/MO # verification des noms et des tailles des fichiers du repertoire\n
check_expe_files_size.sh -R -S \"*/Output\" # verification des noms des fichiers pour toute une simulation IPSL\n
check_expe_files_size.sh -Z -R -S \"*/Output\" # verification des noms et des tailles des fichiers pour toute une simulation IPSL\n
check_expe_files_size.sh -I 1949 -R -S \"*/Output\" # verification jusuque a l annee 1949 incluse des noms des fichiers pour une simulation IPSL\n
"
#La presence d'une annee+mois impose la presence de l'annee entiere
[ $# -eq 0  ]  && echo -e $doc && exit -1

debugflag=0
quiet=0
exemple=0
recursion=0
examsize=0
dir=.
subdir=
maxyear=9999
maxyearp1=9999

#---------------------------------------------
while [ $# -ne 0 ]
do
        case $1 in
        -h|--help|-help)
                        echo -e $doc 
                        exit -1 ;;
        -e|-exemple)
                    exemple=1
# exemple de formes de dates reconnues par ce script. La liste ci-dessous est aussi 
# utilisee lors des tests du script
                    cat<<-EOF > /tmp/$$.ldir
MONEXP_20000101_20000131_1M_histmth.nc
MONEXP_20000101_20000131_1M_histmthNMC.nc
MONEXP_20000201_20000228_1M_histmth.nc
MONEXP_20000201_20000228_1M_histmthNMC.nc
MONEXP_20000301_20000331_1M_histmth.nc
MONEXP_20000301_20000331_1M_histmthNMC.nc
MONEXP_20000401_20000430_1M_histmth.nc
MONEXP_20000401_20000430_1M_histmthNMC.nc
MONEXP_20000501_20000531_1M_histmth.nc
MONEXP_20000501_20000531_1M_histmthNMC.nc
MONEXP_20000601_20000630_1M_histmth.nc
MONEXP_20000601_20000630_1M_histmthNMC.nc
MONEXP_20000701_20000731_1M_histmth.nc
MONEXP_20000701_20000731_1M_histmthNMC.nc
MONEXP_20000801_20000831_1M_histmth.nc
MONEXP_20000801_20000831_1M_histmthNMC.nc
MONEXP_20000901_20000930_1M_histmth.nc
MONEXP_20000901_20000930_1M_histmthNMC.nc
MONEXP_20001001_20001031_1M_histmth.nc
MONEXP_20001001_20001031_1M_histmthNMC.nc
MONEXP_20001101_20001130_1M_histmthNMC.nc
MONEXP_20001201_20001231_1M_histmth.nc
MONEXP_20001201_20001231_1M_histmthNMC.nc

EOF
                    echo -e "\nExample : with this directory content\n"
                    cat  /tmp/$$.ldir
                    echo -e "\n\nYou would get :\n\n"
                    break;;
        -d|--debug)
                set -x
                debugflag=1
                shift ;;
        -q|--quiet)
                   quiet=1
                   shift ;;
        -v|--verbose)
                    quiet=0
                    shift ;;
        -R|-r|--r)
                  recursion=1 
                  shift ;;
        -Z|-z|--z)
                  examsize=1
                  shift ;;
        -S|-s|--s)
                  subdir=$2
                  shift 2 ;;
        -I|-i|--i)
                  maxyear=$2
                  (( maxyearp1 = maxyear + 1 ))
                  shift 2 ;;
        *)
          dir=$1
          break ;;
        esac
done

[ $quiet = 0 ] && echo quiet : $quiet recursion : $recursion - examsize : $examsize - dir - $dir -- subdir $subdir-- maxyearp1 : $maxyearp1
if [ $exemple = 0 ] ; then
[ ! -d $dir ] && echo "verif_expe_files : missing directory $dir "&& exit 
( cd $dir
    if [ $recursion = O ] ; then ls > /tmp/$$.ldir ; [ $examsize = 1 ] && ls -l > /tmp/$$.size # Cas "normal" : on liste les entrees du repertoire et ls long
    else find ./$subdir  -type f > /tmp/$$.ldir ; [ $examsize = 1 ] && find ./$subdir -type f -exec ls -l {} \; >/tmp/$$.size # Cas de listage recursif des fichiers 
    fi
)
fi
###head /tmp/$$.ldir ; head /tmp/$$.size ; rm /tmp/$$*
# For debugging purpose ...
#head -n 2 /tmp/$$.ldir > /tmp/$$.aa ; mv /tmp/$$.aa /tmp/$$.ldir
#set -x
# On remplace les / en ~ dans la liste des fichiers
cat /tmp/$$.ldir | tr "/" "~" > /tmp/$$.aa ; mv /tmp/$$.aa /tmp/$$.ldir 
[ -f /tmp/$$.size ] && cat /tmp/$$.size | tr "/" "~" > /tmp/$$.aa && mv /tmp/$$.aa /tmp/$$.size 
# On deduit de la liste des fichiers des patterns de annee+mois, annee, intervalles de date ...
sed -r \
    -e 's/[0-2][0-9]{3}[01][0-9]/YYMM/g' \
    -e 's/YYMM01_YYMM(28|29|30|31)/YYmmdd_YYmmdd/g' \
                                           /tmp/$$.ldir | sort -u > /tmp/$$.lpat
# Ci-dessus, il faudrait compter les nb d'occ de chqaue pattern pour signaler et 
# ne pas retenir ceux qui n'apparaissent qu'une fois (sauf les decennaux ?)
# On ote les patterns sans date du tout
sed -i -e '/YY/!d' /tmp/$$.lpat
# On rend compte des patterns identifies
#echo "Formes de fichier identifiees: " ; awk '{printf "\t%s\n",$1}' /tmp/$$.lpat 
# Une fonction pour associer un nom de fichier a chaque pattern : on remplace les / par des ~
tmpfic (){ 
echo -n "/tmp/$$." ; echo $1 | tr "/" "_"
}
# Pour chaque pattern, on liste les dates pertinentes: annees de debut et fin pour les 
# intervalles d'annees, ou annee ou annee+mois pour les autres
cat /dev/null > /tmp/$$.dates
#set -x
while read pattern ; do
    if [ $(echo $pattern | grep "YYmmdd_YYmmdd") ] ; then
        # On transforme le pattern pour mettre une sequences  
        # de capture des annees de debut et fin d'intervalle
        p2=$(echo $pattern | sed -e 's/YYmmdd_YYmmdd/([0-2][0-9]{3}[01][0-9])01_[0-2][0-9]{3}[01][0-9](28|29|30|31)/g' )

       # On balaye le repertoire avec le(s) pattern(s) transforme(s) pour capturer les annees
        grep -E $p2 /tmp/$$.ldir | sed -r -e "s/$p2/\1/g"  >> /tmp/$$.$pattern.tmp
    fi
    sort -n -u /tmp/$$.$pattern.tmp > /tmp/$$.$pattern.list
    # Si la liste des date (annees ou annes+mois) pour le pattern est 
    # de taille > 1, on l'integre a la liste generale des dates
    # en supprimant au prealable les dates isolees
    # ... ca reste a faire
    cat /tmp/$$.$pattern.list | cut -c 1-4 >> /tmp/$$.dates
done < /tmp/$$.lpat
# Fonction pour completer et rendre sequentielle une liste d'annees (une par ligne)
force_sequence (){
    awk '{
        if (NR==1) {avant=$1; print $1}
        else { for (i=avant+1 ; i<=$1 ; i++) print i}}'
}
sort -u /tmp/$$.dates > /tmp/$$.toutes_dates
# On enleve les trous dans la liste des dates
force_sequence < /tmp/$$.toutes_dates > /tmp/$$.tmp ; sort -u /tmp/$$.tmp > /tmp/$$.toutes_dates
# Fonction d'analyse de sequences de nombres (annees, ou annees+mois
# On transforme les series continues a a+1 a+2....b (a raison d'un par 
# ligne) en : "a-b"
sequence (){
    awk -v pas=${1:-1} '{
        if (NR==1) {avant=$1;nb=1; printf "%s",$1}
        else { 
          suivant=avant+pas
          # Pour les nombres sur 6 chiffres, on suppose que c est du YYYMM 
          # et on gere le passage de decembre a janvier
          if ((length(avant)==6) && (substr(avant,5,2)=="12")) 
            { avant4=substr(avant,1,4) ; suivant=sprintf("%4d01",avant4+1)}
          if ($1 > suivant) {
            if (nb>1) printf "-%s",avant
            nb=1 ; printf ", %s",$1}
          else { nb=nb+1 }
          avant=$1  }}
      END { if (nb >1) printf "-%s\n",avant ; else print ""} ' 
}
[ $quiet = 0 ] && echo $(wc -l /tmp/$$.ldir | cut -d \  -f 1) files proceeded.
[ $quiet = 0 ] && echo -n "Years occurring : " && sequence 1 < /tmp/$$.toutes_dates 
# on ne garde que les annees inferieures a maxyear
sed "/$maxyearp1/"',$d' </tmp/$$.toutes_dates >/tmp/$$.toutes_dates_maxyear
[ $quiet = 0 ] && echo -n "Years tested : " && sequence 1 < /tmp/$$.toutes_dates_maxyear 
mv /tmp/$$.toutes_dates_maxyear /tmp/$$.toutes_dates
# On liste tous les mois qui doivent etre presents (au motif qu'une annee est presente)
> /tmp/$$.toutes_dates_et_mois
while read an ; do
    i=1
    while [ $i -le 12 ] ; do
        printf "%s%02d\n" ${an} $i  >> /tmp/$$.toutes_dates_et_mois
        i=$(( i + 1 ))
    done
done < /tmp/$$.toutes_dates
# Pour chaque pattern, on analyse si toutes les dates sont presentes en bon nombre (decennie, an, an+mois)
touch /tmp/$$.synthese
[ $quiet = 0 ] && echo "File name patterns and holes (if any) :"
#set -x
while read pattern ; do
    [ `echo $pattern | grep -E "(YYmmdd_YYmmdd)"` ]  && pas=1 && \
        join -v 1 /tmp/$$.toutes_dates_et_mois  /tmp/$$.$pattern.list > /tmp/$$.$pattern.manques 
    sequence $pas < /tmp/$$.$pattern.manques > /tmp/$$.$pattern.synthese 
    truepattern=$(echo $pattern | tr "~" "/")
    [ $quiet = 0 ] && printf "%80s : " $truepattern  && cat /tmp/$$.$pattern.synthese
    cat /tmp/$$.$pattern.synthese >> /tmp/$$.synthese
done < /tmp/$$.lpat

rep=$(wc -w /tmp/$$.synthese | tail -1 | cut -d \  -f 1)
if [ $examsize = 0 ] ; then rm /tmp/$$* ; exit $rep ; fi

# taille des fichiers 
cat /dev/null > /tmp/$$.dates
#set -x
while read pattern ; do
    i=1
    while [ $i -le 12 ] ; do
        mois=$(printf "%02d\n"  $i)
        if [ $(echo $pattern | grep "YYmmdd_YYmmdd") ] ; then
           # On transforme le pattern pour mettre une sequences  
           # avec le mois courant
           px=$(echo $pattern | sed -e "s/YYmmdd_YYmmdd/([0-2][0-9]{3})${mois}01_[0-2][0-9]{3}${mois}(28|29|30|31)/g" )

           # On balaye le repertoire avec le(s) pattern(s) transforme(s) pour capturer les tailles des fichiers de ce mois
           grep -E $px /tmp/$$.size | awk '{print $5}' | sort -u >/tmp/$$.$pattern.size_${mois}
           # On garde les infos s il n y a pas une taille unique
           for size in $(cat /tmp/$$.$pattern.size_${mois})  ; do
               grep -E $px /tmp/$$.size | grep " "${size}" " | tr "~" "/" >>/tmp/$$.$pattern.files_${mois}.${size}
           done 
       fi
       i=$(( i + 1 ))
    done 
done < /tmp/$$.lpat

[ $quiet = 0 ] && echo
[ $quiet = 0 ] && echo  "Size verification per month (if different) :"
# Pour chaque pattern, on liste la taille des fichiers de chaque mois
touch /tmp/$$.synthese_size
while read pattern ; do
    truepattern=$(echo $pattern | tr "~" "/")
    [ $quiet = 0 ] && printf "%80s : " $truepattern 
    if [ `echo $pattern | grep -E "(YYmmdd_YYmmdd)"` ]  ; then
        RESULT=""
        for i in 1 2 3 4 5 6 7 8 9 10 11 12 ; do
            mois=$(printf "%02d\n"  $i)
            if [ $(wc -l /tmp/$$.$pattern.size_${mois} |  cut -d " " -f 1) = 1 ] ; then 
                RESULT="$RESULT " 
            else 
                # special case for february , we accept 2 different sizes for february for leap year
                if [[ $i == 2 && $(wc -l /tmp/$$.$pattern.size_${mois} |  cut -d " " -f 1) = 2 ]] ; then
                   # est ce qu il y a des mois de 29 jours? si non souci reel
                   if [ $( grep 0229 /tmp/$$.$pattern.files_02.* 1>/dev/null 2>&1 ) ] ; then
                       RESULT="$RESULT \033[1;31m[$mois]\033[m"
                       cat  /tmp/$$.$pattern.size_${mois} >> /tmp/$$.synthese_size
                   else
                       RESULT="$RESULT "
                   fi
                else
                   RESULT="$RESULT \033[1;31m[$mois]\033[m" 
                   cat  /tmp/$$.$pattern.size_${mois} >> /tmp/$$.synthese_size
                fi
            fi
        done 
        [ $quiet = 0 ] && echo -e $RESULT
    fi
done < /tmp/$$.lpat

# affichage des details
while read pattern ; do
    first=0
    i=1
    truepattern=$(echo $pattern | tr "~" "/")
    while [ $i -le 12 ] ; do
        mois=$(printf "%02d\n"  $i)
        if [ $(echo $pattern | grep "YYmmdd_YYmmdd") ] ; then
           # si on a plus de 2 tailles de fichiers pour ce mois, on liste le nombre de fichiers par taille et les 3 premiers
           # cas special pour fevrier qui accepte 2 tailles differentes si 1 pour les 28 et l autre pour les 29
           if [ $(wc -l /tmp/$$.$pattern.size_${mois} | cut -d " " -f 1) != 1 ] ; then
               if  [[ $i == 2 && $(wc -l /tmp/$$.$pattern.size_${mois} |  cut -d " " -f 1) == 2 ]] ; then
                   # est ce qu il y a des mois de 29 jours? sinon souci reel
                   if [ $( grep 0229 /tmp/$$.$pattern.files_02* 1>/dev/null 2>&1 ) ] ; then 
                       if [[ ${first} == 0 ]] ; then printf "Details %73s : \n" $truepattern ; first=1 ; fi
                       echo mois : ${mois}
                       for size in $( cat /tmp/$$.$pattern.size_${mois} ) ; do
                           head -1 /tmp/$$.$pattern.files_${mois}.${size}
                       done
                   fi
               else
                   if [[ ${first} == 0 ]] ; then printf "Details %73s : \n" $truepattern ; first=1 ; fi
                   echo mois : ${mois} 
                   for size in $( cat /tmp/$$.$pattern.size_${mois} ) ; do
                       head -1 /tmp/$$.$pattern.files_${mois}.${size}
                   done
               fi
           fi
       fi
       i=$(( i + 1 ))
    done
done < /tmp/$$.lpat


rep=$(wc -w /tmp/$$.synthese /tmp/$$.synthese_size | tail -1 | sed -e 's/total//' -e 's/ //g' )

# reste  a analyser par annee en sus de par pattern, pour presenter le plus clair
# Penser a forunir l'option d'imposer des patterns et des annees en entree
[ $debugflag = 0 ] && rm -f /tmp/$$.* /tmp/$$.ldir
exit $rep
# Changes 
# - 20 april 2010 : add handling of pattern year1-year2, which is a generalization of decades
# - janvier 2011 : suppression des caracteres accentues
#                  mise en place pour prefix de type libIGCM / IPSL
#                  ajout de la verification des tailles des fichiers mensuels
#                  ajout des options -d -q/-v -R -S subdir -I maxyear