#!/bin/sh
##set -xv
# stephane.senesi 'at' meteo.fr, CNRM-GAME/GMGEC, mars-avril 2010
doc="\nScript d'analyse d'une liste de fichiers pour y trouver des formes \n\
de nom de fichier avec dates, les dates, et des sequences de dates. \n\
\n\n\t Syntaxe : $(basename $0) [-d] [-v/q]  file_liste \n\n\
-q pour n avoir aucun message / -v pour avoir les patterns et erreurs  a  l ecran \n
-d pour activer l echo des commandes \n
On separe par simulation\n
Exemple :\n
$(basename $0)  file_list # verification des noms de la liste contenue dans file_list\n
"
#La presence d'une annee+mois impose la presence de l'annee entiere
[ $# -eq 0  ]  && echo -e $doc && exit -1

debugflag=0
quiet=0

#---------------------------------------------
while [ $# -ne 0 ]
do
        case $1 in
        -h|--help|-help)
                        echo -e $doc 
                        exit -1 ;;
        -d|--debug)
                set -x
                debugflag=1
                shift ;;
        -q|--quiet)
                   quiet=1
                   shift ;;
        -v|--verbose)
                    quiet=0
                    shift ;;
        *)
          liste=$1
          break ;;
        esac
done

## on separe les simus :
for simu in $( awk -F/ '$4 != "dods" && /SORTIES_CPL_IPSL/ {print $6} $4 != "dods" && /IGCM_OUT/ {print $9} ' $liste | sort -u ) ; do

grep /$simu/ $liste > /tmp/$$.ldir

echo $simu

###head /tmp/$$.ldir ; head /tmp/$$.size ; rm /tmp/$$*
# For debugging purpose ...
#head -n 2 /tmp/$$.ldir > /tmp/$$.aa ; mv /tmp/$$.aa /tmp/$$.ldir
#set -x
# On remplace les / en ~ dans la liste des fichiers
cat /tmp/$$.ldir | tr "/" "~" > /tmp/$$.aa ; mv /tmp/$$.aa /tmp/$$.ldir 
# On deduit de la liste des fichiers des patterns de annee+mois, annee, intervalles de date ...
sed -r \
    -e 's/[0-2][0-9]{3}[01][0-9]/YYMM/g' \
    -e 's/YYMM01_YYMM(28|29|30|31)/YYmmdd_YYmmdd/g' \
    -e 's/YYMM(28|29|30|31)/YYmmdd/g' \
                                           /tmp/$$.ldir | sort -u > /tmp/$$.lpat
# Ci-dessus, il faudrait compter les nb d'occ de chqaue pattern pour signaler et 
# ne pas retenir ceux qui n'apparaissent qu'une fois (sauf les decennaux ?)
# On ote les patterns sans date du tout
sed -i -e '/YY/!d' /tmp/$$.lpat
# On rend compte des patterns identifies
#echo "Formes de fichier identifiees: " ; awk '{printf "\t%s\n",$1}' /tmp/$$.lpat 
# Une fonction pour associer un nom de fichier a chaque pattern : on remplace les / par des ~
tmpfic (){ 
echo -n "/tmp/$$." ; echo $1 | tr "/" "_"
}
# Pour chaque pattern, on liste les dates pertinentes: annees de debut et fin pour les 
# intervalles d'annees, ou annee ou annee+mois pour les autres
cat /dev/null > /tmp/$$.dates
#set -x
while read pattern ; do
    if [ $(echo $pattern | grep "YYmmdd_YYmmdd") ] ; then
        # On transforme le pattern pour mettre une sequences  
        # de capture des annees de debut et fin d'intervalle
        p2=$(echo $pattern | sed -e 's/YYmmdd_YYmmdd/([0-2][0-9]{3}[01][0-9])01_[0-2][0-9]{3}[01][0-9](28|29|30|31)/g' )

       # On balaye le repertoire avec le(s) pattern(s) transforme(s) pour capturer les annees
        grep -E $p2 /tmp/$$.ldir | sed -r -e "s/$p2/\1/g"  >> /tmp/$$.$pattern.tmp
    else
        p2=$(echo $pattern | sed  -e 's/YYmmdd/([0-2][0-9]{3}[01][0-9])(28|29|30|31)/g' )
       # On balaye le repertoire avec le(s) pattern(s) transforme(s) pour capturer les annees
        grep -E "$p2" /tmp/$$.ldir | sed -r -e "s/$p2/\1/g"  >> /tmp/$$.$pattern.tmp
    fi
    sort -n -u /tmp/$$.$pattern.tmp > /tmp/$$.$pattern.list
    # Si la liste des date (annees ou annes+mois) pour le pattern est 
    # de taille > 1, on l'integre a la liste generale des dates
    # en supprimant au prealable les dates isolees
    # ... ca reste a faire
    cat /tmp/$$.$pattern.list | cut -c 1-4 >> /tmp/$$.dates
done < /tmp/$$.lpat
# Fonction pour completer et rendre sequentielle une liste d'annees (une par ligne)
force_sequence (){
    awk '{
        if (NR==1) {avant=$1; print $1}
        else { for (i=avant+1 ; i<=$1 ; i++) print i}}'
}
sort -u /tmp/$$.dates > /tmp/$$.toutes_dates
# On enleve les trous dans la liste des dates
force_sequence < /tmp/$$.toutes_dates > /tmp/$$.tmp ; sort -u /tmp/$$.tmp > /tmp/$$.toutes_dates
# Fonction d'analyse de sequences de nombres (annees, ou annees+mois
# On transforme les series continues a a+1 a+2....b (a raison d'un par 
# ligne) en : "a-b"
sequence (){
    awk -v pas=${1:-1} '{
        if (NR==1) {avant=$1;nb=1; printf "%s",$1}
        else { 
          suivant=avant+pas
          # Pour les nombres sur 6 chiffres, on suppose que c est du YYYMM 
          # et on gere le passage de decembre a janvier
          if ((length(avant)==6) && (substr(avant,5,2)=="12")) 
            { avant4=substr(avant,1,4) ; suivant=sprintf("%4d01",avant4+1)}
          if ($1 > suivant) {
            if (nb>1) printf "-%s",avant
            nb=1 ; printf ", %s",$1}
          else { nb=nb+1 }
          avant=$1  }}
      END { if (nb >1) printf "-%s\n",avant ; else print ""} ' 
}
[ $quiet = 0 ] && echo $(wc -l /tmp/$$.ldir | cut -d \  -f 1) files proceeded.
[ $quiet = 0 ] && echo -n "Years occurring : " && sequence 1 < /tmp/$$.toutes_dates 
# On liste tous les mois qui doivent etre presents (au motif qu'une annee est presente)
> /tmp/$$.toutes_dates_et_mois
while read an ; do
    i=1
    while [ $i -le 12 ] ; do
        printf "%s%02d\n" ${an} $i  >> /tmp/$$.toutes_dates_et_mois
        i=$(( i + 1 ))
    done
done < /tmp/$$.toutes_dates
# Pour chaque pattern, on analyse si toutes les dates sont presentes en bon nombre (decennie, an, an+mois)
touch /tmp/$$.synthese
[ $quiet = 0 ] && echo "File name patterns and holes (if any) :"
#set -x
while read pattern ; do
    [ `echo $pattern | grep -E "(YYmmdd_YYmmdd|YYmmdd)"` ]  && pas=1 && \
        join -v 1 /tmp/$$.toutes_dates_et_mois  /tmp/$$.$pattern.list > /tmp/$$.$pattern.manques 
    sequence $pas < /tmp/$$.$pattern.list > /tmp/$$.$pattern.synthese 
    truepattern=$(echo $pattern | tr "~" "/")
    [ $quiet = 0 ] && printf "%80s : " $truepattern  && cat /tmp/$$.$pattern.synthese
    cat /tmp/$$.$pattern.synthese >> /tmp/$$.synthese
done < /tmp/$$.lpat

# reste  a analyser par annee en sus de par pattern, pour presenter le plus clair
# Penser a forunir l'option d'imposer des patterns et des annees en entree
rm -f /tmp/$$.* /tmp/$$.ldir
done

# Changes 
# - 20 april 2010 : add handling of pattern year1-year2, which is a generalization of decades
# - janvier 2011 (MA Foujols) : suppression des caracteres accentues
#                  mise en place pour prefix de type libIGCM / IPSL
#                  ajout de la verification des tailles des fichiers mensuels
#                  ajout des options -d -q/-v -R -S subdir -I maxyear
# - juin 2011 (MA Foujols) : adapte a une liste des fichiers par exemple detruits sur bande du CCRT