Index: /TOOLS/CHECKscripts/check_ccrt_files.sh
===================================================================
--- /TOOLS/CHECKscripts/check_ccrt_files.sh	(revision 1501)
+++ /TOOLS/CHECKscripts/check_ccrt_files.sh	(revision 1501)
@@ -0,0 +1,159 @@
+#!/bin/sh
+##set -xv
+# stephane.senesi 'at' meteo.fr, CNRM-GAME/GMGEC, mars-avril 2010
+doc="\nScript d'analyse d'une liste de fichiers pour y trouver des formes \n\
+de nom de fichier avec dates, les dates, et des sequences de dates. \n\
+\n\n\t Syntaxe : $(basename $0) [-d] [-v/q]  file_liste \n\n\
+-q pour n avoir aucun message / -v pour avoir les patterns et erreurs  a  l ecran \n
+-d pour activer l echo des commandes \n
+On separe par simulation\n
+Exemple :\n
+$(basename $0)  file_list # verification des noms de la liste contenue dans file_list\n
+"
+#La presence d'une annee+mois impose la presence de l'annee entiere
+[ $# -eq 0  ]  && echo -e $doc && exit -1
+
+debugflag=0
+quiet=0
+
+#---------------------------------------------
+while [ $# -ne 0 ]
+do
+        case $1 in
+        -h|--help|-help)
+                        echo -e $doc 
+                        exit -1 ;;
+        -d|--debug)
+                set -x
+                debugflag=1
+                shift ;;
+        -q|--quiet)
+                   quiet=1
+                   shift ;;
+        -v|--verbose)
+                    quiet=0
+                    shift ;;
+        *)
+          liste=$1
+          break ;;
+        esac
+done
+
+## on separe les simus :
+for simu in $( awk -F/ '$4 != "dods" && /SORTIES_CPL_IPSL/ {print $6} $4 != "dods" && /IGCM_OUT/ {print $9} ' $liste | sort -u ) ; do
+
+grep /$simu/ $liste > /tmp/$$.ldir
+
+echo $simu
+
+###head /tmp/$$.ldir ; head /tmp/$$.size ; rm /tmp/$$*
+# For debugging purpose ...
+#head -n 2 /tmp/$$.ldir > /tmp/$$.aa ; mv /tmp/$$.aa /tmp/$$.ldir
+#set -x
+# On remplace les / en ~ dans la liste des fichiers
+cat /tmp/$$.ldir | tr "/" "~" > /tmp/$$.aa ; mv /tmp/$$.aa /tmp/$$.ldir 
+# On deduit de la liste des fichiers des patterns de annee+mois, annee, intervalles de date ...
+sed -r \
+    -e 's/[0-2][0-9]{3}[01][0-9]/YYMM/g' \
+    -e 's/YYMM01_YYMM(28|29|30|31)/YYmmdd_YYmmdd/g' \
+    -e 's/YYMM(28|29|30|31)/YYmmdd/g' \
+                                           /tmp/$$.ldir | sort -u > /tmp/$$.lpat
+# Ci-dessus, il faudrait compter les nb d'occ de chqaue pattern pour signaler et 
+# ne pas retenir ceux qui n'apparaissent qu'une fois (sauf les decennaux ?)
+# On ote les patterns sans date du tout
+sed -i -e '/YY/!d' /tmp/$$.lpat
+# On rend compte des patterns identifies
+#echo "Formes de fichier identifiees: " ; awk '{printf "\t%s\n",$1}' /tmp/$$.lpat 
+# Une fonction pour associer un nom de fichier a chaque pattern : on remplace les / par des ~
+tmpfic (){ 
+echo -n "/tmp/$$." ; echo $1 | tr "/" "_"
+}
+# Pour chaque pattern, on liste les dates pertinentes: annees de debut et fin pour les 
+# intervalles d'annees, ou annee ou annee+mois pour les autres
+cat /dev/null > /tmp/$$.dates
+#set -x
+while read pattern ; do
+    if [ $(echo $pattern | grep "YYmmdd_YYmmdd") ] ; then
+        # On transforme le pattern pour mettre une sequences  
+        # de capture des annees de debut et fin d'intervalle
+        p2=$(echo $pattern | sed -e 's/YYmmdd_YYmmdd/([0-2][0-9]{3}[01][0-9])01_[0-2][0-9]{3}[01][0-9](28|29|30|31)/g' )
+
+       # On balaye le repertoire avec le(s) pattern(s) transforme(s) pour capturer les annees
+        grep -E $p2 /tmp/$$.ldir | sed -r -e "s/$p2/\1/g"  >> /tmp/$$.$pattern.tmp
+    else
+        p2=$(echo $pattern | sed  -e 's/YYmmdd/([0-2][0-9]{3}[01][0-9])(28|29|30|31)/g' )
+       # On balaye le repertoire avec le(s) pattern(s) transforme(s) pour capturer les annees
+        grep -E "$p2" /tmp/$$.ldir | sed -r -e "s/$p2/\1/g"  >> /tmp/$$.$pattern.tmp
+    fi
+    sort -n -u /tmp/$$.$pattern.tmp > /tmp/$$.$pattern.list
+    # Si la liste des date (annees ou annes+mois) pour le pattern est 
+    # de taille > 1, on l'integre a la liste generale des dates
+    # en supprimant au prealable les dates isolees
+    # ... ca reste a faire
+    cat /tmp/$$.$pattern.list | cut -c 1-4 >> /tmp/$$.dates
+done < /tmp/$$.lpat
+# Fonction pour completer et rendre sequentielle une liste d'annees (une par ligne)
+force_sequence (){
+    awk '{
+        if (NR==1) {avant=$1; print $1}
+        else { for (i=avant+1 ; i<=$1 ; i++) print i}}'
+}
+sort -u /tmp/$$.dates > /tmp/$$.toutes_dates
+# On enleve les trous dans la liste des dates
+force_sequence < /tmp/$$.toutes_dates > /tmp/$$.tmp ; sort -u /tmp/$$.tmp > /tmp/$$.toutes_dates
+# Fonction d'analyse de sequences de nombres (annees, ou annees+mois
+# On transforme les series continues a a+1 a+2....b (a raison d'un par 
+# ligne) en : "a-b"
+sequence (){
+    awk -v pas=${1:-1} '{
+        if (NR==1) {avant=$1;nb=1; printf "%s",$1}
+        else { 
+          suivant=avant+pas
+          # Pour les nombres sur 6 chiffres, on suppose que c est du YYYMM 
+          # et on gere le passage de decembre a janvier
+          if ((length(avant)==6) && (substr(avant,5,2)=="12")) 
+            { avant4=substr(avant,1,4) ; suivant=sprintf("%4d01",avant4+1)}
+          if ($1 > suivant) {
+            if (nb>1) printf "-%s",avant
+            nb=1 ; printf ", %s",$1}
+          else { nb=nb+1 }
+          avant=$1  }}
+      END { if (nb >1) printf "-%s\n",avant ; else print ""} ' 
+}
+[ $quiet = 0 ] && echo $(wc -l /tmp/$$.ldir | cut -d \  -f 1) files proceeded.
+[ $quiet = 0 ] && echo -n "Years occurring : " && sequence 1 < /tmp/$$.toutes_dates 
+# On liste tous les mois qui doivent etre presents (au motif qu'une annee est presente)
+> /tmp/$$.toutes_dates_et_mois
+while read an ; do
+    i=1
+    while [ $i -le 12 ] ; do
+        printf "%s%02d\n" ${an} $i  >> /tmp/$$.toutes_dates_et_mois
+        i=$(( i + 1 ))
+    done
+done < /tmp/$$.toutes_dates
+# Pour chaque pattern, on analyse si toutes les dates sont presentes en bon nombre (decennie, an, an+mois)
+touch /tmp/$$.synthese
+[ $quiet = 0 ] && echo "File name patterns and holes (if any) :"
+#set -x
+while read pattern ; do
+    [ `echo $pattern | grep -E "(YYmmdd_YYmmdd|YYmmdd)"` ]  && pas=1 && \
+        join -v 1 /tmp/$$.toutes_dates_et_mois  /tmp/$$.$pattern.list > /tmp/$$.$pattern.manques 
+    sequence $pas < /tmp/$$.$pattern.list > /tmp/$$.$pattern.synthese 
+    truepattern=$(echo $pattern | tr "~" "/")
+    [ $quiet = 0 ] && printf "%80s : " $truepattern  && cat /tmp/$$.$pattern.synthese
+    cat /tmp/$$.$pattern.synthese >> /tmp/$$.synthese
+done < /tmp/$$.lpat
+
+# reste  a analyser par annee en sus de par pattern, pour presenter le plus clair
+# Penser a forunir l'option d'imposer des patterns et des annees en entree
+rm -f /tmp/$$.* /tmp/$$.ldir
+done
+
+# Changes 
+# - 20 april 2010 : add handling of pattern year1-year2, which is a generalization of decades
+# - janvier 2011 (MA Foujols) : suppression des caracteres accentues
+#                  mise en place pour prefix de type libIGCM / IPSL
+#                  ajout de la verification des tailles des fichiers mensuels
+#                  ajout des options -d -q/-v -R -S subdir -I maxyear
+# - juin 2011 (MA Foujols) : adapte a une liste des fichiers par exemple detruits sur bande du CCRT
+
