Changeset 1880

Timestamp:

09/13/12 19:22:57 (12 years ago)

Author:

gpincka

Message:

Suppression des donnees traitees correctement. Attention : les cmds rm sont commentees, mais avec les rm, les tests faits sont concluants

Location:

TOOLS/PACK_IPSL

Files:

• launch_and_measureTime.sh (modified) (10 diffs)
• parallelPack.sh (modified) (2 diffs)

TOOLS/PACK_IPSL/launch_and_measureTime.sh

@@ -189 +189 @@
 }
 
+function searchListsToDestroy
+{
+     outputToSearchIn=$1
+     listToRmvFile=$2
+     cat ${outputToSearchIn} | grep -e '^#executed by' | awk '{ if ($9 == 0) {print $12} }' >> ${listToRmvFile}
+}
+function removeFilesInLists
+{
+     setOfFileLstsToRmv=$1
+     rmvedFiles=$2
+     linksToEraseFile=$3
+     realDataToEraseFile=$4
+     
+     old_IFS=$IFS     # sauvegarde du séparateur de champ  
+     IFS=$'\n'     # nouveau séparateur de champ, le caractère fin de ligne
+     
+     # Suppression des donnees autres que celles de type "debug" et "restart".
+     for lst in $( cat $setOfFileLstsToRmv | grep -v -E '(restart_tar|debug_tar)' )
+     do
+         opt=
+         lstName=$( basename $lst )
+         
+         if [ "${lstName}" == "tar_full_simul.list" ] || [ "${lstName}" == "cp_files.list" ]
+         then
+             opt="r"
+         fi
+                 
+         for file in $( cat $lst )
+         do
+             echo "rm -f${opt} $file" >> ${rmvedFiles}
+             # rm -f${opt} $file
+         done     
+     done
+     
+     # Pour les listes de type "debug" et "restart", les listes ne comportent
+     # que des liens : uniquement leur nom de base, pas leur path
+     # Il faut retrouver leur path, detruire le lien et le fichier qu'il pointe.
+           
+     # Recherche de l'ensemble des fichiers a detruire : les liens + les donnees pointees par les liens 
+     for lst in $( cat $setOfFileLstsToRmv | grep -E '(restart_tar|debug_tar)' )
+     do
+         # Recuperation du repertoire contenant les fichiers de liens
+         dir_containing_links=
+         is_debug_tar_lst=`echo $lst | grep "debug_tar" | wc -l `
+         if [ "x${is_debug_tar_lst}" != "x0" ]
+         then
+             dir_containing_links="DEBUG"
+         else
+             dir_containing_links="RESTART"
+         fi
+         
+         tar_dir=$( dirname $lst )
+         simu_dir=$( dirname $tar_dir )
+         
+         LINK_DIR="${simu_dir}/${dir_containing_links}"
+         if [ ! -d  $LINK_DIR ]
+         then
+             echo "Suppression des donnees :" >> $badFailureFile
+             echo "Le repertoire sense contenir des liens symboliques :" >> $badFailureFile
+             echo "${LINK_DIR}" >> $badFailureFile
+             echo "n'existe pas." >> $badFailureFile
+             exit 1
+         fi
+         
+         #
+         # ls sur le reperoire de lien et insertion du path absolu avant chaque lien.
+         ls -1 ${LINK_DIR} | sed "s;^;${LINK_DIR}/;" >> ${linksToEraseFile}
+         
+         # Recuperation des donnees reelles pointees par les liens.
+         ls -1 -lrt ${LINK_DIR} | awk -F"->" '{print $2}' | sed 's;^ ;;' >> ${realDataToEraseFile}
+     done
+     
+     # Destruction des liens et des donnees pointees par les liens pour les listes 
+     # de type "debug" et "restart"
+     
+     # Destroy links
+     for file in $( cat ${linksToEraseFile} )
+     do
+         echo "rm -f $file" >> ${rmvedFiles}
+         # rm -f $file
+     done
+     
+     # Destroy real datas
+     for file in $( cat ${realDataToEraseFile} )
+     do
+         echo "rm -f $file" >> ${rmvedFiles}
+         # rm -f $file
+     done     
+     
+     IFS=$old_IFS     # rétablissement du séparateur de champ par défaut
+}
+
+
 export RANDOM=$$ # random seed
 function gives_random_number
@@ -202 +295 @@
 #MSUB -r pack_ipsl          # Nom du job                
 ### mutable directives ###
-#MSUB -o /ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT/detailed_pack_output/pack_ipsl_%I.o
-#MSUB -e /ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT/detailed_pack_output/pack_ipsl_%I.e
+#MSUB -o /ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT_only_2_simu/LMDZ4OR_v2/detailed_pack_output/pack_ipsl_%I.o
+#MSUB -e /ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT_only_2_simu/LMDZ4OR_v2/detailed_pack_output/pack_ipsl_%I.e
 #MSUB -n 7
-#MSUB -T 900
+#MSUB -T 1500
 #MSUB -A tgcc0013
 #MSUB -q standard
@@ -236 +329 @@
 export checkFileTmp="checkTmp__try__${numCurrentTry}__instance__${numNewInstance}.txt"
 
+export listsOfFilesToRemove="${progressDir}/listsToRmv__try__${numCurrentTry}__instance__${numNewInstance}.txt"
+export removedFiles="${progressDir}/removedFiles__try__${numCurrentTry}__instance__${numNewInstance}.txt"
+
+# Les 2 fichiers suivants sont crees pour la destruction des liens et des donnees pointes par ces liens
+# dans le cas de listes de type "debug" ou "restart"
+export linksToDestroyFile="${progressDir}/linksToDestroy__try__${numCurrentTry}__instance__${numNewInstance}.txt"
+export realDataToDestroyFile="${progressDir}/realDataToDestroy__try__${numCurrentTry}__instance__${numNewInstance}.txt"
+
 export noInterruptFile="${progressDir}/noInterrupt__try__${numCurrentTry}__instance__${numNewInstance}.txt"
 
-
-# a virer
-#echo "inputCmd=$inputCmd" >> $badFailureFile
-#echo "nextInputCmd=$nextInputCmd" >> $badFailureFile
-#echo "output=$nextInputCmd" >> $badFailureFile
-#echo "reportFile=$nextInputCmd" >> $badFailureFile
-#echo "noInterruptFile=$noInterruptFile" >> $badFailureFile
-
-# exit 0 # a virer
-
-# a virer
-#if [ ${numNewInstance} -ge 4 ]
-#then
-#    echo "inputCmd=$inputCmd" >> $badFailureFile
-#    echo "nextInputCmd=$nextInputCmd" >> $badFailureFile
-#    echo "output=$nextInputCmd" >> $badFailureFile
-#    echo "reportFile=$nextInputCmd" >> $badFailureFile
-#    echo "noInterruptFile=$noInterruptFile" >> $badFailureFile
-#    echo >> $badFailureFile
-#fi
 
 if [ ${numCurrentTry} -le 1 ] && [ ${numNewInstance} -le 1 ]
@@ -295 +376 @@
     else # numNewInstance == 1
         numPrevTry=$(( $numCurrentTry - 1 ))
-        # echo "numCurrentTry=$numCurrentTry" >> $badFailureFile # a virer
-        # echo "numPrevTry=$numPrevTry" >> $badFailureFile # a virer
-        # exit 1 # a virer
         numLastInstInstanceInPrevTry=$( getNumeroOfLastInstance $numPrevTry )
-        noInterruptFile="${progressDir}/noInterrupt__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.txt"
-        if [ ! -e $noInterruptFile ]
+        noInterruptFile_prev_try="${progressDir}/noInterrupt__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.txt"
+        if [ ! -e ${noInterruptFile_prev_try} ]
         then
             # il y a eu interruption non prevue au dernier essai, il faut recomposer la liste des cmds avec les resultats
@@ -319 +397 @@
             update_tasks_list ${nextInputCmd_of_LastInst} ${output_of_LastInst} ${inputCmd_of_LastInst}
             cat $nextInputCmd_of_LastInst > ${inputCmd}
+            
+            
+            # Il faut aussi detruire les donnees correctement traitement a l'essai precedent, derniere instance.
+            listsOfFilesToRemoveFromPrevTry="${progressDir}/listsToRmvFromPrev__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.txt"
+            removedFilesFromPrevTry="${progressDir}/removedFilesFromPrev__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.txt"
+            linksToDestroyFileFromPrevTry="${progressDir}/linksToDestroyFromPrev__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.txt"
+            realDataToDestroyFileFromPrevTry="${progressDir}/realDataToDestroyFromPrev__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.txt"
+                    
+            searchListsToDestroy $output_of_LastInst $listsOfFilesToRemoveFromPrevTry
+            removeFilesInLists $listsOfFilesToRemoveFromPrevTry $removedFilesFromPrevTry $linksToDestroyFileFromPrevTry $realDataToDestroyFileFromPrevTry
+            
         else
             nextInputCmd_of_LastInst="${progressDir}/nextInputCmd__try__${numPrevTry}__instance__${numLastInstInstanceInPrevTry}.list"
@@ -335 +424 @@
 
 # Initialisation du rapport : par defaut, les calculs ont ete interrompus
-echo "No report. Le computation must have interrupted." > $reportFile
+echo "No report. Le computation must have been interrupted." > $reportFile
 
 # exit 0 # a virer
 
 # a virer #########################################
-if [ ${numNewInstance} -ge 10 ]
-then
-    echo >> $badFailureFile
-    echo "10eme instance. STOP." >> $badFailureFile
-    exit 1
-fi
+# if [ ${numNewInstance} -ge 10 ]
+# then
+#     echo >> $badFailureFile
+#     echo "10eme instance. STOP." >> $badFailureFile
+#     exit 1
+# fi
 ###################################################
 # startTime=$( getDateMilliSeconds ) # suppr
@@ -377 +466 @@
 update_tasks_list $nextInputCmd $output $inputCmd
 
+
+# Verifications sur qq listes (dont le traitement semble correct) :
+# ----------------------------------------------------------------------------------------
 if [ "x${doYouWantCheck}" == "xyes" ]
 then
-    # Verifications sur qq listes (dont le traitement semble correct) :
-    # ----------------------------------------------------------------------------------------
     if [ "x${nbListsToCheck}" == "x" ]
     then
@@ -417 +507 @@
             echo "$checkCmd ==> not OK ==> stop everything." >> $checkFile
             echo "$checkCmd ==> not OK ==> stop everything." >> $badFailureFile
-            # exit 1 # a retablir
+            exit 1 # a retablir
         else
             echo "$checkCmd ==> OK" >> $checkFile
@@ -427 +517 @@
 
     rm $checkFileTmp
-    # ----- Fin verif ------------------------------------------------------------------------
 fi
-
+# ----- Fin verif ------------------------------------------------------------------------
+
+
+# Suppression des données des fichiers de listes correctement traitees -------------------
+# Recherche des listes de fichiers de donnees a detruire :
+# Parmi celles traitees, celles qui ont ete traitees correctement
+> $listsOfFilesToRemove
+> $removedFiles
+> $linksToDestroyFile
+> $realDataToDestroyFile
+
+searchListsToDestroy $output $listsOfFilesToRemove
+
+removeFilesInLists $listsOfFilesToRemove $removedFiles $linksToDestroyFile $realDataToDestroyFile
+
+
+
+
+
+
+# ----- Fin suppression de donnees -------------------------------------------------------
+
+# Si le fichier dans variable "noInterruptFile" inexistant, une interruption non prevue a eu lieu
 echo "no interruption has occured" > ${noInterruptFile}
 
-# exit 0 # a virer
+# exit 0 # a virer
 
 # Tout s'est bien passe
@@ -443 +554 @@
 fi
 
-# y a t il progression avant traitements et apres ?
-# -------------------------------------------------
+# Y a t il progression entre avant traitements et apres ?
+# ------------------------------------------------------
 # Dans la fonction 'check_progress', on a besoin de verifier le code
 # de retour du traitement des listes : en effet, si les 2 fichiers a comparer

TOOLS/PACK_IPSL/parallelPack.sh

@@ -275 +275 @@
 ccc_msub launch_and_measureTime.sh
 
-DEM_log -0 "Fin de ${SCRIPT_NAME}"
-
+tpsAvantRendreLaMain=15
 
 elapsedTime=0
-while [ $elapsedTime -lt 500 ]
+while [ $elapsedTime -lt $tpsAvantRendreLaMain ]
 do
     sleep 5
@@ -292 +291 @@
 done
 
-if [ ${elapsedTime} -ge 500 ]
-then
-    echo "Les 500 sec sont ecoulees, les traitements continuent..."
-fi
-
-
-
-
+if [ ${elapsedTime} -ge $tpsAvantRendreLaMain ]
+then
+    echo "Les $tpsAvantRendreLaMain sec sont ecoulees, les traitements continuent..."
+fi
+
+
+DEM_log -0 "Fin de ${SCRIPT_NAME}"
+