Changeset 2160 for TOOLS

Timestamp:

10/01/13 11:22:33 (11 years ago)

Author:

acosce

Message:

Some update on surpack tools

1) add a script to move new pack on store and remove old simulation after checking results
2) make some improvement on launch_ipsl_pack.sh and other scripts

Location:

TOOLS/SURPACK_IPSL

Files:

• SaveNewSimuPack.sh (added)
• archive_debug.sh (modified) (1 diff)
• archive_restart.sh (modified) (1 diff)
• create_config_card.sh (modified) (1 diff)
• launch_ipsl_enlarge.sh (modified) (1 diff)
• launch_ipsl_pack.sh (modified) (4 diffs)
• load_batch_directives.sh (modified) (1 diff)

TOOLS/SURPACK_IPSL/archive_debug.sh

@@ -69 +69 @@
     ccc_hsm get $archive
     tar tf $archive >> ${IGCM_TMP}/${$}.new_liste_debug_files.txt
+    tar xf $archive
 done
 

TOOLS/SURPACK_IPSL/archive_restart.sh

@@ -82 +82 @@
     ccc_hsm get $archive
     tar tf $archive >> ${IGCM_TMP}/${$}.new_liste_restart_files.txt
+    tar xf $archive
 done
 

TOOLS/SURPACK_IPSL/create_config_card.sh

@@ -53 +53 @@
     rm -rf ${IGCM_DEM_SIMU}/*
 
-### note dans cette version on ne gere pas les fichiers Analyse / Monitoring ils sont deja la ou il faut et comme il faut
+    STORE_CP=${IGCM_DEM_SIMU}/store_cp
+    mkdir -p ${STORE_CP}
+
+### note dans cette version on ne gere pas les fichiers Monitoring ils sont deja la ou il faut et comme il faut
     # on recherche le nom du job
     JobName=""
     
+
+    # Etablir la liste des fichiers d'Analyse
+    grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep Analyse  | awk '{print $3}' |  sort >> ${IGCM_TMP}/${$}.cp_analyse_files.list
+    awk -F/ '{if ($(NF)=="Analyse") print $0} ' ${IGCM_TMP}/${$}.cp_analyse_files.list > ${STORE_CP}/cp_files.list
+    rm -f ${IGCM_TMP}/${$}.cp_analyse_files.list
+
 
     # Etablir la liste des fichiers de restart

TOOLS/SURPACK_IPSL/launch_ipsl_enlarge.sh

@@ -10 +10 @@
 #MSUB -q mono
 
-# ex : ./launch_ipsl_enlarge.sh
+# ex : ./launch_ipsl_enlarge.sh param_ACA.txt
 
 # Est-on sur ulam (machine de l'IDRIS) ?

TOOLS/SURPACK_IPSL/launch_ipsl_pack.sh

@@ -28 +28 @@
 execEveryStep=0
 LISTE_SIMUL_ARG=
+Question=n
+continuePack=y
 while [ $# -gt 0 ]
 do
-   echo "boucle sur les arguments du script ..."
-   echo "@=$@"
-   case $1 in
-   -f)  execEveryStep=1 
-        echo "force..."
-        ;;
-   *)  LISTE_SIMUL_ARG=${1} 
-       echo "autres..."
-       ;;
-   esac
-   shift
+    echo "boucle sur les arguments du script ..."
+    echo "@=$@"
+    case $1 in
+        -h)  cat <<fin
+ce script permet de trouver une frequence de pack plus longue pour une simulation donnee
+IMPORTANT : avant de lancer ce script vous devez configurer le fichier load_ipslPack_env.sh
+
+Usage : ./launch_ipsl_pack.sh param.txt 
+avec param.txt contenant le path de la simulation. Ex : 
+vi param.txt ; /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/IPSLCM5A/PROD/historical/CM51989.2
+ATTENTION : il ne faut pas de "/" en fin du path
+
+options de lancement : 
+-h : manuel d'utilisation 
+-f : possibilite de forcer le redemarrage du script au debut   
+-v : mode dans lequel apres le calcul de la nouvelle frequence, le script propose a l'utilisateur
+    de continuer ou non (donc de creer les nouvelles listes de fichiers à packer ou non) 
+
+fin
+            exit;;
+        -f)  execEveryStep=1 
+            echo "force..."
+            ;;
+        -v)  Question=y
+            echo "nous nous arreterons apres le calcul de la frequence pour vous laisser le choix de continuer ou non"
+            ;;
+        *)  LISTE_SIMUL_ARG=${1} 
+            echo "autres..."
+            ;;
+    esac
+    shift
 done
 export execEveryStep=${execEveryStep}
@@ -52 +74 @@
 if [ "x${LISTE_SIMUL_ARG}" == "x" ]
 then
-    if [ -f /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt ]
-    then
-        echo "The file used is /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt" 
-        LISTE_SIMUL="/ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt" 
-    else        
-        echo "Vous devez passer un fichier en parametre"
-        exit 1
-    fi
+    echo "Vous devez passer un fichier en parametre"
+    exit 1
 else
     LISTE_SIMUL=${LISTE_SIMUL_ARG}
@@ -66 +82 @@
 LISTE_SIMUL_NAME=$(basename ${LISTE_SIMUL} )
 # fichier de progression d'execution
-ficParam=$( basename ${LISTE_SIMUL} ) # gpdebug : modif ici et ligne d'apres
+ficParam=$( basename ${LISTE_SIMUL} ) 
 extSuiviListes=`echo ${ficParam} | sed 's;\.[[:alnum:]]*$;;' `
 
-##### gpdebug : fin #####################################
 
 export JOB_DIR=${TMP_MIGR_DATA}
@@ -159 +174 @@
         DEM_log -3  "la simulation est superieur a 1Go alors on pack"
         ${EXE_DIR}/find_size_pack.sh   ${CONFIG} ${LISTE_DMNFS}
-        ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS}
-        ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS}
-        ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS}
-
+        freq=$(cat ${IGCM_DEM_SIMU}/period_pack.txt)
+        if [[ "$Question" == "y" ]]; then 
+            echo -e "L'outil de surpack vous propose une nouvelle frequence de pack de :  ${freq} annees "
+            echo -e "voulez vous continuer ? "
+            echo -n "(y/n) ? "
+            read ContinueAnswer
+            case ${ContinueAnswer} in      
+                oui|OUI|o|y|yes|YES)
+                    echo "OK nous continuons"
+                    continuePack=y
+                    ;;
+                non|NON|n|no|NO)
+                    echo "OK nous arretons tout"
+                    continuePack=n
+                    ;;
+                *)
+                    echo "I did not recognize your answer."
+                    echo "Please respond: oui|OUI|o|y|yes|YES"
+                    echo "Or please respond: non|NON|n|no|NO"
+                    exit
+                    ;;
+            esac
+        fi
+        
+        if [[ "$continuePack" == "y" ]] ; then 
+            ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS}
+            ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS}
+            ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS}
+        fi
+            
     fi
 done

TOOLS/SURPACK_IPSL/load_batch_directives.sh

@@ -2 +2 @@
 
 # Directives Batch pour le code parallele
-export nbProcs="16"
+export nbProcs="4"
 
 # Duree max des traitements pour une instance du script "launch_and_measureTime.sh"
-export computationTime="1500"
+export computationTime="86400"
 
 # Si on est a "timeLimitBeforeEnd" de la fin des traitements (la duree max
 # des traitements est indique par la variable "computationTime"),
 # tout proc mpi ayant fini sa tache s'arrete.
-export timeLimitBeforeEnd="50"
+export timeLimitBeforeEnd="3600"
 
-export projectName="tgcc0013"
+export projectName="gen2211"
 
-export queueType="standard"
+export queueType="xlarge"
 
-export QosType="test"
+export QosType="normal"
 
 export corePerProc="1"