Changeset 2160 for TOOLS/SURPACK_IPSL


Ignore:
Timestamp:
10/01/13 11:22:33 (8 years ago)
Author:
acosce
Message:

Some update on surpack tools

1) add a script to move new pack on store and remove old simulation after checking results
2) make some improvement on launch_ipsl_pack.sh and other scripts

Location:
TOOLS/SURPACK_IPSL
Files:
1 added
6 edited

Legend:

Unmodified
Added
Removed
  • TOOLS/SURPACK_IPSL/archive_debug.sh

    r2138 r2160  
    6969    ccc_hsm get $archive 
    7070    tar tf $archive >> ${IGCM_TMP}/${$}.new_liste_debug_files.txt 
     71    tar xf $archive 
    7172done 
    7273 
  • TOOLS/SURPACK_IPSL/archive_restart.sh

    r2136 r2160  
    8282    ccc_hsm get $archive 
    8383    tar tf $archive >> ${IGCM_TMP}/${$}.new_liste_restart_files.txt 
     84    tar xf $archive 
    8485done 
    8586 
  • TOOLS/SURPACK_IPSL/create_config_card.sh

    r2136 r2160  
    5353    rm -rf ${IGCM_DEM_SIMU}/* 
    5454 
    55 ### note dans cette version on ne gere pas les fichiers Analyse / Monitoring ils sont deja la ou il faut et comme il faut 
     55    STORE_CP=${IGCM_DEM_SIMU}/store_cp 
     56    mkdir -p ${STORE_CP} 
     57 
     58### note dans cette version on ne gere pas les fichiers Monitoring ils sont deja la ou il faut et comme il faut 
    5659    # on recherche le nom du job 
    5760    JobName="" 
    5861     
     62 
     63    # Etablir la liste des fichiers d'Analyse 
     64    grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep Analyse  | awk '{print $3}' |  sort >> ${IGCM_TMP}/${$}.cp_analyse_files.list 
     65    awk -F/ '{if ($(NF)=="Analyse") print $0} ' ${IGCM_TMP}/${$}.cp_analyse_files.list > ${STORE_CP}/cp_files.list 
     66    rm -f ${IGCM_TMP}/${$}.cp_analyse_files.list 
     67 
    5968 
    6069    # Etablir la liste des fichiers de restart 
  • TOOLS/SURPACK_IPSL/launch_ipsl_enlarge.sh

    r2136 r2160  
    1010#MSUB -q mono 
    1111 
    12 # ex : ./launch_ipsl_enlarge.sh 
     12# ex : ./launch_ipsl_enlarge.sh param_ACA.txt 
    1313 
    1414# Est-on sur ulam (machine de l'IDRIS) ? 
  • TOOLS/SURPACK_IPSL/launch_ipsl_pack.sh

    r2136 r2160  
    2828execEveryStep=0 
    2929LISTE_SIMUL_ARG= 
     30Question=n 
     31continuePack=y 
    3032while [ $# -gt 0 ] 
    3133do 
    32    echo "boucle sur les arguments du script ..." 
    33    echo "@=$@" 
    34    case $1 in 
    35    -f)  execEveryStep=1  
    36         echo "force..." 
    37         ;; 
    38    *)  LISTE_SIMUL_ARG=${1}  
    39        echo "autres..." 
    40        ;; 
    41    esac 
    42    shift 
     34    echo "boucle sur les arguments du script ..." 
     35    echo "@=$@" 
     36    case $1 in 
     37        -h)  cat <<fin 
     38ce script permet de trouver une frequence de pack plus longue pour une simulation donnee 
     39IMPORTANT : avant de lancer ce script vous devez configurer le fichier load_ipslPack_env.sh 
     40 
     41Usage : ./launch_ipsl_pack.sh param.txt  
     42avec param.txt contenant le path de la simulation. Ex :  
     43vi param.txt ; /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/IPSLCM5A/PROD/historical/CM51989.2 
     44ATTENTION : il ne faut pas de "/" en fin du path 
     45 
     46options de lancement :  
     47-h : manuel d'utilisation  
     48-f : possibilite de forcer le redemarrage du script au debut    
     49-v : mode dans lequel apres le calcul de la nouvelle frequence, le script propose a l'utilisateur 
     50    de continuer ou non (donc de creer les nouvelles listes de fichiers à packer ou non)  
     51 
     52fin 
     53            exit;; 
     54        -f)  execEveryStep=1  
     55            echo "force..." 
     56            ;; 
     57        -v)  Question=y 
     58            echo "nous nous arreterons apres le calcul de la frequence pour vous laisser le choix de continuer ou non" 
     59            ;; 
     60        *)  LISTE_SIMUL_ARG=${1}  
     61            echo "autres..." 
     62            ;; 
     63    esac 
     64    shift 
    4365done 
    4466export execEveryStep=${execEveryStep} 
     
    5274if [ "x${LISTE_SIMUL_ARG}" == "x" ] 
    5375then 
    54     if [ -f /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt ] 
    55     then 
    56         echo "The file used is /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt"  
    57         LISTE_SIMUL="/ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt"  
    58     else         
    59         echo "Vous devez passer un fichier en parametre" 
    60         exit 1 
    61     fi 
     76    echo "Vous devez passer un fichier en parametre" 
     77    exit 1 
    6278else 
    6379    LISTE_SIMUL=${LISTE_SIMUL_ARG} 
     
    6682LISTE_SIMUL_NAME=$(basename ${LISTE_SIMUL} ) 
    6783# fichier de progression d'execution 
    68 ficParam=$( basename ${LISTE_SIMUL} ) # gpdebug : modif ici et ligne d'apres 
     84ficParam=$( basename ${LISTE_SIMUL} )  
    6985extSuiviListes=`echo ${ficParam} | sed 's;\.[[:alnum:]]*$;;' ` 
    7086 
    71 ##### gpdebug : fin ##################################### 
    7287 
    7388export JOB_DIR=${TMP_MIGR_DATA} 
     
    159174        DEM_log -3  "la simulation est superieur a 1Go alors on pack" 
    160175        ${EXE_DIR}/find_size_pack.sh   ${CONFIG} ${LISTE_DMNFS} 
    161         ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS} 
    162         ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS} 
    163         ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS} 
    164  
     176        freq=$(cat ${IGCM_DEM_SIMU}/period_pack.txt) 
     177        if [[ "$Question" == "y" ]]; then  
     178            echo -e "L'outil de surpack vous propose une nouvelle frequence de pack de :  ${freq} annees " 
     179            echo -e "voulez vous continuer ? " 
     180            echo -n "(y/n) ? " 
     181            read ContinueAnswer 
     182            case ${ContinueAnswer} in       
     183                oui|OUI|o|y|yes|YES) 
     184                    echo "OK nous continuons" 
     185                    continuePack=y 
     186                    ;; 
     187                non|NON|n|no|NO) 
     188                    echo "OK nous arretons tout" 
     189                    continuePack=n 
     190                    ;; 
     191                *) 
     192                    echo "I did not recognize your answer." 
     193                    echo "Please respond: oui|OUI|o|y|yes|YES" 
     194                    echo "Or please respond: non|NON|n|no|NO" 
     195                    exit 
     196                    ;; 
     197            esac 
     198        fi 
     199         
     200        if [[ "$continuePack" == "y" ]] ; then  
     201            ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS} 
     202            ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS} 
     203            ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS} 
     204        fi 
     205             
    165206    fi 
    166207done 
  • TOOLS/SURPACK_IPSL/load_batch_directives.sh

    r2136 r2160  
    22 
    33# Directives Batch pour le code parallele 
    4 export nbProcs="16" 
     4export nbProcs="4" 
    55 
    66# Duree max des traitements pour une instance du script "launch_and_measureTime.sh" 
    7 export computationTime="1500" 
     7export computationTime="86400" 
    88 
    99# Si on est a "timeLimitBeforeEnd" de la fin des traitements (la duree max 
    1010# des traitements est indique par la variable "computationTime"), 
    1111# tout proc mpi ayant fini sa tache s'arrete. 
    12 export timeLimitBeforeEnd="50" 
     12export timeLimitBeforeEnd="3600" 
    1313 
    14 export projectName="tgcc0013" 
     14export projectName="gen2211" 
    1515 
    16 export queueType="standard" 
     16export queueType="xlarge" 
    1717 
    18 export QosType="test" 
     18export QosType="normal" 
    1919 
    2020export corePerProc="1" 
Note: See TracChangeset for help on using the changeset viewer.