Changeset 1882


Ignore:
Timestamp:
09/14/12 17:53:40 (12 years ago)
Author:
aclsce
Message:

Modifications

Location:
TOOLS/PACK_IPSL
Files:
6 edited

Legend:

Unmodified
Added
Removed

  • TOOLS/PACK_IPSL/check_ncrcat_list.sh

    r1879 r1882  
    11#!/bin/bash 
    2 set -vx 
    32listToProcessFile="${1}" 
    43# exemple de fichier liste : 

  • TOOLS/PACK_IPSL/diff.bash

    r1879 r1882  
    11#!/bin/bash 
    2 set -vx 
    32#============================================== 
    43# 

  • TOOLS/PACK_IPSL/launch_and_measureTime.sh

    r1881 r1882  
    1212   old_IFS=$IFS     # sauvegarde du séparateur de champ   
    1313   IFS=$'\n'     # nouveau séparateur de champ, le caractère fin de ligne    
    14    for cmdReport in $( cat $logFileOfPrevPack ) 
     14   for cmdReport in $( cat $logFileOfPrevPack | grep -e '^#executed by process' ) 
    1515   do   
    16        hasCmdGoodFormat=`echo $cmdReport | grep -e '^#executed by process' | wc -l ` 
    17        if [ "x${hasCmdGoodFormat}" == "x0" ] 
    18        then 
    19            continue 
    20        fi 
    21         
    2216       local resCmd=`echo $cmdReport | awk '{print $9}' ` 
    23         
    24        if [ "x$resCmd" !=  "x0" ] 
     17   # Status 50 = FAILED mais pas de ressoumission 
     18       if [ "x$resCmd" !=  "x0" ] && [ "x$resCmd" !=  "x50" ] 
    2519       then 
    2620           local cmdToPrint=`echo $cmdReport | awk '{print $NF}' ` 
    … …  
    208202     do 
    209203         list_tar=`echo $list | sed 's;output_ncrcat;output_tar;' ` 
    210          isInLstsToProcess=`grep $list_tar $listsToProcessFile | wc -l ` 
     204         isInLstsToProcess=`grep $list_tar $listsToProcessFile | wc -l ` 
    211205         if [ "x${isInLstsToProcess}" != "x0" ] 
    212206         then 
    213              lineNbInRmvFile=`grep -n $list_tar $listToRmvFile | awk -F":" '{print $1}' ` 
     207             lineNbInRmvFile=`grep -n $list $listToRmvFile | awk -F":" '{print $1}' ` 
    214208             sed -i "${lineNbInRmvFile}d" ${listToRmvFile}        
    215209         fi      
    … …  
    219213     do 
    220214         list_ncrcat=`echo $list | sed 's;output_tar;output_ncrcat;' ` 
    221          isInLstsToProcess=`grep $list_ncrcat $listsToProcessFile | wc -l ` 
     215         isInLstsToProcess=`grep $list_ncrcat $listsToProcessFile | wc -l ` 
    222216         if [ "x${isInLstsToProcess}" != "x0" ] 
    223217         then 
    224              lineNbInRmvFile=`grep -n $list_ncrcat $listToRmvFile | awk -F":" '{print $1}' ` 
     218             lineNbInRmvFile=`grep -n $list $listToRmvFile | awk -F":" '{print $1}' ` 
    225219             sed -i "${lineNbInRmvFile}d" ${listToRmvFile}        
    226          fi     
    227      done           
     220         fi 
     221 
     222         # Si la liste est a detruire ET a traiter alors on l enleve de la liste a traiter        
     223         isInLstsToProcess=`grep $list $listsToProcessFile | wc -l ` 
     224         if [ "x${isInLstsToProcess}" != "x0" ] 
     225         then 
     226             lineNbInProcessFile=`grep -n $list $listsToProcessFile | awk -F":" '{print $1}' ` 
     227             sed -i "${lineNbInProcessFile}d" ${listsToProcessFile}       
     228         fi    
     229     done 
     230             
    228231     IFS=$old_IFS     # rétablissement du séparateur de champ par défaut 
    229232      
    … …  
    331334#MSUB -r pack_ipsl          # Nom du job                 
    332335### mutable directives ### 
    333 #MSUB -o /ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT_only_2_simu/LMDZ4OR_v2/detailed_pack_output/pack_ipsl_%I.o 
    334 #MSUB -e /ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT_only_2_simu/LMDZ4OR_v2/detailed_pack_output/pack_ipsl_%I.e 
    335 #MSUB -n 7 
     336#MSUB -o /ccc/dmfbuf/ipsl_logs/dsm/bacasable/ARNAUD/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT/IPSLCM5/detailed_pack_output/pack_ipsl_%I.o 
     337#MSUB -e /ccc/dmfbuf/ipsl_logs/dsm/bacasable/ARNAUD/PSEUDO_DMNFS_PROGRESS/zIGCM_OUT/IPSLCM5/detailed_pack_output/pack_ipsl_%I.e 
     338#MSUB -n 16 
    336339#MSUB -T 1500 
    337340#MSUB -A tgcc0013 
    … …  
    477480 
    478481ccc_mprun  ./glost_launch -R $timeLimitBeforeEnd ${inputCmd} 2>${output} 
     482if [ "x$?" != "x0" ] 
     483then 
     484   echo "Temps limite atteint pour l'essai : ${numCurrentTry}; instance : ${numNewInstance}" >> $badFailureFile 
     485fi 
    479486 
    480487### ccc_mprun  ./cmd_launch.exe ${inputCmd} 2>${output} 
    … …  
    571578 
    572579 
    573  
    574  
    575  
    576580# ----- Fin suppression de donnees ------------------------------------------------------- 
    577581 

  • TOOLS/PACK_IPSL/load_ipslPack_env.sh

    r1863 r1882  
    22 
    33# Variables d'environnement 
    4 export IGCM_DEM="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/IGCM_DEM" 
    5 export INPUT_DMF_DATA="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME_DATAS" 
    6 export OUTPUT_STORE="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_STORE" 
    7 export OUTPUT_WORK="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_WORK" 
    8 export OUTPUT_CHECK="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_CHECK" 
    9 export OUTPUT_PROGRESS="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/GUILLAUME/PSEUDO_DMNFS_PROGRESS" 
     4export TMP_MIGR_DATA="/ccc/dmfbuf/ipsl_logs/dsm/bacasable/ARNAUD"  
     5export INPUT_DMF_DATA="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable" 
     6export OUTPUT_STORE="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/ARNAUD/PSEUDO_DMNFS_STORE" 
     7export OUTPUT_WORK="/ccc/dmfbuf/import_data.2/ccrt/dmnfs12/cont003/bacasable/ARNAUD/PSEUDO_DMNFS_WORK" 
     8 
     9export IGCM_DEM=${TMP_MIGR_DATA}"/IGCM_DEM" 
     10export OUTPUT_CHECK=${TMP_MIGR_DATA}"/PSEUDO_DMNFS_CHECK" 
     11export OUTPUT_PROGRESS=${TMP_MIGR_DATA}"/PSEUDO_DMNFS_PROGRESS" 
     12 
    1013 
    1114# Sur curie en sequentiel 

  • TOOLS/PACK_IPSL/parallelPack.sh

    r1880 r1882  
    244244numNewTry=$(( $numPreviousTry + 1 )) 
    245245 
     246 
    246247# Pas de 4eme essai permis 
    247248# ----------------------------  
    248 if [ $numNewTry -ge 4 ] 
    249 then 
    250     echo "Pas de 4eme essai permis" 
     249if [ $numNewTry -ge 3 ] 
     250then 
     251    echo "Pas de 3eme essai permis" 
    251252    exit 1 
    252253fi 

  • TOOLS/PACK_IPSL/process_list.sh

    r1874 r1882  
    77 
    88switchtotar=0 # gpdebug : a modifier --> s'occuper des options du script orig enlarge.sh 
    9 maxtries=3 
     9maxtries=2 
    1010 
    1111# On renseigne les variables d'environnement  
    … …  
    257257        #----------------------------------- 
    258258        # Skip the set if last line of the status file is "COMPLETED" or "DELEGATE" 
    259         if tail -1 $statusfile | grep -q -E '(COMPLETED|DELEGATE)' ; then 
     259        if tail -1 $statusfile | grep -q -E '(COMPLETED)' ; then 
    260260                printf "====> " 
    261                 tail -1 $statusfile 
    262                 exit 0 
     261                tail -1 $statusfile      
    263262        fi 
    264263 
    … …  
    314313            echo "====> FAILED at try #$nbtries"  
    315314            echo "FAILED at try #$nbtries ; $datestr1 ; $datestr2 ; $tarcmd $taroptions $outputfile $(cat $set) ; $logfile" >> $statusfile 
    316             exit 1 
     315            exit 50 
    317316        fi 
    318317        rm -f $set".local"  
    … …  
    341340        #----------------------------------- 
    342341        # Skip the set if last line of the status file is "COMPLETED" or "DELEGATE" 
    343         if tail -1 $statusfile | grep -q -E '(COMPLETED|DELEGATE)' ; then 
     342        if tail -1 $statusfile | grep -q -E '(COMPLETED)' ; then 
    344343                printf "====> " 
    345344                tail -1 $statusfile 
    … …  
    391390            echo "====> FAILED at try #$nbtries"  
    392391            echo "FAILED at try #$nbtries ; $datestr1 ; $datestr2 ; $tarcmd $taroptions $outputfile $(cat $set) ; $logfile" >> $statusfile 
    393             exit 1 
     392            exit 50 
    394393        fi 
    395394         
    … …  
    418417        #----------------------------------- 
    419418        # Skip the set if last line of the status file is "COMPLETED" or "DELEGATE" 
    420         if tail -1 $statusfile | grep -q -E '(COMPLETED|DELEGATE)' ; then 
     419        if tail -1 $statusfile | grep -q -E '(COMPLETED)' ; then 
    421420                printf "====> " 
    422421                tail -1 $statusfile 
    … …  
    467466            echo "====> FAILED at try #$nbtries"  
    468467            echo "FAILED at try #$nbtries ; $datestr1 ; $datestr2 ; $tarcmd $taroptions $outputfile $(cat $set) ; $logfile" >> $statusfile 
    469             exit 1 
     468            exit 50 
    470469        fi 
    471470         
    … …  
    493492        #----------------------------------- 
    494493        # Skip the set if last line of the status file is "COMPLETED" or "DELEGATE" 
    495         if tail -1 $statusfile | grep -q -E '(COMPLETED|DELEGATE)' ; then 
     494        if tail -1 $statusfile | grep -q -E '(COMPLETED)' ; then 
    496495                printf "====> " 
    497496                tail -1 $statusfile 
    … …  
    537536            echo "====> FAILED at try #$nbtries"  
    538537            echo "FAILED at try #$nbtries ; $datestr1 ; $datestr2 ; $cpcmd $cpoptions $file $diroutputfile ; $logfile" >> $statusfile 
    539             exit 1 
     538            exit 50 
    540539        fi 
    541540         
    … …  
    563562        #----------------------------------- 
    564563        # Skip the set if last line of the status file is "COMPLETED" or "DELEGATE" 
    565         if tail -1 $statusfile | grep -q -E '(COMPLETED|DELEGATE)' ; then 
     564        if tail -1 $statusfile | grep -q -E '(COMPLETED)' ; then 
    566565                printf "====> " 
    567566                tail -1 $statusfile 
    … …  
    606605            echo "====> FAILED at try #$nbtries"  
    607606            echo "FAILED at try #$nbtries ; $datestr1 ; $datestr2 ; $cpcmd $cpoptions $file $diroutputfile ; $logfile" >> $statusfile 
    608             exit 1 
     607            exit 50 
    609608        fi 
    610609         
    … …  
    637636        #----------------------------------- 
    638637        # Skip the set if last line of the status file is "COMPLETED" or "DELEGATE" 
    639         if tail -1 $statusfile | grep -q -E '(COMPLETED|DELEGATE)' ; then 
     638        if tail -1 $statusfile | grep -q -E '(COMPLETED)' ; then 
    640639                printf "====> " 
    641640                tail -1 $statusfile 
    … …  
    691690            echo "====> FAILED at try #$nbtries"  
    692691            echo "FAILED at try #$nbtries ; $datestr1 ; $datestr2 ; $tarcmd $taroptions $outputfile $(cat $set) ; $logfile" >> $statusfile 
    693             exit 1 
     692            exit 50 
    694693        fi 
    695694         
Note: See TracChangeset for help on using the changeset viewer.