Benchmarks de post-traitements avec libIGCM

10 ans de TS (Time Series)

Bench de création des TS. Cela fait 10 ans par défaut et lance 43 jobs de TS. Cela prend une simulation de type historique, pointe avec des liens sur les fichiers de type Output et lance les TS qui seront rangées dans les répertoires Analyse. Sont intégrés les ajouts de la commande time, les choix CCRT/IDRIS.

Cela prend libIGCM truck. Il reste une seule modif maison de !TimeSeries_Checker : forcer à 300Y les TS avec Chunck3D=NONE pour éviter de gérer le run.card et CompletedFlag.

README

3 étapes:

• à faire une seule fois : Preparation liens vers v3.historivalV52 sur gaya ou vers v3.historical4 au CCRT :

  if [[ $HOSTNAME = ulam ]] then
   MYMACHINE=ulam
   SIMU=v3.historivalV52
   BENCH_WORKDIR=/workdir/rech/tgw/rtgw001
   cd $HOMEGAYA
  else
   MYMACHINE=cesium
   SIMU=v3.historical4
   BENCH_WORKDIR=$(ccc_home -w -u p86maf)
   cd $DMFDIR
  fi
  [ -d IGCM_OUT/IPSLCM5A/TEST ] || mkdir -p IGCM_OUT/IPSLCM5A/TEST 
   cd IGCM_OUT/IPSLCM5A/TEST
   mkdir -p historical/$SIMU
   for i in ATM CPL ICE MBG OCE SRF SBG ; do echo $i ; mkdir $i ; cd $i ; ln -s ../../../../PROD/historical/$SIMU/$i/Output . ; ln -s ../../../../PROD/historical/$SIMU/$i/Debug . ; ln -s ../../../../PROD/historical/$SIMU/$i/Restart . ; cd .. ; echo $i done ; done
  
  

• Preparation des jobs de TS :
  • A faire une seule fois :

    cd $WORKDIR
    [ -d POST_BENCH ] || mkdir POST_BENCH
    cd POST_BENCH
    #svn_ano
    #svn_ano is aliased to `svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl'
    svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl
    cd modipsl/util
    ./model libIGCM
    # ajouter time devant les commandes nco/cdo
    sed -i -e 's/ ncatted / time ncatted /' -e 's/ ncks / time ncks /' -e 's/ ncrcat / time ncrcat /' -e 's/ \\cdo /time \\cdo /' libIGCM_sys_${MYMACHINE}.ksh
    ./ins_job
    cd ..
    [ -d SIMU ] || mkdir $SIMU 
    cd $SIMU
    cp ${BENCH_WORKDIR}/POST_BENCH/$SIMU/config.card .
    cp -pr ${BENCH_WORKDIR}/POST_BENCH/$SIMU/COMP . # On a mis 300Y au lieu de NONE pour les TS_MO
    cp -pr ${BENCH_WORKDIR}/POST_BENCH/$SIMU/POST .
    cp ../modipsl/libIGCM/TimeSeries_Checker.job .
    # modifs pour avoir le repertoire en local
    sed -i -e "s/JobName=.*$/JobName=$SIMU/" -e 's/CARD_DIR=.*$/CARD_DIR=${CURRENT_DIR}/' TimeSeries_Checker.job
    

  • Lancer la creation des TS une premiere fois :

    ./TimeSeries_Checker.job 2>&1 |tee TSC_OUT_1ere
    

  • A refaire si on veut finaliser les TS :

    ./TimeSeries_Checker.job 2>&1 |tee TSC_OUT_2eme
    ...
    

  • TODO :
    • presenter une synthèse des temps. grep real pour commencer.
    • test sur mercure frontale
• Si on veut tout recommencer.
  • Aller dans IGCM_OUT/IPSLCM5A/TEST et faire

    rm -rf $SIMU/???/Analyse 
    

  • Revenir dans $WORKDIR/POST_BENCH ; faire du menage des anciennes sorties :

    rm -rf OutScript
    

  • et refaire :

    ./TimeSeries_Checker.job 2>&1 |tee TSC_OUT_1ere
    ...
    

• de plus, si on veut faire 50 ans faire :

  vi config.card  # Mettre DateEnd 1899 pour faire 50 ans
  

Retours ulam

Test lancé par D Lecas, IDRIS.

• 75 jobs de TS de la simu v3.historivalV52 entre 1850 et 1899 soit 50 ans max.
• On repère ceux qui sont partis en time limit car ils ne contiennent pas la ligne : Dummy call, let the scheduler do that.
• 53 se sont bien finis. 22 sont partis en time limit.
• 6821 commandes équipées de time dont 103 > 1h dans 38 sorties de jobs différentes
• 1023 Put_Out

qq exemples de time > 1h :

TS.461656
IGCM_sys_ncrcat : --hst -v lon,lat,presnivs,time_counter,time_counter_bnds,lwcon v3.historivalV52_18500101_18500131_1D_histday.nc ... v3.historivalV52_18591201_18591231_1D_histday.nc v3.historivalV52_18500101_18591231_1D_lwcon.nc
real    4h20m9.27s
/u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18500101_18591231_1D_lwcon.nc

TS.461667
IGCM_sys_ncrcat : --hst -v lon,lat,presnivs,time_counter,time_counter_bnds,temp v3.historivalV52_18500101_18500131_HF_histhf.nc ... v3.historivalV52_18591201_18591231_HF_histhf.nc v3.historivalV52_18500101_18591231_HF_temp.nc
real    12h37m0.41s
IGCM_sys_Put_Out : v3.historivalV52_18500101_18591231_HF_temp.nc /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18500101_18591231_HF_temp.nc

TS.461701
IGCM_sys_ncrcat : --hst -v nav_lon,nav_lat,time_counter,time_counter_bnds,vosaline v3.historivalV52_18600101_18600131_1D_grid_T.nc ... v3.historivalV52_18691201_18691231_1D_grid_T.nc v3.historivalV52_18600101_18691231_1D_vosaline.nc
real    4h56m32.99s
IGCM_sys_Put_Out : v3.historivalV52_18600101_18691231_1D_vosaline.nc /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/OCE/Analyse/TS_DA/v3.historivalV52_18600101_18691231_1D_vosaline.nc

parti en time limit les jobs de création de :

IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18500101_18991231_1D_bils.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18500101_18591231_1D_lwcon.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18600101_18691231_1D_lwcon.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18700101_18791231_1D_lwcon.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18800101_18891231_1D_lwcon.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_DA/v3.historivalV52_18900101_18991231_1D_lwcon.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18500101_18991231_HF_cldt.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18500101_18591231_HF_temp.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18600101_18691231_HF_temp.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18700101_18791231_HF_temp.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18800101_18891231_HF_temp.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18900101_18991231_HF_temp.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18500101_18591231_HF_ta.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18600101_18691231_HF_ta.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18700101_18791231_HF_ta.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18800101_18891231_HF_ta.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18900101_18991231_HF_ta.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18500101_18991231_3H_phis.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/ATM/Analyse/TS_HF/v3.historivalV52_18500101_18991231_3H_precip.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/MBG/Analyse/TS_MO/v3.historivalV52_18500101_18991231_1M_Alkalini.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/MBG/Analyse/TS_MO/v3.historivalV52_18500101_18991231_1M_CO3.nc
IGCM_sys_TestFileArchive : /u/idris/sos/ssos189/IGCM_OUT/IPSLCM5A/TEST/historical/v3.historivalV52/MBG/Analyse/TS_MO/v3.historivalV52_18500101_18991231_1M_CHLT.nc

Retour frontale mercure

10 ans lancés

• 43 jobs TS soumis sur mercure01, la frontale SX