wiki:ConfigIPSLCM5

Version 28 (modified by mafoipsl, 15 years ago) (diff)

--

Configuration IPSLCM5


Last edited Sun Apr 28 10:28:15 2024

  1. Configuration IPSLCM5
    1. 23 janvier 2009
      1. Tests en cours
    2. 7 janvier 2009
      1. Compte-rendu réunion NEMO-IPSLCM5
    3. 8 décembre 2008
    4. Contrôle Qualité (10 décembre 2008)
      1. Comparaison Mono Multi
    5. Pour mémoire
    6. Premiers Tests (suite) - Aout 2008
    7. First tests - April 2008
    8. Steps
    9. Open questions

IPSLCM5 is the IPSL coupled configuration based on NEMO as oceanic component.

23 janvier 2009

Une configuration IPSLCM5 a été créée avec les tags suivants :

  • NEMO nemo_v3_1_beta
  • IOIPSL tags/v2_1_7
  • LMDZ4 LMDZ4_V3_5
  • ORCHIDEE orchidee_1_9_2
  • OASIS3 HEAD
  • libIGCM libIGCM_v1_2

Tests en cours

Deux simulations de validation sont en cours à la résolution ORCA2xLMD9671 sur mercure.

  • VALOPA8 : Simulation de validation et comparaison avec OPA8-AR4 : NEMO tag "nemo_v3_1_beta" + physique OPA8-AR4 + même traitement des détroits que dans OP8-AR4 Routines modifiées à la main : /home/cont003/p86caub/SRC_NEMO_OPA8 sur mercure et /home/rech/ces/rces061/SRC_NEMO_OPA8 sur brodie
    • domhgr.F90
    • dommsk.F90
    • domzgr.F90
    • diafwb.F90
  • VALNEMO : Simulation de validation : NEMO tag "nemo_v3_1_beta" + physique OPA8-AR4 + fichier bathy_level modifié pour tourner avec le traitement des détroits de la version taggée. Fichiers INIT et BC stockés sous la résolution ORCA2.1 au lieu d'ORCA2 sur les comptes communs.

Sur brodie :

  • équivalent VALNEMO - CM5A

7 janvier 2009

Compte-rendu réunion NEMO-IPSLCM5

Les prochaines étapes prévues sont :

  • Modifications à faire sur le trunk de NEMO :
    • fait_config : ajout de la config IPSLCM5
    • fait_AA_make :
      • ajout des variables $(USER_INC) et $(USER_LIB)
      • ajout des options machines platine, vargas et mise à jour mercure
      • gestion des clés CPP en argument (passage ORAC2 ORCA05, MONO vers MPI)
  • modifications sur le traitement des détroits
  • Tag (du style "Tests_IPSLCM5") à poser pour les tests de validation incluant :
  • Simulations prévues
    • Simulation de validation et comparaison avec OPA8-AR4 orca2xlmd9671 : NEMO tag "Tests_IPSLCM5" + physique OPA8-AR4 + même traitement des détroits que dans OP8-AR4 (copie des routines modifiées à la main)
    • Simulation de validation orca2xlmd9671 : NEMO tag "Tests_IPSLCM5" + physique OPA8-AR4 + fichier bathy_level modifié pour tourner avec le traitement des détroits de la verson taggée.
    • Simulations de test nouvelle physique NEMO (3 longueurs d'ondes, couleur de l'eau, kz tides,...): NEMO tag "Tests_IPSLCM5" + modules à tester
  • Fin mars : tag sur la version à utiliser pour l'IPCC-AR5

8 décembre 2008

Une première version de la configuration IPSLCM5 a tourné sur mercure. Cette version comprend :

  • LMDZ4_V3_4 pour LMDZ (avec l'interface de couplage modifiée à la main)
  • Trunk NEMO (avec des modifications à la main pour compilation et exécution)

Cette version a tourné en configuration Orca2xLMD9671. La physique utilisée dans NEMO est la meme que celle utilisée dans OPA8. Les résultats de la config IPSLCM5 (avec NEMO) sont disponibles la : ​http://dods.extra.cea.fr/data/p86caub/IPSLCM5/WEND5 à comparer avec une version de référence IPSLCM4_v2 (avec OPA8) : ​http://dods.extra.cea.fr/data/p86caub/IPSLCM4_v2/PRMLSUR

Il reste à faire pour avoir une configuration IPSLCM5 de référence (IPSLCM4_v2 avec NEMO à la place d'OPA8) :

NEMO :

  • Committer les modifications nécessaires sur le trunk (Fait : ​http://forge.ipsl.jussieu.fr/nemo/changeset/1226 )
  • Resoudre le problème de nom de restart ( Fait : voir ticket NEMO ​http://forge.ipsl.jussieu.fr/nemo/ticket/258)
  • Resoudre le pb de traitement de Gibraltar NEMO vs OPA8
  • Taguer une version validée de NEMO + modifier le mod.def pour utiliser ce tag
  • Modifier le fait_config pour l'utiliser en configuration couplée. Voir plus loin Premiers Tests (suite) - Aout 2008
  • Attention : ORCA2 seulement. Voir remarque plus loin : Remarques concernant la compilation
  • Prévoir platine et vargas dans les machines en standard

LMDZ :

  • Committer les modifications nécessaires sur la branche LMDZ4_v3_patches pour le couplage avec NEMO
  • Taguer + modifier le mod.def pour utiliser ce tag

LibIGCM :

  • Committer les modifications nécessaires pour l'utilisation de NEMO (merge avec la config ORCA2_LIM).
  • Taguer + modifier le mod.def pour utiliser ce tag

Config IPSLCM5 :

  • Committer les modifications nécessaires : namcouple, namelist (Fait : [445] )
  • Generer proprement les restarts du coupleur
  • Taguer + modifier le mod.def pour utiliser ce tag

Ne pas oublier :

  • ajouter 96x95
  • ajouter vargas (IBM IDRIS)

Attention : sur mercure l'utilisation de la librairie MPI 7.2.4 est indispensable. Pour l'utiliser : export SX_BASE_MPI=/SX/opt/mpisx/new avant de faire le gmake

Contrôle Qualité (10 décembre 2008)

Comparaison Mono Multi

Comparaison des résultats en mono et en parallèle

  • 2x5 jours de simulation ORCA2xLMD9671
  • mercure
  • Config NEMO (namelist) :
    • nbit_cmp = 1
    • n_cla = 0
    • nsolv = 2
  • Fichiers solver.stat de NEMO strictement identiques avec les configurations suivantes :
Cpl Oce Atm
Nb procs 1 1 1
Nb procs 1 1 3
Nb procs 1 2 3

Pour mémoire

Premiers Tests (suite) - Aout 2008

To acess and compile IPSLCM5 coupled configuration, differents steps are needed : 

mkdir TEST ; cd TEST
svn_ano # alias described here http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner#Lectureseule
cd modipsl/util
./model IPSLCM5
vi ../modeles/UTIL/fait_config # add line 41 : set -A DIR_IPSLCM5 OPA_SRC LIM_SRC_2 C1D_SRC NST_SRC
                               # complete line 35 with : ... \nIPSLCM5"
../modeles/UTIL/fait_config IPSLCM5
./ins_make 
cd ../config/IPSLCM5
sxgmake

vi EXP00/config.card # change JobName, ...
../../util/ins_job
vi EXP00/Job_... # change batch memory request (replace 6gb by 7gb)

Execution :

  • La configuration IPSLCM5 a été ajoutée là : source:CONFIG/trunk/IPSLCM5
  • Les fichiers d'entrée ont été ajoutés au CCRT et à l'IDRIS sous le login commun
  • Seule la résolution 96x71-ORCA2 a été prévue pour le moment
  • L'exécution se passe bien (2 mois), plantage à 2 ans.

Prochaines étapes :

  • check que les fichiers de sortie de IPSLCM5 sont biens rebuildés, sauvés, post-traités,...
  • ORCA2_LIM avec libIGCM, paramétrisation nb procs, y compris monitoring et atlas, restart n fichiers/n procs, ...
  • reflechir sur le couplé avec 2 modèles parallèles : choix du nbre de procs ocean, atm pour la compilation, l'execution (lien entre compil et execution pour NEMO)),...
  • portage sur platine Bull CCRT et Power6 IDRIS
  • point phasage avec seb masson sur la head. On doit passer du temps sur le reglage de la version actuelle que l'on a ou bien on attend le merge avec la head ?
  • Taggage de la Head de LMDZ puis ajout dans IPSLCM5, avec physique backup
  • Paramétrage et choix de la nouvelle physique LMDZ

Remarques concernant la compilation :

  • Inclure dans fait_AA_make :
    • $(USER_INC) ajouté à la fin des options de compilation sur toutes les machines
    • OASIS_LIB au lieu de OASISMPI2_LIB
  • Trouver le meilleur moyen de parametrer la résolution orca (ORCA2 ou ORCA05). A ce propos, voir NVTK (use_cfg et cfg.txt) qui utilise des fichiers du genre : BB_make.ldef_GYRE, des sources supplémentaires dans un répertoire de type MY_SRC, et range les bibliothèques dans des répertoires différents.
  • Répondre à 'comment donne-t-on le mot de passe NEMO?' Quel lien organiser avec la NEMO user database?

First tests - April 2008

Performances of 1 month simulation of IPSLCM5 configuration (NEMO_ORCA2xLMDZOR_144x142)

Machine Type Nb CPUs Configuration Real Time
Mercure Nec-SX8R 8 7 CPUs LMDZOR + 1 CPU OPA-OASIS3 15 minutes
Platine Bull-Itanium2 10 8 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 73 minutes
Platine Bull-Itanium2 20 18 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 34 minutes
Platine Bull-Itanium2 30 28 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 25 minutes
Platine Bull-Itanium2 40 38 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 22 minutes

Steps

Obsolète (août 2008)

  • mod.def update : to include IPSLCM5 configuration
    • mod.def : IPSLCM5 added
    • model (WORK stuff suppressed for IPSLCM5)
    • fait_config : IPSLCM5 config added
    • KEY2 adapted in IPSLCM5/AA_make
      • Pb: P_P filled in IPSLCM5/AA_make not known in Makefile.
        • Q: How to parametrize ORCA resolution and ORCA keys in IPSLCM5/AA_make?
        • A: use P_NEMO in IPSLCM5/AA_make and use P_P := $(P_NEMO:%=$(prefix)%) in scripts/BB_make
      • How to add 2 parameters in ORCA compilation : PSMILE Include and PSMILE library
    • Prefix for preprocessing added in IPSLCM5/scripts/BB_make.ldef (-D).
  • CONFIG/IPSLCM5 : to prepare files used for IPSLCM5
    • components compilation :
      • fait_config update for IPSLCM5 configuration
      • AA_make for compilation
    • files required for an execution
      • logical links to similar files handled through IPSLCM4_v2
        • COMP : lmdz.card, lmdz.driver, orchidee.card, orchidee.driver
        • PARAM : Bands*, cf_name.txt, *.def
      • physical files for files used by NEMO
        • AA_make, AA_make.ldef
        • COMP: lim.card, lim.driver, opa.card, opa.driver, oasis.card, oasis.driver
        • PARAM : *param (namelist pour LIM aussi), nacouple*, namelist*
  • NEMO sources modified to compile. copied from Arnaud's directory : /work/cont003/p86caub/IPSLCM4_v2_NEMO/modipsl/modeles/NEMO
    • cpl_oasis3.F90
    • restart.F90 (eviter d'appeler le fichier de restart : restart)
    • cpl.F90
    • cpl_oasis3.F90
  • tau_oasis_ice.h90
  • taumod.F90
  • flx_oasis_ice.h90
  • flxmod.F90
  • flx_oce.F90 (use mod_diurnalcycle suppressed)
  • traqsr.F90
  • trasbc.F90
  • step.F90 (use diawript suppressed)
  • opa.F90

Open questions

  • Cecill licences
  • User recording in NEMO and other components databases
  • Minimize the number of password required

Arnaud Caubel et Marie-Alice Foujols

February 2008