wiki:ConfigIPSLCM5

Version 26 (modified by aclsce, 13 years ago) (diff)

--

Configuration IPSLCM5


Last edited Sat Jul 24 09:44:53 2021

IPSLCM5 is the IPSL coupled configuration based on NEMO as oceanic component.

23 janvier 2009

Une configuration IPSLCM5 a été créée avec les tags suivants :

  • NEMO nemo_v3_1_beta
  • IOIPSL tags/v2_1_7
  • LMDZ4 LMDZ4_V3_5
  • ORCHIDEE orchidee_1_9_2
  • OASIS3 HEAD
  • libIGCM libIGCM_v1_2

Tests en cours

Deux simulations de validation sont en cours à la résolution ORCA2xLMD9671 sur mercure.

  • VALOPA8 : Simulation de validation et comparaison avec OPA8-AR4 : NEMO tag "nemo_v3_1_beta" + physique OPA8-AR4 + même traitement des détroits que dans OP8-AR4 Routines modifiées à la main : /home/cont003/p86caub/SRC_NEMO_OPA8
    • domhgr.F90
    • dommsk.F90
    • domzgr.F90
    • diafwb.F90
  • VALNEMO : Simulation de validation : NEMO tag "nemo_v3_1_beta" + physique OPA8-AR4 + fichier bathy_level modifié pour tourner avec le traitement des détroits de la version taggée. Fichiers INIT et BC stockés sous la résolution ORCA2.1 au lieu d'ORCA2 sur les comptes communs.

7 janvier 2009

Compte-rendu réunion NEMO-IPSLCM5

Les prochaines étapes prévues sont :

  • Modifications à faire sur le trunk de NEMO :
    • fait_config : ajout de la config IPSLCM5
    • fait_AA_make :
      • ajout des variables $(USER_INC) et $(USER_LIB)
      • ajout des options machines platine, vargas et mise à jour mercure
      • gestion des clés CPP en argument (passage ORAC2 ORCA05, MONO vers MPI)
  • modifications sur le traitement des détroits
  • Tag (du style "Tests_IPSLCM5") à poser pour les tests de validation incluant :
  • Simulations prévues
    • Simulation de validation et comparaison avec OPA8-AR4 orca2xlmd9671 : NEMO tag "Tests_IPSLCM5" + physique OPA8-AR4 + même traitement des détroits que dans OP8-AR4 (copie des routines modifiées à la main)
    • Simulation de validation orca2xlmd9671 : NEMO tag "Tests_IPSLCM5" + physique OPA8-AR4 + fichier bathy_level modifié pour tourner avec le traitement des détroits de la verson taggée.
    • Simulations de test nouvelle physique NEMO (3 longueurs d'ondes, couleur de l'eau, kz tides,...): NEMO tag "Tests_IPSLCM5" + modules à tester
  • Fin mars : tag sur la version à utiliser pour l'IPCC-AR5

8 décembre 2008

Une première version de la configuration IPSLCM5 a tourné sur mercure. Cette version comprend :

  • LMDZ4_V3_4 pour LMDZ (avec l'interface de couplage modifiée à la main)
  • Trunk NEMO (avec des modifications à la main pour compilation et exécution)

Cette version a tourné en configuration Orca2xLMD9671. La physique utilisée dans NEMO est la meme que celle utilisée dans OPA8. Les résultats de la config IPSLCM5 (avec NEMO) sont disponibles la : http://dods.extra.cea.fr/data/p86caub/IPSLCM5/WEND5 à comparer avec une version de référence IPSLCM4_v2 (avec OPA8) : http://dods.extra.cea.fr/data/p86caub/IPSLCM4_v2/PRMLSUR

Il reste à faire pour avoir une configuration IPSLCM5 de référence (IPSLCM4_v2 avec NEMO à la place d'OPA8) :

NEMO :

  • Committer les modifications nécessaires sur le trunk (Fait : http://forge.ipsl.jussieu.fr/nemo/changeset/1226 )
  • Resoudre le problème de nom de restart ( Fait : voir ticket NEMO http://forge.ipsl.jussieu.fr/nemo/ticket/258)
  • Resoudre le pb de traitement de Gibraltar NEMO vs OPA8
  • Taguer une version validée de NEMO + modifier le mod.def pour utiliser ce tag
  • Modifier le fait_config pour l'utiliser en configuration couplée. Voir plus loin Premiers Tests (suite) - Aout 2008
  • Attention : ORCA2 seulement. Voir remarque plus loin : Remarques concernant la compilation
  • Prévoir platine et vargas dans les machines en standard

LMDZ :

  • Committer les modifications nécessaires sur la branche LMDZ4_v3_patches pour le couplage avec NEMO
  • Taguer + modifier le mod.def pour utiliser ce tag

LibIGCM :

  • Committer les modifications nécessaires pour l'utilisation de NEMO (merge avec la config ORCA2_LIM).
  • Taguer + modifier le mod.def pour utiliser ce tag

Config IPSLCM5 :

  • Committer les modifications nécessaires : namcouple, namelist (Fait : [445] )
  • Generer proprement les restarts du coupleur
  • Taguer + modifier le mod.def pour utiliser ce tag

Ne pas oublier :

  • ajouter 96x95
  • ajouter vargas (IBM IDRIS)

Attention : sur mercure l'utilisation de la librairie MPI 7.2.4 est indispensable. Pour l'utiliser : export SX_BASE_MPI=/SX/opt/mpisx/new avant de faire le gmake

Contrôle Qualité (10 décembre 2008)

Comparaison Mono Multi

Comparaison des résultats en mono et en parallèle

  • 2x5 jours de simulation ORCA2xLMD9671
  • mercure
  • Config NEMO (namelist) :
    • nbit_cmp = 1
    • n_cla = 0
    • nsolv = 2
  • Fichiers solver.stat de NEMO strictement identiques avec les configurations suivantes :
Cpl Oce Atm
Nb procs 1 1 1
Nb procs 1 1 3
Nb procs 1 2 3

Pour mémoire

Premiers Tests (suite) - Aout 2008

To acess and compile IPSLCM5 coupled configuration, differents steps are needed :

mkdir TEST ; cd TEST
svn_ano # alias described here http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner#Lectureseule
cd modipsl/util
./model IPSLCM5
vi ../modeles/UTIL/fait_config # add line 41 : set -A DIR_IPSLCM5 OPA_SRC LIM_SRC_2 C1D_SRC NST_SRC
                               # complete line 35 with : ... \nIPSLCM5"
../modeles/UTIL/fait_config IPSLCM5
./ins_make 
cd ../config/IPSLCM5
sxgmake

vi EXP00/config.card # change JobName, ...
../../util/ins_job
vi EXP00/Job_... # change batch memory request (replace 6gb by 7gb)

Execution :

  • La configuration IPSLCM5 a été ajoutée là : source:CONFIG/trunk/IPSLCM5
  • Les fichiers d'entrée ont été ajoutés au CCRT et à l'IDRIS sous le login commun
  • Seule la résolution 96x71-ORCA2 a été prévue pour le moment
  • L'exécution se passe bien (2 mois), plantage à 2 ans.

Prochaines étapes :

  • check que les fichiers de sortie de IPSLCM5 sont biens rebuildés, sauvés, post-traités,...
  • ORCA2_LIM avec libIGCM, paramétrisation nb procs, y compris monitoring et atlas, restart n fichiers/n procs, ...
  • reflechir sur le couplé avec 2 modèles parallèles : choix du nbre de procs ocean, atm pour la compilation, l'execution (lien entre compil et execution pour NEMO)),...
  • portage sur platine Bull CCRT et Power6 IDRIS
  • point phasage avec seb masson sur la head. On doit passer du temps sur le reglage de la version actuelle que l'on a ou bien on attend le merge avec la head ?
  • Taggage de la Head de LMDZ puis ajout dans IPSLCM5, avec physique backup
  • Paramétrage et choix de la nouvelle physique LMDZ

Remarques concernant la compilation :

  • Inclure dans fait_AA_make :
    • $(USER_INC) ajouté à la fin des options de compilation sur toutes les machines
    • OASIS_LIB au lieu de OASISMPI2_LIB
  • Trouver le meilleur moyen de parametrer la résolution orca (ORCA2 ou ORCA05). A ce propos, voir NVTK (use_cfg et cfg.txt) qui utilise des fichiers du genre : BB_make.ldef_GYRE, des sources supplémentaires dans un répertoire de type MY_SRC, et range les bibliothèques dans des répertoires différents.
  • Répondre à 'comment donne-t-on le mot de passe NEMO?' Quel lien organiser avec la NEMO user database?

First tests - April 2008

Performances of 1 month simulation of IPSLCM5 configuration (NEMO_ORCA2xLMDZOR_144x142)

Machine Type Nb CPUs Configuration Real Time
Mercure Nec-SX8R 8 7 CPUs LMDZOR + 1 CPU OPA-OASIS3 15 minutes
Platine Bull-Itanium2 10 8 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 73 minutes
Platine Bull-Itanium2 20 18 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 34 minutes
Platine Bull-Itanium2 30 28 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 25 minutes
Platine Bull-Itanium2 40 38 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 22 minutes

Steps

Obsolète (août 2008)

  • mod.def update : to include IPSLCM5 configuration
    • mod.def : IPSLCM5 added
    • model (WORK stuff suppressed for IPSLCM5)
    • fait_config : IPSLCM5 config added
    • KEY2 adapted in IPSLCM5/AA_make
      • Pb: P_P filled in IPSLCM5/AA_make not known in Makefile.
        • Q: How to parametrize ORCA resolution and ORCA keys in IPSLCM5/AA_make?
        • A: use P_NEMO in IPSLCM5/AA_make and use P_P := $(P_NEMO:%=$(prefix)%) in scripts/BB_make
      • How to add 2 parameters in ORCA compilation : PSMILE Include and PSMILE library
    • Prefix for preprocessing added in IPSLCM5/scripts/BB_make.ldef (-D).
  • CONFIG/IPSLCM5 : to prepare files used for IPSLCM5
    • components compilation :
      • fait_config update for IPSLCM5 configuration
      • AA_make for compilation
    • files required for an execution
      • logical links to similar files handled through IPSLCM4_v2
        • COMP : lmdz.card, lmdz.driver, orchidee.card, orchidee.driver
        • PARAM : Bands*, cf_name.txt, *.def
      • physical files for files used by NEMO
        • AA_make, AA_make.ldef
        • COMP: lim.card, lim.driver, opa.card, opa.driver, oasis.card, oasis.driver
        • PARAM : *param (namelist pour LIM aussi), nacouple*, namelist*
  • NEMO sources modified to compile. copied from Arnaud's directory : /work/cont003/p86caub/IPSLCM4_v2_NEMO/modipsl/modeles/NEMO
    • cpl_oasis3.F90
    • restart.F90 (eviter d'appeler le fichier de restart : restart)
    • cpl.F90
    • cpl_oasis3.F90
  • tau_oasis_ice.h90
  • taumod.F90
  • flx_oasis_ice.h90
  • flxmod.F90
  • flx_oce.F90 (use mod_diurnalcycle suppressed)
  • traqsr.F90
  • trasbc.F90
  • step.F90 (use diawript suppressed)
  • opa.F90

Open questions

  • Cecill licences
  • User recording in NEMO and other components databases
  • Minimize the number of password required

Arnaud Caubel et Marie-Alice Foujols

February 2008