= Configuration IPSLCM5 = [[BR]] Last edited [[Timestamp]] [[PageOutline]] IPSLCM5 is the IPSL coupled configuration based on NEMO as oceanic component. == 7 janvier 2009 == === Compte-rendu réunion NEMO-IPSLCM5 === Les prochaines étapes prévues sont : * Modifications à faire sur le trunk de NEMO : * fait_config : ajout de la config IPSLCM5 * fait_AA_make : * ajout des variables $(USER_INC) et $(USER_LIB) * ajout des options machines platine, vargas et mise à jour mercure * gestion des clés CPP en argument (passage ORAC2 ORCA05, MONO vers MPI) * modifications sur le traitement des détroits * Tag (du style "Tests_IPSLCM5") à poser pour les tests de validation incluant : * Vérifier 96x95 et 144x142 * Finaliser portages vargas, platine * Idem avec IPSLCM5_WORK pour tester LMDZ (trunk) avec paramétrage ancienne physique. Voir aussi : http://lmdz.lmd.jussieu.fr/documentation/faq-lmdz * Simulations prévues * Simulation de validation et comparaison avec OPA8-AR4 orca2xlmd9671 : NEMO tag "Tests_IPSLCM5" + physique OPA8-AR4 + même traitement des détroits que dans OP8-AR4 (copie des routines modifiées à la main) * Simulation de validation orca2xlmd9671 : NEMO tag "Tests_IPSLCM5" + physique OPA8-AR4 + fichier bathy_level modifié pour tourner avec le traitement des détroits de la verson taggée. * Simulations de test nouvelle physique NEMO (3 longueurs d'ondes, couleur de l'eau, kz tides,...): NEMO tag "Tests_IPSLCM5" + modules à tester * Fin mars : tag sur la version à utiliser pour l'IPCC-AR5 == 8 décembre 2008 == Une première version de la configuration IPSLCM5 a tourné sur mercure. Cette version comprend : * LMDZ4_V3_4 pour LMDZ (avec l'interface de couplage modifiée à la main) * Trunk NEMO (avec des modifications à la main pour compilation et exécution) Cette version a tourné en configuration Orca2xLMD9671. La physique utilisée dans NEMO est la meme que celle utilisée dans OPA8. Les résultats de la config IPSLCM5 (avec NEMO) sont disponibles la : http://dods.extra.cea.fr/data/p86caub/IPSLCM5/WEND5 à comparer avec une version de référence IPSLCM4_v2 (avec OPA8) : http://dods.extra.cea.fr/data/p86caub/IPSLCM4_v2/PRMLSUR Il reste à faire pour avoir une configuration IPSLCM5 de référence (IPSLCM4_v2 avec NEMO à la place d'OPA8) : NEMO : * Committer les modifications nécessaires sur le trunk (Fait : http://forge.ipsl.jussieu.fr/nemo/changeset/1226 ) * Resoudre le problème de nom de restart ( Fait : voir ticket NEMO http://forge.ipsl.jussieu.fr/nemo/ticket/258) * Resoudre le pb de traitement de Gibraltar NEMO vs OPA8 * Taguer une version validée de NEMO + modifier le mod.def pour utiliser ce tag * Modifier le fait_config pour l'utiliser en configuration couplée. Voir plus loin ''Premiers Tests (suite) - Aout 2008'' * Attention : ORCA2 seulement. Voir remarque plus loin : ''Remarques concernant la compilation'' * Prévoir platine et vargas dans les machines en standard LMDZ : * Committer les modifications nécessaires sur la branche LMDZ4_v3_patches pour le couplage avec NEMO * Taguer + modifier le mod.def pour utiliser ce tag LibIGCM : * Committer les modifications nécessaires pour l'utilisation de NEMO (merge avec la config ORCA2_LIM). * Taguer + modifier le mod.def pour utiliser ce tag Config IPSLCM5 : * Committer les modifications nécessaires : namcouple, namelist (Fait : [445] ) * Generer proprement les restarts du coupleur * Taguer + modifier le mod.def pour utiliser ce tag Ne pas oublier : * ajouter 96x95 * ajouter vargas (IBM IDRIS) Attention : sur mercure l'utilisation de la librairie MPI 7.2.4 est indispensable. Pour l'utiliser : export SX_BASE_MPI=/SX/opt/mpisx/new avant de faire le gmake == Contrôle Qualité (10 décembre 2008) == === Comparaison Mono Multi === '''Comparaison des résultats en mono et en parallèle''' * 2x5 jours de simulation ORCA2xLMD9671 * mercure * Config NEMO (namelist) : * nbit_cmp = 1 * n_cla = 0 * nsolv = 2 * Fichiers solver.stat de NEMO strictement identiques avec les configurations suivantes : || || Cpl || Oce || Atm || || Nb procs || 1 || 1 || 1 || || Nb procs || 1 || 1 || 3 || || Nb procs || 1 || 2 || 3 || == Pour mémoire == == Premiers Tests (suite) - Aout 2008 == To acess and compile IPSLCM5 coupled configuration, differents steps are needed : {{{ mkdir TEST ; cd TEST svn_ano # alias described here http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner#Lectureseule cd modipsl/util ./model IPSLCM5 vi ../modeles/UTIL/fait_config # add line 41 : set -A DIR_IPSLCM5 OPA_SRC LIM_SRC_2 C1D_SRC NST_SRC # complete line 35 with : ... \nIPSLCM5" ../modeles/UTIL/fait_config IPSLCM5 ./ins_make cd ../config/IPSLCM5 sxgmake vi EXP00/config.card # change JobName, ... ../../util/ins_job vi EXP00/Job_... # change batch memory request (replace 6gb by 7gb) }}} Execution : * La configuration IPSLCM5 a été ajoutée là : source:CONFIG/trunk/IPSLCM5 * Les fichiers d'entrée ont été ajoutés au CCRT et à l'IDRIS sous le login commun * Seule la résolution 96x71-ORCA2 a été prévue pour le moment * L'exécution se passe bien (2 mois), plantage à 2 ans. Prochaines étapes : * check que les fichiers de sortie de IPSLCM5 sont biens rebuildés, sauvés, post-traités,... * ORCA2_LIM avec libIGCM, paramétrisation nb procs, y compris monitoring et atlas, restart n fichiers/n procs, ... * reflechir sur le couplé avec 2 modèles parallèles : choix du nbre de procs ocean, atm pour la compilation, l'execution (lien entre compil et execution pour NEMO)),... * portage sur platine Bull CCRT et Power6 IDRIS * point phasage avec seb masson sur la head. On doit passer du temps sur le reglage de la version actuelle que l'on a ou bien on attend le merge avec la head ? * Taggage de la Head de LMDZ puis ajout dans IPSLCM5, avec physique backup * Paramétrage et choix de la nouvelle physique LMDZ Remarques concernant la compilation : * Inclure dans fait_AA_make : * $(USER_INC) ajouté à la fin des options de compilation sur toutes les machines * OASIS_LIB au lieu de OASISMPI2_LIB * Trouver le meilleur moyen de parametrer la résolution orca (ORCA2 ou ORCA05). A ce propos, voir NVTK (use_cfg et cfg.txt) qui utilise des fichiers du genre : BB_make.ldef_GYRE, des sources supplémentaires dans un répertoire de type MY_SRC, et range les bibliothèques dans des répertoires différents. * Répondre à 'comment donne-t-on le mot de passe NEMO?' Quel lien organiser avec la NEMO user database? == First tests - April 2008 == Performances of 1 month simulation of IPSLCM5 configuration (NEMO_ORCA2xLMDZOR_144x142) || '''Machine''' || Type || Nb CPUs || Configuration || '''Real Time''' || || Mercure || Nec-SX8R || 8 || 7 CPUs LMDZOR + 1 CPU OPA-OASIS3 || 15 minutes || || Platine || Bull-Itanium2 || 10 || 8 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 || 73 minutes || || Platine || Bull-Itanium2 || 20 || 18 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 || 34 minutes || || Platine || Bull-Itanium2 || 30 || 28 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 || 25 minutes || || Platine || Bull-Itanium2 || 40 || 38 CPUs LMDZOR + 1 CPU OPA + 1 CPU OASIS3 || 22 minutes || == Steps == Obsolète (août 2008) * mod.def update : to include IPSLCM5 configuration * mod.def : IPSLCM5 added * model (WORK stuff suppressed for IPSLCM5) * fait_config : IPSLCM5 config added * KEY2 adapted in IPSLCM5/AA_make * Pb: P_P filled in IPSLCM5/AA_make not known in Makefile. * Q: How to parametrize ORCA resolution and ORCA keys in IPSLCM5/AA_make? * A: use '''P_NEMO''' in IPSLCM5/AA_make and use P_P := $('''P_NEMO''':%=$(prefix)%) in scripts/BB_make * How to add 2 parameters in ORCA compilation : PSMILE Include and PSMILE library * Prefix for preprocessing added in IPSLCM5/scripts/BB_make.ldef (-D). * CONFIG/IPSLCM5 : to prepare files used for IPSLCM5 * components compilation : * fait_config update for IPSLCM5 configuration * AA_make for compilation * files required for an execution * logical links to similar files handled through IPSLCM4_v2 * COMP : lmdz.card, lmdz.driver, orchidee.card, orchidee.driver * PARAM : Bands*, cf_name.txt, *.def * physical files for files used by NEMO * AA_make, AA_make.ldef * COMP: lim.card, lim.driver, opa.card, opa.driver, oasis.card, oasis.driver * PARAM : *param (namelist pour LIM aussi), nacouple*, namelist* * NEMO sources modified to compile. copied from Arnaud's directory : /work/cont003/p86caub/IPSLCM4_v2_NEMO/modipsl/modeles/NEMO * cpl_oasis3.F90 * restart.F90 (eviter d'appeler le fichier de restart : restart) * cpl.F90 * cpl_oasis3.F90 * tau_oasis_ice.h90 * taumod.F90 * flx_oasis_ice.h90 * flxmod.F90 * flx_oce.F90 (use mod_diurnalcycle suppressed) * traqsr.F90 * trasbc.F90 * step.F90 (use diawript suppressed) * opa.F90 == Open questions == * Cecill licences * User recording in NEMO and other components databases * Minimize the number of password required Arnaud Caubel et Marie-Alice Foujols February 2008