wiki:INCACMIP6

Context Navigation

Version 33 (modified by acosce, 9 years ago) (diff)
--

Dev pour LMDZORINCA_v6

(Auteur : Anne Cozic)

Existant : LMDZORINCA_v5
1. Simulations 1 an
A Faire
1. techniques
2. scientifiques
configuration LMDZORINCA_v5.2
1. Simulations 1 an
Parallélisation
1. MPI_OMP dans INCA
Comparaison AP vs NP + RRTM
Version INCA4
Version INCA5
LMDZORINCA_v6 mode d'emploi
1. version du modèle
2. Premiers pas

Existant : LMDZORINCA_v5

LMDZ 2076
ORCHIDEE tags/ORCHIDEE_1_9_5
INCA tags/INCA4.1.2 ---> INCA4.1.3 (le 9 septembre 2014)

Simulations 1 an

Chimie	nom simu	SpaceName	ExperimentName	Remarque
AER	LOI5.01	PROD	2076	Buggé - il manque humgrowth et bug dans dustecmwf
AER	LOIv5.03	PROD	2076	correction des bugs précédents + version INCA4.1.3
NMHC_AER	LOI5.04	PROD	2076	avec INCA4.1.3

A Faire

techniques

vérifier la parallélisation mpi_omp du code --> ok voir paragraphe MPI_OMP plus bas
inclure xios --> ok
vérifier que lmdzorinca compilé avec rrtm donne les mêmes résultats que sans rrtm si on n'active rien --> OK apres modification de iniradia dans lmdz
faire le même travail avec nmhc_aer et ges --> ok

Question : Quelle version de LMDZ pour le couplé CM6 ? Avec RRTM ? Avec NP ? Avec 79 niveaux ?

scientifiques

couplage inca / nouvelle physique
couplage inca / rrtm
couplage inca / nouvelle physique soulèvement
mise à jour inca aer nitrate

configuration LMDZORINCA_v5.2

LMDZ 2076
ORCHIDEE trunk/2247
INCA tags/INCA4.1.2 ---> INCA4.1.3 (le 9 septembre 2014)

Dans cette configuration on supprime les résolutions 19 niveaux
Dans cette configuration on compile systématiquement les config AER avec rrtm

Simulations 1 an

Chimie	nom simu	SpaceName	ExperimentName	paramètres	Remarque
AER	LOIv5.2.04	PROD	RRTM	iflag_rrtm=1, NSW=6, NPv3.2
AER	LOIv5.2.05	PROD	RRTM	iflag_rrtm=1, NSW=6, NPv3.2	avec INCA4.1.3

Parallélisation

ATTENTION : La parallélisation est vérifiable avec -fp-model strict. Cependant comme cela double quasiment le temps de calcul on ne garde cette option que pour les vérifications

MPI_OMP dans INCA

Parallélisation vérifiée dans la rev 334 du trunk/INCA4 et 335 du tags/INCA4.1.3.

Attention en mode dev il faut remplacer les appels à scopy dans aerosol_meteo_calc par une égalité de vecteur.
il faut bien mettre à jour le fichier arch-X64_CURIE.fcm de lmdz si l'on travaille avec la rev 2076

#MSUB -n 24 # reservation des processeurs pour le job
#MSUB -c 2
BATCH_NUM_PROC_TOT=48


et dans config.card
ATM= (gcm.e, gcm.e, 24MPI, 2OMP)

Comparaison AP vs NP + RRTM

Plusieurs simulations ont été réalisé :

* LOI5.2.01 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar) [effacée par erreur]

LOINP5.2.01 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar)
- rev LMDZ : 2076
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- iflag_rrtm = 1
- config_inca = aeNP
- NSW = 6
- iflag_thermals=17
- iflag_pbl = 11
- LMDZ_Physics=NPv3.2
LOI5.2.03 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar)
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- rev LMDZ : 2076
- iflag_rrtm=0
- config_inca = aero
- NSW = 2
- iflag_thermals=0
- iflag_pbl = 1
- LMDZ_Physics=AP
LOIv5.03 : LMDZ 2076 / INCA4.1.3 (sources dans /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/LMDZORINCA/AER/PROD/2076/LOIv5.03/modipsl_save.tar)
- /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/LMDZORINCA/AER/PROD/2076
- rev LMDZ : 2076
- iflag_rrtm=0
- config_inca = aero
- NSW = 2
- iflag_thermals=0
- iflag_pbl = 1
- LMDZ_Physics=AP
LOINP5.2.02 : test avant commit dans lmdz des modifs de Olivier B. A comparer avec LOINP5.2.01 (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2136_save.tar)
- rev LMDZ : 2136
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- iflag_rrtm = 1
- config_inca = aeNP
- NSW = 6
- iflag_thermals=17
- iflag_pbl = 11
- LMDZ_Physics=NPv3.2
LOINP5.2.03 : test avant commit dans lmdz des modifs de Olivier B. / correction du mail du 3/11/2014 / A comparer avec LOINP5.2.02 (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2136_2_save.tar)
- rev LMDZ : 2136
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- iflag_rrtm = 1
- config_inca = aeNP
- NSW = 6
- iflag_thermals=17
- iflag_pbl = 11
- LMDZ_Physics=NPv3.2

Version INCA4

INCA4.1.3 rev 355 correspond à LMDZ 2076 INCA4.1.3 rev 370 correspond à LMDZ 2170

Version INCA5

Une nouvelle version de INCA est créée : trunk/INCA5. Elle contient les modifications de Didier H. pour l'inclusion des nitrates dans le code avec chimie_aérosols (NMHC_AER). Cette version n'est actuellement pas validée pour les versions AER et GES.

INCA5 rev 363 correspond à LMDZ 2097 + nqo dans infotrac INCA5 rev 373 correspond à LMDZ 2170

tag INCA5.1.0

ce tag est une copie du trunk le 24 novembre 2014 avant l'inclusion dans la trunk des modifs pour xios.

branches INCA_XIOS

branche de travail pour Xios - copie du trunk 357

branche INCA_NP

branche du travail pour NP - copie du trunk 357

Merge dans INCA5

Merge de INCA_NP, INCA_XIOS et INCA5 lors des révisions 372 et 373

Test de vérification sur les nitrates :
- run 1 : 1 mois LMDZ(2097) + INCA5(363) /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/NMHC_AER/PROD/NITRATE/L5OI4run01/
- run 2 : 1 mois LMDZ(2180) + INCA5(377) /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/NMHC_AER/PROD/NITRATE/L5OI5run01/

---> comparaison rapide avec ferret == résultats identiques.

Technique:
- run1 = 32MPI sans xios / 1 mois = 8361s (* 32)
- run2 = 32MPIx4OMP + 1 serveur XIOS / 1 mois = 2170s (*129)

LMDZORINCA_v6 mode d'emploi

(27 janvier 2015)

version du modèle

LMDZ5/trunk rev 2185 --> attention il faut commenter dans pbl_surface_mod la ligne "cycle loop"
INCA5/trunk rev 379
ORCHIDEE/trunk rev 2305
XIOS/branche/xios-1.0 rev 519
LMDZORINCA_v6 rev 2401

Cette configuration permet :

les nitrates sont inclus dans la version nmhc_aer mais pas dans aer
on peut activer la nouvelle physique et utiliser les modifications sur le schéma radiatif de Olivier B.
on peut utiliser xios en mode attaché ou en mode serveur (mode serveur par défaut = un process mpi dédié aux sorties et plus de rebuild)
on peut travailler avec une parallélisation mpi_omp (compilé par défaut en mpi_omp)

Premiers pas

extract modipsl and LMDZORINCA_v6
compile for your chemistry (NMHC_AERxLMD969539, AERxLMD969539 or GESxLMD969539) --> this compilation allow to use omp parallelisation and xios library

create your experiment directory (the same way than for v5 configuration)

in config.card modify variables JobName, SpaceName, ExperimentName (documentation here)

in config.card check the number of mpi process (32 by default), of omp task (1 by default) and xios server (1 by default). And then modify the Job header :

by default in config.card : 
-------------------------------
ATM= (gcm.e, gcm.e, 32MPI, 1OMP)
SRF= ("", "")
SBG= ("", "")
CHM= ("", "")
IOS= (xios_server.exe, xios.x, 1MPI)

the Job header corresponding is  : 
-----------------------------
#!/bin/ksh
######################
## CURIE   TGCC/CEA ##
######################
#MSUB -r JobName        # Job Name
#MSUB -o Script_Output_JobName.000001    # standard output
#MSUB -e Script_Output_JobName.000001    # error output
#MSUB -eo
#MSUB -n 33  # Number of cores        (= 32 MPI *1 OMP + 1 XIOS)
(...)
#MSUB -x                   # exclusive node
#MSUB -E '--cpu_bind=none'

BATCH_NUM_PROC_TOT=$BRIDGE_MSUB_NPROC
set +x

Choose in COMP/inca.card if we want to manage inca output with xios of ioipsl (xios by default) (note : this doesn't desactivate xios for lmdz and orchidee)
Check that all COMP/*.card and PARAM/*.def fit with your simulation
submit your job

Download in other formats:

Plain Text