wiki:INCACMIP6

Context Navigation

Version 31 (modified by acosce, 9 years ago) (diff)
--

Dev pour LMDZORINCA_v6

(Auteur : Anne Cozic)

Existant : LMDZORINCA_v5
1. Simulations 1 an
A Faire
1. techniques
2. scientifiques
configuration LMDZORINCA_v5.2
1. Simulations 1 an
Parallélisation
1. MPI_OMP dans INCA
Comparaison AP vs NP + RRTM
Version INCA4
Version INCA5
LMDZORINCA_v6 mode d'emploi
1. version du modèle
2. Premiers pas

Existant : LMDZORINCA_v5

LMDZ 2076
ORCHIDEE tags/ORCHIDEE_1_9_5
INCA tags/INCA4.1.2 ---> INCA4.1.3 (le 9 septembre 2014)

Simulations 1 an

Chimie	nom simu	SpaceName	ExperimentName	Remarque
AER	LOI5.01	PROD	2076	Buggé - il manque humgrowth et bug dans dustecmwf
AER	LOIv5.03	PROD	2076	correction des bugs précédents + version INCA4.1.3
NMHC_AER	LOI5.04	PROD	2076	avec INCA4.1.3

A Faire

techniques

vérifier la parallélisation mpi_omp du code --> ok voir paragraphe MPI_OMP plus bas
inclure xios --> ok
vérifier que lmdzorinca compilé avec rrtm donne les mêmes résultats que sans rrtm si on n'active rien --> OK apres modification de iniradia dans lmdz
faire le même travail avec nmhc_aer et ges --> ok

Question : Quelle version de LMDZ pour le couplé CM6 ? Avec RRTM ? Avec NP ? Avec 79 niveaux ?

scientifiques

couplage inca / nouvelle physique
couplage inca / rrtm
couplage inca / nouvelle physique soulèvement
mise à jour inca aer nitrate

configuration LMDZORINCA_v5.2

LMDZ 2076
ORCHIDEE trunk/2247
INCA tags/INCA4.1.2 ---> INCA4.1.3 (le 9 septembre 2014)

Dans cette configuration on supprime les résolutions 19 niveaux
Dans cette configuration on compile systématiquement les config AER avec rrtm

Simulations 1 an

Chimie	nom simu	SpaceName	ExperimentName	paramètres	Remarque
AER	LOIv5.2.04	PROD	RRTM	iflag_rrtm=1, NSW=6, NPv3.2
AER	LOIv5.2.05	PROD	RRTM	iflag_rrtm=1, NSW=6, NPv3.2	avec INCA4.1.3

Parallélisation

ATTENTION : La parallélisation est vérifiable avec -fp-model strict. Cependant comme cela double quasiment le temps de calcul on ne garde cette option que pour les vérifications

MPI_OMP dans INCA

Parallélisation vérifiée dans la rev 334 du trunk/INCA4 et 335 du tags/INCA4.1.3.

Attention en mode dev il faut remplacer les appels à scopy dans aerosol_meteo_calc par une égalité de vecteur.
il faut bien mettre à jour le fichier arch-X64_CURIE.fcm de lmdz si l'on travaille avec la rev 2076

#MSUB -n 24 # reservation des processeurs pour le job
#MSUB -c 2
BATCH_NUM_PROC_TOT=48


et dans config.card
ATM= (gcm.e, gcm.e, 24MPI, 2OMP)

Comparaison AP vs NP + RRTM

Plusieurs simulations ont été réalisé :

* LOI5.2.01 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar) [effacée par erreur]

LOINP5.2.01 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar)
- rev LMDZ : 2076
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- iflag_rrtm = 1
- config_inca = aeNP
- NSW = 6
- iflag_thermals=17
- iflag_pbl = 11
- LMDZ_Physics=NPv3.2
LOI5.2.03 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar)
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- rev LMDZ : 2076
- iflag_rrtm=0
- config_inca = aero
- NSW = 2
- iflag_thermals=0
- iflag_pbl = 1
- LMDZ_Physics=AP
LOIv5.03 : LMDZ 2076 / INCA4.1.3 (sources dans /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/LMDZORINCA/AER/PROD/2076/LOIv5.03/modipsl_save.tar)
- /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/LMDZORINCA/AER/PROD/2076
- rev LMDZ : 2076
- iflag_rrtm=0
- config_inca = aero
- NSW = 2
- iflag_thermals=0
- iflag_pbl = 1
- LMDZ_Physics=AP
LOINP5.2.02 : test avant commit dans lmdz des modifs de Olivier B. A comparer avec LOINP5.2.01 (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2136_save.tar)
- rev LMDZ : 2136
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- iflag_rrtm = 1
- config_inca = aeNP
- NSW = 6
- iflag_thermals=17
- iflag_pbl = 11
- LMDZ_Physics=NPv3.2
LOINP5.2.03 : test avant commit dans lmdz des modifs de Olivier B. / correction du mail du 3/11/2014 / A comparer avec LOINP5.2.02 (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2136_2_save.tar)
- rev LMDZ : 2136
- /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
- iflag_rrtm = 1
- config_inca = aeNP
- NSW = 6
- iflag_thermals=17
- iflag_pbl = 11
- LMDZ_Physics=NPv3.2

Version INCA4

INCA4.1.3 rev 355 correspond à LMDZ 2076 INCA4.1.3 rev 370 correspond à LMDZ 2170

Version INCA5

Une nouvelle version de INCA est créée : trunk/INCA5. Elle contient les modifications de Didier H. pour l'inclusion des nitrates dans le code avec chimie_aérosols (NMHC_AER). Cette version n'est actuellement pas validée pour les versions AER et GES.

INCA5 rev 363 correspond à LMDZ 2097 + nqo dans infotrac INCA5 rev 373 correspond à LMDZ 2170

tag INCA5.1.0

ce tag est une copie du trunk le 24 novembre 2014 avant l'inclusion dans la trunk des modifs pour xios.

branches INCA_XIOS

branche de travail pour Xios - copie du trunk 357

branche INCA_NP

branche du travail pour NP - copie du trunk 357

Merge dans INCA5

Merge de INCA_NP, INCA_XIOS et INCA5 lors des révisions 372 et 373

Test de vérification sur les nitrates :
- run 1 : 1 mois LMDZ(2097) + INCA5(363) /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/NMHC_AER/PROD/NITRATE/L5OI4run01/
- run 2 : 1 mois LMDZ(2180) + INCA5(377) /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/NMHC_AER/PROD/NITRATE/L5OI5run01/

---> comparaison rapide avec ferret == résultats identiques.

Technique:
- run1 = 32MPI sans xios / 1 mois = 8361s (* 32)
- run2 = 32MPIx4OMP + 1 serveur XIOS / 1 mois = 2170s (*129)

LMDZORINCA_v6 mode d'emploi

(27 janvier 2015)

version du modèle

LMDZ5/trunk rev 2185
INCA5/trunk rev 379
ORCHIDEE/trunk rev 2305
XIOS/branche/xios-1.0 rev 519
LMDZORINCA_v6 rev 2401

Cette configuration permet :

les nitrates sont inclus dans la version nmhc_aer mais pas dans aer
on peut activer la nouvelle physique et utiliser les modifications sur le schéma radiatif de Olivier B.
on peut utiliser xios en mode attaché ou en mode serveur (mode serveur par défaut = un process mpi dédié aux sorties et plus de rebuild)
on peut travailler avec une parallélisation mpi_omp (compilé par défaut en mpi_omp)

Premiers pas

extraire modipsl et LMDZORINCA_v6
compiler

créer le répertoire d'expérience

dans config.card éventuellement modifier les variables JobName, SpaceName, ExperimentName (se reporter à la documentation en ligne)

dans config.card vérifier le nombre de process mpi (32 par défaut), de tâches omp (1 par défaut) et le nombre de serveurs xios (1 par défaut). Et modifier l'entête du job en fonction :

Par défaut dans config.card : 
-------------------------------
ATM= (gcm.e, gcm.e, 32MPI, 1OMP)
SRF= ("", "")
SBG= ("", "")
CHM= ("", "")
IOS= (xios_server.exe, xios.x, 1MPI)

L'entête du Job doit être : 
-----------------------------
#!/bin/ksh
######################
## CURIE   TGCC/CEA ##
######################
#MSUB -r JobName        # Job Name
#MSUB -o Script_Output_JobName.000001    # standard output
#MSUB -e Script_Output_JobName.000001    # error output
#MSUB -eo
#MSUB -n 33  # Number of cores        (= 32 MPI *1 OMP + 1 XIOS)
(...)
#MSUB -x                   # exclusive node
#MSUB -E '--cpu_bind=none'

BATCH_NUM_PROC_TOT=$BRIDGE_MSUB_NPROC
set +x

choisir dans COMP/inca.card si l'on veut travailler avec xios ou ioipsl (par défaut xios)
vérifier dans les COMP/*.card et les PARAM/*.def que tout correspond à la simulation que l'on souhaite réaliser.
soumettre

Download in other formats:

Plain Text