IPSLCM6 configurations

---

Person in charge: Arnaud Caubel

---

1. IPSLCM6 model

IPSLCM6 is the IPSL coupled climate model under development for the CMIP6 simulations including atmosphere, land, ocean, sea ice and carbon cycle. This configuration includes :

• model components :
  • LMDZ as atmospheric model ;
  • NEMO as ocean model including sea ice (LIM2/LIM3) and marine biogeochemistry (PISCES) ;
  • ORCHIDEE as land model ;
• tools :
  • OASIS3-MCT as parallel coupler ;
  • XIOS as I/O library ;
  • libIGCM as running environment (scripts) to run the model and to perform post processing ;

2. Resolutions and configurations

IPSLCM6 model will be available at different resolutions/configurations :

• IPSLCM6A-VLR_rc0 : LMDZ (Old Physics) 96x95x39 - NEMO-LIM2-PISCES ORCA2
• IPSLCM6-LR (under development, not available) : LMDZ 144x144x79 - NEMO-LIM3-PISCES ORCA1xL75

2.1. IPSLCM6A-VLR_rc0

The resolution of LMDZ is 96x95 (3,75° in longitude and 1,875° in latitude) with 39 vertical levels. The ocean configuration is ORCA2 : global ocean with a tripolar grid with one South pole, one North pole above Siberia and one North pole above northern America. The resolution is 2°. In the tropical region, the latitudinal resolution decreases to 1/2°. There are 31 vertical levels.

IPSLCM6-VLR_rc0 is composed of folowing components and tools :

#-H- IPSLCM6_rc0  IPSLCM6_rc0 coupled configuration
#-H- IPSLCM6_rc0  Working configuration started 17/04/2013
#-H- IPSLCM6_rc0  with 5 NEMO sub-domains
#-H- IPSLCM6_rc0  NEMOGCM trunk revision 4859
#-H- IPSLCM6_rc0  XIOS branch xios-1.0 revision 592
#-H- IPSLCM6_rc0  IOIPSL/src svn tags/v2_2_2
#-H- IPSLCM6_rc0  LMDZ5 LMDZ6_rc0 branch revision 2283
#-H- IPSLCM6_rc0  ORCHIDEE version trunk rev 2247
#-H- IPSLCM6_rc0  OASIS3-MCT 2.0_branch rev 1129
#-H- IPSLCM6_rc0  IPSLCM6 v6_rc0 svn
#-H- IPSLCM6_rc0  libIGCM trunk 1174
#-M- IPSLCM6_rc0  arnaud.caubel@lsce.ipsl.fr
#-C- IPSLCM6_rc0  IOIPSL/tags/v2_2_2/src                    HEAD         8  IOIPSL/src     modeles
#-C- IPSLCM6_rc0  trunk/ORCHIDEE                            2247        14  ORCHIDEE       modeles
#-C- IPSLCM6_rc0  branches/OASIS3-MCT_2.0_branch/oasis3-mct 1129        15  oasis3-mct     .
#-C- IPSLCM6_rc0  LMDZ5/branches/LMDZ6_rc0                  2283        11  LMDZ           modeles
#-C- IPSLCM6_rc0  CONFIG/UNIFORM/v6_rc0/IPSLCM6             HEAD         8  IPSLCM6        config
#-C- IPSLCM6_rc0  trunk/libIGCM                             1174        10  libIGCM        .
#-C- IPSLCM6_rc0  trunk/NEMOGCM                             4859         7  .              modeles
#-C- IPSLCM6_rc0  XIOS/branchs/xios-1.0                      592        12  XIOS           modeles

2.1.1. How to use it

Here are the commands you need to know if you want to retrieve and compile the IPSLCM6 model and if you want to setup and run an piControl experiment (only piControl experiment is available):

mkdir MONREPERTOIRE ; cd MONREPERTOIRE
svn_ano # svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl
cd modipsl/util
./model IPSLCM6_rc0
cd ../config/IPSLCM6
gmake # by default ORCA2xLMD9695-L39
cp EXPERIMENTS/IPSLCM5/EXP00/config.card .
vi config.card # modify JobName (at least) : MYJOBNAME, restarts
../../util/ins_job # Check and complete job's header
cd MYJOBNAME
vi Job_MYJOBNAME # modify PeriodNb, adjust the time, headers ...
llsubmit Job_MYJOBNAME # IDRIS
ccc_msub  Job_MYJOBNAME # TGCC

2.1.1.1. Specific command on TGCC Bull Curie thin nodes

The basic configuration (default configuration) uses 128 computing cores or 8 nodes: 1 for XIOS, 19 for NEMO, and 27 MPI and 4 OpenMP for LMDZ. You have to modifiy header of the Job script as follow :

#MSUB -n 128 # reservation des coeurs pour le job (ce doit etre egal a l'ensemble de process/threads : par exemple 27x4 + 19 + 1 = 128
#MSUB -x # Specifier que le noeud doit être dédié
#MSUB -E '--cpu_bind=none'

2.1.1.2. Specific command on IDRIS IBM Ada

The basic configuration uses 56 computing cores or 2 nodes: 1 for XIOS, 7 for NEMO, and 24 MPI and 2 OpenMP for LMDZ. You have to modifiy headers of the Job script as follows :

# Nombre de processus MPI demandes (ici 24 + 7 + 1 = 32)
# @ total_tasks = 32
# Nombre de coeurs réellement utilisés (ici 24 x 2 + 7 + 1 = 56)
# @ environment = "BATCH_NUM_PROC_TOT=56"
# Nombre de taches OpenMP/pthreads par processus MPI
# @ parallel_threads = 2

and config.card as follows :

#========================================================================
#D-- Executable -
[Executable]
#D- For each component, Real name of executable, Name of executable for oasis
ATM= (gcm.e, lmdz.x, 24MPI, 2OMP)
SRF= ("" ,"" )
SBG= ("" ,"" )
OCE= (opa, opa.xx  , 7MPI)
ICE= ("" ,"" )
MBG= ("" ,"" )
CPL= ("", "" )
IOS= (xios_server.exe, xios.x, 1MPI)

2.1.2. Restart files

IPSLCM6 configuration could restart from any IPSLCM5A restart file.

2.1.3. Computing performances

2.1.3.1. TGCC Bull Curie thin nodes

Default configuration on 128 cores allows you to run 27 simulated years per day. You can reach 39 simulated years per day on 160 cores by modifying header of your Job as follows :

#MSUB -n 160 # reservation des coeurs pour le job (ce doit etre egal a l'ensemble de process/threads : par exemple 27x4 + 19 + 1 = 128
#MSUB -x # Specifier que le noeud doit être dédié
#MSUB -E '--cpu_bind=none'

and config.card as follows :

#========================================================================
#D-- Executable -
[Executable]
#D- For each component, Real name of executable, Name of executable for oasis
ATM= (gcm.e, lmdz.x, 32MPI, 4OMP)
SRF= ("" ,"" )
SBG= ("" ,"" )
OCE= (opa, opa.xx  , 31MPI)
ICE= ("" ,"" )
MBG= ("" ,"" )
CPL= ("", "" )
IOS= (xios_server.exe, xios.x, 1MPI)

2.1.3.2. IDRIS IBM Ada

Configuration on 56 cores allows you to run 16 simulated years per day.

2.1.4. Evaluation

2.1.4.1. Results comparaison between TGCC Curie and IDRIS Ada supercomputers

Simulations with default configuration have been performed both on Curie and Ada :

• CTLCM6G on Curie : ​http://dods.extra.cea.fr/work/p86caub/IPSLCM6/PROD/piControl/CTLCM6G/MONITORING
• CM6VLR1 on Ada : ​http://dodsp.idris.fr/rces061/IPSLCM6/PROD/piControl/CM6VLR1/MONITORING

2.1.4.2. Results comparaison between IPSLCM5 and IPSLCM6 simulations

Here are simulations performed to validate IPSLCM6-VLR_rc0 configuration :

• CTLCM6G (default configuration) : IPSLCM6-VLR_rc0 model (CM6 routing scheme, pmagic=-0.01, start from 2349-12-31 piControl2pm01)
  • Output and Analyse files : /ccc/store/cont003/dsm/p86caub/IGCM_OUT/IPSLCM6/PROD/piControl/CTLCM6G
• CTLCM6F : IPSLCM6-VLR_rc0 model(CM5 routing scheme, start from 2499-12-31 piControl2)
  • Output and Analyse files : /ccc/store/cont003/dsm/p86caub/IGCM_OUT/IPSLCM6/PROD/piControl/CTLCM6F
• CTLCM6H : IPSLCM6-VLR_rc0 model (CM6 routing scheme, pmagic=-0.01, without NEMO TKE IPSLCM5 parameters, start from 3199-12-31 CTLCM6G)
  • Output and Analyse files : /ccc/store/cont003/dsm/p86caub/IGCM_OUT/IPSLCM6/PROD/piControl/CTLCM6H

These simulations have been compared with IPSLCM5 simulations results :

• piControl2 : IPSLCM5A reference simulation
• CTLCM5V5v5 : IPSLCM5_v5 configuration(aerosols v5)
• piControl2pm01 : IPSLCM5A reference simulation with pmagic=-0,01.

To be translated...

Tableau de métriques: Root Mean Square Error calculées sur cycle saisonnier sur le globe (surfaces continentales + océan), pour deux références par variable. Cette métrique synthétise le biais (différence de moyenne), la corrélation spatio-temporel et le rapport d'écart-type (spatio-temporel également). Les résultats sont présentés en % de la RMSE moyenne de piControl2 => un résultat de -10% indique que la RMSE est de 10% inférieure à la RMSE moyenne de la simulation de référence (ici, cinq cycles saisonniers de piControl2); le bleu montre une RMSE inférieure (plus proche de la référence) à la référence. A l'inverse, le rouge indique une RMSE plus grande, soit une dégradation par rapport à à la référence. Pour chaque simulation, les RMSE sont affichées pour plusieurs cycles saisonniers pour illustrer la variabilité du résultat d'un cycle saisonnier à l'autre (~variabilité interannuelle/décennale).

Le tableau montre que:

• la simulation CTLCM5V5v5 a une RMSE similaire à piControl2 (différences inférieures à 5%); cela suggère que le modèle CM6A-VLR_rc0 (avec le schéma de routage et le p_magic de CM5A-LR) simule un climat très proche de celui de IPSL-CM5A-LR
• idem pour CTLCM6F
• CTLCM6G et CTLCM6H (IPSLCM6A-VLR_rc0 avec nouveau schéma de routage et p_magic = -0.01) et piControl2pm01 (p_magic = -0.01) montrent une réduction de l'erreur sur la température à 2m (tas) d'environ 15%, très probablement associée à l'ajustement d'albedo lié au p_magic = -0.01
• pour ces mêmes simulations, on note une dégradation du rayonnement LW up (rlut et rlutcs) comprise entre 5 et 10% (supérieur à la variabilité entre les cycles saisonniers de piControl2), probablement lié à un ajustement du fait du p_magic ; dans le même temps, le SW s'améliore significativement (bien que cette amélioration soit faible, inférieure à 5%)
• pour CTLCM6G et CTLCM6H, on voit également une légère dégradation du vent zonal à 10m (uas), du même ordre que pour le LW (regarder hémisphère sud!!) ; en regardant les tableaux de RMSE par saison et par région, on voit que cette dégradation provient essentiellement des tropiques (-20/20°N) et de l'hémisphère Sud extra-tropique.
• pour les autres variables, les résultats ne montrent pas de différence significative entre piControl2 et IPSLCM6A-VLR_rc0 (avec le nouveau schéma de routage et p_magic = -0.01, simulations CTLCM6G et CTLCM6H)

Conclusion de cette figure:

• les métriques d'évaluation du cycle saisonnier de IPSLCM6A-VLR_rc0 avec le schéma de routage de CM5A-LR et le même p_magic sont similaires à celle obtenues pour IPSLCM5A-LR. Cela suggère que le modèle est le même.
• le nouveau schéma de routage et le réglage du p_magic produisent une amélioration du climat simulé par IPSLCM6A-VLR_rc0 par rapport à IPSLCM5A-LR pour tas et le SW ; on note une dégradation du LW et des vents zonaux (????)