IPSL-CM6A-LR

Model IPSL-CM6A-LR

• Fixed on 2 mai 2018
• See ticket #120
• set for curie, modification required for ada

Change Log

• 6.1.2 : 2 mai 2018
  • ajouts diagnostics océan
  • DR2XML revus
    • XML disponibles pour piControl (500 ans) et historical
  • experiences disponibles en plus : historical_CMIP6
  • relance reproductible (N+1=+1).
    • dans opa9.card : Reproducibility_after_restart= y. To be changed manually.
    • Attention aux années bissextiles!
  • reproductibilité KO au bout de 57 ans
  • passage à la révision 3321 de LMDZ pour inclure les sorties par défaut des aérosols pour vérification des forçages. Les aérosols plume sont aussi intégrés
• 6.1.1 : 13 avril 2018
  • compression (level=4) sur les fichiers IPSL Output/MO
  • ping modifiés avec des diagnostics en plus
  • reproductibilité KO au bout de 39 ans
  • piControl_CMIP6 OK
  • DR2XML à revoir (axes netcdf non géo-référencé)
• 6.1.0 : 29 mars 2018
  • pas de compression sur les fichiers IPSL Output/MO
  • reproductibilité KO au bout de 1 ou 2 ans
  • piControl-spinup_CMIP6 OK

Environment

curie

• Compilateur 2017 (4h de compilation ...) à utiliser avec ces commandes à passer IMPERATIVEMENT avant de compiler ou à mettre dans votre .bashrc :

  module purge
  . /ccc/cont003/home/dsm/p86ipsl/.env_intel17.0.2_curie
  . /ccc/cont003/home/dsm/p86ipsl/.env_netcdf4.3.3.1_curie
  
  

• RAPPEL sur les commandes à passer pour installer le modèle :

  mkdir YOUR_DIRECTORY ; cd YOUR_DIRECTORY
  svn_ano # svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl
  cd modipsl/util
  ./model IPSLCM6.1.2-LR 
  # si c'est la premiere fois : il faut trouver les 2 mots de passe ORCHIDEE et NEMO. 
  # Pour ORCHIDEE : voir la session "SVN et ORCHIDEE" du cours : https://forge.ipsl.jussieu.fr/orchidee/wiki/GroupActivities/Training
  # Pour NEMO : voir "Get NEMO code" là : https://www.nemo-ocean.eu/ qui pointe sur : http://forge.ipsl.jussieu.fr/nemo/wiki/Users.
  # Répondre (RETURN) puis le user puis le mot de passe.
  cd ../config/IPSLCM6
  gmake ... # attendre 4h . Pour garder la trace de la compilation : gmake 2>&1|tee compile.out
  ...
  cp EXPERIMENTS/IPSLCM/piControl_CMIP6/config.card . 
  vi config.card # modifications dates, restart, ... Voir checklist plus loin.
  ../../libIGCM/ins_job
  ... # répondre en donnant la sous-imputation cmip6 concernée.
  

Checklist

• Avoir l'autorisation de commencer son MIP
• Vérifier la nomenclature de la simulation : ​https://search.es-doc.org/
• Choisir un nom (en prenant le préfixe CM61-LR) et le signaler sur la page MIP. Voir plus loin.
• Vérifier le protocole : forcages, état de redémarrage choisi.
• Décrire l'expérience sur la page MIP. Voir plus loin.
• Demander rendez-vous à Sébastien Denvil et Arnaud Caubel pour construire et vérifier la disponibilité des fichiers DR2XML là : IGCM/CMIP6/NOM_DE_L_EXPERIENCE
  • commencer à remplir les éléments descriptifs de la simulation en prenant exemple sur:

ciclad:/home/sdipsl/DataRequest.CMIP6/simulationSettings/settings_AOGCM_piControl_r1.py

• Organiser de quoi faire une peer review avant le lancement de chaque expérience. Avec les personnes impliquées dans le MIP et avec, au moins, une personne du groupe plate-forme.
• A faire systématiquement :
  • config.card
    • Mettre PROD dans config.card
    • Préciser DateBegin=1850-01-01, DateEnd=XXXX-12-31
    • Indiquer et documenter les Restart pris.
      • Préciser OverRule=y si toutes les composantes repartent d'une même simu à la même date.
      • Préciser, une fois si OverRule=y, ou pour chaque composante RestartDate=....-12-31, RestartJobName=CM61-pi... et RestartPath=/.../IPSLCM6/PROD/piControl
      • Si besoin de coller à la simulation prise en restart mettre dans COMP/opa9.card : Reproducibility_after_restart= y
  • cards : si besoin (par exemple pour les 2eme, 3eme,...membres d'une même expérience), modifier le path des fichiers dr2xml dans les cards opa9.card, lmdz.card, orchidee.card :

    (${R_IN}/CMIP6/${config_UserChoices_LongName}/${config_UserChoices_ExperimentName}/${year}/dr2xml_LMDZ.xml, dr2xml_lmdz.xml)
    

  • Job
    • Mettre la sous-imputation du MIP concerné
      • Pour aerchemmip : checmip6 ou strcmip6, pour les autres : c4mcmip6 , cfmcmip6 , cm5cmip6 , daacmip6 , dcpcmip6 , dekcmip6 , dmrcmip6 , fafcmip6 , geocmip6 , gmmcmip6 , hircmip6 , ismcmip6 , ls3cmip6 , lumcmip6 , omicmip6 , pmicmip6 , rfmcmip6 , solcmip6 ou volcmip6
    • Pour connaître les sous-imputations cmip6 de votre login groups
      • Pour connaître les logins de toutes les sous-imputations cmip6 : getent group | grep cmip6: | cut -d : -f 1,4
  • Préciser la priorité intra CMIP6 :
    • -U high pour les simulations longues seulement (PiControl et PMIP)
    • -U medium par défaut
    • -U low pour les simulations en surbooking
  • Mettre postProcessingStopLevel=2 pour que le job principal s’arrête dès qu'un post-processing job s'est planté (=3 quand atlas seront OK)
  • Attention, si vous avez besoin de monitorer les forçages liés aux aerosols dans votre expérience, il faut appliquer le patch suivant sur le fichier modeles/LMDZ/DefLists/file_def_histmth_lmdz.xml : ​http://web.lmd.jussieu.fr/trac/changeset?reponame=&new=3321%40LMDZ6%2Fbranches%2FIPSLCM6.0.15&old=3318%40LMDZ6%2Fbranches%2FIPSLCM6.0.15
    • Important : ce patch implique un double appel au rayonnement et pénalise donc les performances en temps de calcul du modèle
• Enregistrement des expériences sur svn CMIP6 là : (à compléter, dire comment)
• Pendant une simulation, il faut la suivre :
  • vérifier les monitoring et lancer qq intermonitoring pour vérifier que la simu est bien celle voulue
  • lancer les atlas CLIMAF
  • lancer les vérifications de fichiers CMIP6 (prepare à confirmer)
• Réunions type bocal régulières pour lancer ensemble les nouvelles simulations.
  • 16/03/2018 : création de cette page et liste des dernières actions
  • 23/03/2018 : 1e réunion bocal, explication du workflow (voir image suivante)
  • 18/04/2018 : 2e réunion bocal
  • 02/05/2018 : 3e réunion bocal : XML pour 1pctCO2 (150 ans) et abrupt4xCO2 (300 ans)
  • 09/05/2018 : 4e réunion bocal :

Le workflow

Remplissage de curie

• Lien vers le fichier détaillant la prévision d'occupation de la machine : ​commentaires possibles
• A retenir :
  • Installer en machine dès que possible les simulations longues : piControl et PMIP
  • Etre prêts à lancer les simulations courtes et 100-200 ans
  • Lancer les simulations dès que possible en surveillant l'occupation :
    • Au delà de 20 000 coeurs d'utilisation, se mettre en low

Quality check

6.1.2 : 27 avril 2018

Voir détails du contrôle qualité là : ​http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)

Résultats des tests pour IPSLCM6.1.2 : 27 avril 2018

Configuration IPSL-CM6-LR
Critère contrôlé	Repro piControl (A1C=A2C)	Restart (A1C=A3C)	+1=+1 (A1C=A4C)	Repro historique (H1C=H2C)	Ada	Couplage
Résultats	OK	OK	OK
Commentaires	Différences au bout de 57 ans ...		Need in COMP/opa9.card Reproducibility_after_restart= y

--

Configuration LMDZOR
Critère contrôlé Curie	Repro (A1C=A2C)	Restart (A1C=A3C)	+1=+1 (A1C=A4C)	Nb de MPI-OMP (A1C=A5C)	Restart Debug(B1C=B2C)
Résultats
Commentaires
Critère contrôlé Ada	Repro (A1A=A2A)	Restart (A1A=A3A)	+1=+1 (A1A=A4A)	Nb de MPI-OMP (A1A=A5A)	Restart Debug(B1A=B2A)
Résultats
Commentaires

--

Configuration eORCA1_LIM3_PISCES
Critère contrôlé Curie	Repro (A1C=A2C)	Restart (A1C=A3C)	+1=+1	Nb de MPI (A1C=A4C)	Debug	Ada
Résultats
Commentaires

6.1.1 : 13 avril 2018

Voir détails du contrôle qualité là : ​http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)

Résultats des tests pour IPSLCM6.1.1 : 13 avril 2018

Configuration IPSL-CM6-LR
Critère contrôlé	Repro piControl (A1C=A2C)	Restart (A1C=A3C)	+1=+1 (A1C=A4C)	Repro historique (H1C=H2C)	Ada	Couplage
Résultats	KO
Commentaires	Voir : CM61B-pi-T???-1?. Différences au bout de 39 ans. 1/3600 mois	1M+1M+... = 1Y	KO mais on va y arriver!!!

6.1.0 : 29 mars 2018

Voir détails du contrôle qualité là : ​http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)

Résultats des tests pour IPSLCM6.1.0 29 mars 2018

Configuration IPSL-CM6-LR
Critère contrôlé	Repro piControl (A1C=A2C)	Restart (A1C=A3C)	+1=+1 (A1C=A4C)	Repro historique (H1C=H2C)	Ada	Couplage
Résultats	KO	OK	KO	KO	OK
Commentaires	NON 1 simu /4 pas reproductible sur curie. Voir CM61-pi-T???-1? différence au bout de 4 12 14 mois, avec et sans ozone v1 et v2

Simulations avec modèle IPSLCM6.1.2 : 27 avril 2018

Figure pour comprendre :

• CM61-LR-pi-03 et CM61-pre-pi-01 se superposent. CM61-LR-pi-01 et CM61-pre-pi-01 ne se superposent pas.
• CM61-LR-hist-01 démarre de 1870 de CM61-LR-pi-01

piControl

Num	Priorité	Nom	Résumé	Membre	Personne	Description	Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ...
1.1	H	CM61-LR-pi-03	piControl 3	r1i1p1f1	Marie-Alice	prend la suite de CM61-pre-pi-01, 1849, (compte commun) Reproducibility_after_restart= y , BUT : se superpose avec CM61-pre-pi-01 sur 1850-... , STOP si différence dans solver.stat , STOP 1907 ==> CM61-pre-pi-01 refaite à partir de 1899. OK en 1907, Ajout de <variable id="recv_field_timeout" type="double">3000.0</variable> dans PARAM/iodef.xml pour refaire 1907. ATTENTION : sur espace DSM et pas CMIP6	​https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=f1327c81-3357-4375-a810-914da4798d5b

Simulations avec modèle IPSLCM6.1.1 : 13 avril 2018

piControl

Num	Priorité	Nom	Dépendances	Membre	Personne	Description	Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ...
1.1	H	CM61-LR-pi-01	prend la suite de CM61-pre-pi-01	r1i1p1f1	Sébastien	piControl 1
1.2	H	CM61-LR-pi-02	prend la suite de CM61-pre-pi-02	r1i1p1f1	Laurent	piControl 2
2	H	CM61-LR-hist-01	historical partant de CM61-LR-pi-01 en 1869-12-31, soit après 20 ans de piControl		Thibaut	historical

Simulations avec modèle IPSLCM6.1.0 : 29 mars 2018

piControl spinup

Num	Priorité	Nom	Dépendances	Membre	Personne	Description	Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ...
1.1	H	CM61-pre-pi-01	prend la suite de CM6015S-pi-REDO-03	r1i1p1f1	Sébastien	pre_piControl 1, restart 10 ans avant la fin de CM6015S-pi-REDO-03: 2279-12-31	​https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=5ef97dd4-91c6-4012-be91-ccbaed76834e
1.2	H	CM61-pre-pi-02	prend la suite de CM6015S-pi-REDO-03-24XX	r1i1p1f1	Laurent	pre_piControl 2, restart 10 ans avant la fin de CM6015S-pi-REDO-03-24XX: 2589-12-31	​https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=07f5e9a1-eaf9-4686-904f-af3428fd24bc
1.3	H	CM61-pre-pi-03	prend la suite de CM6015S-pi-REDO-03-28XX à la date 2929-12-31	r1i1p1f1	Arnaud	pre_piContrl 3, restart 10 ans avant la fin de CM6015S-pi-REDO-03-28XX: 2929-12-31	​https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=c22e10d4-d98e-4488-93e2-16889ab4dfaf

Simulations avec modèle PREIPSLCM6.1

Num	Priorité	Nom	Personne	Description	Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ...
1	H	CM61-pi-REDO-03-24XX	Laurent

Pour la suite des simulation, voir plus loin DECK.

Les MIPs

DECK/CMIP

Simulations/DECK

AerChemMIP

Simulations/AerChemMIP

C4MIP

Simulations/C4MIP

CFMIP

Simulations/CFMIP

CMIP

Simulations/DECK

DAMIP

Simulations/DAMIP

DCPP

Simulations/DCPP

DECK

Simulations/DECK

FAFMIP

Simulations/FAFMIP

GeoMIP

Simulations/GeoMIP

GMMIP

Simulations/GMMIP

HighResMIP

Simulations/HighResMIP

LS3MIP

Simulations/LS3MIP

LUMIP

Simulations/LUMIP

OMIP

Simulations/OMIP

PMIP

Simulations/PMIP

RFMIP

Simulations/RFMIP

ScenarioMIP

Simulations/ScenarioMIP

VolMIP

Simulations/VolMIP

Environment (suite )

ada

• dans config.card enlever les 2 niveaux de serveurs XIOS c'est à dire:

  IOS= (xios_server.exe, xios.x, 1MPI)
  

• dans libIGCM_comp/libIGCM_comp.ksh, s'affranchir du test sur la version du compilateur en mettant Print au lieu de Exit ligne 1033 :

  -    IGCM_debug_Exit "IPSLCM6.0.13 ... must be compiled with intel 2017 compiler"
  +    IGCM_debug_Print "IPSLCM6.0.13 ... must be compiled with intel 2017 compiler"
  

Pour mémoire : Modifications dans IPSL-CM6.1.0-LR par rapport à 6015

Voir le ticket #120 pour connaitre les détails techniques liés à cette version (version des sources, fichiers d'entrées, etc...)

• LMDz
  • Passage à v2 des fichiers ozone
  • iflag_phytrac=0 => pas de traceur Aga
  • ajoute cdnc_min=10., changement des valeurs pour cld_lc_lsc et cld_lc_con de 0.0004 en 0.00065

• ORCHIDEE
  • Corrections de diags pour les variables qui utilisent xios_default_val (surtout variable lut et neige).

• NEMO
  • sources : quelques bugfix ( le heat content, CFC ) & calcul du transport de glace à travers les détroits
  • rajout des traceurs CFC's
  • xml pour les diags CMIP6
  • paramètres : ré-activation du controle des bilans de nutritifs dans PISCES

• Coupleur