Version 216 (modified by tlurton, 6 years ago) (diff) |
---|
IPSL-CM6A-LR
Table of contents
- Model IPSL-CM6A-LR
- Change Log
- Documentation
- Environment
- Checklist
- Vérifications en cours de simulation
- Quelques questions ?
- Le workflow
- Remplissage de curie
- Quality check
- Simulations avec modèle IPSLCM6.1.2 : 27 avril 2018
- Simulations avec modèle IPSLCM6.1.1 : 13 avril 2018
- Simulations avec modèle IPSLCM6.1.0 : 29 mars 2018
- Simulations avec modèle PREIPSLCM6.1
- Les MIPs
- Environment (suite )
- Pour mémoire : Modifications dans IPSL-CM6.1.0-LR par rapport à 6015
Model IPSL-CM6A-LR
- Fixed on 25 mai 2018
- See ticket #120
- set for curie, modification required for ada
Change Log
- 6.1.8 : date de démarrage programmable (NEMO, LMDZ, ...)
- 6.1.7 : 2 octobre 2018
- Correctif LMDZ qui borne les diagnostics pour t2m.
- 6.1.6 : 05 septembre 2018
- ping océan pour wfo. A ne pas utiliser pour piControl et historical.
- pour les simulations de type piControl et historical, prendre ping_nemo là : browser/CONFIG/UNIFORM/v6/NEMO_v6/GENERAL/PARAM/XML/ping_nemo.xml
- pour Irene, prendre trunk libIGCM > 1468 pour pouvoir préciser lors de ins_job les projets à utiliser pour le calcul, pour les post-traitements faits sur xlarge et aussi le stockage. Dans config.card : DataProject=gencmip6 par exemple.
- 6.1.5 : 29 juin 2018
- LMDZ : correctif Calipso, plus de trou.
- irene inclus
- 6.1.4 : 14 juin 2018
- libIGCM :
- clean_latestPackperiod adapted for 1Y
- norerun ajouté dans les jobs pour que le job ne se relance pas automatiquement
- XIOS : possibilité de tourner avec PeriodLength=1M
- NEMO : 2D ===> scalar ice variables et Reproafterrestart=y par defaut
- LMDZ : rangement des champs 3D et 2D pour histins (facilitera les extractions de points de plantage)
- AddNoise available (COMP/oasis.card)
- libIGCM :
- 6.1.3 : 25 mai 2018
- nouvelle revision LMDZ : ajout des parametres tau_gl et iflag_cycle_diurne pour AMIP
- utilisation de la dernière version de dr2xml pour résoudre certains problèmes (nom et infos sur les axes, contournement de problèmes liés à la DR utilisée (nb de sections et ordre des sections ocean),...)
- rangement des xml dans IGCM/CMIP6/IPSLCM6.1.3-LR/IPSL-CM6A-LR/NOM_DE_L_EXPERIENCE/MEMBRE
- modifications sur les xml de NEMO pour modifier le nom des axes verticaux
- utilisation d'une "DR maison" afin de garantir les sorties les plus importantes et pallier les eventuels ratés de la DR. A été validé par les composantes NEMO et ORCHIDEE (retour en cours sur des variables manquantes).
- expériences disponibles :
- les *_CMIP6 : piControl_CMIP6, piControl-spinup_CMIP6 and historical_CMIP6 (2009 en date de fin, documenter comment faire 2010-2014)
- une nouvelle expérience piControl_TEST sans workflow CMIP6 pour tests qualités
- Plus de dates dans les Restart du compte commun (1869, 1879, ...) du CM61-LR-pi-03
- 6.1.2 : 2 mai 2018
- ajouts diagnostics océan
- DR2XML revus
- XML disponibles pour piControl (500 ans) et historical
- experiences disponibles en plus : historical_CMIP6
- relance reproductible (N+1=+1).
- dans opa9.card : Reproducibility_after_restart= y. To be changed manually.
- Attention aux années bissextiles!
- reproductibilité KO au bout de 57 ans
- passage à la révision 3321 de LMDZ pour inclure les sorties par défaut des aérosols pour vérification des forçages. Les aérosols plume sont aussi intégrés
- 6.1.1 : 13 avril 2018
- compression (level=4) sur les fichiers IPSL Output/MO
- ping modifiés avec des diagnostics en plus
- reproductibilité KO au bout de 39 ans
- piControl_CMIP6 OK
- DR2XML à revoir (axes netcdf non géo-référencé)
- 6.1.0 : 29 mars 2018
- pas de compression sur les fichiers IPSL Output/MO
- reproductibilité KO au bout de 1 ou 2 ans
- piControl-spinup_CMIP6 OK
Documentation
Rappel du lien vers la documentation: http://forge.ipsl.jussieu.fr/igcmg_doc/wiki/Doc
Environment
curie
- Compilateur 2017 (4h de compilation ...) à utiliser avec ces commandes à passer IMPERATIVEMENT avant de compiler ou à mettre dans votre .bashrc :
module purge . /ccc/cont003/home/igcmg/igcmg/MachineEnvironment/curie/env_intel17.0.2_curie . /ccc/cont003/home/igcmg/igcmg/MachineEnvironment/curie/env_netcdf4.3.3.1_curie
- RAPPEL sur les commandes à passer pour installer le modèle :
mkdir YOUR_DIRECTORY ; cd YOUR_DIRECTORY svn_ano # svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl cd modipsl/util ./model IPSLCM6.1.5-LR # si c'est la premiere fois : il faut trouver les 2 mots de passe ORCHIDEE et NEMO. # Pour ORCHIDEE : voir la session "SVN et ORCHIDEE" du cours : https://forge.ipsl.jussieu.fr/orchidee/wiki/GroupActivities/Training # Pour NEMO : voir "Get NEMO code" là : https://www.nemo-ocean.eu/ qui pointe sur : http://forge.ipsl.jussieu.fr/nemo/wiki/Users. # Répondre (RETURN) puis le user puis le mot de passe. cd ../config/IPSLCM6 gmake ... # attendre 4h . Pour garder la trace de la compilation : gmake 2>&1|tee compile.out ... cp EXPERIMENTS/IPSLCM/piControl_CMIP6/config.card . vi config.card # modifications dates, restart, ... Voir checklist plus loin. ../../libIGCM/ins_job ... # répondre en donnant la sous-imputation cmip6 concernée.
Checklist
- SE DEGAGER DU TEMPS POUR LE CONTROLE QUALITE ET LES EVENTUELS CORRECTIFS QUI RECLAMENT DE LA MINUTIE
- Avoir l'autorisation de commencer son MIP
- Vérifier la nomenclature de la simulation : https://search.es-doc.org/
- Remplir la page des simulations là : CMIP6 IPSL
- Choisir un nom unique (en prenant le préfixe CM61-LR) et le signaler sur la page MIP. Voir plus loin.
- Vérifier le protocole : forcages, état de redémarrage choisi.
- Décrire l'expérience succinctement sur la page MIP. Voir plus loin.
- Demander rendez-vous à Sébastien Denvil et Arnaud Caubel pour construire et vérifier la disponibilité des fichiers DR2XML là : IGCM/CMIP6/IPSLCM6.1.4-LR/IPSL-CM6A-LR/NOM_DE_L_EXPERIENCE/MEMBRE
- commencer à remplir les éléments descriptifs de la simulation en prenant exemple sur:
ciclad:/home/sdipsl/DataRequest.CMIP6/simulationSettings/settings_AOGCM_piControl_r1.py
- Organiser de quoi faire une peer review avant le lancement de chaque expérience. Avec les personnes impliquées dans le MIP et avec, au moins, une personne du groupe plate-forme.
- A faire systématiquement :
- config.card
- Mettre PROD dans config.card
- S'assurer que ExpType dans config.card contienne le mot clé CMIP6 (dans le cas inverse la simulation part sans le workflow CMIP6 par exemple pour un test)
- Mettre à jour Member=rXi1p1f1 (defaut : r1i1p1f1 A CHANGER)
- Préciser DateBegin=1850-01-01, DateEnd=XXXX-12-31
- Indiquer et documenter les Restart pris.
- Préciser OverRule=y si toutes les composantes repartent d'une même simu à la même date.
- Préciser, une fois si OverRule=y, ou pour chaque composante RestartDate=....-12-31, RestartJobName=CM61-pi... et RestartPath=/.../IPSLCM6/PROD/piControl
- Repartir d'un état de redémarrage rebuildé (pour les composantes océan : OCE, ICE et MBG) et mis sur le compte commun. Voir : IGCM/RESTART/IPSLCM6/PROD/*/*
- Au 7/9/2018 sont disponibles :
- CM61-pre-pi-01 1849
- CM61-LR-pi-03 : 18691231 18791231 18891231 18991231 19091231 19191231 19291231 19391231 19491231 19591231 19691231 19791231 19891231 19991231 20091231 20191231 20291231 20391231 20491231 20591231 20691231 20791231 20891231 20991231 21091231 21191231 21291231 21391231 21491231 21591231 21691231 21791231 21891231 21991231 22091231 22191231 22291231 22491231 22691231 22891231 23091231 23291231 23491231
- CM61-LR-pi-03e : 23691231 23891231 24091231 24291231 24491231 24691231 24891231 25091231 25291231 25491231 25691231 25891231 26091231
- Au 7/9/2018 sont disponibles :
- Enlever le HF pour ATM si on ne souhaite pas conserver les données à 3 heures pour faire du ORCHIDEE offline par la suite [ATM] WriteFrequency="1M HF"
- COMP :
- vérifier 2 fois l'existence des fichiers dr2xml
- vérifier 2 fois que les cards COMP/opa9.card, COMP/lmdz.card, COMP/orchidee.card utilisent ces fichiers dr2xml et ajuster leurs chemins si nécessaire
- Job
- Mettre la sous-imputation du MIP concerné
- Pour aerchemmip : checmip6 ou strcmip6, pour les autres : c4mcmip6 , cfmcmip6 , cm5cmip6 , daacmip6 , dcpcmip6 , dekcmip6 , dmrcmip6 , fafcmip6 , geocmip6 , gmmcmip6 , hircmip6 , ismcmip6 , ls3cmip6 , lumcmip6 , omicmip6 , pmicmip6 , rfmcmip6 , solcmip6 ou volcmip6
- Pour connaître les sous-imputations cmip6 de votre login groups
- Pour connaître les logins de toutes les sous-imputations cmip6 : getent group | grep cmip6: | cut -d : -f 1,4
- Mettre la sous-imputation du MIP concerné
- Préciser la priorité intra CMIP6 :
- -U high pour les simulations longues seulement (PiControl et PMIP)
- -U medium par défaut
- -U low pour les simulations en surbooking
- Mettre PeriodNb=10 (ou 5) dans Job_xxx
- Mettre postProcessingStopLevel=2 pour que le job principal s’arrête dès qu'un post-processing job s'est planté (=3 quand atlas seront OK)
- Faire une simulation de rodage (2 ans) pour vérifier que tout se passe bien.
- Attention, pour les simulations type historical, vous avez besoin de monitorer les forçages liés aux aerosols dans votre expérience, il faut appliquer les patchs suivants
- sur le fichier modeles/LMDZ/DefLists/file_def_histmth_lmdz.xml : http://web.lmd.jussieu.fr/trac/changeset?reponame=&new=3321%40LMDZ6%2Fbranches%2FIPSLCM6.0.15&old=3318%40LMDZ6%2Fbranches%2FIPSLCM6.0.15
- sur le fichier COMP/lmdz.card : rajouter la liste de variables (topswad, toplwad, topswai, toplwai, topswad0, toplwad0, solswad, sollwad, solswai, sollwai, solswad0, sollwad0) dans le bloc [Post_1M_histmth] :
[Post_1M_histmth] Patches= () GatherWithInternal = (lon, lat, presnivs, time_counter, time_centered, time_centered_bounds, aire) TimeSeriesVars2D = (...,topswad, toplwad, topswai, toplwai, topswad0, toplwad0, solswad, sollwad, solswai, sollwai, solswad0, sollwad0,...) ChunckJob2D = NONE TimeSeriesVars3D = (temp, theta, ovap, geop, vitu, vitv, vitw, pres, rneb, rhum, paprs, ec550aer, concoa, concbc, concso4, concss, concdust) ChunckJob3D = 100Y Seasonal=ON
- dans le fichier POST/monitoring01_lmdz.cfg, rajouter les lignes :
topswai_forcing | "topswai" | "" | "topswai[d=1]" | "AIE at TOA SW" | "W/m^2" | "aire[d=1]" solswai_forcing | "solswai" | "" | "solswai[d=1]" | "AIE at SRF SW" | "W/m^2" | "aire[d=1]" topswad_forcing | "topswad" | "" | "topswad[d=1]" | "ADE at TOA SW" | "W/m^2" | "aire[d=1]" solswad_forcing | "solswad" | "" | "solswad[d=1]" | "ADE at SRF SW" | "W/m^2" | "aire[d=1]" topswad0_forcing | "topswad0" | "" | "topswad0[d=1]" | "ADE at TOA SW ClearSky" | "W/m^2" | "aire[d=1]" solswad0_forcing | "solswad0" | "" | "solswad0[d=1]" | "ADE at SRF SW ClearSky" | "W/m^2" | "aire[d=1]" toplwai_forcing | "toplwai" | "" | "toplwai[d=1]" | "AIE at TOA LW" | "W/m^2" | "aire[d=1]" sollwai_forcing | "sollwai" | "" | "sollwai[d=1]" | "AIE at SRF LW" | "W/m^2" | "aire[d=1]" toplwad_forcing | "toplwad" | "" | "toplwad[d=1]" | "ADE at TOA LW" | "W/m^2" | "aire[d=1]" sollwad_forcing | "sollwad" | "" | "sollwad[d=1]" | "ADE at SRF LW" | "W/m^2" | "aire[d=1]" toplwad0_forcing | "toplwad0" | "" | "toplwad0[d=1]" | "ADE at TOA LW ClearSky" | "W/m^2" | "aire[d=1]" sollwad0_forcing | "sollwad0" | "" | "sollwad0[d=1]" | "ADE at SRF LW ClearSky" | "W/m^2" | "aire[d=1]"
- Important : ce patch implique un double appel au rayonnement et pénalise donc les performances en temps de calcul du modèle
- Pour les simulations scenario, le ssp doit être indiqué en tant que valeur de la variable ExperimentName dans le config.card. Exemple : ExperimentName=ssp245 (la liste des valeurs autorisées est en commentaire dans le config.card de l'expérience scenario).
- config.card
- Enregistrement des expériences sur svn CMIP6 là : browser:CMIP6
- Exemple de différences entre deux simulations DECK : View Changes ...
- Mode d'emploi pour créer un répertoire dédié qui sera enregistré
- Utiliser MONMIP=CMIP pour les expériences historical
- Vérifier que votre login (forge) est dans le groupe developper : https://forge.ipsl.jussieu.fr/igcmg/admin General Permissions. Si ce n'est pas le cas demander à un membre du groupe plateforme de l'ajouter.
> cp -pr CM61-MASIMU CM61-MASIMU-POUR-COMMIT # ménage dans ce répertoire pour ne garder que config.card COMP, PARAM, DRIVER et POST > svn import CM61-MASIMU-POUR-COMMIT svn+ssh://MONLOGINDEVSURFORGE@forge.ipsl.jussieu.fr/ipsl/forge/projets/igcmg/svn/CMIP6/MONMIP/CM61-MASIMU
Vérifications en cours de simulation
- Pendant une simulation, il faut la suivre :
- Faire systématiquement un intermonitoring à 10 ans avec au moins le piControl CM61-LR-pi-03 (dsm) pour documenter/vérifier l'expérience lancée
- Vérifier les monitoring et lancer qq intermonitoring pour vérifier que la simu est bien celle voulue
- Lancer les atlas CLIMAF
- En cours de simulation lancer régulièrement les vérifications des fichiers au format CMIP6 avec la séquence suivante:
- Donner les droits en écriture sur vos fichiers à Guillaume L. et Sébastien D. pour faciliter le support. Pour cela exécuter les deux commandes suivantes en modifiant la première ligne avec le chemin de votre simulation:
SIMULATION=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/CMIP6/ setfacl -Rm u:levavasg:rwX,u:p86denv:rwX $SIMULATION setfacl -Rdm u:levavasg:rwX,u:p86denv:rwX $SIMULATION
- Charger l'environment virtuel python donnant accès aux outils et aux variables d'environnement nécessaires:
module load datadir/gencmip6 export PATH=$GENCMIP6_ALL_CCCWORKDIR/miniconda/bin:$PATH source activate cmip6
- Définir le chemin de la simulation à tester (voir exemple ci-dessous)
SIMULATION=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/CMIP6/
- Définir le chemin de vos run.card et config.card (voir exemple ci-dessous)
CARD_FILES=$GENCMIP6_HOME/IPSLCM6.1.2/modipsl/config/IPSLCM6/CM61-LR-1pctCO2-01/
- Définir le répertoire à utiliser pour conserver les logs si des erreurs sont rencontrées. Conserver les logs de préférence à la base des fichiers netCDF CMIP6 (voir exemple ci-dessous):
LOGDIR=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/
- Si vous rencontrer des erreurs sur les fichiers netCDF, communiquer les logs à Guillaume Levavasseur (glipsl@…) et/ou Sébastien Denvil (sdipsl@…)
- Appliquer XIOFileChecker pour vérifier que XIOS a bien produit ce que les XML indiquent:
- Veillez à ce que les attributs suivant soient bien renseignés dans la section UserChoices de votre config.card : ExperimentName, LongName, Member
XIOFileChecker $SIMULATION --card $CARD_FILES -l $LOGDIR
- Erreurs connues que vous rencontrerez peut-être:
- Pour la version IPSLCM6.1.3 et antérieures, la variable intpcalcite (Omon) n'est pas sortie par XIOS mais se trouve par erreur dans les XML
- Pour la version IPSLCM6.1.3 et antérieures, les variables Odec sont manquantes en sorties XIOS, c'est une erreur définitive.
- Veillez à ce que les attributs suivant soient bien renseignés dans la section UserChoices de votre config.card : ExperimentName, LongName, Member
- Appliquer nctime axis pour vérifier les axes des temps des fichiers netCDF. nctime axis peut être long si vous avez beaucoup de fichiers haute fréquence (sub-daily), il est recommandé de faire lancer la commande en batch avec un minimum de 10 processes en parallèles. Un exemple de script batch est disponible ici : batch_nctime_axis.sh.
nctime axis $SIMULATION --card $CARD_FILES --set-inc Esubhr:subhrPt=15m --exclude-file ".*_Odec_.*" --exclude-file ".*-clim\.nc" --ignore-errors 004 -l $LOGDIR
- Regarder les dernières lignes du log de sortie nctime-axis-YYYYMMDD-HHmmss.log qui vous informe sur le nombre de fichiers scannés, ignorés et le nombre d'erreurs. Si ce dernier apparaît en rouge, CONTACTER Guillaume L. avec le chemin du log pour vérifier et établir la procédure de correction à suivre. Certaines erreurs critiques peuvent avoir pour conséquence d'avoir à reprendre votre simulation depuis un état antérieur.
- Erreurs connues que nous ignorons sciemment avec les options utilisées :
- Les fichiers décennaux (fréquence = "dec") ne comportent pas le bon incrément temporel en sortie d'XIOS (1 an au lieu de 10), ces fichiers doivent être post-processés, pour les ignorer nous utilisons --exclude-file ".*_Odec_.*"
- Les fichiers de climatologie (avec suffix "-clim.nc") ne comportent pas le bon nombre de pas de temps en sortie d'XIOS (sorties mensuelles au lieu de 12 pas de temps), ces fichiers doivent être post-processés, pour les ignorer nous utilisons --exclude-file ".*-clim\.nc"
- Plusieurs fichiers instantanés sub-daily présentent des "time_bounds". Après vérification, les time bounds sont identiques aux valeurs de l'axe des temps ce qui n'a pas de conséquences sur les moyennes temporelles via cdo/nco. Pour ignorer cette erreur nous utilisons --ignore-errors 004
- Les fichiers sous-horaires (fréquence = "subhrPt") de la table CMIP "Esubhr" comporte l'incrément temporel natif de IPSL-CM6, c'est-à-dire 15min. Par défaut, nctime considère les fréquences "subhr" avec un incrément de 30min. Pour changer ce comportement et vérifier les fichiers "Esubhr" avec un incrément de 15min, nous ajoutons --set-inc Esubhr:subhrPt=15m.
- Erreurs connues que vous pourriez rencontrer
- Pour la version IPSLCM6.1.2 et antérieures, les fichiers *subhr* non-splités sont très lourds. Ils peuvent générer une erreur mémoire de Python car l'axe des temps est très gros. Si c'est le cas, pour ignorer ces fichiers ajouter --exclude-file ".*subhr.*"
- Appliquer nctime overlap pour vérifier qu'il n'y a pas de recouvrement entre les dates des noms de fichiers:
nctime overlap $SIMULATION --card $CARD_FILES -l $LOGDIR
- Regarder les dernières lignes du log de sortie nctime-overlap-YYYYMMDD-HHmmss.log qui vous informe sur le nombre de fichiers scannés, ignorés et le nombre d'erreurs. Si ce dernier apparaît en rouge, contacter Guillaume L. avec le chemin du log.
- Erreurs connues que vous rencontrerez peut-être:
- Les variables *calipso peuvent présenter des overlaps complets. C'est une erreur LMDZ résolue en IPSLCM6.1.5-LR. Laurent Fairhead a préparé un README sur la procédure pour boucher les trous ici .
- Donner les droits en écriture sur vos fichiers à Guillaume L. et Sébastien D. pour faciliter le support. Pour cela exécuter les deux commandes suivantes en modifiant la première ligne avec le chemin de votre simulation:
- En fin de simulation, il faut:
- Relancer la séquence précédente (XIOFileCheker + nctime overlap + nctime axis)
- Appliquer PrePARE pour vérifier la conformité des métadonnées avec les spécification CMIP6:
PrePARE $SIMULATION -l $LOGDIR --exclude-file ".*_Nonemon_.*" --exclude-file ".*_HOM.*" --exclude-file ".*-clim\.nc"
- Erreurs connues que nous ignorons sciemment avec les options utilisées :
- Les tables CMIP "maison" nommée HOME* génèrent plusieurs erreurs PrePARE. Ignorer les fichiers correspondant pour le moment.
- Certains fichiers comporte la table _Nonemon_ inconnu de la DR et donc de PrePARE. C'est une erreur de XML en cours de résolution.
- Erreurs connues que vous rencontrerez peut-être:
- Les erreurs dates dans le filename relevées par PrePARE vont souvent de paire avec les fichiers dont l'axe des temps a une erreur (cf. résultat de nctime axis). La résolution de l'axe des temps solutionne PrePARE dans la majorité des cas.
- Tous les outils précédents disposent d'un multiprocessing intégré. 4 processes en parallèles sont définis par défaut. Ne pas hésiter à définir un plus grand nombre de processes en ajoutant l'option --max-processes NB_PROCESS disponible pour chaque outil.
- Pour retrouver votre environnement, désactivez l'environnement Python:
source deactivate
- Corriger les erreurs connues sur les fichiers. La liste complète de ces erreurs est disponible: ici. Pour ce faire, lancer le script batch disponible ici : batch_correct_issues.sh afin de corriger les erreurs connues sur votre simulation. Veillez à modifier dans le script les variables $SIMULATION et $LOGDIR suivant le chemin de votre simulation. Ce script corrige les erreurs 01 à 08 de la liste.
- Mettre à jour le Google Sheet sur le suivi des simulations: ici
- Réunions type bocal régulières pour lancer ensemble les nouvelles simulations.
- 16/03/2018 : création de cette page et liste des dernières actions
- 23/03/2018 : 1e réunion bocal, explication du workflow (voir image suivante)
- 18/04/2018 : 2e réunion bocal
- 02/05/2018 : 3e réunion bocal : XML pour 1pctCO2 (150 ans) et abrupt4xCO2 (300 ans)
- 09/05/2018 : 4e réunion bocal
- 17/05/2018 : préparation des simulations à lancer avec 6.1.2 :
- 24/05/2018 : préparation des simulations à lancer avec 6.1.3. Création tableau de travail collectif : doc : commentaires possibles
- 31/05/2018 : simulations à lancer, contrôle qualité en direct des simulations de chacun
- 07/06/2018 : poursuite du contrôle qualité en direct, discussion sur bouchage des trous, préparation 6.1.4
- 14/06/2018 : poursuite suivi des simulations, y compris irene
- 21/6/2018 : panique après maintenance : accès aux répertoires exemples et certains résultats
- 28/6/2018 : suivis des simus en machine, à lancer et contrôle qualité
- 5/7/2018 : suivis des simus en machine. CM61-LR-pi-03 bientôt finie. A poursuivre 500 ans de plus : CM61-LR-pi-03e Comme, de nombreuses simus historical sont finies, mettre en route toutes les simulations qui ne sont pas des scenarios
- 12/7/2018 : surprise!
Quelques questions ?
Comment faire une simulation de sensibilité hors WorkFlow CMIP6
- Les différences entre le piControl_CMIP6 et piControl_TEST vues par svn :
- Lien vers toutes les différences : entre piControl avec et sans Workflow CMIP6
- Dans les card :
- Plus de fichier dr2xml
- Plus de restart XIOS
- Dans config.card :
- Enlever _CMIP6 dans ExpType
- Changer le nombre de tâches MPI de XIOS
- Dans les card :
- Refaire le job (ins_job) pour prendre en compte le nouveau nombre de coeur
- Lien vers toutes les différences : entre piControl avec et sans Workflow CMIP6
Procédure pour finir un historical
Pour un historical : mettre 2009 comme date de fin, puis passer à PackPeriod=5Y pour finir jusqu'en 20141231.
Si cela n'a pas été fait, pour un historical CMIP6, il faut soumettre à la main pack_output.job.
Vous trouverez ici la documentation du lancement d'un pack_output manuellement: http://forge.ipsl.jussieu.fr/igcmg_doc/wiki/DocGmonitor#RestartPack_output
Utilisez les paramètres suivants.
libIGCM=${libIGCM:=::modipsl::/libIGCM} # path of the libIGCM library
MASTER=${MASTER:=curie} # machine on which you work
DateBegin=${DateBegin:=20100101} # start date of the period to be packed
DateEnd=${DateEnd:=20141231} # end date of the period to be packed
PeriodPack=${PeriodPack:=5Y} # pack frequency
Procédure pour dépasser un hgardfou
Il peut arriver que le modèle atmosphèrique plante en simulant des températures hors d'un intervalle de validité. Dans ce cas là, le modèle se plantera avec un message du type
i,k,temperature,lon,lat,pourc ter,lic,oce,sic = 2 15 421.113420631975 75.0000000000000 36.7605633802817 1.00000000000000 0.000000000000000E+000 0.000000000000000E+000 0.000000000000000E+000 in abort_physic Stopping in physiq Reason = Plantage hgardfou Houston, we have a problem, ierr = 1
On peut dépasser ce plantage par un effet papillon sur les fichiers restart du coupleur ainsi :
- à partir de IPSLCM6 6.1.4 et en mettant ByPass_addnoise_sst= y dans COMP/oasis.card. Attention! Il faut ajouter la sauvegarde du fichier sstoc modifié pour pouvoir rejouer la simulation.
--- oasis.driver (revision 3955) +++ oasis.driver (working copy) @@ -124,6 +124,7 @@ IGCM_debug_Exit "Error with $( basename ${ByPass_PerturbExe} )" IGCM_debug_Verif_Exit fi + cp ${RUN_DIR}/${ByPass_FileOut}.nc ${SUBMIT_DIR} echo IGCM_debug_Print 1 "ByPass_addnoise_sst : applied addnoise for sst in CPL restart file"
- selon la procédure ci-dessous (pour 612 613) :
# On se place dans le répertoire contenant les fichiers restart CPL de la simulation qui a planté # ici c'est la simulation CM61-LR-XXXX cd /.../scratch/.../IGCM_OUT/IPSLCM6/PROD/.../CM61-LR-XXXX/CPL/Restart/ # On sauvegarde le fichier restart à modifier (au cas où ...) cp CM61-LR-XXXX_19941231_sstoc.nc CM61-LR-XXXX_19941231_sstoc.nc.orig # On n'oublie pas de modifier les droits sur le fichier à modifier, la procédure va ré-écrire dedans chmod 644 CM61-LR-XXXX_19941231_sstoc.nc # On rajoute un léger bruit sur la SST du restart pour que la simulation parte sur une trajectoire légèrement différente /ccc/cont003/home/igcmg/igcmg/Tools/curie/bin/AddNoise CM61-LR-XXXX_19941231_sstoc.nc O_SSTSST 0.01 # On peut maintenant relancer la simulation par la procédure habituelle ...
Le workflow
Remplissage de curie
- Lien vers le fichier détaillant la prévision d'occupation de la machine : commentaires possibles
- A retenir :
- Installer en machine dès que possible les simulations longues : piControl et PMIP
- Etre prêts à lancer les simulations courtes et 100-200 ans
- Lancer les simulations dès que possible en surveillant l'occupation :
- Au delà de 20 000 coeurs d'utilisation, se mettre en low
- En cas de besoin mettre quelques simulations MR en forcé
- Pour surveiller le nombre de simus en machine ccc_mstat -f | grep cmip6 | grep CM61 | awk -v OFS='\t\t' '{print substr($2,1,7), substr($3,1,8), $9, $14}'
- Pour visualiser la consommation cd /ccc/cont003/home/gencmip6/oboucher/CONSO ; python conso.py
Quality check
6.1.6 6 septembre 2018
Pas prévu : juste changement de ping
6.1.5 29 juin 2018
RAS :
- 1D+1D pas égale à 5D, 5D+5D égale 1M, 1M +1M =1Y sur période de 2Y.
- Voir intermonitoring là : http://webservices2017.ipsl.fr/interMonitoring_fromHermes/tmp/interMonitoring_plot01_RmrBuD_prod/
- reproductibilité de 6.1.4 : OK
- différence entre des simulations qui démarrent en 1850 ou en 2216. Investigations en cours.
6.1.4 : 14 juin 2018
RAS :
- 1D+1D pas égale à 5D, 5D+5D égale 1M, 1M +1M =1Y sur période de 2Y.
- reproductibilité de 6.1.3 : OK
6.1.3 : 25 mai 2018
Voir détails du contrôle qualité là : http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)
Résultats des tests pour IPSLCM6.1.3 : 25 mai 2018
- reproductibilité de 6.1.2 : OK
Configuration IPSL-CM6-LR | ||||||
Critère contrôlé | Repro piControl (A1C=A2C) | Restart (A1C=A3C) | +1=+1 (A1C=A4C) | Repro historique (H1C=H2C) | Ada | Couplage |
Résultats | OK | OK | OK | |||
Commentaires | toujours souci à plusieurs années) | Toujours pas bon pour 1D+1D+...=5D | Need in COMP/opa9.card Reproducibility_after_restart= y |
6.1.2 : 27 avril 2018
Voir détails du contrôle qualité là : http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)
Résultats des tests pour IPSLCM6.1.2 : 27 avril 2018
- reproductibilité de 6.1.1 : OK
Configuration IPSL-CM6-LR | ||||||
Critère contrôlé | Repro piControl (A1C=A2C) | Restart (A1C=A3C) | +1=+1 (A1C=A4C) | Repro historique (H1C=H2C) | Ada | Couplage |
Résultats | OK | OK | OK | |||
Commentaires | Différences au bout de 57 ans ... | Toujours pas bon pour 1D+1D+...=5D | Need in COMP/opa9.card Reproducibility_after_restart= y |
--
Configuration LMDZOR | |||||
Critère contrôlé Curie | Repro (A1C=A2C) | Restart (A1C=A3C) | +1=+1 (A1C=A4C) | Nb de MPI-OMP (A1C=A5C) | Restart Debug(B1C=B2C) |
Résultats | |||||
Commentaires | |||||
Critère contrôlé Ada | Repro (A1A=A2A) | Restart (A1A=A3A) | +1=+1 (A1A=A4A) | Nb de MPI-OMP (A1A=A5A) | Restart Debug(B1A=B2A) |
Résultats | |||||
Commentaires |
--
Configuration eORCA1_LIM3_PISCES | ||||||
Critère contrôlé Curie | Repro (A1C=A2C) | Restart (A1C=A3C) | +1=+1 | Nb de MPI (A1C=A4C) | Debug | Ada |
Résultats | ||||||
Commentaires |
6.1.1 : 13 avril 2018
Voir détails du contrôle qualité là : http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)
Résultats des tests pour IPSLCM6.1.1 : 13 avril 2018
Configuration IPSL-CM6-LR | ||||||
Critère contrôlé | Repro piControl (A1C=A2C) | Restart (A1C=A3C) | +1=+1 (A1C=A4C) | Repro historique (H1C=H2C) | Ada | Couplage |
Résultats | KO | |||||
Commentaires | Voir : CM61B-pi-T???-1?. Différences au bout de 39 ans. 1/3600 mois | 1M+1M+... = 1Y | KO mais on va y arriver!!! |
6.1.0 : 29 mars 2018
Voir détails du contrôle qualité là : http://wiki.ipsl.jussieu.fr/Pole/ESCI/GT/IPSLCM6/ControleQualiteTechnique (Accès Intranet)
Résultats des tests pour IPSLCM6.1.0 : 29 mars 2018
Configuration IPSL-CM6-LR | ||||||
Critère contrôlé | Repro piControl (A1C=A2C) | Restart (A1C=A3C) | +1=+1 (A1C=A4C) | Repro historique (H1C=H2C) | Ada | Couplage |
Résultats | KO | OK | KO | KO | OK | |
Commentaires | NON 1 simu /4 pas reproductible sur curie. Voir CM61-pi-T???-1? différence au bout de 4 12 14 mois, avec et sans ozone v1 et v2 |
Simulations avec modèle IPSLCM6.1.2 : 27 avril 2018
Figure pour comprendre :
- CM61-LR-pi-03 et CM61-pre-pi-01 se superposent. CM61-LR-pi-01 et CM61-pre-pi-01 ne se superposent pas.
- CM61-LR-hist-01 démarre de 1870 de CM61-LR-pi-01
piControl
Num | Priorité | Nom | Résumé | Membre | Personne | Description | Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ... |
1.1 | H | CM61-LR-pi-03 | piControl 3 | r1i1p1f1 | Marie-Alice | prend la suite de CM61-pre-pi-01, 1849, (compte commun) Reproducibility_after_restart= y , BUT : se superpose avec CM61-pre-pi-01 sur 1850-... , STOP si différence dans solver.stat , STOP 1907 ==> CM61-pre-pi-01 refaite à partir de 1899. OK en 1907. Idem en 2205, Ajout de <variable id="recv_field_timeout" type="double">3000.0</variable> dans PARAM/iodef.xml pour refaire 1907. ATTENTION : sur espace DSMIPSL et pas CMIP6. FINI 500 ans | https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=f1327c81-3357-4375-a810-914da4798d5b |
1.1 | H | CM61-LR-pi-03e | piControl 3 | r1i1p1f1 | Marie-Alice | prend la suite de CM61-LR-pi-03, Démarre en 2350, Avec IPSLCM6.1.5-LR |
Simulations avec modèle IPSLCM6.1.1 : 13 avril 2018
piControl
Num | Priorité | Nom | Dépendances | Membre | Personne | Description | Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ... |
1.1 | H | CM61-LR-pi-01 | prend la suite de CM61-pre-pi-01 | r1i1p1f1 | Sébastien | piControl 1 | |
1.2 | H | CM61-LR-pi-02 | prend la suite de CM61-pre-pi-02 | r1i1p1f1 | Laurent | piControl 2 | |
2 | H | CM61-LR-hist-01 | historical partant de CM61-LR-pi-01 en 1869-12-31, soit après 20 ans de piControl | Thibaut | historical |
Simulations avec modèle IPSLCM6.1.0 : 29 mars 2018
piControl spinup
Num | Priorité | Nom | Dépendances | Membre | Personne | Description | Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ... |
1.1 | H | CM61-pre-pi-01 | prend la suite de CM6015S-pi-REDO-03 | r1i1p1f1 | Sébastien | pre_piControl 1, restart 10 ans avant la fin de CM6015S-pi-REDO-03: 2279-12-31 | https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=5ef97dd4-91c6-4012-be91-ccbaed76834e |
1.2 | H | CM61-pre-pi-02 | prend la suite de CM6015S-pi-REDO-03-24XX | r1i1p1f1 | Laurent | pre_piControl 2, restart 10 ans avant la fin de CM6015S-pi-REDO-03-24XX: 2589-12-31 | https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=07f5e9a1-eaf9-4686-904f-af3428fd24bc |
1.3 | H | CM61-pre-pi-03 | prend la suite de CM6015S-pi-REDO-03-28XX à la date 2929-12-31 | r1i1p1f1 | Arnaud | pre_piContrl 3, restart 10 ans avant la fin de CM6015S-pi-REDO-03-28XX: 2929-12-31 | https://hermes.ipsl.upmc.fr/static/simulation.detail.html?uid=c22e10d4-d98e-4488-93e2-16889ab4dfaf |
Simulations avec modèle PREIPSLCM6.1
Num | Priorité | Nom | Personne | Description | Page d'information Hermes pour retrouver les infos : mise en place, sorties sur curie, etc ... |
1 | H | CM61-pi-REDO-03-24XX | Laurent |
Pour la suite des simulation, voir plus loin DECK.
Les MIPs
DECK/CMIP
AerChemMIP
C4MIP
CFMIP
CMIP
DAMIP
DCPP
DECK
FAFMIP
GeoMIP
GMMIP
HighResMIP
LS3MIP
LUMIP
OMIP
PMIP
RFMIP
ScenarioMIP
VolMIP
Environment (suite )
ada
- dans config.card enlever les 2 niveaux de serveurs XIOS c'est à dire:
IOS= (xios_server.exe, xios.x, 1MPI)
- dans libIGCM_comp/libIGCM_comp.ksh, s'affranchir du test sur la version du compilateur en mettant Print au lieu de Exit ligne 1033 :
- IGCM_debug_Exit "IPSLCM6.0.13 ... must be compiled with intel 2017 compiler" + IGCM_debug_Print "IPSLCM6.0.13 ... must be compiled with intel 2017 compiler"
Pour mémoire : Modifications dans IPSL-CM6.1.0-LR par rapport à 6015
Voir le ticket #120 pour connaitre les détails techniques liés à cette version (version des sources, fichiers d'entrées, etc...)
- LMDz
- Passage à v2 des fichiers ozone
- iflag_phytrac=0 => pas de traceur Aga
- ajoute cdnc_min=10., changement des valeurs pour cld_lc_lsc et cld_lc_con de 0.0004 en 0.00065
- ORCHIDEE
- Corrections de diags pour les variables qui utilisent xios_default_val (surtout variable lut et neige).
- NEMO
- sources : quelques bugfix ( le heat content, CFC ) & calcul du transport de glace à travers les détroits
- rajout des traceurs CFC's
- xml pour les diags CMIP6
- paramètres : ré-activation du controle des bilans de nutritifs dans PISCES
- Coupleur
Attachments (8)
- Workflow1.jpg (227.4 KB) - added by mafoipsl 7 years ago.
- charge-curie-20180413.jpg (4.7 MB) - added by mafoipsl 7 years ago.
- interMonitoring_plot01_CM61-pre-pi-superposition.jpg (170.0 KB) - added by mafoipsl 7 years ago.
- simus612.jpg (3.0 MB) - added by mafoipsl 7 years ago.
- batch_merge_EXT.sh (2.0 KB) - added by glipsl 6 years ago.
- batch_correct_issues.sh (473 bytes) - added by glipsl 6 years ago.
- batch_PrePARE.sh (612 bytes) - added by glipsl 6 years ago.
- batch_nctxck.sh (772 bytes) - added by glipsl 6 years ago.