Changes between Version 136 and Version 137 of IPSLCM6/IPSL-CM6A-LR

Timestamp:

06/05/18 18:14:45 (6 years ago)

Author:

glipsl

Comment:

--

IPSLCM6/IPSL-CM6A-LR

@@ -148 +148 @@
    * Exemple des simulations DECK : browser:CMIP6/DECK
  * Pendant une simulation, il faut la suivre :
-   * faire systématiquement un intermonitoring à 10 ans avec au moins le piControl CM61-LR-pi-03 (dsm) pour documenter/vérifier l'expérience lancée
-   * vérifier les monitoring et lancer qq intermonitoring pour vérifier que la simu est bien celle voulue
-   * lancer les atlas CLIMAF
-   * lancer en cours de simulations les vérifications de fichiers CMIP6
-    * XIOFileChecker (est ce que XIOS a bien produit ce que les xml indiquent):
-     * Last release : 0.2.1
-     * !GitHub        : https://github.com/Prodiguer/xiofilechecker
-     * Docs           : https://prodiguer.github.io/xiofilechecker/
-     * !HowTo         : https://github.com/Prodiguer/xiofilechecker/blob/master/notebooks/xiofilechecker-howto-ipsl.ipynb
-     * Issues         : Aucune connue à ce jour.
-    * nctime (est ce que des overlaps de période sont présents? est ce que les axes des temps sont bons?)
-     * Last release : 4.1.3
-     * !GitHub        : https://github.com/Prodiguer/nctime
-     * Docs           : http://prodiguer.github.io/nctime
-     * !HowTo         : https://github.com/Prodiguer/nctime/blob/master/notebooks/nctime-howto-ipsl.ipynb
-
+   * Faire systématiquement un intermonitoring à 10 ans avec au moins le piControl CM61-LR-pi-03 (dsm) pour documenter/vérifier l'expérience lancée
+   * Vérifier les monitoring et lancer qq intermonitoring pour vérifier que la simu est bien celle voulue
+   * Lancer les atlas CLIMAF
+   * En cours de simulation lancer régulièrement les vérifications des fichiers au format CMIP6 avec la séquence suivante:
+    * Charger l'environment virtuel python donnant accès aux outils et aux variables d'environnement nécessaires:
+{{{
+module load datadir/gencmip6
+export PATH=$GENCMIP6_ALL_CCCWORKDIR/miniconda/bin:$PATH
+source activate cmip6
+}}}
+    * Définir le chemin de la simulation à tester (voir exemple ci-dessous)
+{{{
+SIMULATION=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/CMIP6/
+}}}
+    * Définir le répertoire à utiliser pour conserver les logs si des erreurs sont rencontrées. Conserver les logs de préférence à la base des fichiers netCDF CMIP6 (voir exemple ci-dessous):
+{{{
+LOGDIR=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/
+}}}
+    * Si vous rencontrer des erreurs sur les fichiers netCDF, communiquer les logs à Guillaume Levavasseur (glipsl@ipsl.fr) et/ou Sébastien Denvil (sdipsl@ipsl.fr)
+    * Appliquer {{{XIOFileChecker}}} pour vérifier que XIOS a bien produit ce que les XML indiquent:
+     * Veillez à définir le chemin de tous les fichiers DR2XML utilisés pour la simulation, en fonction de l'année en cours de calcul (exemple ci-dessous avec un simulation en 1937)
+{{{
+XIOFileChecker $SIMULATION -l $LOGDIR --xml $FILEDEF_DIR/IPSLCM6.1.2-LR/1pctCO2/{18*,19[0-2]*,193[0-7]}
+}}}
+     * Erreurs connues que vous rencontrerez peut-être:
+      * Pour la version IPSLCM6.1.3 et antérieures, la variable intpcalcite (Omon) n'est pas sortie par XIOS mais se trouve par erreur dans les XML 
+      * Pour la version IPSLCM6.1.3 et antérieures, les variables Odec sont manquantes en sorties XIOS, c'est une erreur définitive.
+    * Appliquer {{{nctime overlap}}} pour vérifier qu'il n'y a pas de recouvrement entre les dates des noms de fichiers:
+{{{
+nctime overlap $SIMULATION -l $LOGDIR
+}}}
+    *  Erreurs connues que vous rencontrerez peut-être:
+     * Les variables *calipso peuvent présenter des overlaps complets. C'est une erreur XIOS en cours de résolution. Ignorer l'erreur pour le moment.
+    * Appliquer {{{nctime axis}}} pour vérifier les axes des temps des fichiers netCDF:
+{{{
+nctime axis $SIMULATION --on-fly --set-inc dec=1 --ignore-errors 004 --exclude-file ".*subhr.*" -l $LOGDIR
+}}}
+     * Erreurs connues que vous rencontrerez peut-être:
+      * Erreur 003 sur tous les fichiers et votre simulation est en cours. Vous avez probablement oublié l'option --on-fly qui permet de vérifier des fichiers dont l'axe des temps est encore incomplet.
+      * Les fichiers décennaux (fréquence = "dec") ne comportent pas le bon incrément temporel en sortie d'XIOS (1ans au lieu de 10), pour vérifier les fichiers ajouter --set-inc dec=1
+      * Pour la version IPSLCM6.1.3 et antérieures, plusieurs fichiers instantanés présentent par erreur des "time_bounds", les fichiers seront post-processés plus tard. Pour ignorer l'erreur ajouter --ignore-errors 004
+      * Pour la version IPSLCM6.1.3 et antérieures, les fichiers *subhr* non-splités sont très lourd. Ils peuvent générer une erreur mémoire de Python car l'axe des temps est très gros. Si c'est le cas, pour ignorer ces fichiers ajouter --exclude-file ".*subhr.*"
+   * En fin de simulation, relancer la séquence précédente ({{{XIOFileCheker}}} + {{{nctime overlap}}} + {{{nctime axis}}}) avec les changements suivants:
+    * Considérer tous les XML de l'expérience pour {{{XIOFileChecker}}}
+{{{
+XIOFileChecker $SIMULATION -l $LOGDIR --xml $FILEDEF_DIR/IPSLCM6.1.2-LR/1pctCO2/
+}}}
+    * NE PAS mettre l'option {{{--on-fly}}} pour {{{nctime axis}}}
+{{{
+nctime axis $SIMULATION --set-inc dec=1 --ignore-errors 004 --exclude-file ".*subhr.*" -l $LOGDIR
+}}}
+    * Appliquer {{{PrePARE}}} pour vérifier la conformité des métadonnées avec les spécification CMIP6:
+{{{
+PrePARE $SIMULATION 1>$LOGDIR/PrePARE-$(date +'%Y%m%d-%H%M%S').log 2>&1
+}}}
+    * Tous les outils précédents (nctime et PrePARE) dispose d'un multiprocessing intégré. 4 processes en parallèles sont définis par défaut. Ne pas hésiter à définir un plus grand nombre de processes avec l'option --max-processes NB_PROCESS disponible pour chaque outil. 
  * Réunions type bocal régulières pour lancer ensemble les nouvelles simulations.
   * 16/03/2018 : création de cette page et liste des dernières actions