150 | | * faire systématiquement un intermonitoring à 10 ans avec au moins le piControl CM61-LR-pi-03 (dsm) pour documenter/vérifier l'expérience lancée |
151 | | * vérifier les monitoring et lancer qq intermonitoring pour vérifier que la simu est bien celle voulue |
152 | | * lancer les atlas CLIMAF |
153 | | * lancer en cours de simulations les vérifications de fichiers CMIP6 |
154 | | * XIOFileChecker (est ce que XIOS a bien produit ce que les xml indiquent): |
155 | | * Last release : 0.2.1 |
156 | | * !GitHub : https://github.com/Prodiguer/xiofilechecker |
157 | | * Docs : https://prodiguer.github.io/xiofilechecker/ |
158 | | * !HowTo : https://github.com/Prodiguer/xiofilechecker/blob/master/notebooks/xiofilechecker-howto-ipsl.ipynb |
159 | | * Issues : Aucune connue à ce jour. |
160 | | * nctime (est ce que des overlaps de période sont présents? est ce que les axes des temps sont bons?) |
161 | | * Last release : 4.1.3 |
162 | | * !GitHub : https://github.com/Prodiguer/nctime |
163 | | * Docs : http://prodiguer.github.io/nctime |
164 | | * !HowTo : https://github.com/Prodiguer/nctime/blob/master/notebooks/nctime-howto-ipsl.ipynb |
165 | | |
| 150 | * Faire systématiquement un intermonitoring à 10 ans avec au moins le piControl CM61-LR-pi-03 (dsm) pour documenter/vérifier l'expérience lancée |
| 151 | * Vérifier les monitoring et lancer qq intermonitoring pour vérifier que la simu est bien celle voulue |
| 152 | * Lancer les atlas CLIMAF |
| 153 | * En cours de simulation lancer régulièrement les vérifications des fichiers au format CMIP6 avec la séquence suivante: |
| 154 | * Charger l'environment virtuel python donnant accès aux outils et aux variables d'environnement nécessaires: |
| 155 | {{{ |
| 156 | module load datadir/gencmip6 |
| 157 | export PATH=$GENCMIP6_ALL_CCCWORKDIR/miniconda/bin:$PATH |
| 158 | source activate cmip6 |
| 159 | }}} |
| 160 | * Définir le chemin de la simulation à tester (voir exemple ci-dessous) |
| 161 | {{{ |
| 162 | SIMULATION=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/CMIP6/ |
| 163 | }}} |
| 164 | * Définir le répertoire à utiliser pour conserver les logs si des erreurs sont rencontrées. Conserver les logs de préférence à la base des fichiers netCDF CMIP6 (voir exemple ci-dessous): |
| 165 | {{{ |
| 166 | LOGDIR=$GENCMIP6_CCCWORKDIR/IGCM_OUT/IPSLCM6/PROD/1pctCO2/CM61-LR-1pctCO2-01/ |
| 167 | }}} |
| 168 | * Si vous rencontrer des erreurs sur les fichiers netCDF, communiquer les logs à Guillaume Levavasseur (glipsl@ipsl.fr) et/ou Sébastien Denvil (sdipsl@ipsl.fr) |
| 169 | * Appliquer {{{XIOFileChecker}}} pour vérifier que XIOS a bien produit ce que les XML indiquent: |
| 170 | * Veillez à définir le chemin de tous les fichiers DR2XML utilisés pour la simulation, en fonction de l'année en cours de calcul (exemple ci-dessous avec un simulation en 1937) |
| 171 | {{{ |
| 172 | XIOFileChecker $SIMULATION -l $LOGDIR --xml $FILEDEF_DIR/IPSLCM6.1.2-LR/1pctCO2/{18*,19[0-2]*,193[0-7]} |
| 173 | }}} |
| 174 | * Erreurs connues que vous rencontrerez peut-être: |
| 175 | * Pour la version IPSLCM6.1.3 et antérieures, la variable intpcalcite (Omon) n'est pas sortie par XIOS mais se trouve par erreur dans les XML |
| 176 | * Pour la version IPSLCM6.1.3 et antérieures, les variables Odec sont manquantes en sorties XIOS, c'est une erreur définitive. |
| 177 | * Appliquer {{{nctime overlap}}} pour vérifier qu'il n'y a pas de recouvrement entre les dates des noms de fichiers: |
| 178 | {{{ |
| 179 | nctime overlap $SIMULATION -l $LOGDIR |
| 180 | }}} |
| 181 | * Erreurs connues que vous rencontrerez peut-être: |
| 182 | * Les variables *calipso peuvent présenter des overlaps complets. C'est une erreur XIOS en cours de résolution. Ignorer l'erreur pour le moment. |
| 183 | * Appliquer {{{nctime axis}}} pour vérifier les axes des temps des fichiers netCDF: |
| 184 | {{{ |
| 185 | nctime axis $SIMULATION --on-fly --set-inc dec=1 --ignore-errors 004 --exclude-file ".*subhr.*" -l $LOGDIR |
| 186 | }}} |
| 187 | * Erreurs connues que vous rencontrerez peut-être: |
| 188 | * Erreur 003 sur tous les fichiers et votre simulation est en cours. Vous avez probablement oublié l'option --on-fly qui permet de vérifier des fichiers dont l'axe des temps est encore incomplet. |
| 189 | * Les fichiers décennaux (fréquence = "dec") ne comportent pas le bon incrément temporel en sortie d'XIOS (1ans au lieu de 10), pour vérifier les fichiers ajouter --set-inc dec=1 |
| 190 | * Pour la version IPSLCM6.1.3 et antérieures, plusieurs fichiers instantanés présentent par erreur des "time_bounds", les fichiers seront post-processés plus tard. Pour ignorer l'erreur ajouter --ignore-errors 004 |
| 191 | * Pour la version IPSLCM6.1.3 et antérieures, les fichiers *subhr* non-splités sont très lourd. Ils peuvent générer une erreur mémoire de Python car l'axe des temps est très gros. Si c'est le cas, pour ignorer ces fichiers ajouter --exclude-file ".*subhr.*" |
| 192 | * En fin de simulation, relancer la séquence précédente ({{{XIOFileCheker}}} + {{{nctime overlap}}} + {{{nctime axis}}}) avec les changements suivants: |
| 193 | * Considérer tous les XML de l'expérience pour {{{XIOFileChecker}}} |
| 194 | {{{ |
| 195 | XIOFileChecker $SIMULATION -l $LOGDIR --xml $FILEDEF_DIR/IPSLCM6.1.2-LR/1pctCO2/ |
| 196 | }}} |
| 197 | * NE PAS mettre l'option {{{--on-fly}}} pour {{{nctime axis}}} |
| 198 | {{{ |
| 199 | nctime axis $SIMULATION --set-inc dec=1 --ignore-errors 004 --exclude-file ".*subhr.*" -l $LOGDIR |
| 200 | }}} |
| 201 | * Appliquer {{{PrePARE}}} pour vérifier la conformité des métadonnées avec les spécification CMIP6: |
| 202 | {{{ |
| 203 | PrePARE $SIMULATION 1>$LOGDIR/PrePARE-$(date +'%Y%m%d-%H%M%S').log 2>&1 |
| 204 | }}} |
| 205 | * Tous les outils précédents (nctime et PrePARE) dispose d'un multiprocessing intégré. 4 processes en parallèles sont définis par défaut. Ne pas hésiter à définir un plus grand nombre de processes avec l'option --max-processes NB_PROCESS disponible pour chaque outil. |