wiki:IPSLCM6/ReunionsQuest

Jeudi 9 Septembre 2021

CR meeting QUEST jeudi 9 septembre 2021

presents : Julie, Christian, Laurent, Arnaud, Ionela

consommation :

hCPU sur Irene Rome AMD : reste 8.5 MhCPU sur allocation gencmip6 - OB dit qu'on fera une demande au fil de l'eau si besoin avant la fin de l'allocation

pb remplissage workdir gencmip6 (configurations, forcages + sorties CMIP6) -> besoin de faire du menage sur simulations test (compte tenu que CMIP6 à publier ne peut pas etre deplacé...)

AMIP

Lidia : a terminé etude etude de performance calcul avec Arnaud, et une etude de sensibilite au restart.

besoin pour production : 2 520 000h pour l'ensemble des 10 membres amip MR1 avec workflow sur Irene-amd

MR1

controle qualité en cours, en interaction avec Guillaume et Arnaud

MR025

terminés pendant l'été 210 ans piCtrl apres 150 ans de spinup

intermonitoring

mais pb initialisation des courants au demarrage de piCtrl : courants u,v mis à 0

pas un pb pour publication (il faudra juste le notifier dans metadonnees) car temps d'ajustement relativement court

si heures necessaires, quelle simulation relancer ?

[1] lancer piCtrl-02 à la suite de spinup avec restart des vitesses - pour confirmer impact de l'arret de spinup analytique de orchidee

avec ou sans workflow ?

sans worflow : permet d'alleger pression sur workdir

avec workflow : donne la possibilite de publier ce nouveau piCtrl en version i2

[2] prolonger piCtrl-01 pour atteindre 200 ans dans nouvel etat d'equilibre, puis decoupage et publication en spinup (environ 40 ans) et piCtrl (200 ans)

JD envoie email à OB pour l'informer des simus qu'on va relancer, pendant Christian fait le point sur ce qu'il faut pour prolonger piCtrl-01 et lancer piCtrl-02 (nom i2)

Question de Ionela sur stockage de simulations pour autotuning, pour l'instant dans store ra4918

  • estimer volume total ?
  • question à Fred sur maniere d'analyser : il prefere les avoir sur ciclad ou sur tgcc (gencmip6) ?
  • JD sollicite Eliott pour mise à jour du stockage (STORE) des simulations QUEST

Jeudi 22 Juillet 2021

Julie, Christian, Lydia, Arnaud, Laurent, Juliette

note : ce CR integre echanges par email le 26/07

Production AMIP

Lidia a produit une nouvelle AMIP standard "02" avec restart 1899 (car pas d'années dispo apres en pd) couplé MR1 Laurent, qui sert ensuite de nouvel AMIP de restart.

intermonitoring des 2 AMIP + LR CMIP6 ( en rouge=IPSLCM6.2.2-MR1-AMIP-r1, la amip MR1 DECK, avec restart amip standard, et restart couple IPSLCM6.2-preQUEST-01 pour la amip standard ; en bleu=IPSLCM6.2.2-MR1-AMIP-r1-restart1, la amip MR1 DECK, avec restart amip standard, et restart spin-up amip pour la amip standard (le 1er restart) )

Les 2 types de run sont très proches sauf stocks de carbone. Impact sur variables atmospheriques très faible. en ce qui concerne variables SBG, c'est IPSLCM6.2.2-MR1-AMIP-r1 qui semble produire des variables les plus proches de amip LR CMIP6

Julie envoie mail pour information à equipe LMDZ (cc N. Vuichard & P. Cadule?) pour confirmer ce choix, avec intermonitoring.

Prod AMIP aout: 10 mb. Consommation ok.

Congés Lydia septembre.

Rq sorties journalieres ont du être débranchées car pb memoire sur irene-amd (c'etait ok sur irene-skl)

Production MR1:

TS 500 ans ne passent pas dans ferret (pb memoire) -> TS avec chuncks 100 ans pour que intermonitoring ok.

QC fait progressivement. Petites questions vues au fur et a mesure avec Guillaume L. Les mises au point seront utiles pour QC AMIP.

a priori pas de soucis lié au fait que les fichiers ont été coupés en petit bouts (split)

Production MR025 :

185 ans (5 ans / jr depuis la derniere réunion. C'est bien régulier)

intermonitoring

Gloups: un certain nobre de variable évoluent différemment... Assez grosse (meme sens) discontinuité nettop0, SSS inversion de tendance OHC global. Non expliqué

-> Arnaud finit les 200 ans prévus. + intermonitoring final.

Fin aout debut septembre; analyses spatiales de validation à faire.

Jeudi 15 Juillet 2021

Julie, Juliette, Christian, Laurent

on discute de la continuite des simus pendant l'ete

Point heures de calcul: 11 millions hCPU sur questcmip6

Finalisation de la prod 2millions hCPU

500 ans MR1 4 milllions hCPU

90 ans MR025 4 millions hCPU

AMIP MR1 1 million hCPU

On avait demande 6.5 M hCPU OB: retard sur irene-skl -> pas demande au fil de l'eau, trop tot

surconsommation DECK sur irene-amd par rapport au groupe global.

demande de ristourne vu délais / instabilités etc? -> Julie et Arnaud quantifient

S'autorise t on à poursuivre MR025? 100 ans de + = 2 millions hCPU

Il faudrait verifier ce que les autres du groupe cmip6 comptent faire avec leurs heures gencmip6

Ce run a vocation a être mutualisé.

En ce moment ca tourne bien, dommage de laisser passer la fenetre d'opportunité de l'été.

Décision:

on continue 100 ans de MR025 on demande à OB de sonder le groupe pour vision globale on profite éventuellement de la demande complementaire A10 début septembre.

MR1

tous les DECKS sont terminés (piCtrl, 1%CO2 et abrupt 4xCO2, 800 ans en tout)

QC en cours

petits soucis overlap axe des temps sur chacune des simus.

+ control vocabulary n'a pas été mis à jours: MR1 n'est pas défini comme un modèle valide de l'IPSL, pb mise à jour fichier de config.

Mais a priori toutes les variables sont là et ok.

MR025

5 ans par jour depuis maintenance de debut juillet

150 ans terminés aujourd'hui, christian laisse tourner puis passe à Arnaud qui fait tourner jusqu'à son depart en vacances.

bref resume des progres de Brady sur analyse des runs sensibilite ECS: Les runs de test de config avec LR (initialement CM6.2.1) refaits avec CM6.2.2 ne dérivent plus. Origine: changement de config orchidee??

CM6.1 -> Orchidee.2.0

CM6.1.1 -> Orchidee.2.2

CM6.2.1 -> Orchidee.2.2

CM6.2_WORK -> Orchidee_QUEST

CM6.2.2 -> Orchidee_QUEST

-> Faire un mail Nicolas V pour savoir si ils veulent investigation + poussée.

Jeudi 1 Juillet 2021

AMIP MR1

1er membre en finition sur irene-amd.

config & Sorties CMIP6 ont été validées avec Arnaud.

Pas mal de pb machine.

Un pic de lenteur en 2008 en particlier, probablement su à machine.

http://webservices.ipsl.fr/interMonitoring/tmp/interMonitoring_plot01_ldiCtX_prod/intermonitoring 3 premieres decennies : à partager avec Nicolas Vuichard, Fred Hourdin et Frederique Cheruy pour validation car il y a des différences significatives en SBG notamment -> Probleme flux de carbone état initial. Stock de carbone etc ?

t2m plus chaud MR1 vs LR : heritage cld_lc ?

Protocole que Lydia a fait pour le moment: 5 ans de spin up orchidee partant de "rien". Mais on voit que ca derive. Surement probleme de protocol. Pour LR, On avait pris restart dun pd (A VERIFIER). refaire pre-AMIP a partir du pd preQUEST?

MR1

500 yr piCtrl se terminent aujourd'hui ou demain - à reflechir

1% CO2 : reste une vingtaine d'annees à faire

abrupt 4CO2 : plantages frequents, presentement dans annee 1955

tout se termine normalement la semaine prochaine

QC à demarrer en vue de publication

Julie sollicite collaboarteus pour estimation ECS d'une part, et pour analyse variabilite de piCtrl d'autre part

à decider pour la rentrée : prolongement piCtrl et historiques

MR025

Quand ca passe la queue, ca tourne. 3 ans ont été perdus par pb écriture XIOS.

94 ans ok.

TS ne marchent pas très bien.

Temps queue: jusqu'a 3 jrs. très forte surconsommation du projet.

strategie avant arret machine le 6 juillet ? Christian espere avoir 100 ans avant maintenance mais pas sur. va arrete proprement la simu lundi au plus tard.

Arnaud prend la main sur la simu de Chrisitian du 20 juillet jusqu'à fin du mois.

Juliette et Julie se tiennent pretes pour prendre le relai d'arnaud au mois d'aout, si Olivier Boucher OK pour qu'on continuent d'utiliser ces heures (actuellement en forte surconsommation).

attention au changement d'environnement par defaut apres la prochaine maintenance.

Jeudi 17 juin 2021

Laurent, Julie, Christian, Arnaud

MR1

plantage piCtrl pour cause de souci d'ecriture - a priori aleatoire, menage 10 ans, reparti, 427 ans au total.

donc solution de reduire size des chunks ne modifie pas la frequence d'occurrence des soucis machines mais "limite la casse".

Plantages environ 1 / 100 ans. Remonter? Comment se compare cette fréquence par rapport à curie ou Jean Zay? Ne semble pas completement different.

xmls prets pour +1%CO2 et abrupt 4xCO2 : deja fait 50 ans pour chaque

plantage hgardfou pour abrupt 4xCO2 : point dans Arctic - Laurent va appliquer addnoise

1%CO2 et abrupt4CO2 ajoutés au monitoring automatique

MR025

dernier plantage depassé, Christian a retrouvé le moral et n'a plus de soucis!! :-)

actuellement en 1922, soit 73 ans en tout. Objectif... 150 ans? 4 ans / jour -> 20 jrs.

splits de 5 ans pour les sorties <1h

reste à actualiser monitoring

1%CO2 et abrupt4CO2 restent en attente pour l'instant

Chrisitian vacances 22 juillet

AMIP: récemment beaucoup d'attente.Surcharge consommation? (32% au lieu de 12% theorique). On va commencer à attendre... Besoin d'une coordination?

nouvelle configuration avec fichiers stations (avec point EUREC4 en plus) et xmls correspondant

temps calcul : 2h47 pour 1 annee (r1, 1979) -> A evaluer (run.card) pour contact OB nb d'heure (voir plus bas)

ok pour prolonger pour 10 ans, et Arnaud verifie premiere annee en meme temps

Lancement des 10 ensembles: parallele ou successivement? Lydia teste avec 2 mb. en meme temps

Lydia vacances septembre

on ajustera le nombre de membres de AMIP en fonction des heures de calcul disponibles

TODO : Julie ecrit à Olivier pour voir ce qu'on peut encore consommer sur allocation gencmip6 Qui d'autre sur irene-amd: Patricia-ESM-4C? Simona-Decennal-EnOI pour compatibilité compilateur. A priori c'est tout en ce moment.

privilegier demande allocation complementaire A10 plutot que demande impaire (ouverture à l'automne)

Maintenance 6-7 juillet Prod MR1 devrait etre finie à l'été -> il faudra faire QC Prod MR025: on va jusqu'a mi juillet, on verra apres en fonction heures disponibles. QC à la rentrée.

Est ce qu'on lancera des historiques couplés? 10 min

Jeudi 3 Juin 2021

Arnaud, Lidia, Christian, Julie, Laurent

AMIP

Arnaud a optimisé configuration AMIP, car sorties requises tres tres volumineuses, avec sorties sub-horaires de variables 3D

idem pour LR CMIP6, avec adaptation pour qq variables sorties tous les 2 pas de temps (30 min) plutot qu'au pas de temps

meme adaptation pour MR : sorties tous les 2 pas de temps plutot tous les pas de temps

48 serveurs depeuples à 16 coeurs, augmentation des tailles de buffer -> 3.22h sur 2800 coeurs pour 1 an de simulation (de r1)

si sortie tous les 3 pas de temps au lieu de 2, lors 2.48h pour 1 an de simulation -> convenable vis à vis de la comparaison avec IPSL-CM6A-LR ? Julie pose la question à Frederic, Cc Lidia et Arnaud

par defaut DR demande moins pour les r2,3,4... mais pour LR on avait demandé les memes sorties

MR025

tout ok jusqu'au souci machine du 31/05 - environ 9-10 ans de simulation perdus (souci machine pendant l'annee 1899)

ces interruptions machines provoquent pb de sortie des variables subhoraires -> split de 5 ans pour ces variables

pas de pb de stabilite de la simulation

coût 4h / an de simulation mais en realite avec donnees perdues, on a produit 5 ans seulement !

MR1

le job a planté "proprement" au moment du souci machine du 31/05 mais simulation repartie sans soucis

360 ans de piCtrl produits pour l'instant - on maintient objectif 500 ans

intermonitoring montre variables atmospheriques stables

quand est-ce qu'on demarre les +1% CO2 et abrupt 4 CO2 ? idealement dans la meme phase de l'AMOC que les equivalents LR... Julie prepare figure pour l'identifier et pose la question sur cette strategie aux experts ECS

arnaud encourage à ne pas trainer pour lancer les jobs +1%CO2 et abrupt 4xCO2 car "la machine est dans une bonne phase" en ce moment

a priori ces 2 simulations seront portées par Laurent (si tout va bien)

prochaine maintenance machine 6-7 juillet

ATTENTION correctif pour cout production :

abrupt 4xCO2 : 150 ans

+1% CO2 : 150 ans

TODO Julie : actualiser cout et planification de la prod pour MR1 et MR025

TODO Julie : lancer enquete aupres du CNRM pour connaitre leur strategie de sauvegarde des configs MR et HR ? (ex : Arnaud ne trouve pas leurs sorties subhoraires sur ESGF) -> interroger Sophie Valcke à ce sujet

Jeudi 20 Mai 2021

CR reunion QUEST du jeudi 20 mai 2021

AMIP

travail sur performances de calcul : 1ere annee MR1 1er membre = 7h, 2eme test = 6h30, encore des ameliorations possibles, mais Lidia poursuit la simulation en meme temps que realise ces tests pour ne pas perdre de temps

sorties sub-horaires (stations) tres lourdes, donc optimisation via augmentation du nombre de procs pour XIOS, depeuplements, repartitions differentes - il serait interessant d'estimer le surcout lié à ces variables, pour alimenter par exemple la reflection sur workflow allégé

pour comparaison, AMIP LR un peu plus d'1h par annee simulee sur irene

difference de cout de calcul lié à résolution + changement de machine

Lidia fournira, apres optimisation, le cout de calcul pour actualiser besoin d'hCPU

MR1

piCtrl a fait 250 ans, pas de plantages la semaine derniere. Christian constate aussi que machine + stable depuis 1 semaine. run.card montre que cout par annee tres stable

1 ans piCtrl prend 8800s en ce moment - fin de production le 25 juin environ

demarrage de abrupt 4xCO2 à demarrer depuis l'année 250 de piCtrl ? verifier d'abord stabilisation de la temperature oceanique (se refroidit encore ?)

https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit_DECK/index.html

https://vesg.ipsl.upmc.fr/thredds/fileServer/work_thredds/p86fair/IPSLCM6/PROD/piControl/IPSLCM6.2.2-MR1-piCtrnl-01/MONITORING/index.html

protocole pour abrupt 4xCO2 : tres simple : multiplier par 4 le taux de CO2 !

Arnaud doit preparer xml

Laurent peut prendre en charge la simu 4xCO2 (si Irene reste stable comme ca)

Julie lance atlas CESMEP avec 20 ans piCtrl LR (1850-1870) et derniers 20 ans de piCtrl MR1 pour confirmer qu'on est prets

MR025

le "vrai" piCtrl est lancé, 35 ans réalisés, 4h par an

passage 1870 sans soucis avec la "vraie" dr2xml (et non pas les sorties de 1850)

diminution des plantages apres modification des split et augmentation du nombre de procs XIOS

Arnaud a essayé de reproduire plantages de Christian avec sorties 1870 mais la simulation n'a pas planté !

combien d'annees on vise en tout ? Julie fait le point sur les heures necessaires, a minima piCtrl pour 250 ans pour servir de reference à l'abrupt 4xCO2

Point sur la crise hurs

pb n'apparait pas dans simulations de PROD, uniquement dans simulations DEVT realisees au prealable

pour rappel : ORCHIDEE a changé de version pour la config de PROD

travail en cours coté ORCHIDEE

Arnaud pret à prendre des simus si besoin (mais va commencer la prod HiresMIP 25KM)

Vendredi 7 Mai 2021

CR live ici : https://pad.colibris-outilslibres.org/p/QUEST07052021

Mercredi 5 Mars 2021

presents : Nicolas, Arnaud, Laurent, Christian

MR1

actuellement en 1992, bien reparti

MR025

reste 22 ans pour terminer le spinup

50 ans de piCtrl-01 sont termines

plantages reguliers de NEMO pour cause de pb de glace, reduction du pas de temps

pb de ralentissement des annees simulees, pour cause de pb machine ? pb non specifique à CMIP6 car Nicolas constate les memes ralentissements, ce weekend - ne pas hesiter à signaler à la hotline TGCC

Jeudi 29 avril 2021

Contexte: arret brutal de TGCC endant 24h. ca vient de revenir. Il va falloir faire repartir les runs. La prod CMIP6 est peu robuste aux arrets brutaux (si XIOS etait en train d'ecrire, risque de generer problemes fichiers netcdf)

intemonitoring (qqs pb dus aux plantages intempestifs qui affectent les TS)

MR1

IPSLCM6.2.2-MR1-piCtrnl-01 a plante en 1964, a priori pendant incident electrique TGCC apres 115 ans (1964)

utilise les chunks reduits (cf reunion du 16/04) meme si on n'est pas surs que ce soit necessaire -> a confirmer apres le passage de ce point de plantage ? Laurent essaye de repartir de janvier 1960

utilise les fichiers dr "normaux" (vs MR025 utilise toujours les sorties pour 1850)

combien de piCtrl en tout : 500 ans ? ca dependra des heures de calcul disponibles et de la disponibilite de Laurent pendant l'été

quand est-ce qu'on demarre +1%CO2 et 4xCO2 ? on attend de voir l'intermonitoring complet pour voir si l'ocean s'est ajusté

+ il faut couvrir la meme periode (250 ans) avec le pictrl. -> au plus tard année 250 de pictrl.

forcages pour +1%CO2 et 4xCO2 a priori immediats

MR025

IPSLCM6.2.2-MR025-pi-spinup-02 a terminé ses 100 ans, prolongé pour 50 ans - pour l'instant ajustement parallele à IPSLCM6.2.2-MR1-pi-spinup-01

IPSLCM6.2.2-MR025-pi-02 tourne tres bien depuis que Christian a forcé d'utiliser dr de 1850 (au lieu de post 1870) - actuellement en 1895

reste ajustements necessaires pour pouvoir produire avec dr "vraie" (ie 1870) -> garder en memoire qu'il faut tester DR avec annee la plus gourmande en donnees à sauvegarder

demande plus de recul et d'investigations pour pouvoir realiser le DECK avec "vraie" DR -> on prend le temps de resoudre ce pb et on repousse la realisation du DECK ou bien on part quand meme en production ?

Juliette : challenges techniques derriere nous maintenant, serait dommage de se priver de realisation scientifique (ECS, variabilite basse frequence...) + pas de projet scientifique urgent pour motiver de reprendre la configuration et repousser la production du DECK

Christian : attention la charge de realisation de DECK est lourde, peut etre pas necessaire de faire tout le DECK (en particulier +1%CO2 et 4xCO2)

Arnaud : dommage de se priver de la valorisation scientifique + gros efforts pour figer modele IPSLCM6.2.2, qui va servir de reference pour prochaines simulations et configurations de modele

Laurent : interet pour la dynamique atmospherique de quantifier impact de la resolution oceanique sur ECS

on pourrait aussi laisser le piCtrl en machine avec niveau de sortie type DR 1850 en meme temps qu'on continue de chercher comment produire sorties completes, puis on rejouera la decennie de laquelle partira un run historique pour augmenter le niveau de sortie

est-ce que les efforts pour augmenter niveau de sortie avec MR025 serviront à d'autres applications ? oui car pb techniques à resoudre : il faut apprendre à XIOS à gerer plus de données (en particulier MR025 avec BGC), meme si la DR va evoluer avec CMIP7

AMIP

definition du restart pour les amip MR1 du DECK, la meme definition que pour le restart des amip LR du DECK CMIP6 (L. Mellul), et definition des dates de restart en fonction de la periode d'execution 1979-2014 des amip du DECK Quest

experience amip MR1 standard creee avec Laurent F. et Arnaud avec le modele IPSLCM6.2.2, sur Irene-rome, et realisation de la amip MR1 standard

les post-traitements de la amip MR1 standard sont repris plusieurs fois en manuel, parce que j'ai rajoute les sorties journalieres dans la configuration standard de LMDZ, et Irene-rome n'est pas calibree pour traiter ces post-traitements en MR, Irene-skl les fait. les post-traitements sont bien passes sans les sorties journalieres, c'est -a-dire avec les sorties standards du modele, en mensuel.

l'experience amip MR1 avec workflow est creee avec le modele IPSLCM6.2.2, sur Irene-rome, les premiers tests de la configuration de cette experience sont en cours sur Irene-rome, avec un temps d'attente en queue d'execution sur Irene-rome plus long que d'habitude, et une erreur d'execution recurrente.

nouveaux pb car sorties ultra lourdes

Pour l'instant on n'a pas répondu à la demande d'allocation exceptionnelle car 1. on a les heures actuelles et 2. heures gencmip6

Jeudi 22 avril 2021

presents : Julie, Christian, Lidia

AMIP

standard 1979-2014 pour restarts executee dans son integralite, realisee apres la maintenance donc homogene

pb post-traitements qui ne se font pas bien automatiquement (a cause d'un time limit a priori) -> monitoring pas fait donc intermonitoring encore en cours

choix dates pour restart : 1986, 1997, 2007

mise en place de la configuration AMIP MR1 avec workflow

ensuite essaye de lancer les 3 start dates en parallele pour realiser le max d'annees (tout si possible) avant la fin de la semaine prochaine

nom des simulations : IPSLCM6.2.2-MR1-AMIP r1 (1986), r2 (1997) et r3 (2007)

r1 est le membre qui pose le plus de problemes car necessite sauvegarde champs haute frequence

MR1

Laurent : "J'ai implanté dans la simu 6.2.2 les nouvelles tailles de chunk de Arnaud. Pas eu de plantages depuis la semaine dernière mais irene-amd est particulièrement chargé en ce moment donc les deux simus n'ont pu faire que 50 ans chacune. Du coup j'ai arrêté la 6.2, et je laisse tourner la 6.2.2. Le multimonitoring automatique est en place ici mais je vois que j'ai des soucis avec certains champs océanique, à investiguer ...."

Christian : pb creation TS pour ocean

Julie : a priori les 2 simus semblent bien couvrir statistiquement le meme climat (cf aabw par exemple), mais il faudrait corriger l'intermonitoring pour confirmer (cf divergence apparente pour t2m)

MR025

spinup avec ORCHIDEE analytique toujours en cours, encore 12 ans -> on espere atteindre lundi matin -> monitoring pour evaluer etat d'equilibre ORCHIDEE atteint ou pas. a priori ca pourrait etre bon apres juste 100 ans (cf fLitterSoil et nbp) pour lancer piCtrl

piCtrl 02 avec chunks reduits, et augmentation du nombre de procs XIOS -> OK jusqu'en 1877 mais plantage sur sorties 3D haute frequence

solution possible : imposer pour tout piCtrl le niveau de sorties de 1850 ? cette solution semble acceptable -> à tester en attendant la fin du spinup analytique, et jusqu'à la fin du mois

demande allocation supplementaire ?

Arnaud recommande de ne pas se precipiter à changer de machine car Irene-Rome a priori plus stable depuis maintenance

AMIP devrait passer d'ici la fin du mois

pour piCtrl de MR1 et MR025, besoin de 14 Mhcpu sur Irene ROME (en comptant surcout post-1870) - or on a deja demandé 8Mhcpu via gencmip6 qui en a obtenu 30M. donc pas de demande urgente d'allocation supplementaire, mais Julie previent Gerhard et Olivier qu'on fera une demande au fil de l'eau à la fin de l'ete si necessaire.

Rappels liens utiles :

tableau des simulations CMIP6 pour production (onglet QUEST)

estimation couts production QUEST (onglet REV)

intermonitoring de la semaine

prochaine reunion jeudi 29 avril 15h00

Vendredi 16 avril 2021

presents : Christian, Laurent, Arnaud, Juliette, Julie

MR1

intermonitoring

inclus 2 piCtrl de MR1, qui demarrent du meme etat initial, 6.2 avant maintenance (rouge) et 6.2.2 (bleue) apres maintenance et toujours en cours

besoin d'appliquer addnoise sur 6.2.2 car ne voulait pas demarrer -> partie sur une autre trajectoire

Laurent a recompilé apres la maintenance.

Simulations bcp + lentes à partir 1870 car workflow CMIP6 (15-20%)-> CM6.2 timelimit (1883)-> pb relecture fichiers. -> Redemarrage 1870

CM6.2.2 a du être reprise de 1850 car pb workflow.

Garde t on les 2? a priori oui pour verifier que modele decrit la meme stat apres 30-40 années.

MR1 avec workflow= 8-9 ans/jr apres 1870. -> 60 jrs.

MR025: depuis la maintenance, le job corromp les fichiers quand il essaie de les ouvrir. Pb librairie suite à maintenance -> recompiler? Ou lié à diminutions perfs à partir 1870? pour l'instant bloque le job completement, en janvier 1974, et ne parvient pas à poursuivre du tout

Pb actuel: plantage (par instabilités machine (semble etre le cas MR1)? ou par pb XIOS qui ne tient pas "la charge" (semble etre le cas MR025)?) nous fait courir le risque de devoir recommencer une simu depuis le début (si fichier netcdf corrompu lors de la fermeture ou de la re-ouverture, par exemple). solutions possibles ?

A: faire sauvegarde des netcdf CMIP6 à intervalles pre-determinés pour pouvoir ne pas avoir à recommencer du début . mais prend temps de sauvegarde considerable + augmente risque de corrompre les fichiers netcdfs au moment de la manipulation

B: reduire la taille des chunks pour sauvegarder fichiers plus petits. cela doit etre une option de dr2xml. dans ce cas pas besoin de backups des CMIP6. mais necessite que Arnaud regenere des xmls...

MR025 piCtrl-spinup:

spin-up analytique ORCHIDEE toujours en cours (spinup-02 en orange sur l'intermonitoring ci dessu)

en parallele, Christian a reussi à bidouiller des restarts MR025 à partir de restarts MR1 ORCHIDEE (rose) - a tourné 24 ans (conditions piCtrl) sans pb, puis pb de fichiers netcdf décrits ci dessus

on conserve MR025-pi-01 pour poursuivre les tests de faisabilite de DECK MR025 et on conserve aussi MR025-pi-spinup-02 qui a priori fournira un meilleur etat initial pour le piCtrl final

note : ce matin MR025-pi-spinup-02 a planté pour cause de pb SSH (en septembre, en Arctic), redemarrage en Euler ne suffit pas à depasser plantage, Christian relance avec pas de temps diminué pour voir...

Demande d'allocation supplementaire sur Irene ROME ? sur Irene SKL ?

a priori on ne deplace pas de simulation en cours de ROME vers SKL

mais SKL beaucoup plus stable que ROME, donc on pourrait commencer MR025-piCtrl ou 1%CO2 ou +4CO2 sur SKL. mais tests workflow non realises sur SKL donc demande un peu de travail supplementaire

Julie reprend estimation des couts des simulations DECK (hors AMIP) en incluant surcout post1870 pour envisager changement de machine pour certaines simulations

-> partage avec Gerhard Krinner et Olivier Boucher pour avoir leur avis sur la meilleur repartition entre machines

MR025 avec workflow piCtrl post 1870 : 12000s par an simulé au lieu de 9000s (+25%)

Vendredi 9 avril 2021

presents : Julie, Laurent, Christian, Arnaud, Juliette

MR025 msftbarot

pas de reponse immediate de Guillaume sur maniere de sauvegarder la variable intermediaire pour calcul de msftbarot en post-processing

Juliette et Julie proposent de sauvegarder vbarot avec nom de variable different (et donc nom de fichier)

mais memes attributs que msftbarot (on peut meme garder le meme long-name) -> action Arnaud dans dr2xml pour modifier nom de fichier et de variable

a priori uniquement pour MR025 car ce pb n'a pas lieu dans LR, VLR, MR1...

Attention cette modif ne deviendra actif que pour piCtrl car spinup-piCtrl deja en cours -> il faudra renommer à la fin de la simu, msftbarot en vbarot (variable + fichier)

demarrage de MR025 avec spinup ORCHIDEE

spinup-piCtrl lancé vendredi dernier, a deja tourné 20 ans.

-> intermonitoring à faire en début de semaine (lundi 12)

MR1 piCtrl : toujours en cours, sans soucis

pour rappel, les deux spinup-piCtrl MR025 et MR1 sont partis de leurs piCtrl DEVT respectifs, qui avaient un ORCHIDEE encore "calé" conditions pd -> d'où le spinup analytique pour recaler ORCHIDEE en conditions pi

AMIP Lydia

CM6.2.2 installé sur IRENE-ROM, AMIP-MR1 standard créée, et lancée. C'est la simu qui servira de conditions initiales ds AMIP-MR1-DECK sur la période 1979-2014.

xml à préparer pendant la semaine du 12 avril, Arnaud en attente infos précises (noms etc) de Lydia.

Question pour Guillaume : comment signalera t'on que les experiences AMIP de MR025 sont celles de MR1, en evitant de les re-publier ?

MEMO : mettre à jour le tableau de https://forge.ipsl.jussieu.fr/igcmg/wiki/IPSLCM6/QUEST avec les dernieres simus + les simus PROD dans le xls CMIP6

finalisation du planning de la reunion du 7 mai et partage : idem que pour la journee configurations (ipsl_cmc) + CLIMERI + Julie ouvre docs partagés pour commencer à lister toutes les idées qu'on veut transmettre et identifier les differents graphiques à produire

Vendredi 2 avril 2021

presents : Christian, Laurent, Arnaud, Juliette, Brady, Nicolas, Julie

MR1 :

piCtrl a commencé, deja 21 ans realises

mais xml pas à jour car mentionnent 100 ans de spinup au lieu de 150 ans

-> Arnaud regenere nouveaux sml et Laurent redemarre piCtrl du début

MR025 :

plan C (redemarrer avec un mix de differents restarts)

premier test a échoué

nouveau test en repenenant uniquement le Carbon de MR1 (restart de land use et autres composantes de MR025)

environ 5 jours faits puis plantage inconnu de Christian, sur interpolation verticale ?

normalement ce type de plantage se passe au début. message lié à pb de pession, et/ou Ozone ? Laurent regarde en details. en meme temps, Christian relance test avec restarts piCtrl au lieu de spinup : au cas où le pb vient de la partie spin up analytique de spinupMR1

plan B (manipuler les fichiers de restart d'ORCHIDEE)

jamais fait par le team ORCHIDEE

environ 100 variables à manipuler

procedure pour chaque variable : [1] ouvrir la variable du restart MR025 ; [2] recuperer la meme variable de restart MR1 ; [3] appliquer masque MR025 (substituer varibles non masquées, conserver valeurs MR025 si MR1 masquées) ; [4] sauvegarder cette variable.

Christian a commencé à ecrire un script IDL pour faire cette procedure -> partage lien vers ce script avec Julie

Attention il existe des variables dans restarts MR1 qui ne sont pas presentes dans le restart MR025, a priori à cause de spinup analytique -> à appliquer à partir des restarts piCtrl de Laurent

plan A (effectuer transition pd vers pi avec MR025)

actuellement MR025 produit 10 ans par jour avec workflow, donc necessite 10 jours pour realiser 100 ans de spinup ORCHIDEE

-> Arnaud produit xml pour spinup piCtrl MR025

remarque sur diags qui ne sortiraient pas bien : peu importe, on choisira apres de les publier ou non

MR025 pb msftbarot

résumé : diag msftbarot ne sort pas bien pour MR025 car NEMO ne parvient pas à faire des integrales dans direction meridienne à cause de proc terre complement masqués

a priori pas ce pb dans MR1 car pas de proc sans aucun point dans l'eau

solution : produire une variable intermediaire avec NEMO, en l'occurrence la vitesse meridienne integree surface-fond. il suffit ensuite de calculer la somme cumulée du sud au nord pour avoir msftbarot

comment inclure procedure dans post-processing : script python ? ou cdo ? quel nom pour la variable intermediaire : msftbarot ou autre nom (qui n'existe pas deja dans dr2xml) ? ajouter un commentaire pour signaler que c'est une variable intermediaire ? -> Juliette et Julie engagent discussion par email avec Guillaume Levavasseur

de maniere generale, il faut reflechir à la procedure adequate pour corriger variables sorties de IPSLCM, dans le cadre de prod CMIP6 et en dehors de ce contexte, via libIGCM ? -> Julie et Arnaud doivent aborder ce point lors de la reunion du 7 mai

prochaine reunion vendredi 9 avril 15h00

Jeudi 25 mars 2021

Julie, Juliette, Christian, Lydia, Arnaud, Laurent, Olivier, Nicolas

MR1 :

mise à jour d'ORCHIDEE OK, mais manque un peu de spinup apres 100 ans d'integration

Laurent relance pour 50 ans supplementaires, ie jusqu'au 31/12/1899 (xml ont été crées par Arnaud)

15 ans à ce jour, irene assez instable.

note pour les futurs intermonitorings qui associent spinup et piCtrl : il faudra bidouiller les dates du spinup pour que les courbes s'enchainent correctement

MR1 AMIP :

CM62.2.2 installé sur irene-AMD

Lydia ajoutée sur qst-cmip6

CMIP6: AMIP standard (sans workflow) sur la période 1979-2014. Dates de départ random de cet AMIP standard pour repartir sur les 10 mb -> Meme approche ici

Ajustement d'orchidee aux conditions pdctrl: spin up de 2-3 ans.

Conditions Limites: (Julie, j'ai pas suivi)

MR025 :

test 1 an avec workflow dans la suite du piCtrl deja realisé -> OK sauf pour msftbarot : pb de valeur constante pour certaines bandes de processeurs. retenter 1 mois pour verifier si c'est reproductible ?

Pb sur les processeurs qui ne voient que de la terre: repartent à 0 lors de integration vers le N.

Pb grille codé en dur?

souci de demarrage avec etat initial MR1 : plantage au 1er pas de temps dans la physique de LMDZ

ocean et glace : restart de pictrl MR025 deja fait

atm orchidee: restart de spinup MR1

oasis: restart de spinup MR1

pb masque MR1 different de masque MR025 pour ORCHIDEE

solution A : Christian reprend procedure de re-initialisation de ORCHIDEE faite sur MR1 et lance 150 ans de spinup du piCtrl

solution B : produire à la main nouveaux champs restart ORCHIDEE en interpolant restart ORCHIDEE MR1 avec masque eORCA1 sur grille MR1 avec masque eORCA025

solution C : lancer avec restart OCE et ATM de piCtrl MR025 mais restart ORCHIDEE de spinup MR1

-> solution C la plus simple à tester -> Christian

on interroge en meme temps les collegues ORCHIDEE pour savoir si solution B envisageable et/ou deja faite (en precisant bien qu'il ne s'agit pas de changer la resolution mais "juste" changer le masque, partage liens vers sorties ORCHIDEE des 2 configs). Le probleme est bien uniquement sur les points cotiers (pourc_ter_MR1 - pourc_ter_MR025) -> une interpolation même non conservative irait, ne perdrait pas le bénéfice du spin up MR1.

Jeudi 18 mars 2021

Julie, Juliette, Laurent, Bardy, Chistian

  • les premieres integrations MR1 :

est-ce que la re-initialisation de ORCHIDEE a bien fonctionné ? le fLuc est bien à zéro à partir de la 2ème année comme le préconisait Patricia -> verification des autres variables par Patricia et Nicolas V. ?

verification des autres composantes

https://vesg.ipsl.upmc.fr/thredds/fileServer/work/p86fair/IPSLCM6/PROD/piControl-spinup/IPSLCM6.2.2-MR1-pi-spinup-01/MONITORING/index.html

Juliette a fait des time series de SST, OK

inspection de l'intermonitoringpour SBG : cSoilMedium, cSoilSlow, cProduct, cBal et cMassVariation montrent des "sauts" au dela de la premiere annee... normal ?

la simu se poursuit jusqu'à 100 ans, on continue de regarder l'intermonitoring et on prevoit analyse C-ESM-EP au bout de la centaine d'annees - en attendant Juliette fait qq cartes

Juliette verifie forcings de cette simu correspondent aux conditions piCtrl

ensuite Laurent lancera le "vrai" piCtrl de 500 ans

Remarque: cette spinup court de 1750 à 1849. La pictrl s'enchainera à la suite.

  • les preparatifs de MR025 :

Arnaud a envoye liste de ce qui manque pour figer config

Julie envoie MFO pour MR025 à Christian avant demain matin

puis Christian verifie test 10 ans pour voir la charge

ensuite partira de la fin du spinup MR1 en cours pour ATM + SBG, et spinup MR025 pour OCE (150 ans) + MBG, directement pour PROD/piCtrl -> A documenter dans le msg d'initialisation qui apparait dans les xml -> Julie envoie à Arnaud info pour docu initialisation

  • le programme de la reunion du 7 mai

https://docs.google.com/spreadsheets/d/1fw25YKZn7J1VmP7nH0zwmz6Kk_nVlTXPcrxIMzAi9H0/edit?usp=sharing

  • AMIP

configuration MR1 figee maintenant, Lydia peut repartir de la config de Laurent

verifier protocole AMIP du DECK (differents de AMIP des historiques) -> Julie

Lydia verifie à partir de quel restart les AMIP du DECK LR ?

Jeudi 11 mars 2021

Juliette , Julie, Nicolas V, Laurent, Christian, Nicolas L, Eliott, Lydia, Ionela

  • pb init ORCHIDEE :

pre-spin up MR1: vient de 100 ans de piControl qui etait lui même initialisé de pdControl. -> Carte de LandUse? pas bonne: années 2000. ET état initial pas à l'equilibre. Plusieurs échanges de mails pour solutions proposées, récapitulatif envoyé par Patricia clair. Arnaud: rien à dire mis à part peut etre que si on part sur un spinup de 100 ans il faudrait peut etre désactiver le workflow pour ce spinup pour aller plus vite...à moins qu'on veuille publier ce spinup sous l'expérience "piControl-spinup". Ca pourrait avoir un interêt si on veut garder une trace de ce spinup...Si on veut faire ça, je dois re générer les xmls pour l'expérience piControl-spinup.

Avantage CMIP6: spinup + long à publier

Inconvénient: surcout du workflow. relativement faible (15% cout de calcul. Elapse: 17h vs 19h.)

Patricia: alerte sur équilibrage stocks carbone.

Nicolas V: 100 ans = un compromis, pas absolu. pour certaines regions il faudrait plutot 200 ou 300 ans, mais 100 ans est un compromis acceptable.

Publication validée -> Arnaud genere xml avec nom "piControl-spinup"

Laurent a commencé à suivre les préconisation de Nicolas. A peu pres comme Patricia, avec en + (Patricia) nécessité de modifier les restart au bout de 1 an (voir échanges de mails)

Spinup à lancer en PROD.

Quand valider? 20-30 ans de simu, avec Patricia. 20h / 10 ans.

A VERIFIER: spin up analytique doit etre maintenu pendant les 500 ans du controle????? (a priori n'etait pas activé dans la picontrol IPSL-CMA-LR . Parce que spin up explicit vue la phase de préparation. ) Donc En principe non, car pas très physique. alors Quand peut on désactiver? Avant la fin du spinup serait plus confortable. Voir métriques avec Patricia.

  • MR025 :

Arnaud : Christian a fait les derniers commits. J'ai commencé à générer les xmls. Il faudrait tester ça...je comptais regarder ça un fois que le pb du MR1 serait définitivement reglé. Et ensuite Christian pourra lancer 10 ans pour voir.

Le même pb ORCHIDEE se posera. Sauf qu'on aura le spin up analytique à la bonne résolution atmopshérique. PiCtrl? MR025 partira des 100 ans de Pictrl spinup de MR1 (a priori fin de semaine prochaine)

  • production des AMIP ?

dès que la configuration MR1 sera figée (demain ou lundi 15), le travail peut commencer...

Lydia a deja fait un test sur AMD

  • tests de glace ?

simus en cours, tres instable (necessite "add noise" tres regulierement)

Jeudi 4 mars 2021

Juliette, Julie, Laurent, Christian, Brady

  • le point sur les 10 premieres années de test PROD et la suite

soucis sur TS pour intermonitoring, deja corrigés

simulation realisee en DEVT, sera oubliee

on repartira de 1850 en PROD apres corrections des sorties

nom de simu OK : IPSLCM6.2.2-MR1-pi-01

  • Ce qu'il y a faire en terme de corrections de sorties

Manque des données ATM : ua_CFday, va_CFday, zg_CFday, wap_CFday, zg_day ? normal : n'apparaissent qu'à partir de 1870 (Guillaume)

absence du fichier orog (dans ATM/fx) -> correctif en cours

ATM et SRF ok (O Boucher)

ORCHIDEE : Olivier ? Frederique ? Nicolas Vuichard ? Philippe Peylin ? Julie envoie mail specifique si pas de retours vendredi soir

Omon : msftbarot : que des valeurs indefinies ! a priori rien de changé coté NEMO et xml, donc pb doit venir de XIOS (Guillaume)

wfo : ok en CMIP6 mais signe non corrigé dans sorties natives. (Yona) A faire pour cohérence? Christian s'en occupe - numero de rev pour NEMO à changer

hfx et hfy ok. (Francis)

Reste probleme eiv ET partie diffusive sur hfbasin. (Francis) Inhérent au mode de calcul. Gros chantier pour corriger et verifier car on ne comprend pas bien comment les eiv n'ont pas été pris en compte...? + ajouter diffusif dans hfbasin est un plus gros boulot. Mysteres dans diaptr.F90.

-> Erratum a faire sur données publiées. Et données quest si on ne corrige pas.

Reste à faire d'ici mardi:

Continuer à vérifier variables ocean

Verification orchidee

Verifier checklist Olivier B

Christian signe de empmr

Mardi: Laurent re-extrait un modele et relance 10 ans en PROD.

  • point MR025?

physiq.def_MR025, gcm.def_MR025 à créer (avec les bons cld_lc_lsc et cld_lc_con)

et adapter lmdz.card

Attendre correctifs ping et file_def de MR1 (mardi)

  • Récréation: point sur les tests de glace du LR si on veut
  • journée du 7 mai : il est temps de diffuser ne serait ce que la date?

Première demi-journée:

1.5h science + 1.5h technique

déjà bien remplie avec résultats, problèmes et lessons learnt QUEST

Après-midi: 1.5-2h discussion sur la suite

Inputs Myriam (VLR), Sylvie, Balaji.

Julie prépare une ébauche de programme pour lister les thèmes à couvrir. On remplit les noms la semaine prochaine.

Jeudi 25 Fevrier

Julie, Arnaud, Christian

  • point sur config IPSLCM6.2.2
    • ultimes changements dans physiq.def de LMDZ en cours par Laurent
    • état de démarrage à renseigner dans xml : l’état initial de IPSL-CM6A-MR1 provient d’une integration préliminaire de 200 ans (en faisant reference à IPSLCM6.2-preQUEST-pi seulement).
    • specifications des etats de demarrage dans config.card (+ recopie sur compte commun) : Christian s'en occupe pour MR025, Arnaud pour MR1
    • dernieres modifs sorties
    • incohérence dans l’équation des niveaux de pression atmosphérique hybrique sigma : OK
    • axe "3basin" à corriger en "basin" : OK( revision 297 de shaconemo)
    • ORCHIDEE : 2 sorties à verifier par Olivier -> à effectuer sur sorties piCtrl
    • Arnaud fige IPSLCM6.2.2 et genere xmls pour les sorties CMIP6

puis 10 ans de prod MR1 par Laurent
puis Julie envoie mail pour inviter collaborateurs cmip6-dev à vérifier les sorties (niveau de sorties + CMIP6)

  • preparation de la journee du 7 mai
    • seance de presentations sur les resultats scientifiques
    • seance de presentations sur le mode de fonctionnement et les contraintes techniques
      • mode de fonctionnement plutot facon "projet"
      • qu'est-ce que cela implique de faire du CMIP6 ou non CMIP6 ?
    • seance de discussion sur prochains modeles de climat IPSL et ailleurs

Julie prepare une ebauche de programme pour identifier speakers et materiaux à preparer

Jeudi 18 Fevrier

Julie, Laurent, Olivier

  • point sur config IPSLCM6.2.2
    • menage sur physiq.def de LMDZ : ultimes changements en cours par Laurent
    • manque état de démarrage à renseigner dans le config.card
    • dernieres modifs sorties
    • incohérence dans l’équation des niveaux de pression atmosphérique hybrique sigma : Laurent s'en occupe et espere avoir terminé la semaine prochaine, mais reste qq incertitudes sur attentes commentaires de la DR et code LMDz
    • axe "3basin" à corriger en "basin" >> Arnaud ?
    • ORCHIDEE : 2 sorties à verifier >> Olivier
    • prochaine etape : Arnaud fige IPSLCM6.2.2 et genere xmls pour les sorties CMIP6
    • 10 ans de prod MR1 produits et partagés avec cmip6-dev pour verifications
  • faut-il prevenir le TGCC qu'on va demarrer la prod debut mars, peut etre tardivement par rapport à notre plan initial ?

Olivier : non car mecanismes en oeuvre pour redistribuer les heures disponibles, et on pourra toujours terminer nos simulations sous la prochaine allocation
Laurent : il faut quand meme prevenir Gerhard car il avait insisté pour qu'on consomme l'allocation exceptionnelle dans les temps
Olivier envoie un message à Gerhard pour fournir qq elements justificatifs de la sous-consommation gencmip6 en general

  • reunion QUEST 6 ou 7 mai :

2 sessions de 1h30 plutot sur resultats QUEST
puis session finale avec balaji + Sylvie (ou Pascale ?) sur le futur (moyen terme) de la modelisation climatique ?
Olivier : proposer cela comme brainstorming collectif et partage d'informations sur le futur de la modelisation climatique

Jeudi 11 Fevrier

  • t2m

modifs LMDZ faites par Ionela, corrigées en debut de semaine, a priori OK pour la branche QUEST pending : modifs à faire dans ORCHIDEE - dans le head + dans une branche compatible avec rev QUEST

  • modifs DR ocean

prises en compte par Arnaud
nouveau pb identifié par Juliette sur hdfs (qui n'inclut pas les runoffs, contrairement à Griffies et al. 2016) : on choisit de laisser ping comme tel, mais ajouter commentaire dans metadonnees (+ publier errata )

  • Liste des bugs / corrections diag à faire ici :

a priori tout est ok, à verifier des que c'est lancé
(+ Juliette: reprendre mails avec Guillaume L pour correctifs données déjà publiées)

  • Arnaud:
    • niveaux de sorties par défaut?
    • branche LMDZ ok. COSP à commiter
    • manque info état de redémarrage. Julie prépare historique des simus et fournit cette infos.
  • AMIP :

mail de Lidia : "Je me suis mise a la machine Irene-amd, pour le DECK amip MR1 et MR0.25. Nous avons la reponse pour les SST version PCMDI-AMIP-1-2-0 jusqu'en 2020, merci a Olivier et a Guillaume."

-> on prend cette version, meme si en effet ca peut différer un peu de PCMDI-AMIP-1-1-6, jusqu'en 2018, utilisé pour DECK so far. attention de bien prendre la prochaine version de CM6.2-QUEST qui va etre créée dans les prochains jours

  • Demande A10 groupe gencmip6 : inclus 6Mh Irene-AMD pour finir prod DECK QUEST + realiser qq historiques MR1 et historique MR025 + volet tuning automatique glace.
  • instabilites de irene-AMD : il y a eu des modifs du tgcc et dans xios pour eviter les "freeze" du modele
  • réunion QUEST ICMC : jeudi 6 ou vendredi 7 mai ?

Jeudi 4 Fevrier

Juliette, Brady, Arnaud, Christian, Lydia, Olivier, Frederic + Frederique

  • AMIP

Prévus dans le contingent d'heures
s'extrait directement de la configuration couplée
Config MR standard coté LMDZ déjà testée par Lydia : 1-5 ans. ok mais a partir de CM6.1.11
-> besoin d'upgrader à CM6.2.2 mais ne devrait pas poser de problemes
periode 1979-2014 prolongée jusqu'en 2018, 2019 voire 2020 ? depend de disponibilite de SST obs
ensembles? Pas 2 ensembles pour MR1 et MR025 (seulement changement CLDC) mais 5-10 simulations à prévoir - en fait 1 ensemble MR1 plus 1 simulation exactement comme MR025
accompagnés d'une simulation guidée (vent imposés)
A faire :

  1. verifier les diff atm entre MR1 et MR025 : diff physiq.def. A priori, que CLDC.
  2. Fichiers de SST à mettre à jour. (mis à jours tous les ans dans DECK). IPSL-CM6A-LR: on s'était arrétés en 2017. maj 2018 ou 2019? Noter que CMIP fait aussi qqs ajustements sur la période hstorique, pas juste une extension.
  • finalisation CM6.2.2
    • modifs t2m : Doit s'accompagner d'une correction orchidee. Redemander précisément à Ionela, Fréderique et al.
    • Fréderique: On peut partir comme ca mais ca serait mieux de faire correction. Dans orchidee c'est uniquement diagnostique. -> Mail Julie Nicolas Vuichard cc Arnaud
    • LF: la correction sera mise par défaut dans la branche LMDZ_QUEST. -> seule chose à faire; s'assurer de repartir des bonnes sources
    • Arnaud doit aussi faire un commit sur cette branche : corrections de bugs COSP
  • modifs DR ocean
    • msftbarot: pas possible de corriger par XIOS, Pas trop possible dans NEMO non plus car implique communication entre procs donc trop couteux, Donc ca restera en post processing.
    • Autres corrections: fait ou dans le ping récemment corrigé.
    • Comment être + exhaustif? Aller voir archives liste IPSL_CM6 avec retours utilisateurs? Page forge Olivier Boucher avec recensement : https://forge.ipsl.jussieu.fr/igcmg/wiki/IPSLCM6/IPSLCM6.2
    • Il faudrait mettre à jour un file_def_nemo*CMIP6.xml de la CM6.2.2 - Christian
    • il faut en plus un ping sans pisces pour MR025
  • Autres modifs?
    • Comment savoir si il reste des erreurs? OB complète sa page forge.
    • on envoie mail à ipslcm6_dev et cmip6_dev une fois qu'on a produit 10 ans avec workflow, pour que les gens verifient leurs sorties préférées... Julie (plutot semaine prochaine)
  • Comment faire pour être sur que les choses ne vont pas être perdues?

Ressort de chaque composante.

  • controle qualité entre 6ALR et 6AMR1 pour verifier qu'on n'a rien cassé ? LMD/Z avait des outils automatiques - développés par Jérome Servonnat? Repart on la dessus? A t on le temps? Non.
  • envoyer physiq.def à Fred pour qu'il controle les "flags" des bugs connus (et conservés) dans LMDZ - Arnaud
  • Renseignements modele:

Résolution LMDZ : 100 ou 250? HighTop? model Niveau de sorties des sorties standards: a régler au plus bas possible. Chrisitian gère coté NEMO LMDZ: mensuel + atlas Pictrl 500 ans. Julie regarde les dates de début pour inscrire dans workflow

Jeudi 28 Janvier

Julie, ...

pour rappel, IPSL-CM6A-MR1 et IPSL-CM6A-MR025 doivent partir en production le 15 fevrier au plus tard !

  • demande DARI A8/A10 :
    • completer doc en ligne Olivier Boucher pour bilan allocation DARI
    • nouvelle demande QUEST dans allocation A10 ? oui : un peu de mou pour finir la prod et/ou refaire des experiences - mais on l'annonce comme fin de la prod DECK + realisation de qq historiques MR1 et MR025 sur AMD (grosso modo 5MhCPU)
  • rapide evaluation des piCtrl :

intermonitoring
Q3-CM62-MR025-pi-04 et IPSLCM6.2-preQuest-pi ressemblent suffisament à CM61-LR-pi-03e pour qu'on valide le depart en production, et suffisament différents pour qu'on soit impatients de voir le resultat du DECK !

  • workflow ?

manque infos pour generer xml, a priori toutes les infos necessaires sont ici
+ il faudra renseigner le nombre d'annees de spinup avant etat initial + figer toutes les dernieres modifs des composantes individuelles

  • modifs DR ocean

completer le tableau des erreurs [[https://docs.google.com/spreadsheets /d/1fw25YKZn7J1VmP7nH0zwmz6Kk_nVlTXPcrxIMzAi9H0/edit#gid=27451277| ici]]
+ pour Julie : repartir correctement du ping d'une extraction de 6.1.11 ou toute derniere 6.2
+ Julie et Juliette: avancer sur les commentaires de cette page, puis impliquer Christian & Clément si besoin pour analyser/corriger.

  • modif t2m

Ionela : tests en cours, finalisés la semaine prochaine. il restera à merger les routines modifiées

  • faire le point avec Guillaume L pour identifier ses correctifs qui pourraient être incorporés dans notre version de prod -> Julie
  • tests de glace de Juliette :

a relancé un nouveau test avec params de glace modifiés mais en partant d'un état avec AMOC plus forte >> semble donner les memes resultats de diminution d'AMOC, mais à confirmer
+ lancer tests à partir de runs tunés Laurent (aute config intéressante) pour voir si + sensible.

Jeudi 21 Janvier

Julie, Laurent, Juliette, Arnaud, Ionela, Frederic, Christian, Nicolas, Martin

  • point technique sur les configurations MR1 et MR025 en vue de la mise en production

MR025 [Christian] : 150 ans produits ( intermonitoring) , piCtrl, qui partent de la fin du pd04 - à analyser avant de poursuivre et eventuellement lancer pdCtrl associé
MR1 (prequest) [Laurent] : presque 200 ans produits (intermonitoring), piCtrl,
LR [Eliott] : réalisé avant Noël
Nomenclature modeles actée: IPSL-CM6Q-LR, -6A-MR1 (prequest), -6Q-MR1 (MR1 v2), 6A-MR025
Workflow:

Besoin pour générer les xml: d'ou on part??
-> info dans le xml : unpublished XX years spin-up simulations. XX a updater au dernier moment.
Besoin aussi d'infos pour finaliser tailles des grilles (cf derniere page du fichier excel)

Data Request :

Correctif t2m/q2m: pas encore pret. Le sera d'ici 2 semaines. Intérêt d'attendre: éviter corrections a posteriori. Est ce que ca sera suffisamment validé? c'est en machine, pas encore vérifié. Impliquera d'intégrer la modif sur la version qui est utilisée actuellement (petite branche avec correction de bug).
FH pousse pour attendre. + robuste, + propre, solution + satisfaisante. Mais faudra peut etre prevoir 200 ans 6A-LR pour documenter proprement changements
Même question cycle de l'azote.
on en profite pour intégrer correctifs dans DR NEMO? a priori oui, en modifiant soit ping soit field_def

  • point scientifique sur le tuning de la glace

au bout de 10 simus de 150 ans (au lieu de 3 simus de 30 ans), Juliette et Martin concluent que :

le modele conserve les memes defauts que constatés pendant le tuning CM6A-LR, à savoir si on diminue la couverture de glace hivernale, on rend l'Arctic libre de glace l'été, --> ce n'est toujours pas idéal
a priori c'est d'autant plus compliqué que la config utilisée a une AMOC faible et, pour autant, une atmosphère un peu chaude
quelles "recettes" en tire-t'on pour le tuning de MR1 et MR025 ? aucune, car tout depend de l'AMOC initiale, et de rétroactions qui nous échappent encore, semble t'il
--> positionner sur les courbes de Juliette les pdCtrl MR1 et MR025 partis en prod piCtrl, pour voir comment ils se comparent aux variables de ces tests --> poursuivre en parallele les reflexions sur le tuning des configurations LR

  • point technico-scientifique sur le bug dans le calving ?

detecté en regardant conservation de l'eau dans le VLR, a priori presente dans MR025, LR et MR1
tout petit bug (surface d'1 point de grille comptée 2 fois) qui peut être introduit d'ores et déjà
note : il y a d'autres termes responsables de la non conservation exacte, donc il ne faut pas s'attendre à ce que ca améliore la conservation

  • plan de simulations à produire dans les prochaines semaines

on prend le temps d'integrer la modif t2m/q2m avant la production, a priori autour du 4 fevrier

  • contribution bilan DARI pour groupe cmip6:
    • tests tuning glace de mer (Juliette) et autres simulations realisees depuis debut novembre 2020
      + contribution demande DARI pour groupe cmip6:
    • poursuite des activités de recherche sur tests ECS et tuning de la glace et eventuel DECK LR et MR1-02

  • prévoir discussion autour du tuning de la glace et des modeles du climat

possibles contours : Martin, Myriam, Etienne Vignon, Guillaume, Juliette, Julie, Frederic

Jeudi 10 decembre

Julie, Laurent, Juliette, Arnaud, Frederic, Christian, Nicolas, Eliott

Objet : dresser la liste des simulations à mettre en machine

NOTE : Juliette sollicite Olivier pour imputer nos jobs sur sous-allocation deckCMIP6 pour mieux suivre notre consommation - a priori personne ne consomme sur le deck via AMD pour l'instant - alternative : créer une sous-imputation MIP specifique pour QUEST ?

  • MR025 : -> Christian
    • qq tests de scalabilité -> completer tableau excel
    • pd/pi pour start océanique a priori sans rechauffer.
    • On lance les 2 en même temps? non, le pd attend les reglages de glace.
    • etats initiaux ? dernier restart de Q3-CM62-MR025-pd-04
    • quelle physique : idem que Q3-CM62-MR025-pd-04
    • pmagic : passe à 0 pour le piCtrl
    • workflow à verifier -> (Arnaud)
    • modifs à comiter.
    • Q3-CM62-MR025-pi-04 (changement de machine + sources très légèrement modifiées NEMO diag)
  • MR1 - preQUEST : -> Laurent
    • techniquement pret à lancer couple pd/pi
    • Pd était ok en T globales, et glace de mer aussi donc pas besoin de retuning a priori -> on relance pas
    • preQUEST etait trop froid au depart -> probablement reajusté en CDLC (pourrait être vérifié.)
    • pre-quest pi pour DECK : pmagic 0, qui repart d'un ocean d'un LR pi.

  • MR1-02 -> Arnaud
    • A retuner en glace de mer. en pd .
    • ajuster en pi aussi? OU attendre MR1-prequest pi ou MR1-02 ajusté? -> décision: on repartia d'un restart de MR1-preQUEST pi.
  • LR : Juliette + Eliott + Nicolas
    • on attend d'avoir résultats banquise, dès retour d'irene.
    • DECK LR? decision quand on a retuné 2 pd. 050, 051, 115.
    • Couple pd/pi à lancer par Eliott ? plutot pd seul. En partant du dernier QUEST pd que laurent avait fait. demarrer de 50 ans avant la fin d'un pd existant avec physiq.def 050 ou 051 (pour verifier impact du changement de machine).

Vendredi 4 decembre

Julie, Frederic, Arnaud, Brady, Eliott, Laurent

  • point technique
    • piCtrl et pdCtrl en LR et MR1 OK (avec et sans workflow)
    • reste encore qq ajustements pour MR025 mais a tourné sans workflow
    • reste tests performance MR025 avec workflow
    • 2 champs ATM “cosp” posent probleme avec workflow. pb identifié et en cours de traitement coté LMDz. ne seront pas produits si pas de solution.

-> avant prod DECK, reste à se caler sur nom de modele + renseigner infos sur grilles (email Arnaud) pour avoir bonnes infos dans workflow

  • test Eliott LR sur AMD : va lancer 50 ans couple pd + pi pour comparaison avec ce qui a ete produit sur irene

-> se met en lien avec Arnaud pour savoir quelle revision prendre

  • tests tuning glace Juliette

pb rebuild des PACKS donc pas d’intermonitoring pour l’instant

  • decisions scientifiques pour configs DECK : toujours en cours

Jeudi 26 novembre

Juliette, Arnaud, Eliott, Julie, Christian, Laurent, Frédéric

  • Point scientifique : Qu'est ce qu'on lance et quoi ?

Il faut ajuster un peu les MR avant de partir sur DECK. Boutons pour reajuster: cld_lc pour ajustements T globale et paramètres Glace
pd directement ou d'abord passer en pi ? -> lancer des couples de pd,pi puis les ajuster en meme temps

  • Point technique

6.2.2 Figée et tourne en LR (ok) et MR1 (pas encore d'exp spécifique MR1 en 6.2, à créer)
performance : non dépeuplé (même nb de coeur que de process) vs dépeuplé (2x plus de coeurs que de process. + rapide mais parfois + cher. ) : AMD plus lent -> on peux utiliser beaucoup plus de coeurs.

Est ce plus cher en terme de conso électrique? Pas sur. Arnaud peut vérifier.
En tous cas a priori, on part sur la config + rapide.

Christian lance les tests MR025 asap (semaine du 7 dec)
Rq: ccc_macct pour infos énergie
MR025 experience déjà définie. Workflow un peu différent: field_def pas exactement les mêmes. Christian vérifie.

Rappel : lien vers la page xls où se trouvent les estimations de couts : | ici

  • Quand basculer en 6.2.2 ?

Arnaud: basculer MR le plus vite possible
Chantier actuel ajustement LR: est ce pour un DECK LR ou pour anticiper DECK MR? Les 2 a priori
MR: 2 flavors, qui sont toutes deux reglées un peu froides, et necessitent ajustement de glace. Lancer couple pd/pi des que possible. (pi démarre de la fin pd, sans workflow en 6.2.2) -> Laurent
LR tests glace: en cours Juliette suite à interactions avec Martin
1 simu glace extreme en cours. A copier sur thredds pour verifier intermonitoring
lancer 2 autres simus tests glace.
Il faut aussi lancer pd/pi LR sur Irene AMD -> Eliott

  • MR025

MR025-pd05 (sans GM): très froid en AtlN, pas de glace, pas de convection Labrador. Manque de glace aussi dans HS.
MAIS Erreur de diag: Il faut regarder MR025-pd04
pd/pi sur MR025? des que techniquement on est pret, lancer un couple pd/pi. A priori pi part de conditions initiales pd.

  • Stratégie diag:

Se mettre d'accord sur choix de simus cohérents CESMEP, multimonitoring, atlas LMDZ. + couleurs.

Lien vers l'intermonitoring des MR Multimonitoring FH (à jour)

Jeudi 19 novembre

CR live ici

Jeudi 12 novembre

Julie, Frederic, Arnaud, Ionela, Brady, Olivier, Laurent

  • sur l'analyse des simulations estivales ECS (Fred)

pour rappel : 4 controles ECS (181, 050, 051, 115), en depart à l'aveugle en pi (sans pd prealable), compares au LR pi standard (CM61-LR-pi-03, "ref" ci-dessous)
verifier si on a fait des retuning au fil de l'eau... Laurent, Arnaud, Juliette ?
tous les tests ECS à peu près pareils pour SLP, precip, RH a la surface (sauf autour de l'equateur, ref est à part) et pour serie temporelle temperature 50N-50S ; tous les 4CO2 se rechauffent à peu près pareil
mais trop de banquise dans les controles, surtout pour 181 tandis que 115 reste tres proche de ref
diags LW CRE (cloud radiatif effect : effet de serre additionnel dû aux nuages) sur simus AMIP : 181 a le moins d'effet de serre, donc logique qu'elle ait le plus de glace
biais T2m : plus gros biais froid quand plus de banquise, logique
biais chaud sur austral, semble suivre intensite du biais froid dans HN
biais moindres en AMIP mais qui vont dans le meme sens qu'en couplé
intercomparaison shortwave : 181 a trop peu de nuages, globalement
production NADW de intermonitoring : tres forte reduction - probablement parceque sites convectifs englacés (à verifier)
rechauffement entre pi et 4CO2 : +7.5K pour 181, +9.5K pour 051, +8K pour 050, 115 et ref
-> pas beaucoup de fluctuations entre differentes simus, mais à confirmer avec vrai calcul des ECS (+ probablement le reflet de la disparition de la banquise)
conclusions :

  • il faut retuner la banquise (via cld_lc) des pi retunés, en pdControl, avant de relancer pi/4CO2 ; 181 peut etre laissee tomber car trop singuliere, donc se concentrer sur 050, 051 et 115
  • mis à part la simulation 181, qui manque clairement d'effets des nuages, globalement,
  • au contraire, la climatologie de 115 est tres proche de la reference - parcequ'elle partage les memes valeurs de parametres ?

TODO :

  • completer les multi-atlas pour regarder ocean entre autres (en changeant l'ordre eventuellement)
  • qualifier les relations SST-glace-AMOC, cf Figure 9 du papier de Juliette (global mean SAT vs JJA ice cover in Arctic)
  • rajouter LR sur les intermonitoring ?

analyse des MR1 et MR025
MR2 a une THC plus forte que MR1 - cool !
MR1, MR2 et LR se ressemblent vraiment beaucoup
regarder plus finement les differences entre MR1 et MR2 : est-ce que ca vaut la peine de faire un DECK avec chacune des deux ?

  • sur le travail preliminaire avant de lancer la prod DECK
    • retuner 050, 051 et 115 en pdControl
      • quand ? qui ? verifier au passage que le changement de machine ne change rien...
      • sur quelle allocation / machine ? le retuning reste pertinent pour finaliser etude tuning ECS, meme sans production de DECK
  • techniquement : reste à figer la configuration - besoin discussion technique avec Laurent et Christian
  • Informations pour enregistrement modèles CMIP6, cf mail d'Arnaud : repondre par email

prochaine reunion jeudi 19 novembre 15h - 16h

Jeudi 5 novembre

Julie, Juliette, Frederic, Nicolas, Arnaud, Ionela

Discussion sur l'utilisation de la nouvelle allocation en hCPU sur AMD

  • point sur la machine Irene Rome AMD:
    • workflow deja en prod sur cette machine, mais avec IPSLCM6.1.11
    • amelioration de la stabilité de la machine grace aux efforts du TGCC : plus de plantages - mais toujours en attente de la finalisation des recommendations de versions à utiliser
    • a priori OK pour demarrrer la semaine prochaine, en 6.1.11
  • Quels developpements avant de lancer la production de simus QUEST (objectif : debut prod le 1/12) ?
    • mettre au propre IPSLCM6.2(.2?) dans libIGCM en incluant les 3 configs (LR, MR1 et MR025) -> Laurent, Christian, Nicolas ?
    • enregistrer nouvelles configurations avec metadonnees adequates -> Arnaud
    • tester v6.2 sur AMD -> Laurent ?
    • generer nouveaux xml puis tester workflow -> Arnaud
  • Qu'est-ce qu'on va produire sur AMD ?
    • LR : nouveau tuning ECS, tirés des simulations estivales
    • MR1 :
      • preQUEST : avec meme tuning atm que 6A-LR
      • MR-02 : avec nouveau tuning
      • nouveau tuning ECS comme LR
    • MR025 : 1 seul DECK a priori, specificites de Q3-CM62-MR025-pd-04 - attention incertitude sur performance de MR025 sur AMD car peu de memoire par coeurs
  • Quels noms pour nouvelles configurations ?
    • sources differents donc pas rigoureux de garder 6A-LR
    • 6B est censé pointer vers une physique atmospherique differente, ce qui n'est pas le cas ici
    • IPSL-CM6Q-LR/MR1/MR025 ?
    • à discuter avec Olivier et le reste du groupe platform
  • Analyses préliminaires à mener dès que possible pour determineer ce qu'on met en production :
    • estimation ECS sur tests de cet été -> Olivier ?
    • multi-atlas -> Julie, Jerome
    • intermonitorings complets (reactualisés les precedents, voir liens ci-dessous) -> Laurent, Eliott ?

prochaine reunion pour avancer dans les analyses et discuter du nouveau tuning ECS : jeudi 12/11 15h-16h

Jeudi 15 octobre

Juliette, Julie, Ionela, Laurent, Nicolas

reste environ 6MhCPU au 15/10/2020
fin d'allocation le 31/10 donc reste temps elapse environ 350 hCPU ("350he" ci-dessous)

  • simulations en machine
    • IPSLCM6.2-preQUEST-01 : Laurent
    • IPSLCM6.2-QUEST-MR-02 : Laurent
    • IPSLCM6.2-QUEST-MR-02-abrupt-4CO2 : Brady
    • + Q3-CM62-MR025-pd-04 : Arnaud / Christian
  • Point WP1

W3-115 4xCO2 de Juliette doit reprendre pour se terminer (130 ans)

  • Point WP2

IPSLCM6.2-preQUEST-01 en machine : 1850:2449 = 600 ans
reste 350he = 130 ans = 420,000 hCPU
-> on laisse en machine jusqu'à la fin de l'allocation
ATTENTION d'arreter la simulation à la fin d'un job pour terminer proprement les post-processing...

IPSLCM6.2-QUEST-MR-02 en machine : 1850:2219 = 370 ans
reste 350he = 130 ans = 420,000 hCPU
-> on laisse en machine jusqu'à la fin de l'allocation
ATTENTION d'arreter la simulation à la fin d'un job pour terminer proprement les post-processing...

IPSLCM6.2-QUEST-MR-02-abrupt-4CO2 en machine : 1900:1940 = 40 ans
reste 350he = 130 ans = 420,000 hCPU
-> on laisse en machine jusqu'à la fin de l'allocation, mais ne sera pas terminée vraisemblablement
(pour rappel, IPSLCM6.2-preQUEST-01-4CO2 = 200 ans)
-> stop it propertly before the end of October (at the end of a job before re-submission) and then ask Olivier Boucher his permission to finish this simulation ON SKL under allocation A8

nouvelle vague auto-tuning par Ionela ?
OK : reste disponible jusqu'à 4MhCPU pour les 2 prochaines semaines
+ prevoir reunion data management plan en novembre pour reduire nombre d'inodes

  • Point WP3

Q3-CM62-MR025-pd-04 en machine : 2150:2443 = 294 ans
reste 350he = 70 ans = 630,000 hCPU
-> on laisse Q3-CM62-MR025-pd-04 en machine jusqu'à la fin de l'allocation
ATTENTION d'arreter la simulation à la fin d'un job pour terminer proprement les post-processing...

  • la suite ?
    • proposition d'utilisation des heures supplementaires sur ROME AMD :
      • pour réaliser un DECK avec chacune des nouvelles configurations (MR1 et MR025) soit 1250 années en tout pour chaque config
      • la configuration MR1 coûte 3,360 hCPU / an simulé sur irene/SKL,
      • la configuration MR025 coûte 10,390 hCPU / an simulé sur irene/SKL
      • et pour le modèle couplé IPSL-CM6A-LR, nous avons observé un facteur 1,4 d'augmentation des heures de calcul nécessaires quand on passe de SKL à AMD,
      • Soit [ 1250 an simulés * 3,360 hCPU/an simulé (config MR1) * 1.4 ] + [ 1250 an simulés * 10,390 hCPU/an simulé (config M025) * 1.4 ] = 24.1M hCPU
      • MR1: PreQUEST & MR02 & une simu issue des nouvelles vague de Ionela (à décider 15 novembre)
      • MR025: pictrl pret à lancer au 1er jour d'allocation (à la suite de pd-04 a priori), 4xC02 un peu après (laisser 30-50 ans de refroidissement / reajustement)
  • stratégie d'analyse des simulations [liste à compléter]
    • sensibilité ECS à résolution spatiale + tuning atmospherique
    • WP1 : glace de mer (monocat + pstar)
    • WP1: variablité centennale: sensiblité à l'état moyen et à la résolution (Brady)
    • WP3 : GM vs no GM, sensibilite variabilité interannuelle à multidecennale à resolution oceanique
  • réunion de partage d'information sur simulations QUEST pour mise à disposition de collegues ICMC/IPSL : en janvier / fevrier

+ data management plan à revoir pour ranger / cleaner toutes les sorties

  • QUESTIONNAIRE sur IRENE envoyé à Julie en temps que leader QUEST de la part TGCC -> à l'OdJ réunion Réunion PLatform 16 octobre.

+ mentionner pb blocage / piratage LMD.

Lundi 21 septembre

Juliette, Julie, Brady, Ionela, Laurent, Christian, Eliott

  • News : allocation prolongée jusqu'au 1/11/2020 ! reste environ 9MhCPU

Attention : espace de stockage ra4918 va s'effacer au moment de la fin du projet ?!? NON : donnees conservees pour logins actifs
Mail en cours avec la Hotline. (Eliott Dupont)

Les espaces de stockage restent actifs. Seuls les comptes verrouillés depuis plus de 18 mois sont supprimés. Les données des espaces associés à ces comptes sont sauvegardées dans le nologin de cet espace.Seul le responsable porjet de cet espace accède à ces données. Si tout les comptes associés à votre espace sont actifs, les données ne seront pas supprimés.

  • simulations en machine
    • W3-115 4xCO2 de Juliette doit reprendre pour se terminer
  • liens vers intermonitorings

https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit_ECS/index.html
https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit/index.html
https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit_LR/index.html

  • presentation diagnostics Brady

simulations actuelles trop courtes pour analyser proprement la variabilite centennale
-> etendre preQUEST car actuellement 310 ans disponibles, la plus longue -> Laurent
+ etendre aussi IPSLCM6.2-QUEST-MR-02 -> Laurent
+ lancer IPSLCM6.2-QUEST-MR-02 en 4CO2 pour 250 ans à partir de l'annee 50 (pour comparer aux autres couples de simus auto-tunés) -> Brady
a propos d'un "shift" potentiel entre preQUEST et Quest MR1 ? pas de souci technique in fine

  • Point WP1
    • tests glace de mer à reprendre :
      • test LIM3 en monocategorie : 100 ans realises, /ccc/store/cont003/ra4918/dupontel/IGCM_OUT/IPSLCM6/PROD/pdControl/IPSLCM6.2-LR-SeaIce?-QUEST-monocat., avec jpl = 1 et nn_monocat = 0

-> realiser test jumeau avec jpl = 1 et nn_monocat = 1 ? Julie decide avec Martin, et previent Eliott

  • rn-amax : 100 ans realises, /ccc/store/cont003/ra4918/dupontel/IGCM_OUT/IPSLCM6/PROD/pdControl/IPSLCM6.2-LR-SeaIce?-QUEST-01 -> prolonger ? Julie decide avec Martin, et previent Eliott
  • vagues de simus LR avec auto-tuning
    • Arnaud : piControl (pd ?) et 4xCO2 pour W3-181 et W2-050 - 250 ans chacune
    • Juliette : piControl (pd ?) et 4xCO2 pour W3-115
    • Laurent : piCtrontrol (pd ?) et 4xCO2 pour W2-051
    • a priori ces 4 couplés sont OK -> à analyser
  • Point WP2

Ionela a fait une simulation de reference MR1 forcé - s'apprete à lancer premiere vague MR1 forcé (240 simulations de 2 ans) puis 2ème vague, et ensuite 3eme eventuellement
Attention : plus on attend pour lancer les couples de simulations en couplé MR1 (pd + 4CO2), moins on pourra realiser d'annees d'ici la fin de l'allocation (mais simulations les plus interessantes seront vraisemblablement prolongees sous d'autres allocations)

  • Point WP3
    • prolonger Q3-CM62-MR025-pd-05 (sans GM) ? actuellement en 2399 (100 ans realises) - OK
    • prolonger Q3-CM62-MR025-pd-04 (avec GM) ? actuellement en 2399, soit 250 ans realises -> Christian relance

tester nouveau tuning atmospherique ? non, pas pret dixit Ionela

  • sauvegarde donnees QUEST facon CMIP ?

simulations deja realisees avec nouveau workflow ? aucune a priori
Eliott indisponible jusqu'à mi octobre
Juliette ok pour tester 50 ans maintenant >> GO !

Vendredi 3 juillet

Laurent F, Arnaud, Hourdin, Ionela, Frederic H, Brady, Juliette, Jérôme, Julie

Allocation s'arrete fin septembre. C'est demain, vu l'été!

  • point technique sur suivi conso et occcupation de la machine

Suivi conso sur outil web. Pas mise à jour depuis 25 juin pourquoi?
Que du pending à partir du 21 juin: pourquoi?
A priori pb de code lié aux mises à jours récentes de la machine -> Eliott

  • Conso des derniers mois: surconsommation pdt confinement (à partir début avril)

on note aussi un nb de pendings, pourquoi? Parce que bcp de job dans les jours précédents.
ça a impliqué retard calcul.
-> veut on demander extension? Julie tente. Argument situation sanitaire.

  • simus en machine actuellement :
    • Rq: Didier a voulu faire des hindcasts décennaux avec melting - mélange de pinceaux ra / gencmip6 -> ça tourne du gencmip6 et pas sur QUEST comme prévu initialement.
    • IPSLCM6.2-preQUEST-01 (Laurent) -> prolongation décidée à la dernière réunion
    • IPSLCM6.2-preQUEST-01-4CO2 (Laurent) -> prolongation décidée à la dernière réunion. Plante pas mal.
    • IPSLCM6.2-QUEST-MR-02 (Laurent) -> MR01 avec 2 paramètres remis à valeur LR pour essayer de résoudre pb plantages. 120 ans sans planter. Plantage ce matin -> relancée ok. Ces 2 paramètres sont liés à convection atmopshérique dans les tropiques. Identifiés par dichotomie sur des tests en couplé de ~10 ans.
    • Rq Julie : Calibration NEMO en cours. Callibration implique runs forcés et émulateur. Question: quelle place pour la stabilité numérique?

Pas de temps d'analyse tout de suite malheureusement. Réflechir simus et analyse = apres septembre.
Monitoring LR
Monitoring MR
PreQUEST: 2 cycles de variabilité centennale. On garde pour avoir plus de cycles.

  • Pres Brady (slides to be added)
    • preliminary analysis MR pdctrl AMOC and tropics
      Tuning of parameters more important than increase of resolution
      Variability / significance of differences shown?
      analysing first 100 yrs of model runs (only available for MR1 and RM2)
      using preQUEST and LR1 over 300 yrs do not change these maps significantly
      MR2 colder in the tropics, why?
      MR1: result of the tuning in which global energetic balance = target.
      MR2: we changed only 2 parameters without reequilibrating the model. has to be reequilibrated.
      MR1 and MR2 start from the same point. 20th yr of PreQUEST (yr 1870 of preQUEST).
    • Ekman meridional transport at 48°N
      Suggest some long predictability of the winds...? (to be checked with potential predictability simulations?)
      Is wind in MR1 & MR2 shifted as compared to LR1?
    • Do we want to warm up MR2 (reequilibrate) for further analysis? Try similar strategy as for MR025 until we reach the same global mean SST? Reminder: in MR025, centennial variability was lost after this reequilibration.
    • Discussion with Julie on these results to be followed
  • Point WP1
    • dernieres simulations produites :
      • IPSLCM6.2-LR-pd-QUEST-01 : reference LR pd Control pour QUEST
      • IPSLCM6.2-LR-pd-QUEST-01-4CO2 : experience transitoire
      • IPSLCM6.2-LR-pd-QUEST-PM0 : même que LR-pd-QUEST-01 mais avec pmagic = 0.
      • Hindcasts sont partis sur gencmip6 finalement
  • tests sensibilite glace de mer à reprendre : finaliser et analyser
  • autres simulations à lancer pour reprendre tuning LR ?
  • simulations issues de nouvelle vague de tuning à lancer - combien en meme temps ? besoin de partenaires pour porter les simulations avec Ionela Combien de simus possibles? (environ 150 ans) 2-4 (Juliette) + 2-4 (Brady) + 2-4 (Laurent) + 2-4 (Nicolas) + 2-4 (Arnaud) + 2-4 (Eliott) Vu le plan de charge (1 MR025 et 2 MR1), on peut se permettre au moins 6 LR.

  • Point WP2
    • IPSLCM6.2-LR-pd-QUEST-02 : LR pour comprendre les plantages fréquents de la MR1 auto-tunée
    • IPSLCM6.3-QUEST-MR-02 : plus froide que MR-01 et preQUEST -> a rechauffer ?
    • Garder un MR02 froide et ajouter une MR02 rééquilibrée? La MR02 réchauffée sera t'elle aussi bien que la MR01 ? On parle de rechauffer de DeltaSST 50S50N = 0.5°C, donc a priori ne devrait pas avoir de consequences trop lourdes sur variabilite
    • preQUEST à prolonger pour 200 ans encore pour stock analyse (comparaison fine avec LR)
  • Point WP3
    • dernieres simulations realisees :
      • Q3-CM62-MR025-pd-04 : plus rechauffee avec GM - stand by pour l'instant, mais à relancer eventuellement une fois la pd-05 prolongée
      • Q3-CM62-MR025-pd-05 : plus rechauffee sans GM >> ajustement pendant les 50 premieres annees >> à prolonger pour encore 100 ans (ou jusqu'a la fin de pd-04)
    • MR025-pd-04 = MR025-pd-03 réchauffée (A peu pres meme delta que ce qu'on vise pour MR)
    • Aura t on le même comportement en MR??
    • MR025-pd-05 = no GM.
  • Point général d'analyse: Analyse de la variabilité centennale en fonction du climat moyen. -> longer term than the length of QUEST project.
  • sauvegarde donnees QUEST facon CMIP ?
    • Nomenclature: au plus proche de CMIP.
    • Quid nom des tables Omon etc? un peu redondant si on parle d'un refonte de la sauvegarde IPSL, mais peut être plus sûr dans un premier temps pour comparaison CMIO6.
    • A reprendre éventuellement dans 6 mois avec simplifications supplémentaires?
    • lancer tests "grandeur nature" avec LR -> simus glace Eliott ?
    • Il y aura un peu de travail d'adaptation pour passer en MR car taille grille inscrite en dur.
  • Autres questions ?
    • planning vacances estivales : merci de m'indiquer disponibilites dans tableau joint pour suivi des simus en machine -> chacun envoie info à Julie
    • Juliette: off 20-27 juillet & 3-20 aout
    • Ionela: 13 juillet -

Vendredi 29 Mai

Juliette, Julie, Christian, Arnaud, Laurent... to be completed

  • simus en machine actuellement :
    • IPSLCM6.2-preQUEST-01-4CO2 (Laurent) : MR1 en protocole 4CO2, a connu 5-6 plantages, differents de l'autre MR1 - encore 50 ans
    • IPSLCM6ALR (Didier), 5 simulations : tests WP1, protocol dcppA avec fonte Groenland - simulations de 10 ans
    • Q3-CM62-MR025-pd-04 (Christian) : poursuite integration MR025 avec GM - toujours plantages reguliers
    • Q3-CM62-MR025-pd-05 (Christian) : nouveau test sans GM

intermonitoring LR
intermonitoring toutes simus
intermonitoring 4CO2 et references
il reste qq soucis pour assemblage des differents intermonitoring, mais fonctionne bien et mis à jour régulièrement

  • WP2 - UQ

presentation Ionela sur ce qu'elle a fait pour tuning automatique ; prochaines simulations à venir en mode forcé pour tester impact de ce tuning sur ECS - impact réel sera confirmé par la suite sur mode couplé.

en parallele, travail de Sebastien Nguyen sur version plus basse resolution, qui integre d'autres metriques en sus.

donc à venir a priori : un prochain ensemble assez large de nouveaux tunings possible de LR, à tourner pendant 50-100 ans - a priori en pdCtrl et en 4CO2 - a priori d'ici 1 mois en gros [[br]

  • MR1

on a arreté CM6.2-preQUEST-01 dans minimum local de NADW. la relancer pour voir ce qui se passe ensuite ?
Juliette : travail en cours sur sensibilite glace de mer et SST. MR1 se comporte differement des LR, peut etre pas completement à l'equilibre.
pb des plantages de CM6.2-QUEST-MR01 ? pas simple à résoudre. simulations en forcé de Laurent, mais pas encore de réponse. et tests tres couteux
pour rappel, CM6.2-QUEST-MR01 testait un tuning automatique 3D, fait il y a 1-2 ans.

  • sensib. glace de mer en LR

analyse à faire sur tests realisés par Eliott, pour rappel amax et LIM3 monocategorie
relancer tests complementaires pour LIM3 monocategorie ? TODO Julie et Eliott
LIM3 monocategorie a eu qq plantages depasses par hgardfou : preciser à Frederic les lieux de plantage, saison et fraction de glace associée pour mieux comprendre - partager avec Martin aussi - TODO Julie et Eliott

  • sauvegarde des données QUEST facon CMIP ?

travail preliminaire en cours pour "nettoyer" les sorties et choisir format commun pour archive
question sur sorties haute frequence atmosphere, utilisees pour downscaling - utiles pour QUEST ? NON par defaut
questions aussi sur BGC, mais a priori pas variables essentielles
nom du fichier ? Julie et Juliette prennent une decision rapidement
comment integrer modifications dans simulations en cours ? le plus simple serait d'arreter les simus qui tournent, et de les prolonger en activant nouvelle fonctionnalité - donc a priori uniquement pour simulations tres longues (MR1, pre-QUEST, MR025)
a priori le split en duree de simulations inclus dans chaque fichier, sera dependant de la resolution
il faudra aussi programmer une duplication des sorties dans un premier temps, pour verifier l'impact sur stockage sur TGCC

  • MR025

resultat inattendu car test sans GM fait plus (+) de formation d'eau dense dans Antarctique mais moins (-) en Atlantique Nord - Julie regarde en details les sorties obtenues pour en parler lors de la prochaine reunion
en meme temps, simulations à poursuivre jusqu'en 2400, au moins...

  • strategie pmagic, pour pdCtrl, +2CO2 et +4CO2 ?

analyse de l'ensemble des historiques montre que pmagic=0.01 plus en accord avec transitoires historiques que pmagic=0.007
en fait il semblerait qu'il faut faire plus avec pmagic que juste la compensation du heat uptake oceanique moyen, et cela pourrait être lié à dérive temporelle de la glace de mer
reflexion à poursuivre en actuel, regarder aussi PM0

  • Autres questions ?

prochaine reunion vendredi 26 juin 11h00

Jeudi 7 Mai

Juliette, Julie, Christian, Arnaud, Laurent

  • rappel du contexte : QUEST n'a pas pour objectif de produire simulations qui seront publiées sur ESGF mais utile de produire les memes diagnostiques que pour CMIP6 et uniformiser archivage pour faciliter inter-comparaisons
  • actuellement,
    • les simulations QUEST produisent toutes les sorties standard differentes ! et il manque des diagnostiques codes pour CMIP6 exclusivement
    • Juliette sait brancher et bidouiller des dr2xml pour des simulations ad hoc, mais est-ce que c'est la solution perenne ? aussi pas tous les diags disponibles dans sorties "maison" IPSL
  • Arnaud rappelle des conclusions de reunion libIGCM en septembre : il faut avancer vers un archivage des sorties libIGCM facon CMIP6, donc c'est le bon moment de mettre en place cette fonctionnalite (qui revient a cleaner et officialiser la methode de Juliette) ; attention à la difference de version entre xml (actuellement prets pour 6.1.11 vs QUEST qui tourne avec 6.2)
  • quid de MR1 et MR025 ?
    MR1 a priori tout identique au LR, sauf pour ce qui est lié à la taille des grilles, resolution : attributs à mettre à jour
    MR025 n'a pas PISCES donc ne pourra pas utiliser les memes xml, pour le reste tout est pareil
  • pour avancer il faut décider :
    • nom des fichiers : inclus nom de la simulation ? type de simulation ? numero de membre ? grille native ou non ? quels attributs, de fichier et de variable ? -> Action Juliette, Julie (en interaction avec utilisateurs potentiels, Olivier inclus) a priori d'ici le 20/05
    • quel point de depart : xml historique ou piCtrl ? on part sur piCtrl mais on demande aux utilisateurs potentiels si ok a priori
    • contraintes de dr2xml : fixer duree de la simulation au depart car periode inscrite dans nom de fichier - solution : inscrire la date de fin planifiee, et inconsistence si jamais la simu est arretee avant, et nouveau fichier créé si on relance
    • quid des sorties standard ? il faut les conserver pour produire intermonitoring, mais pas dupliquer non plus - attention à ne rien perdre au moment de la bascule !
    • on conserve la modularite avec output_level des .card qui enrichiront les sorties standard
    • attention à suivre le cout supplementaire en calcul (et en stockage) !

Vendredi 22 Avril 2020

Julie, Juliette, Fréderic, Laurent, Christian, Eliott

  • Simulations en machine
    • Christian QUEST_3 MR025 (plante tous les 10-15 ans) (physiq.def de la preQUEST)
    • Laurent
      • LR_QUEST01 en 4CO2
      • MR1 PreQUEST en 4CO2
      • 2 runs de 20 ans LR pour essayer de comprendre pourquoi la MR1 plantait aussi souvent (.def de la MR1 dans la LR)
    • Eliott: test en LR sur amaxs
    • Ionela a passé une vague de tuning (400ans d'un coup) autour du 18 avril
  • LR
    • Test monocatégorie: mail a été envoyé par Julie semaine dernière.
      • En principe juste un paramètre de namelist, mais on a jamais essayé
      • Eliott
    • remarque générale: pas de runs froids avec LR. Il faudra s'attaquer à ce problème un jour. Mets à mal la "patte" IPSL qui est: large spectre de climat avec une seule config.
    • Tests Laurent Bopp régulièrement. Skin layer (Hugo Bellenger)
    • Tests mode à 100 ans et paramètres de glace & mélange proposés par Guillaume / Weimin (rétroaction négative liée au rôle de l’accumulation d’eau douce dans le gyre de Beaufort en réponse à la fonte de la glace lorsque l’AMOC augmente. -> contraindre extension de glace?)
  • Discussion MR1 et MR025
    • Quelle stratégie pour analyser les plantages de MR1 et MR025? Ca a l'air d'être un bug atmosphérique qui n'arrive que sur ocean lourd...
  • Exploiter BGC pour mieux comprendre différences (improvments?) LR, MR1, MR025
    • MR1 et MR025 ont relativement bonnes SST -> Valide la longue stratégie de tuning du LR, y compris via biogéochimie.
    • Réaliser CESMEP avec BGC pour LR et MR1 >> action Julie, Christian
    • Brancher biogéochimie offline ou traceurs age MR025 pour mieux mettre en évidence différences LR / MR ?
  • Réglages pmagic
    • 0.01 a posteriori mieux que 0.007 (figure métriques Fred)
      • Pour en être sur: diff physiq.def entre simu Thibault (CM6015S_03) et la pd QUEST de Laurent. Seule diff espérée: pmagic. -> Action Fred
      • Faire un pd LR avec pmagic à 0. -> Action a attribuer en fonction des simus finies d'ici la.
    • Message pour papier tuning?
    • Il faut clarifier / converger sur 1 valeur - lancer derniers tests pour se convaincre que 0.01 serait mieux. Ou continuer à tester d'abord 0.011 / 0.012-3 par exemple? Valeur à tester déterminer théoriquement par ajustement linéaire.
    • Quel scénario pour tester la sensibilité de nos configurations. Quels forçages, quelle(s) cible(s). Associer JLD et O Boucher -> Action Fred pour convoquer réunion.
  • Autre action admin QUEST: Publis:
    • Penser à rappeler à chacun de acknowledger QUEST dans les publis
    • list publis QUEST à construire. Un premier papier a été fait pas L. Bopp et al.

  • Webinar 28 avril: Fred montrera des résultats MR1 et MR025.
    • Discussion automatisation intermonitoring
    • related: discussion Climaf

Vendredi 10 Avril 2020

Guillaume G, Fréderic, Martin, Julie, Juliette

  • Tests glace de mer? Lesquels, pour quoi faire?
  • Idées Martin: Linéarité aire de glace Arctique / température globale. Très bons résultats IPSL-CM6A-LR. Pourquoi? Idées pour comprendre:
    • nombre de catégories à 1 (avec et sans distribution virtuelle de glace)
      • Julie: priorité pour NEMO, important.
      • 2 sous tests: monocatégorie sans physique sous maille ou monocatégorie sous maille avec émulation de la physique sous maille.
      • -> Action Julie Martin et? (Arnaud? Eliott? Nicolas?)
    • prescrire un échange constant de chaleur sensible entre océan et glace (pour casser la rétroaction avec l'amoc?)
    • ignorer la neige
    • ignorer la dynamique de glace
    • faire un truc avec la rétroaction des nuages (mais je sais pas encore quoi).

Simulations relativement courtes mais quel équilibrage? Protocole court (<100ans) du type: 30 ans de spin-up puis forçage fort (tuning ou CO2)
Actions Kenza (stagiaire Martin)? Regarder les LR 4xCO2, MR1?

  • Idées Guillaume: Revenir sur paramètres de tuning. Mais simulations chères (au moins 100/200 ans + variabilité centennale)
    • Juliette: en effet, l'illustration de l'histoire glace / AMOC pas encore évidente sur figures archeo.
    • Fred: le tuning de la glace était il lié à relation AMOC/glace? idée était simplement de garder de la glace?
    • Julie: plantages du pi. -> rnhmin = 50.
  • Feedback global glace / top of atmosphere assez faible. Justifie a posteriori stratégie: 1. tuning atmosphere 2. ajustement glace.

Remarque sur stratégie tuning: si relation linéaire aire de glace Arctique / température globale tient pour un modèle donné, ça peut être un moyen de tuner glace plus proprement. Diag à appliquer aux runs successifs + historiques? + pictrl pour lien avec centennal. -> Action Juliette & Guillaume & Martin & Kenza

  • Papier tuning:
    • 1. illustrer relation glace / Tglobale dans config finale (historique, scenario, etc)
    • 2. vérifier que c'est la même en centennal?
    • 3. vérifier/tester dans les configs successives.
    • revoir histoire tuning glace: AMOC? cette relation?
  • MR1:
    • très bonnes métriques SST. -> à inclure dans papier tuining?
    • faire un DECK avec? (pictrl de 500 ans). (heures gencmip6 plutot?)
    • Question est pourquoi il est meilleur? Verifier ECS avant? -> Action Laurent . Puis lien débiaisage Gerhard.
    • Attendre des évolutions des modèles (NEMO4?) avant de relancer DECK?

Lundi 23 Mars 2020

Julie, Fréderic, Juliette, Eliott, Nicolas, Laurent

actuellement en machine

  • M2C-TI01... Brady Ferster (LR-WP1)
  • CM61-LR-... Marion Devilliers (LR-WP1)
  • Laurent ? (PACKOUTP...)

intermonitoring
intermonitoring avec diags banquise mais sans IPSLCM6.2-LR-pd-QUEST-01

trouver comment regler pb des sorties pour avoir diags ICE aussi ? > action Laurent, Nicolas, Arnaud ?

atlas C-ESM-EP des 100 dernieres annees

point sur les simulations à relancer par configuration

  • LR (atm LR, ocean 1)

2 simulations realisees par Laurent avec L95 - terminé
Ionela doit lancer la deuxieme vague d'auto-tuning (pour explorer ECS 3D), a priori demain ; devrait pouvoir enchainer 2 ou 3 autres vagues ensuite
vers une version retunée du LR ? a reflechir pour dans 1 mois environ
pour la glace de mer : Guillaume fait ses propres simulations pour analyser la variabilité (sur autre allocation); Martin est interessé par d'autres tests de sensibilité, en particulier dans contexte du papier tuning, mais pas de simu prête à lancer
analyses de Brady en cours (sur simulations WP1), avec AMOC artificiellement augmentée et diminuée
simulations de Marion avec fonte Groenland (terminées, WP1) : à utiliser pour relancer simulations de previsibilité decennale ?
Nicolas : poursuite du piCtrl pour reference aux simus de Brady mais pb sauvegarde sorties HF - en cours et à relancer
quid du tuning de diffusion verticale dans l'Arctic ?

  • MR1 (atm MR, ocean 1)

Laurent a toujours des plantages non resolus avec CM6.2-QUEST-MR01 - action en cours (pour rappel, plantages semblables en MR025 mais pas dans CM6.2-preQUEST-01) > lancer simulation equivalente (avec meme tuning) en LR pour voir si plante aussi ? action Laurent
vers une nouvelle version tunée du MR1 ?

  • MR025 (atm MR, ocean 1/4)

SST globale un peu plus faible que pour les MR1 et LR > on rechauffe encore ou on conserve comme cela ? voir si ca nous penalise dans rms du cycle saisonnier moyen (metriques de Jerome) + voir aussi où en est l'ajustement de ACC (action Julie ) pour decider si on relancer un test GM maintenant ou si on re-rechauffe d'abord

Pilotage / management / suivi des heures utilisées

  • Juliette : frustration de ne pas avoir suffisament de temps pour faire des analyses et de devoir decider, dans le flou, de nouvelles simulations à lancer ; manque aussi reunion generale des 3 WPs pour faire le point sur toutes les simulations produites et trouver des histoires à raconter... > creation d'une nouvelle page dans wiki QUEST sur partage des resultats, nouvelles hypotheses et argumentaires à etoffer
  • consommation jusqu'à présent : 17 583 506 hCPU soit 39% de l'allocation - suggested use : 47.7% >> deficit de 4 050 000 hCPU - pas de penalité à prévoir avant le 15/04
  • Contribution de Eliott à partir du 01/04 (si contrat demarré) ou du 01/05 (sinon) : quel plan de production de simulations ? a priori MR025 en remplacement de Christian, mais aussi peut etre LR pour glace de mer (et pour se faire la main) ?

Jeudi 16 janvier 2020

Julie, Christian, Laurent, Frederic, Juliette, Nicolas

actuellement en machine

  • CM6.2-preQUEST-01 (MR1) : control MR1 (sans tuning automatic) (baseline) tourne toujours pour voir
  • Q3-CM62-MR025-pd-03 (continuation de pd-01, avec GM, rechauffée) : tourne toujours pour voir

intermonitoring
C-ESM-EP pour OCE

C-ESM-EP : ajouter les biais de SST apres avoir enleve la moyenne globale SST + ressortir ce qu'il faut pour avoir atlas atmospheriques

point sur les simulations à relancer par configuration

C-ESM-EP sur donnees atmospheriques ?

  • LR (atm LR, ocean 1)

IPSLCM6.2-LR-pd-QUEST-01 :
reference pdControl pour QUEST : deja 200 ans produits
a prolonger pour combien de temps encore ? oui tant qu'on est en sous-consommation et surtout compte tenu de la variabilite centennale
pb donnees OCE dans intermonitoring ? a priori solution comprise par Laurent

refaire un intermonitoring + atlas C-ESM-EP avec CM6015S equivalente a LR pour verifier qu'on est bien dans le meme climat

+ tester impact de tuning T2m et couverture de glace de mer sur AMOC ? reboucler avec actions dans WP1 sur tests tuning glace dans LR (MV, GG...) ?

  • MR1 (atm MR, ocean 1)

Ionela en cours d'analyse de la premiere vague de simulations
analyses comparatives CM6.2-preQUEST-01 vs CM6.2-QUEST-MR-01 ?
pour rappel : recalage en 1880 de CM6.2-QUEST-MR-01
pourquoi les simus MR1 repartent de plus froid en SST globale que CM6015S-pd-03 ? parcequ'elles sont reparties de MR de MAF, plus froid que LR
ongoing : comprendre pourquoi plantages reguliers de CM6.2-QUEST-MR01 autour de l’équateur (pour rappel, plantages semblables en MR025 mais pas dans CM6.2-preQUEST-01)

lancer simulation equivalente (avec meme tuning) en LR pour voir si plante aussi ?

  • MR025 (atm MR, ocean 1/4)

equilibrage atmospherique OK a priori, meme si un peu plus froid que les MR1 equivalentes

terminer les 100 ans en cours puis rebrancher un test sans GM pour voir
nouveau test tuning oceanique ?

TODO Julie : regarder sorties MR025 et voir si besoin d'ajouter des diags pour faciliter analyse (par ex. MOC)

Pilotage / management / suivi des heures utilisées

  • Frederic : commencer a identifier les simulations qui serviront dans les papiers, et verifier sorties, tuning, plantages...
  • Julie (et Eliott) : pour faciliter le tracking des simulations QUEST, ajouter QUEST ou Q1/Q2/Q3 dans le nom de la simu

et pour faciliter le Data Management Plan de l'espace gencmip6, renseigner tableau sur page wiki QUEST pour chaque simulation réalisée pour projet QUEST

  • Julie : a decidé de ne pas participer aux PRACE20days (Porto) car pas de focus thématique pertinent >> engagement implicite de participer à PRACE21days...
  • Julie : consommation jusqu'au 9/01/2020

WP1 = 3,940,000 hCPU
WP2 = 2,216,390 hCPU
WP3 = 5,147,500 hCPU
soit 25% de l'allocation alors que 26% attendus
pour info : rappel procedure de reduction des heures en cas de sous-consommmation

  • reunion QUEST au printemps ? a minima reunir tous les acteurs des 3 WP pour avancer tous ensemble sur objectifs scientifiques de QUEST

ouvrir ou non aux autres collaborateurs ICMC/IPSL ? interet a priori des BGC, autres ?
Julie lance sondage pour fixer 1 journee

Vendredi 29 novembre 2019

Juliette, Nicolas, Julie, Eliott, Laurent, Christian

actuellement en machine

  • IPSLCM6.2-preQUEST-01 (param de IPSL-CM6A-LR) a fini ses 200 ans >> arrêtée
  • IPSLCM6.2-QUEST-MR-01 (continuation d'une simu de MAF avec param provenant de UQ) : plante tous les 10 ans mais toujours en machine

-> on a beaucoup de place en machine pour les prochains 7-10 jours
-> relancer des MR025 rechauffés ?
-> feu vert à Brady pour 5+5 membres de 100 ans (1 date de depart)

point sur les configurations

  • LR (atm LR, ocean 1)

1) activer module iceberg dans NEMO ? NON : requiert un peu de travail préliminaire sur couplage hydro et namelist NEMO
2) réaliser equivalent pdCtrl de CM6.2-QUEST-MR01 ? OK -> Laurent : IPSLCM6.2-LR-pd-QUEST-01
repartir de 6015pd03 (choix S)
lancer pour 100-200 ans

  • MR1 (atm MR, ocean 1)

simus de Laurent sont parties du pd Ctrl de MAF
CM6.2-preQUEST-01 : reference ad-hoc (comme LR, ou presque)
CM6.2-QUEST-MR-01 : premier vague UQ MAF >> a poursuivre
à suivre (nom à determiner...) : nouveau MR1 à partir de deuxième vague UQ (après analyse des simus realisees par Ionela)

conclusion intermonitoring et CLIMAF : biais structuraux très proches entre LR, preQUEST et QUEST-MR01 mais QUEST-MR01 déjà un peu plus chaude et pas encore stabilisée
à regarder de plus près : pourquoi les simus MR1 de Laurent repartent de plus froid en SST globale que CM6015S-pd-03 ?

ongoing : comprendre pourquoi plantages reguliers de CM6.2-QUEST-MR01 autour de l’équateur (pour rappel, plantages semblables en MR025 mais pas dans CM6.2-preQUEST-01)

  • MR025 (atm MR, ocean 1/4)

atm idem a CM6.2-preQUEST-01 (sauf que repart de CM6.2-QUEST-MR-01)
ocean 2 styles : pd-01 avec GM et pd-02 sans GM
pd-02 moins stable numeriquement, a priori plus de biais chaud dans l'austral et convection tres forte (trop ?)
-> prolonger pd-02 pour confirmer l'effet de GM ?
mais globalement pd-01 et pd-02 equivalentes en terme de climat moyen, et a priori trop froid
-> rechauffer avant de relancer ? OK
actuellement on utilise cld_lc_lsc=0.00065 et cld_lc_con=0.00065
-> Julie envoie mail à Ionela et Fred pour savoir de combien les modifier puis lancer pd-03 (qui repart de pd-01) pour 100 ans (et on verra ensuite pour pd-02)

point sur les WP

  • WP1

simulations de Yohan realisees
Matthew Menary en redaction d'articles
Marion et Didier en train de faire tourner qq simus, prochaines à suivre en Janvier
+ Brady Fester (postdoc A. Fedorov) : protocole en cours de definition (5 membres pour 100 ans + 5 membres controle, avec eventuellement 2 dates de depart)

  • WP2

[Ionela] "j'ai fait un 2eme ensemble de 240 simulations (de la 1ere vague) pour le Q2-QUEST. J'ai post-traite ces simulations et extrait les metriques. La semaine prochaine j'attaquerai la partie analyse-UQ."

  • WP3

a completer par Julie


Pilotage / management / suivi des heures utilisées

  • Juliette : qui analyse les simulations ? quelle strategie ?

partage de codes pythons pour faire plus rapidement les analyses ? series temporelles MOC et glace de mer, suivi de stratification... Juliette et Julie y reflechissent
TODO Julie : regarder sorties MR025 et voir si besoin d'ajouter des diags pour faciliter analyse (par ex. MOC)

note : Jerome dit qu'il manque des sorties 3D atmosphere sur niveaux de pression standard, utiles pour produire atlas CLIMAF sur la verticale -> Laurent confirme, mais a priori on a toutes les infos necessaires pour faire des interpolations -> updater les atlas CLIMAF pour que ce soit fait automatiquement ?

  • reunion thematique ouverte a tous : revoir au printemps quand on aura qq resultats pour alimenter les discussions

Mardi 8 octobre 2019

Juliette, Olivier, Nicolas, Julie, Arnaud, Frederic, Eliott, Laurent, Christian, Ionela

actuellement en machine

  • MR1 (Laurent) : suite des simulations de Marie-Alice, màj CM6.2 (trunk LMDz), physic.def du trunk avec mini retuning, pdCtrl
    pour verifier que tout fonctionne, a priori on arrete apres 100 ans
    meme source LMDz et ORCHIDEE que IPSLCM6.2
  • MR025 (Christian) : suite des simulations tests, màj CM6.2
    depart eORCA025 forcé at rest, forcage CORE
    5 ans OK, bug à la 6eme année (trop de glace en Arctic), diminution du pdt et reprise en Janvier >> poursuite du run jusqu'à 7eme année
    pending question sur origine de ces instabilites...
    meme source LMDz et ORCHIDEE que IPSLCM6.2
  • simulation pirates de Sebastien Masson en attendant son allocation A
  • prêt à partir: LMDz CM6.1.10 A-LR (Ionela): vague de 200 simulations pendant 2 ans pour revisiter tuning et ECS

Notes : limite de 300 jobs en meme temps - a priori sur chaque type de noeuds (hybrid, large et normal)
1 simu est comptée comme 1 job car calcul fait sur noeuds SKL et post-traitement sur noeuds larges de SKL
sur Irene outil glost pour empaqueter plein de petits jobs dans 1 seul gros - utile pour vagues de simus UQ ?

point sur les configurations

  • LR (atm LR, ocean 1)
    passage en physique "B", 95 niveaux verticaux, et serieux retuning
    pour vagues tuning LMDz (WP2), sorties maison minimales (xml à la main)
    pour vagues tuning en couplé (WP2), quelles sorties ?
  • MR1 (atm MR, ocean 1)
    modification physique LMDz et niveaux verticaux
    pour vagues tuning LMDz (WP2), sorties maison minimales (xml à la main)
  • MR025 (atm MR, ocean 1/4)
    TODO : revision param namelist (pdt oceanique (15 min), viscosite)
    travail sur pdt de couplage : allonger ou raccourcir pour limiter les pb d'explosion en glace de mer ?
    Olivier : quand on couple à 4h, alors amplitude du cycle diurne plus grande que quand on couple à 1h
    actuellement couplage toutes les 30min
    couplage glace de mer tous les 2 pdt ocean

point sur les WP

  • WP1 - porté par Juliette
    essentiellement poursuite de simulations / experiences deja realisees sur Irene
    pour tester sensibilite de parametres ocean-glace par rapport aux simulations CMIP6
    donc configuration IPSLCM6A-LR comme pour prod CMIP6, pour faciliter comparaison (par rapport à reference CMIP6) et publications
    avec dr2xml de CMIP6 (piCtrl, historique ou autres) trafiqués à la main
    YRR : en visite au LOCEAN 1 semaine en novembre pour réaliser ces simulations
    interactions avec les autres WP ? point au bout de 6 mois pour transfert d'expertise vers les 2 autres WP
  • WP2 - porté par Frederic
    exploration des parametres de LMDz ("experiences de sensibilite" au sens maths applis) pour preparer configurations du futur (MR1 et MR025)
    avec montee en resolution verticale pour mieux representer les nuages bas (en 1D dans un premier temps)
    + aller vers version physique "B" de LMDz, en ajoutant notamment dynamique de population des poches froides (dans physique "A" : densite de poches fixes au dessus de terre et ocean)
    revisite de la sensibilite de IPSLCM6A-LR (LMDzA-LR en fait) pour ECS
  • WP3 - porté par Julie
    realisation de simulations longues MR1 et MR025 avec en parallele configurations LMDz de WP2 vs tuning "ad hoc" de atm et ocean
    attention : tuning "ad hoc" implique re-equilibrage du modele, via mini UQ
    MR025 ad-hoc deja en machine...
    simulations tuning issus de UQ à lancer debut janvier

Pilotage / management / suivi des heures utilisées

  • preparer tableau pour resumer specs de toutes les configurations utilisees et simulations realisées
  • reunion de tout le projet pour expliquer interactions entre WP et renforcer motivation (lors de visite de YRR en novembre ?), avec presentations scientifiques
  • suivi de consommation / visualisation des jobs par Eliott (des qu'il a acces à ccc_myproject)
    pour suivre jobs par WP, ajouter Q1/Q2/Q3 dans les intitules de jobs (attention a la limite de 16 char) - eventuellement ajouter LR, MR1 ou MR025
  • reunions mensuelles de pilotage de tout le projet
  • reunions supplémentaires pour WP séparés ou pour configurations séparées
  • points supplémentaires Fred, Juliette, Julie lorsque necessaire (eviter emails au maximum)

Note : formation LMDz mi decembre

Logins autorisés

  • à activer :
    Martin Vancoppenolle (login à créer ???)
    Frederic Hourdin (login à créer)
  • seront activés le 11 octobre :
    Ionela Musat (p86musat)
    Didier Swingedouw (swingedi)
    Marion Devilliers (devillim)
    Victor Estella Perez (estellav)
    Matthew Menary (menaryma)
    Yohan Ruprich Robert (ruprichy)
    Simona Flavoni (sflavoni)
    Guillaume Gastineau (p86ggas)
    Amélie Simon (simoname)
    Weimin Jiang (doctorante Guillaume) (jiangwei)
    Leonard Borchert (post doc Juliette Didier) (borcherl)
    Eric Guilyardi (p86guil)
  • deja activés :
    Juliette Mignot (p86mign)
    Julie Deshayes (deshayej)
    Christian Ethé (p48ethe)
    Laurent Fairhead (p86fair)
    Arnaud Caubel (p86caub)
    Marie-Alice Foujols (p86maf)
    Olivier Marti (p86mart)
    Nicolas Lebas (lebasn)
    Sebastien Masson (massons)
    Gaston Irrmann (irrmanng)
    + le login generique p86ipsl

Vendredi 27 septembre 2019

Juliette, Laurent, Simona, Nicolas, Eliott, Christian, Arnaud, Ionela, Fréderic

Info importante: maintenance TGCC en début de semaine prochaine. Ca ne revient que mercredi après midi...

Nicolas -> on va recevoir un numéro de projet type "RAXXX" a mettre dans le job. Assorti à ca, on aura des espaces .../cont003/.../RAXXX/ . Libre à nous de les utiliser ou pas. Experience du preparatory access: on peut être installé sur $HOME_gencmip6, ecrire sur $WORK_gencmip6 et être imputé sur RAXXX. A noter qu'il nous faudra degager les $HOME_RAXXX des le 1er oct 2020. -> a priori, ca serait mieux de s'installer sur gencmip6, on sera plus confort.

Proposition que Nicolas et Eliott fonctionnent en binome sur suivi de conso et interactions avec le centre (nombre de jobs max, punitions, etc).

MR1 -> Laurent la passe en CM6.2 et lance dans la semaine prochaine. 1800 proc. Pas de sorties CMIP6 (dr2xml pas pret)

MR025 -> Christian l'a déjà en CM6.2. Par contre ca n'a été testé que sur 1 an ( tout juste la mise en place ). Christian lance dans la semaine prochaine. 4720proc. Pas de sorties CMIP6 (dr2xml pas pret)

LR -> rester sur CM6.1.10 pour compatibilité LMDZ et comparaisons ECS. Fréderic et Ionela préparent du UQ et lancent.

Remarque: 1 MR1 + 1 MR025 ~ ce qu'on doit avoir en permanence en machine (5000 proc)

Last modified 3 years ago Last modified on 09/09/21 15:14:02