wiki:IPSLCM6/ReunionsQuest

Version 65 (modified by jdlod, 23 months ago) (diff)

--

Jeudi 5 novembre

Julie, Juliette, Frederic, Nicolas, Arnaud, Ionela

Discussion sur l'utilisation de la nouvelle allocation en hCPU sur AMD

  • point sur la machine Irene Rome AMD:
    • workflow deja en prod sur cette machine, mais avec IPSLCM6.1.11
    • amelioration de la stabilité de la machine grace aux efforts du TGCC : plus de plantages - mais toujours en attente de la finalisation des recommendations de versions à utiliser
    • a priori OK pour demarrrer la semaine prochaine, en 6.1.11
  • Quels developpements avant de lancer la production de simus QUEST (objectif : debut prod le 1/12) ?
    • mettre au propre IPSLCM6.2(.2?) dans libIGCM en incluant les 3 configs (LR, MR1 et MR025) -> Laurent, Christian, Nicolas ?
    • enregistrer nouvelles configurations avec metadonnees adequates -> Arnaud
    • tester v6.2 sur AMD -> Laurent ?
    • generer nouveaux xml puis tester workflow -> Arnaud
  • Qu'est-ce qu'on va produire sur AMD ?
    • LR : nouveau tuning ECS, tirés des simulations estivales
    • MR1 :
      • preQUEST : avec meme tuning atm que 6A-LR
      • MR-02 : avec nouveau tuning
      • nouveau tuning ECS comme LR
    • MR025 : 1 seul DECK a priori, specificites de Q3-CM62-MR025-pd-04 - attention incertitude sur performance de MR025 sur AMD car peu de memoire par coeurs
  • Quels noms pour nouvelles configurations ?
    • sources differents donc pas rigoureux de garder 6A-LR
    • 6B est censé pointer vers une physique atmospherique differente, ce qui n'est pas le cas ici
    • IPSL-CM6Q-LR/MR1/MR025 ?
    • à discuter avec Olivier et le reste du groupe platform
  • Analyses préliminaires à mener dès que possible pour determineer ce qu'on met en production :
    • estimation ECS sur tests de cet été -> Olivier ?
    • multi-atlas -> Julie, Jerome
    • intermonitorings complets (reactualisés les precedents, voir liens ci-dessous) -> Laurent, Eliott ?

prochaine reunion pour avancer dans les analyses et discuter du nouveau tuning ECS : jeudi 12/11 15h-16h

Jeudi 15 octobre

Juliette, Julie, Ionela, Laurent, Nicolas

reste environ 6MhCPU au 15/10/2020
fin d'allocation le 31/10 donc reste temps elapse environ 350 hCPU ("350he" ci-dessous)

  • simulations en machine
    • IPSLCM6.2-preQUEST-01 : Laurent
    • IPSLCM6.2-QUEST-MR-02 : Laurent
    • IPSLCM6.2-QUEST-MR-02-abrupt-4CO2 : Brady
    • + Q3-CM62-MR025-pd-04 : Arnaud / Christian
  • Point WP1

W3-115 4xCO2 de Juliette doit reprendre pour se terminer (130 ans)

  • Point WP2

IPSLCM6.2-preQUEST-01 en machine : 1850:2449 = 600 ans
reste 350he = 130 ans = 420,000 hCPU
-> on laisse en machine jusqu'à la fin de l'allocation
ATTENTION d'arreter la simulation à la fin d'un job pour terminer proprement les post-processing...

IPSLCM6.2-QUEST-MR-02 en machine : 1850:2219 = 370 ans
reste 350he = 130 ans = 420,000 hCPU
-> on laisse en machine jusqu'à la fin de l'allocation
ATTENTION d'arreter la simulation à la fin d'un job pour terminer proprement les post-processing...

IPSLCM6.2-QUEST-MR-02-abrupt-4CO2 en machine : 1900:1940 = 40 ans
reste 350he = 130 ans = 420,000 hCPU
-> on laisse en machine jusqu'à la fin de l'allocation, mais ne sera pas terminée vraisemblablement
(pour rappel, IPSLCM6.2-preQUEST-01-4CO2 = 200 ans)
-> stop it propertly before the end of October (at the end of a job before re-submission) and then ask Olivier Boucher his permission to finish this simulation ON SKL under allocation A8

nouvelle vague auto-tuning par Ionela ?
OK : reste disponible jusqu'à 4MhCPU pour les 2 prochaines semaines
+ prevoir reunion data management plan en novembre pour reduire nombre d'inodes

  • Point WP3

Q3-CM62-MR025-pd-04 en machine : 2150:2443 = 294 ans
reste 350he = 70 ans = 630,000 hCPU
-> on laisse Q3-CM62-MR025-pd-04 en machine jusqu'à la fin de l'allocation
ATTENTION d'arreter la simulation à la fin d'un job pour terminer proprement les post-processing...

  • la suite ?
    • proposition d'utilisation des heures supplementaires sur ROME AMD :
      • pour réaliser un DECK avec chacune des nouvelles configurations (MR1 et MR025) soit 1250 années en tout pour chaque config
      • la configuration MR1 coûte 3,360 hCPU / an simulé sur irene/SKL,
      • la configuration MR025 coûte 10,390 hCPU / an simulé sur irene/SKL
      • et pour le modèle couplé IPSL-CM6A-LR, nous avons observé un facteur 1,4 d'augmentation des heures de calcul nécessaires quand on passe de SKL à AMD,
      • Soit [ 1250 an simulés * 3,360 hCPU/an simulé (config MR1) * 1.4 ] + [ 1250 an simulés * 10,390 hCPU/an simulé (config M025) * 1.4 ] = 24.1M hCPU
      • MR1: PreQUEST & MR02 & une simu issue des nouvelles vague de Ionela (à décider 15 novembre)
      • MR025: pictrl pret à lancer au 1er jour d'allocation (à la suite de pd-04 a priori), 4xC02 un peu après (laisser 30-50 ans de refroidissement / reajustement)
  • stratégie d'analyse des simulations [liste à compléter]
    • sensibilité ECS à résolution spatiale + tuning atmospherique
    • WP1 : glace de mer (monocat + pstar)
    • WP1: variablité centennale: sensiblité à l'état moyen et à la résolution (Brady)
    • WP3 : GM vs no GM, sensibilite variabilité interannuelle à multidecennale à resolution oceanique
  • réunion de partage d'information sur simulations QUEST pour mise à disposition de collegues ICMC/IPSL : en janvier / fevrier

+ data management plan à revoir pour ranger / cleaner toutes les sorties

  • QUESTIONNAIRE sur IRENE envoyé à Julie en temps que leader QUEST de la part TGCC -> à l'OdJ réunion Réunion PLatform 16 octobre.

+ mentionner pb blocage / piratage LMD.

Lundi 21 septembre

Juliette, Julie, Brady, Ionela, Laurent, Christian, Eliott

  • News : allocation prolongée jusqu'au 1/11/2020 ! reste environ 9MhCPU

Attention : espace de stockage ra4918 va s'effacer au moment de la fin du projet ?!? NON : donnees conservees pour logins actifs
Mail en cours avec la Hotline. (Eliott Dupont)

Les espaces de stockage restent actifs. Seuls les comptes verrouillés depuis plus de 18 mois sont supprimés. Les données des espaces associés à ces comptes sont sauvegardées dans le nologin de cet espace.Seul le responsable porjet de cet espace accède à ces données. Si tout les comptes associés à votre espace sont actifs, les données ne seront pas supprimés.

  • simulations en machine
    • W3-115 4xCO2 de Juliette doit reprendre pour se terminer
  • liens vers intermonitorings

https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit_ECS/index.html
https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit/index.html
https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/QUEST/QUEST_InterMonit_LR/index.html

  • presentation diagnostics Brady

simulations actuelles trop courtes pour analyser proprement la variabilite centennale
-> etendre preQUEST car actuellement 310 ans disponibles, la plus longue -> Laurent
+ etendre aussi IPSLCM6.2-QUEST-MR-02 -> Laurent
+ lancer IPSLCM6.2-QUEST-MR-02 en 4CO2 pour 250 ans à partir de l'annee 50 (pour comparer aux autres couples de simus auto-tunés) -> Brady
a propos d'un "shift" potentiel entre preQUEST et Quest MR1 ? pas de souci technique in fine

  • Point WP1
    • tests glace de mer à reprendre :
      • test LIM3 en monocategorie : 100 ans realises, /ccc/store/cont003/ra4918/dupontel/IGCM_OUT/IPSLCM6/PROD/pdControl/IPSLCM6.2-LR-SeaIce?-QUEST-monocat., avec jpl = 1 et nn_monocat = 0

-> realiser test jumeau avec jpl = 1 et nn_monocat = 1 ? Julie decide avec Martin, et previent Eliott

  • rn-amax : 100 ans realises, /ccc/store/cont003/ra4918/dupontel/IGCM_OUT/IPSLCM6/PROD/pdControl/IPSLCM6.2-LR-SeaIce?-QUEST-01 -> prolonger ? Julie decide avec Martin, et previent Eliott
  • vagues de simus LR avec auto-tuning
    • Arnaud : piControl (pd ?) et 4xCO2 pour W3-181 et W2-050 - 250 ans chacune
    • Juliette : piControl (pd ?) et 4xCO2 pour W3-115
    • Laurent : piCtrontrol (pd ?) et 4xCO2 pour W2-051
    • a priori ces 4 couplés sont OK -> à analyser
  • Point WP2

Ionela a fait une simulation de reference MR1 forcé - s'apprete à lancer premiere vague MR1 forcé (240 simulations de 2 ans) puis 2ème vague, et ensuite 3eme eventuellement
Attention : plus on attend pour lancer les couples de simulations en couplé MR1 (pd + 4CO2), moins on pourra realiser d'annees d'ici la fin de l'allocation (mais simulations les plus interessantes seront vraisemblablement prolongees sous d'autres allocations)

  • Point WP3
    • prolonger Q3-CM62-MR025-pd-05 (sans GM) ? actuellement en 2399 (100 ans realises) - OK
    • prolonger Q3-CM62-MR025-pd-04 (avec GM) ? actuellement en 2399, soit 250 ans realises -> Christian relance

tester nouveau tuning atmospherique ? non, pas pret dixit Ionela

  • sauvegarde donnees QUEST facon CMIP ?

simulations deja realisees avec nouveau workflow ? aucune a priori
Eliott indisponible jusqu'à mi octobre
Juliette ok pour tester 50 ans maintenant >> GO !

Vendredi 3 juillet

Laurent F, Arnaud, Hourdin, Ionela, Frederic H, Brady, Juliette, Jérôme, Julie

Allocation s'arrete fin septembre. C'est demain, vu l'été!

  • point technique sur suivi conso et occcupation de la machine

Suivi conso sur outil web. Pas mise à jour depuis 25 juin pourquoi?
Que du pending à partir du 21 juin: pourquoi?
A priori pb de code lié aux mises à jours récentes de la machine -> Eliott

  • Conso des derniers mois: surconsommation pdt confinement (à partir début avril)

on note aussi un nb de pendings, pourquoi? Parce que bcp de job dans les jours précédents.
ça a impliqué retard calcul.
-> veut on demander extension? Julie tente. Argument situation sanitaire.

  • simus en machine actuellement :
    • Rq: Didier a voulu faire des hindcasts décennaux avec melting - mélange de pinceaux ra / gencmip6 -> ça tourne du gencmip6 et pas sur QUEST comme prévu initialement.
    • IPSLCM6.2-preQUEST-01 (Laurent) -> prolongation décidée à la dernière réunion
    • IPSLCM6.2-preQUEST-01-4CO2 (Laurent) -> prolongation décidée à la dernière réunion. Plante pas mal.
    • IPSLCM6.2-QUEST-MR-02 (Laurent) -> MR01 avec 2 paramètres remis à valeur LR pour essayer de résoudre pb plantages. 120 ans sans planter. Plantage ce matin -> relancée ok. Ces 2 paramètres sont liés à convection atmopshérique dans les tropiques. Identifiés par dichotomie sur des tests en couplé de ~10 ans.
    • Rq Julie : Calibration NEMO en cours. Callibration implique runs forcés et émulateur. Question: quelle place pour la stabilité numérique?

Pas de temps d'analyse tout de suite malheureusement. Réflechir simus et analyse = apres septembre.
Monitoring LR
Monitoring MR
PreQUEST: 2 cycles de variabilité centennale. On garde pour avoir plus de cycles.

  • Pres Brady (slides to be added)
    • preliminary analysis MR pdctrl AMOC and tropics
      Tuning of parameters more important than increase of resolution
      Variability / significance of differences shown?
      analysing first 100 yrs of model runs (only available for MR1 and RM2)
      using preQUEST and LR1 over 300 yrs do not change these maps significantly
      MR2 colder in the tropics, why?
      MR1: result of the tuning in which global energetic balance = target.
      MR2: we changed only 2 parameters without reequilibrating the model. has to be reequilibrated.
      MR1 and MR2 start from the same point. 20th yr of PreQUEST (yr 1870 of preQUEST).
    • Ekman meridional transport at 48°N
      Suggest some long predictability of the winds...? (to be checked with potential predictability simulations?)
      Is wind in MR1 & MR2 shifted as compared to LR1?
    • Do we want to warm up MR2 (reequilibrate) for further analysis? Try similar strategy as for MR025 until we reach the same global mean SST? Reminder: in MR025, centennial variability was lost after this reequilibration.
    • Discussion with Julie on these results to be followed
  • Point WP1
    • dernieres simulations produites :
      • IPSLCM6.2-LR-pd-QUEST-01 : reference LR pd Control pour QUEST
      • IPSLCM6.2-LR-pd-QUEST-01-4CO2 : experience transitoire
      • IPSLCM6.2-LR-pd-QUEST-PM0 : même que LR-pd-QUEST-01 mais avec pmagic = 0.
      • Hindcasts sont partis sur gencmip6 finalement
  • tests sensibilite glace de mer à reprendre : finaliser et analyser
  • autres simulations à lancer pour reprendre tuning LR ?
  • simulations issues de nouvelle vague de tuning à lancer - combien en meme temps ? besoin de partenaires pour porter les simulations avec Ionela Combien de simus possibles? (environ 150 ans) 2-4 (Juliette) + 2-4 (Brady) + 2-4 (Laurent) + 2-4 (Nicolas) + 2-4 (Arnaud) + 2-4 (Eliott) Vu le plan de charge (1 MR025 et 2 MR1), on peut se permettre au moins 6 LR.

  • Point WP2
    • IPSLCM6.2-LR-pd-QUEST-02 : LR pour comprendre les plantages fréquents de la MR1 auto-tunée
    • IPSLCM6.3-QUEST-MR-02 : plus froide que MR-01 et preQUEST -> a rechauffer ?
    • Garder un MR02 froide et ajouter une MR02 rééquilibrée? La MR02 réchauffée sera t'elle aussi bien que la MR01 ? On parle de rechauffer de DeltaSST 50S50N = 0.5°C, donc a priori ne devrait pas avoir de consequences trop lourdes sur variabilite
    • preQUEST à prolonger pour 200 ans encore pour stock analyse (comparaison fine avec LR)
  • Point WP3
    • dernieres simulations realisees :
      • Q3-CM62-MR025-pd-04 : plus rechauffee avec GM - stand by pour l'instant, mais à relancer eventuellement une fois la pd-05 prolongée
      • Q3-CM62-MR025-pd-05 : plus rechauffee sans GM >> ajustement pendant les 50 premieres annees >> à prolonger pour encore 100 ans (ou jusqu'a la fin de pd-04)
    • MR025-pd-04 = MR025-pd-03 réchauffée (A peu pres meme delta que ce qu'on vise pour MR)
    • Aura t on le même comportement en MR??
    • MR025-pd-05 = no GM.
  • Point général d'analyse: Analyse de la variabilité centennale en fonction du climat moyen. -> longer term than the length of QUEST project.
  • sauvegarde donnees QUEST facon CMIP ?
    • Nomenclature: au plus proche de CMIP.
    • Quid nom des tables Omon etc? un peu redondant si on parle d'un refonte de la sauvegarde IPSL, mais peut être plus sûr dans un premier temps pour comparaison CMIO6.
    • A reprendre éventuellement dans 6 mois avec simplifications supplémentaires?
    • lancer tests "grandeur nature" avec LR -> simus glace Eliott ?
    • Il y aura un peu de travail d'adaptation pour passer en MR car taille grille inscrite en dur.
  • Autres questions ?
    • planning vacances estivales : merci de m'indiquer disponibilites dans tableau joint pour suivi des simus en machine -> chacun envoie info à Julie
    • Juliette: off 20-27 juillet & 3-20 aout
    • Ionela: 13 juillet -

Vendredi 29 Mai

Juliette, Julie, Christian, Arnaud, Laurent... to be completed

  • simus en machine actuellement :
    • IPSLCM6.2-preQUEST-01-4CO2 (Laurent) : MR1 en protocole 4CO2, a connu 5-6 plantages, differents de l'autre MR1 - encore 50 ans
    • IPSLCM6ALR (Didier), 5 simulations : tests WP1, protocol dcppA avec fonte Groenland - simulations de 10 ans
    • Q3-CM62-MR025-pd-04 (Christian) : poursuite integration MR025 avec GM - toujours plantages reguliers
    • Q3-CM62-MR025-pd-05 (Christian) : nouveau test sans GM

intermonitoring LR
intermonitoring toutes simus
intermonitoring 4CO2 et references
il reste qq soucis pour assemblage des differents intermonitoring, mais fonctionne bien et mis à jour régulièrement

  • WP2 - UQ

presentation Ionela sur ce qu'elle a fait pour tuning automatique ; prochaines simulations à venir en mode forcé pour tester impact de ce tuning sur ECS - impact réel sera confirmé par la suite sur mode couplé.

en parallele, travail de Sebastien Nguyen sur version plus basse resolution, qui integre d'autres metriques en sus.

donc à venir a priori : un prochain ensemble assez large de nouveaux tunings possible de LR, à tourner pendant 50-100 ans - a priori en pdCtrl et en 4CO2 - a priori d'ici 1 mois en gros [[br]

  • MR1

on a arreté CM6.2-preQUEST-01 dans minimum local de NADW. la relancer pour voir ce qui se passe ensuite ?
Juliette : travail en cours sur sensibilite glace de mer et SST. MR1 se comporte differement des LR, peut etre pas completement à l'equilibre.
pb des plantages de CM6.2-QUEST-MR01 ? pas simple à résoudre. simulations en forcé de Laurent, mais pas encore de réponse. et tests tres couteux
pour rappel, CM6.2-QUEST-MR01 testait un tuning automatique 3D, fait il y a 1-2 ans.

  • sensib. glace de mer en LR

analyse à faire sur tests realisés par Eliott, pour rappel amax et LIM3 monocategorie
relancer tests complementaires pour LIM3 monocategorie ? TODO Julie et Eliott
LIM3 monocategorie a eu qq plantages depasses par hgardfou : preciser à Frederic les lieux de plantage, saison et fraction de glace associée pour mieux comprendre - partager avec Martin aussi - TODO Julie et Eliott

  • sauvegarde des données QUEST facon CMIP ?

travail preliminaire en cours pour "nettoyer" les sorties et choisir format commun pour archive
question sur sorties haute frequence atmosphere, utilisees pour downscaling - utiles pour QUEST ? NON par defaut
questions aussi sur BGC, mais a priori pas variables essentielles
nom du fichier ? Julie et Juliette prennent une decision rapidement
comment integrer modifications dans simulations en cours ? le plus simple serait d'arreter les simus qui tournent, et de les prolonger en activant nouvelle fonctionnalité - donc a priori uniquement pour simulations tres longues (MR1, pre-QUEST, MR025)
a priori le split en duree de simulations inclus dans chaque fichier, sera dependant de la resolution
il faudra aussi programmer une duplication des sorties dans un premier temps, pour verifier l'impact sur stockage sur TGCC

  • MR025

resultat inattendu car test sans GM fait plus (+) de formation d'eau dense dans Antarctique mais moins (-) en Atlantique Nord - Julie regarde en details les sorties obtenues pour en parler lors de la prochaine reunion
en meme temps, simulations à poursuivre jusqu'en 2400, au moins...

  • strategie pmagic, pour pdCtrl, +2CO2 et +4CO2 ?

analyse de l'ensemble des historiques montre que pmagic=0.01 plus en accord avec transitoires historiques que pmagic=0.007
en fait il semblerait qu'il faut faire plus avec pmagic que juste la compensation du heat uptake oceanique moyen, et cela pourrait être lié à dérive temporelle de la glace de mer
reflexion à poursuivre en actuel, regarder aussi PM0

  • Autres questions ?

prochaine reunion vendredi 26 juin 11h00

Jeudi 7 Mai

Juliette, Julie, Christian, Arnaud, Laurent

  • rappel du contexte : QUEST n'a pas pour objectif de produire simulations qui seront publiées sur ESGF mais utile de produire les memes diagnostiques que pour CMIP6 et uniformiser archivage pour faciliter inter-comparaisons
  • actuellement,
    • les simulations QUEST produisent toutes les sorties standard differentes ! et il manque des diagnostiques codes pour CMIP6 exclusivement
    • Juliette sait brancher et bidouiller des dr2xml pour des simulations ad hoc, mais est-ce que c'est la solution perenne ? aussi pas tous les diags disponibles dans sorties "maison" IPSL
  • Arnaud rappelle des conclusions de reunion libIGCM en septembre : il faut avancer vers un archivage des sorties libIGCM facon CMIP6, donc c'est le bon moment de mettre en place cette fonctionnalite (qui revient a cleaner et officialiser la methode de Juliette) ; attention à la difference de version entre xml (actuellement prets pour 6.1.11 vs QUEST qui tourne avec 6.2)
  • quid de MR1 et MR025 ?
    MR1 a priori tout identique au LR, sauf pour ce qui est lié à la taille des grilles, resolution : attributs à mettre à jour
    MR025 n'a pas PISCES donc ne pourra pas utiliser les memes xml, pour le reste tout est pareil
  • pour avancer il faut décider :
    • nom des fichiers : inclus nom de la simulation ? type de simulation ? numero de membre ? grille native ou non ? quels attributs, de fichier et de variable ? -> Action Juliette, Julie (en interaction avec utilisateurs potentiels, Olivier inclus) a priori d'ici le 20/05
    • quel point de depart : xml historique ou piCtrl ? on part sur piCtrl mais on demande aux utilisateurs potentiels si ok a priori
    • contraintes de dr2xml : fixer duree de la simulation au depart car periode inscrite dans nom de fichier - solution : inscrire la date de fin planifiee, et inconsistence si jamais la simu est arretee avant, et nouveau fichier créé si on relance
    • quid des sorties standard ? il faut les conserver pour produire intermonitoring, mais pas dupliquer non plus - attention à ne rien perdre au moment de la bascule !
    • on conserve la modularite avec output_level des .card qui enrichiront les sorties standard
    • attention à suivre le cout supplementaire en calcul (et en stockage) !

Vendredi 22 Avril 2020

Julie, Juliette, Fréderic, Laurent, Christian, Eliott

  • Simulations en machine
    • Christian QUEST_3 MR025 (plante tous les 10-15 ans) (physiq.def de la preQUEST)
    • Laurent
      • LR_QUEST01 en 4CO2
      • MR1 PreQUEST en 4CO2
      • 2 runs de 20 ans LR pour essayer de comprendre pourquoi la MR1 plantait aussi souvent (.def de la MR1 dans la LR)
    • Eliott: test en LR sur amaxs
    • Ionela a passé une vague de tuning (400ans d'un coup) autour du 18 avril
  • LR
    • Test monocatégorie: mail a été envoyé par Julie semaine dernière.
      • En principe juste un paramètre de namelist, mais on a jamais essayé
      • Eliott
    • remarque générale: pas de runs froids avec LR. Il faudra s'attaquer à ce problème un jour. Mets à mal la "patte" IPSL qui est: large spectre de climat avec une seule config.
    • Tests Laurent Bopp régulièrement. Skin layer (Hugo Bellenger)
    • Tests mode à 100 ans et paramètres de glace & mélange proposés par Guillaume / Weimin (rétroaction négative liée au rôle de l’accumulation d’eau douce dans le gyre de Beaufort en réponse à la fonte de la glace lorsque l’AMOC augmente. -> contraindre extension de glace?)
  • Discussion MR1 et MR025
    • Quelle stratégie pour analyser les plantages de MR1 et MR025? Ca a l'air d'être un bug atmosphérique qui n'arrive que sur ocean lourd...
  • Exploiter BGC pour mieux comprendre différences (improvments?) LR, MR1, MR025
    • MR1 et MR025 ont relativement bonnes SST -> Valide la longue stratégie de tuning du LR, y compris via biogéochimie.
    • Réaliser CESMEP avec BGC pour LR et MR1 >> action Julie, Christian
    • Brancher biogéochimie offline ou traceurs age MR025 pour mieux mettre en évidence différences LR / MR ?
  • Réglages pmagic
    • 0.01 a posteriori mieux que 0.007 (figure métriques Fred)
      • Pour en être sur: diff physiq.def entre simu Thibault (CM6015S_03) et la pd QUEST de Laurent. Seule diff espérée: pmagic. -> Action Fred
      • Faire un pd LR avec pmagic à 0. -> Action a attribuer en fonction des simus finies d'ici la.
    • Message pour papier tuning?
    • Il faut clarifier / converger sur 1 valeur - lancer derniers tests pour se convaincre que 0.01 serait mieux. Ou continuer à tester d'abord 0.011 / 0.012-3 par exemple? Valeur à tester déterminer théoriquement par ajustement linéaire.
    • Quel scénario pour tester la sensibilité de nos configurations. Quels forçages, quelle(s) cible(s). Associer JLD et O Boucher -> Action Fred pour convoquer réunion.
  • Autre action admin QUEST: Publis:
    • Penser à rappeler à chacun de acknowledger QUEST dans les publis
    • list publis QUEST à construire. Un premier papier a été fait pas L. Bopp et al.

  • Webinar 28 avril: Fred montrera des résultats MR1 et MR025.
    • Discussion automatisation intermonitoring
    • related: discussion Climaf

Vendredi 10 Avril 2020

Guillaume G, Fréderic, Martin, Julie, Juliette

  • Tests glace de mer? Lesquels, pour quoi faire?
  • Idées Martin: Linéarité aire de glace Arctique / température globale. Très bons résultats IPSL-CM6A-LR. Pourquoi? Idées pour comprendre:
    • nombre de catégories à 1 (avec et sans distribution virtuelle de glace)
      • Julie: priorité pour NEMO, important.
      • 2 sous tests: monocatégorie sans physique sous maille ou monocatégorie sous maille avec émulation de la physique sous maille.
      • -> Action Julie Martin et? (Arnaud? Eliott? Nicolas?)
    • prescrire un échange constant de chaleur sensible entre océan et glace (pour casser la rétroaction avec l'amoc?)
    • ignorer la neige
    • ignorer la dynamique de glace
    • faire un truc avec la rétroaction des nuages (mais je sais pas encore quoi).

Simulations relativement courtes mais quel équilibrage? Protocole court (<100ans) du type: 30 ans de spin-up puis forçage fort (tuning ou CO2)
Actions Kenza (stagiaire Martin)? Regarder les LR 4xCO2, MR1?

  • Idées Guillaume: Revenir sur paramètres de tuning. Mais simulations chères (au moins 100/200 ans + variabilité centennale)
    • Juliette: en effet, l'illustration de l'histoire glace / AMOC pas encore évidente sur figures archeo.
    • Fred: le tuning de la glace était il lié à relation AMOC/glace? idée était simplement de garder de la glace?
    • Julie: plantages du pi. -> rnhmin = 50.
  • Feedback global glace / top of atmosphere assez faible. Justifie a posteriori stratégie: 1. tuning atmosphere 2. ajustement glace.

Remarque sur stratégie tuning: si relation linéaire aire de glace Arctique / température globale tient pour un modèle donné, ça peut être un moyen de tuner glace plus proprement. Diag à appliquer aux runs successifs + historiques? + pictrl pour lien avec centennal. -> Action Juliette & Guillaume & Martin & Kenza

  • Papier tuning:
    • 1. illustrer relation glace / Tglobale dans config finale (historique, scenario, etc)
    • 2. vérifier que c'est la même en centennal?
    • 3. vérifier/tester dans les configs successives.
    • revoir histoire tuning glace: AMOC? cette relation?
  • MR1:
    • très bonnes métriques SST. -> à inclure dans papier tuining?
    • faire un DECK avec? (pictrl de 500 ans). (heures gencmip6 plutot?)
    • Question est pourquoi il est meilleur? Verifier ECS avant? -> Action Laurent . Puis lien débiaisage Gerhard.
    • Attendre des évolutions des modèles (NEMO4?) avant de relancer DECK?

Lundi 23 Mars 2020

Julie, Fréderic, Juliette, Eliott, Nicolas, Laurent

actuellement en machine

  • M2C-TI01... Brady Ferster (LR-WP1)
  • CM61-LR-... Marion Devilliers (LR-WP1)
  • Laurent ? (PACKOUTP...)

intermonitoring
intermonitoring avec diags banquise mais sans IPSLCM6.2-LR-pd-QUEST-01

trouver comment regler pb des sorties pour avoir diags ICE aussi ? > action Laurent, Nicolas, Arnaud ?

atlas C-ESM-EP des 100 dernieres annees

point sur les simulations à relancer par configuration

  • LR (atm LR, ocean 1)

2 simulations realisees par Laurent avec L95 - terminé
Ionela doit lancer la deuxieme vague d'auto-tuning (pour explorer ECS 3D), a priori demain ; devrait pouvoir enchainer 2 ou 3 autres vagues ensuite
vers une version retunée du LR ? a reflechir pour dans 1 mois environ
pour la glace de mer : Guillaume fait ses propres simulations pour analyser la variabilité (sur autre allocation); Martin est interessé par d'autres tests de sensibilité, en particulier dans contexte du papier tuning, mais pas de simu prête à lancer
analyses de Brady en cours (sur simulations WP1), avec AMOC artificiellement augmentée et diminuée
simulations de Marion avec fonte Groenland (terminées, WP1) : à utiliser pour relancer simulations de previsibilité decennale ?
Nicolas : poursuite du piCtrl pour reference aux simus de Brady mais pb sauvegarde sorties HF - en cours et à relancer
quid du tuning de diffusion verticale dans l'Arctic ?

  • MR1 (atm MR, ocean 1)

Laurent a toujours des plantages non resolus avec CM6.2-QUEST-MR01 - action en cours (pour rappel, plantages semblables en MR025 mais pas dans CM6.2-preQUEST-01) > lancer simulation equivalente (avec meme tuning) en LR pour voir si plante aussi ? action Laurent
vers une nouvelle version tunée du MR1 ?

  • MR025 (atm MR, ocean 1/4)

SST globale un peu plus faible que pour les MR1 et LR > on rechauffe encore ou on conserve comme cela ? voir si ca nous penalise dans rms du cycle saisonnier moyen (metriques de Jerome) + voir aussi où en est l'ajustement de ACC (action Julie ) pour decider si on relancer un test GM maintenant ou si on re-rechauffe d'abord

Pilotage / management / suivi des heures utilisées

  • Juliette : frustration de ne pas avoir suffisament de temps pour faire des analyses et de devoir decider, dans le flou, de nouvelles simulations à lancer ; manque aussi reunion generale des 3 WPs pour faire le point sur toutes les simulations produites et trouver des histoires à raconter... > creation d'une nouvelle page dans wiki QUEST sur partage des resultats, nouvelles hypotheses et argumentaires à etoffer
  • consommation jusqu'à présent : 17 583 506 hCPU soit 39% de l'allocation - suggested use : 47.7% >> deficit de 4 050 000 hCPU - pas de penalité à prévoir avant le 15/04
  • Contribution de Eliott à partir du 01/04 (si contrat demarré) ou du 01/05 (sinon) : quel plan de production de simulations ? a priori MR025 en remplacement de Christian, mais aussi peut etre LR pour glace de mer (et pour se faire la main) ?

Jeudi 16 janvier 2020

Julie, Christian, Laurent, Frederic, Juliette, Nicolas

actuellement en machine

  • CM6.2-preQUEST-01 (MR1) : control MR1 (sans tuning automatic) (baseline) tourne toujours pour voir
  • Q3-CM62-MR025-pd-03 (continuation de pd-01, avec GM, rechauffée) : tourne toujours pour voir

intermonitoring
C-ESM-EP pour OCE

C-ESM-EP : ajouter les biais de SST apres avoir enleve la moyenne globale SST + ressortir ce qu'il faut pour avoir atlas atmospheriques

point sur les simulations à relancer par configuration

C-ESM-EP sur donnees atmospheriques ?

  • LR (atm LR, ocean 1)

IPSLCM6.2-LR-pd-QUEST-01 :
reference pdControl pour QUEST : deja 200 ans produits
a prolonger pour combien de temps encore ? oui tant qu'on est en sous-consommation et surtout compte tenu de la variabilite centennale
pb donnees OCE dans intermonitoring ? a priori solution comprise par Laurent

refaire un intermonitoring + atlas C-ESM-EP avec CM6015S equivalente a LR pour verifier qu'on est bien dans le meme climat

+ tester impact de tuning T2m et couverture de glace de mer sur AMOC ? reboucler avec actions dans WP1 sur tests tuning glace dans LR (MV, GG...) ?

  • MR1 (atm MR, ocean 1)

Ionela en cours d'analyse de la premiere vague de simulations
analyses comparatives CM6.2-preQUEST-01 vs CM6.2-QUEST-MR-01 ?
pour rappel : recalage en 1880 de CM6.2-QUEST-MR-01
pourquoi les simus MR1 repartent de plus froid en SST globale que CM6015S-pd-03 ? parcequ'elles sont reparties de MR de MAF, plus froid que LR
ongoing : comprendre pourquoi plantages reguliers de CM6.2-QUEST-MR01 autour de l’équateur (pour rappel, plantages semblables en MR025 mais pas dans CM6.2-preQUEST-01)

lancer simulation equivalente (avec meme tuning) en LR pour voir si plante aussi ?

  • MR025 (atm MR, ocean 1/4)

equilibrage atmospherique OK a priori, meme si un peu plus froid que les MR1 equivalentes

terminer les 100 ans en cours puis rebrancher un test sans GM pour voir
nouveau test tuning oceanique ?

TODO Julie : regarder sorties MR025 et voir si besoin d'ajouter des diags pour faciliter analyse (par ex. MOC)

Pilotage / management / suivi des heures utilisées

  • Frederic : commencer a identifier les simulations qui serviront dans les papiers, et verifier sorties, tuning, plantages...
  • Julie (et Eliott) : pour faciliter le tracking des simulations QUEST, ajouter QUEST ou Q1/Q2/Q3 dans le nom de la simu

et pour faciliter le Data Management Plan de l'espace gencmip6, renseigner tableau sur page wiki QUEST pour chaque simulation réalisée pour projet QUEST

  • Julie : a decidé de ne pas participer aux PRACE20days (Porto) car pas de focus thématique pertinent >> engagement implicite de participer à PRACE21days...
  • Julie : consommation jusqu'au 9/01/2020

WP1 = 3,940,000 hCPU
WP2 = 2,216,390 hCPU
WP3 = 5,147,500 hCPU
soit 25% de l'allocation alors que 26% attendus
pour info : rappel procedure de reduction des heures en cas de sous-consommmation

  • reunion QUEST au printemps ? a minima reunir tous les acteurs des 3 WP pour avancer tous ensemble sur objectifs scientifiques de QUEST

ouvrir ou non aux autres collaborateurs ICMC/IPSL ? interet a priori des BGC, autres ?
Julie lance sondage pour fixer 1 journee

Vendredi 29 novembre 2019

Juliette, Nicolas, Julie, Eliott, Laurent, Christian

actuellement en machine

  • IPSLCM6.2-preQUEST-01 (param de IPSL-CM6A-LR) a fini ses 200 ans >> arrêtée
  • IPSLCM6.2-QUEST-MR-01 (continuation d'une simu de MAF avec param provenant de UQ) : plante tous les 10 ans mais toujours en machine

-> on a beaucoup de place en machine pour les prochains 7-10 jours
-> relancer des MR025 rechauffés ?
-> feu vert à Brady pour 5+5 membres de 100 ans (1 date de depart)

point sur les configurations

  • LR (atm LR, ocean 1)

1) activer module iceberg dans NEMO ? NON : requiert un peu de travail préliminaire sur couplage hydro et namelist NEMO
2) réaliser equivalent pdCtrl de CM6.2-QUEST-MR01 ? OK -> Laurent : IPSLCM6.2-LR-pd-QUEST-01
repartir de 6015pd03 (choix S)
lancer pour 100-200 ans

  • MR1 (atm MR, ocean 1)

simus de Laurent sont parties du pd Ctrl de MAF
CM6.2-preQUEST-01 : reference ad-hoc (comme LR, ou presque)
CM6.2-QUEST-MR-01 : premier vague UQ MAF >> a poursuivre
à suivre (nom à determiner...) : nouveau MR1 à partir de deuxième vague UQ (après analyse des simus realisees par Ionela)

conclusion intermonitoring et CLIMAF : biais structuraux très proches entre LR, preQUEST et QUEST-MR01 mais QUEST-MR01 déjà un peu plus chaude et pas encore stabilisée
à regarder de plus près : pourquoi les simus MR1 de Laurent repartent de plus froid en SST globale que CM6015S-pd-03 ?

ongoing : comprendre pourquoi plantages reguliers de CM6.2-QUEST-MR01 autour de l’équateur (pour rappel, plantages semblables en MR025 mais pas dans CM6.2-preQUEST-01)

  • MR025 (atm MR, ocean 1/4)

atm idem a CM6.2-preQUEST-01 (sauf que repart de CM6.2-QUEST-MR-01)
ocean 2 styles : pd-01 avec GM et pd-02 sans GM
pd-02 moins stable numeriquement, a priori plus de biais chaud dans l'austral et convection tres forte (trop ?)
-> prolonger pd-02 pour confirmer l'effet de GM ?
mais globalement pd-01 et pd-02 equivalentes en terme de climat moyen, et a priori trop froid
-> rechauffer avant de relancer ? OK
actuellement on utilise cld_lc_lsc=0.00065 et cld_lc_con=0.00065
-> Julie envoie mail à Ionela et Fred pour savoir de combien les modifier puis lancer pd-03 (qui repart de pd-01) pour 100 ans (et on verra ensuite pour pd-02)

point sur les WP

  • WP1

simulations de Yohan realisees
Matthew Menary en redaction d'articles
Marion et Didier en train de faire tourner qq simus, prochaines à suivre en Janvier
+ Brady Fester (postdoc A. Fedorov) : protocole en cours de definition (5 membres pour 100 ans + 5 membres controle, avec eventuellement 2 dates de depart)

  • WP2

[Ionela] "j'ai fait un 2eme ensemble de 240 simulations (de la 1ere vague) pour le Q2-QUEST. J'ai post-traite ces simulations et extrait les metriques. La semaine prochaine j'attaquerai la partie analyse-UQ."

  • WP3

a completer par Julie


Pilotage / management / suivi des heures utilisées

  • Juliette : qui analyse les simulations ? quelle strategie ?

partage de codes pythons pour faire plus rapidement les analyses ? series temporelles MOC et glace de mer, suivi de stratification... Juliette et Julie y reflechissent
TODO Julie : regarder sorties MR025 et voir si besoin d'ajouter des diags pour faciliter analyse (par ex. MOC)

note : Jerome dit qu'il manque des sorties 3D atmosphere sur niveaux de pression standard, utiles pour produire atlas CLIMAF sur la verticale -> Laurent confirme, mais a priori on a toutes les infos necessaires pour faire des interpolations -> updater les atlas CLIMAF pour que ce soit fait automatiquement ?

  • reunion thematique ouverte a tous : revoir au printemps quand on aura qq resultats pour alimenter les discussions

Mardi 8 octobre 2019

Juliette, Olivier, Nicolas, Julie, Arnaud, Frederic, Eliott, Laurent, Christian, Ionela

actuellement en machine

  • MR1 (Laurent) : suite des simulations de Marie-Alice, màj CM6.2 (trunk LMDz), physic.def du trunk avec mini retuning, pdCtrl
    pour verifier que tout fonctionne, a priori on arrete apres 100 ans
    meme source LMDz et ORCHIDEE que IPSLCM6.2
  • MR025 (Christian) : suite des simulations tests, màj CM6.2
    depart eORCA025 forcé at rest, forcage CORE
    5 ans OK, bug à la 6eme année (trop de glace en Arctic), diminution du pdt et reprise en Janvier >> poursuite du run jusqu'à 7eme année
    pending question sur origine de ces instabilites...
    meme source LMDz et ORCHIDEE que IPSLCM6.2
  • simulation pirates de Sebastien Masson en attendant son allocation A
  • prêt à partir: LMDz CM6.1.10 A-LR (Ionela): vague de 200 simulations pendant 2 ans pour revisiter tuning et ECS

Notes : limite de 300 jobs en meme temps - a priori sur chaque type de noeuds (hybrid, large et normal)
1 simu est comptée comme 1 job car calcul fait sur noeuds SKL et post-traitement sur noeuds larges de SKL
sur Irene outil glost pour empaqueter plein de petits jobs dans 1 seul gros - utile pour vagues de simus UQ ?

point sur les configurations

  • LR (atm LR, ocean 1)
    passage en physique "B", 95 niveaux verticaux, et serieux retuning
    pour vagues tuning LMDz (WP2), sorties maison minimales (xml à la main)
    pour vagues tuning en couplé (WP2), quelles sorties ?
  • MR1 (atm MR, ocean 1)
    modification physique LMDz et niveaux verticaux
    pour vagues tuning LMDz (WP2), sorties maison minimales (xml à la main)
  • MR025 (atm MR, ocean 1/4)
    TODO : revision param namelist (pdt oceanique (15 min), viscosite)
    travail sur pdt de couplage : allonger ou raccourcir pour limiter les pb d'explosion en glace de mer ?
    Olivier : quand on couple à 4h, alors amplitude du cycle diurne plus grande que quand on couple à 1h
    actuellement couplage toutes les 30min
    couplage glace de mer tous les 2 pdt ocean

point sur les WP

  • WP1 - porté par Juliette
    essentiellement poursuite de simulations / experiences deja realisees sur Irene
    pour tester sensibilite de parametres ocean-glace par rapport aux simulations CMIP6
    donc configuration IPSLCM6A-LR comme pour prod CMIP6, pour faciliter comparaison (par rapport à reference CMIP6) et publications
    avec dr2xml de CMIP6 (piCtrl, historique ou autres) trafiqués à la main
    YRR : en visite au LOCEAN 1 semaine en novembre pour réaliser ces simulations
    interactions avec les autres WP ? point au bout de 6 mois pour transfert d'expertise vers les 2 autres WP
  • WP2 - porté par Frederic
    exploration des parametres de LMDz ("experiences de sensibilite" au sens maths applis) pour preparer configurations du futur (MR1 et MR025)
    avec montee en resolution verticale pour mieux representer les nuages bas (en 1D dans un premier temps)
    + aller vers version physique "B" de LMDz, en ajoutant notamment dynamique de population des poches froides (dans physique "A" : densite de poches fixes au dessus de terre et ocean)
    revisite de la sensibilite de IPSLCM6A-LR (LMDzA-LR en fait) pour ECS
  • WP3 - porté par Julie
    realisation de simulations longues MR1 et MR025 avec en parallele configurations LMDz de WP2 vs tuning "ad hoc" de atm et ocean
    attention : tuning "ad hoc" implique re-equilibrage du modele, via mini UQ
    MR025 ad-hoc deja en machine...
    simulations tuning issus de UQ à lancer debut janvier

Pilotage / management / suivi des heures utilisées

  • preparer tableau pour resumer specs de toutes les configurations utilisees et simulations realisées
  • reunion de tout le projet pour expliquer interactions entre WP et renforcer motivation (lors de visite de YRR en novembre ?), avec presentations scientifiques
  • suivi de consommation / visualisation des jobs par Eliott (des qu'il a acces à ccc_myproject)
    pour suivre jobs par WP, ajouter Q1/Q2/Q3 dans les intitules de jobs (attention a la limite de 16 char) - eventuellement ajouter LR, MR1 ou MR025
  • reunions mensuelles de pilotage de tout le projet
  • reunions supplémentaires pour WP séparés ou pour configurations séparées
  • points supplémentaires Fred, Juliette, Julie lorsque necessaire (eviter emails au maximum)

Note : formation LMDz mi decembre

Logins autorisés

  • à activer :
    Martin Vancoppenolle (login à créer ???)
    Frederic Hourdin (login à créer)
  • seront activés le 11 octobre :
    Ionela Musat (p86musat)
    Didier Swingedouw (swingedi)
    Marion Devilliers (devillim)
    Victor Estella Perez (estellav)
    Matthew Menary (menaryma)
    Yohan Ruprich Robert (ruprichy)
    Simona Flavoni (sflavoni)
    Guillaume Gastineau (p86ggas)
    Amélie Simon (simoname)
    Weimin Jiang (doctorante Guillaume) (jiangwei)
    Leonard Borchert (post doc Juliette Didier) (borcherl)
    Eric Guilyardi (p86guil)
  • deja activés :
    Juliette Mignot (p86mign)
    Julie Deshayes (deshayej)
    Christian Ethé (p48ethe)
    Laurent Fairhead (p86fair)
    Arnaud Caubel (p86caub)
    Marie-Alice Foujols (p86maf)
    Olivier Marti (p86mart)
    Nicolas Lebas (lebasn)
    Sebastien Masson (massons)
    Gaston Irrmann (irrmanng)
    + le login generique p86ipsl

Vendredi 27 septembre 2019

Juliette, Laurent, Simona, Nicolas, Eliott, Christian, Arnaud, Ionela, Fréderic

Info importante: maintenance TGCC en début de semaine prochaine. Ca ne revient que mercredi après midi...

Nicolas -> on va recevoir un numéro de projet type "RAXXX" a mettre dans le job. Assorti à ca, on aura des espaces .../cont003/.../RAXXX/ . Libre à nous de les utiliser ou pas. Experience du preparatory access: on peut être installé sur $HOME_gencmip6, ecrire sur $WORK_gencmip6 et être imputé sur RAXXX. A noter qu'il nous faudra degager les $HOME_RAXXX des le 1er oct 2020. -> a priori, ca serait mieux de s'installer sur gencmip6, on sera plus confort.

Proposition que Nicolas et Eliott fonctionnent en binome sur suivi de conso et interactions avec le centre (nombre de jobs max, punitions, etc).

MR1 -> Laurent la passe en CM6.2 et lance dans la semaine prochaine. 1800 proc. Pas de sorties CMIP6 (dr2xml pas pret)

MR025 -> Christian l'a déjà en CM6.2. Par contre ca n'a été testé que sur 1 an ( tout juste la mise en place ). Christian lance dans la semaine prochaine. 4720proc. Pas de sorties CMIP6 (dr2xml pas pret)

LR -> rester sur CM6.1.10 pour compatibilité LMDZ et comparaisons ECS. Fréderic et Ionela préparent du UQ et lancent.

Remarque: 1 MR1 + 1 MR025 ~ ce qu'on doit avoir en permanence en machine (5000 proc)