wiki:PerformancesIPSLCM6

Performances IPSL-CM6

  1. Performances IPSL-CM6
    1. Dernière modifications
    2. Prochains appels Prace
    3. Demandes d'heures A16 : date limite 7 février 2024 minuit
    4. Performances juin 2020
      1. Tableau des performances sur Irene-SKL
      2. Tableau des performances sur Irene-AMD
      3. Tableau des performances sur JeanZay
    5. Demandes d'heures A14 : date limite 14 février 2023 11h
    6. Demandes d'heures A13 : date limite 9 septembre 2022 11h
    7. Demandes d'heures A11 : date limite 3 septembre 2021 11h
    8. Demandes d'heures A10 : date limite 7 septembre 2020 11h
    9. Demandes d'heures A8 : date limite 7 février 2020 11h
    10. Performances janvier 2020
      1. Tableau des performances sur Irene
      2. Tableau des performances sur JeanZay?
    11. Demandes d'heures A7 : date limite 9 septembre 2019 10h
    12. Performances janvier 2019 sur irene
      1. Tableau des performances NEMO sur Irene
      2. Tableau des performances IPSLCM5A2
      3. Tableau des performances IPSLCM6-LR
      4. Tableau des performances IPSLCM6-LR atmosphère/surfaces continentales
      5. Tableau des performances IPSLCM6-MR1 : LMDZ 256x256x79-eORCA1
      6. Tableau des performances IPSLCM6-HR atmosphère seule
      7. Tableau des performances LMDZORINCA_v6
      8. Tableau des performances ORCHIDEE offline sur Irene
      9. Document technique 2019
      10. Logiciels demandés
    13. Pour ada
      1. Tableau des performances IPSL-CM6
      2. Tableau des performances LMDZOR_v6
      3. Tableau des performances LMDZORINCA_v6
      4. Tableau des performances NEMO
      5. Tableau des performances DYNAMICO
    14. Demandes d'heures A5 : date limite 22 août 2018 11h
    15. Argumentaire pour une allocation dédiée pour fin 2018-2019-2020-2021
      1. Modélisation globale
      2. Modélisation régionale
      3. Allocation pluri-annuelle dédiée fin 2018-2019-2020-2021
      4. Simulations hors allocation multi-annuelle dédiée faisant l'objet de …
    16. Performances et estimations 2017
      1. Logiciels demandés, septembre 2017
      2. Résolutions 2017 et future
      3. Tableau des performances IPSL-CM6
      4. Tableau des performances LMDZOR_v6
      5. Tableau des performances LMDZORINCA_v6
      6. Tableau des performances NEMO eORCA025
      7. Tableau des performances DYNAMICO
      8. Exposé DARI 2017
      9. Ressources calcul disponibles en 2017
    17. Projet gencmip6
    18. Mésocentre IPSL
    19. Projet 0826
    20. Mais aussi à l'UPMC/SU
    21. Dossier technique
    22. Performances estimées 2016 :
    23. IPSLCM6 2016
      1. Tableau des résolutions
      2. Tableau des performances IPSLCM6
      3. Tableau des performances LMDZOR_v6
      4. Tableau des performances NEMO_v6
      5. Et pour les fichiers ?
    24. Particularités des centres
      1. IDRIS IBM - Ada
      2. TGCC Bull curie
        1. post-traitement aussi
      3. CINES Bull occigen
    25. Ressources dédiées CMIP6 à l'IPSL
      1. Demande
      2. 2018
      3. 2017
      4. 2016
      5. 2015
    26. Historique

Cette page liste quelques performances mesurées et estimées du modèle IPSL-CM6. Il rappelle également les ressources calcul disponibles au niveau national et les dates clés.

Dernière modifications

  • Préparation appel A16 et allocation complémentaire A15: date limite 7 février 2024 à minuit
    • Ressources disponibles
    • Performances des configurations IPSL sur irene (skl et amd) et jeanzay

Prochains appels Prace

Voir : https://prace-ri.eu/hpc-access/calls-for-proposals/

Demandes d'heures A16 : date limite 7 février 2024 minuit

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A16 (et pour des demandes complémentaires A15) est ouvert jusqu’au 7 février à minuit pour une utilisation de début mai 2024 à fin avril 2025 pour A16.

Pour les allocations A16 sont disponibles :

CentreMachine Description Heures disponibles
IDRISJean Zay GPU HPE CSL + V100 1 875 084
IDRISJean Zay GPU HPE CSL + A100 735 000
IDRISJean Zay CPU HPE CSL 18 684 000
TGCC Joliot-Curie Irene SKL Bull Skylake 186 696 000
TGCC Joliot-Curie Irene AMD Bull 714 208 000
TGCC Joliot-Curie Irene v100 Bull 244 000
CINES Adastra Genoa CPU HPE AMD 255 442 000
CINES Adastra MI250 GPU HPE AMD 3 528 000

Nous n'utilisons pas de GPU en production. La chaîne de calcul n'est pas disponible sur les calculateurs du CINES.

Performances juin 2020

Tableau des performances sur Irene-SKL

Configuration Nb total de coeurs Nn années simulées/jour Temps réel pour 10 ans Temps à demander pour 10 ans
IPSL-CM6.2-MR1 1200 8.8 28 h 33 600 h
IPSL-CM6.2-MR025 4720 11 22 h 103 900 h
IPSL-CM6.1.11-LR 976 16 15 h 14 800 h
IPSL-CM5A2-VLR 437 95 2.5h 1 200 h
eORCA1-LIM3-PISCES 433 ( 432 nemo + 1 xios ) 20 12 h 5 200 h
LMDZOR_v6.1.10-LR 576 20 12 h 7 000 h

Tableau des performances sur Irene-AMD

Configuration Nb total de coeurs Nn années simulées/jour Temps réel pour 10 ans Temps à demander pour 10 ans
IPSL-CM6.1.11-LR 1952 (dépeuplement x 2) 24 10 h 20 000 h
IPSL-CM5A2-VLR 604 97 2.5h 1 500 h
eORCA1-LIM3-PISCES 640 ( 502 nemo + 1 xios noeud dédié ) 23.5 10.2h 6600
eORCA025-LIM3-PISCES 3064 nemo dépeuplement x 2 + 32 xios dépeuplement x 16 ) 7.2 34h 230000 h
LMDZOR_v6.1.10-LR 1136 (dépeuplement x 2) 25 10 h 11 000 h

Tableau des performances sur JeanZay

Configuration Nb total de coeurs Nn années simulées/jour Temps réel pour 10 ans Temps à demander pour 10 ans
IPSL-CM6.1.11-LR 1071 24 10 h 10 800 h
IPSL-CM5A2-VLR 399 93 2.6h 1 100 h
eORCA1-LIM3-PISCES 428 40 6 h 2 600 h
LMDZOR_v6.1.10-LR 711 23 10.5 h 7 500 h

Demandes d'heures A14 : date limite 14 février 2023 11h

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A14 (et pour des demandes complémentaires A13) est ouvert jusqu’au 14 février à 11h pour une utilisation de début mai 2023 à fin avril 2024 pour A14.

Pour les allocations A14 sont disponibles :

CentreMachine Description Heures disponibles
IDRISJean Zay GPU HPE CSL + V100 6 370 000
IDRISJean Zay GPU HPE CSL + A100 775 480
IDRISJean Zay CPU HPE CSL 145 743 000
TGCC Joliot-Curie Irene SKL Bull Skylake 144 360 000
TGCC Joliot-Curie Irene AMD Bull 577 954 000
TGCC Joliot-Curie Irene v100 Bull 296 000
CINES Adastra Genoa CPU HPE AMD 243 076 000
CINES Adastra MI200 GPU HPE AMD 3 363 000

Nous n'utilisons pas de GPU en production. A noter le retour des heures CINES sur la nouvelle machine Adastra.

Demandes d'heures A13 : date limite 9 septembre 2022 11h

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A13 (et pour des demandes complémentaires A12) est ouvert jusqu’au 9 septembre 2022 à 11h pour une utilisation de début novembre 2022 à fin octobre 2023 pour A13.

Pour les allocations A13 sont disponibles :

CentreMachine Description Heures disponibles
IDRISJean Zay GPU HPE CSL + V100 5 740 000
IDRISJean Zay CPU HPE CSL 155 334 000
TGCC Joliot-Curie Irene SKL Bull Skylake 189 096 000
TGCC Joliot-Curie Irene KNL Bull Knights Landing 63 724 000
TGCC Joliot-Curie Irene AMD Bull 638 081 000
TGCC Joliot-Curie Irene v100 Bull 290 000
CINES Adastra MI200 HPE AMD 3 059 000

Nous n'utilisons à priori pas Irene KNL et GPU, Jean Zay GPU (sauf pour ceux qui veulent tester!). A noter le retour des heures CINES sur la nouvelle machine Adastra.

Demandes d'heures A11 : date limite 3 septembre 2021 11h

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A11 (et pour des demandes complémentaires A10) est ouvert jusqu’au 3 septembre 2021 à 11h pour une utilisation du 1er nov 2021 au 31 octobre 2022.

Pour les allocations A11 sont disponibles :

CentreMachine Description Heures disponibles
IDRISJean Zay GPU HPE CSL + V100 4 735 000
IDRISJean Zay CPU HPE CSL 155 510 000
TGCC Joliot-Curie Irene SKL Bull Skylake 150 710 000
TGCC Joliot-Curie Irene KNL Bull Knights Landing 141 123 000
TGCC Joliot-Curie Irene AMD Bull 631 392 000
TGCC Joliot-Curie Irene v100 Bull 306 000

Nous n'utilisons à priori pas Irene KNL et Jean Zay GPU (sauf pour ceux qui veulent tester!). A noter qu'il n'y a pas d'heures sur Occigen (CINES) sur cet appel à projets car la machine est en renouvellement.

Demandes d'heures A10 : date limite 7 septembre 2020 11h

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A9 (et pour des demandes complémentaires A8) est ouvert jusqu’au 12 février 2021 à 10h pour une utilisation du 1er mai 2021 au 30 avril 2022.

Pour les allocations A10 sont disponibles :

CentreMachine Description Heures disponibles
CINESOccigen Bull noeuds fins 24-core/28-core xxx
IDRISJean Zay GPU HPE CSL + V100 xxx
IDRISJean Zay CPU HPE CSL xxx
TGCC Joliot-Curie Irene SKL Bull Skylake xxx
TGCC Joliot-Curie Irene KNL Bull Knights Landing xxx
TGCC Joliot-Curie Irene AMD Bull xxx
TGCC Joliot-Curie Irene v100 Bull xxx

Nous n'utilisons a priori pas Irene KNL et Jean Zay GPU (sauf pour ceux qui veulent tester!).

Demandes d'heures A8 : date limite 7 février 2020 11h

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A8 (et pour des demandes complémentaires A7) est ouvert jusqu’au 7 février 2020 à 11h pour une utilisation du 1er mai 2020 au 30 avril 2021.

Pour les allocations A8 sont disponibles :

CentreMachine Description Heures disponibles Début de l'allocation Fin de l'allocation
CINESOccigen Bull noeuds fins 24-core/28-core 214382000 1 mai 2020 30 avr. 2021
IDRISJean Zay GPU HPE CSL + V100 1282000 1 mai 2020 30 avr. 2021
IDRISJean Zay CPU HPE CSL 148740000 1 mai 2020 30 avr. 2021
TGCC Joliot-Curie Irene SKL Bull Skylake 79342000 1 mai 2020 30 avr. 2021
TGCC Joliot-Curie Irene KNL Bull Knights Landing 62474000 1 mai 2020 30 avr. 2021
TGCC Joliot-Curie Irene AMD Bull 312550000 1 mai 2020 30 avr. 2021
TGCC Joliot-Curie Irene v100 Bull 313000 1 mai 2020 30 avr. 2021

Nous n'utilisons a priori pas Irene KNL et Jean Zay GPU (sauf pour ceux qui veulent tester!).

Performances janvier 2020

Tableau des performances sur Irene

Configuration Nb total de coeurs Nn années simulées/jour  Temps réel pour 10 ans Temps à demander pour 10 ans
IPSL-CM6.2-MR1 1200 8.8 28 h 33 600 h
IPSL-CM6.2-MR025 4720 11 22 h 103900 h
IPSL-CM6.1.11-LR 976 16 15 h 14 800 h
IPSL-CM5A2-VLR 437 95 2.5h 1 200 h
eORCA1-LIM3-PISCES 433 ( 432 nemo + 1 xios ) 20 12 h 5 200 h
LMDZOR_v6.1.10-LR 576 20 12 h 7 000 h

Tableau des performances sur JeanZay?

Configuration Nb total de coeurs Nn années simulées/jour Temps réel pour 10 ans Temps à demander pour 10 ans
IPSL-CM6.1.11-LR 1071 24 10 h 10 800 h
IPSL-CM5A2-VLR 399 93 2.6h 1 100 h
eORCA1-LIM3-PISCES 428 40 6 h 2 600 h
LMDZOR_v6.1.10-LR 711 23 10.5 h 7 500 h

Demandes d'heures A7 : date limite 9 septembre 2019 10h

Pour les allocations A7 sont disponibles :

Centre Machine Description Heures disponibles Début de l'allocation Fin de l'allocation
CINES Occigen Bull noeuds fins 24-core/28-core 214382000 1 nov. 2019 31 oct. 2020
IDRIS Jean Zay GPU HPE CSL + V100 1282000 1 nov. 2019 31 oct. 2020
IDRIS Jean Zay CPU HPE CSL 148740000 1 nov. 2019 31 oct. 2020
TGCC Joliot-Curie Irene SKL Bull Skylake 85693000 1 nov. 2019 31 oct. 2020
TGCC Joliot-Curie Irene KNL Bull Knights Landing 56244000 1 nov. 2019 31 oct. 2020
TGCC Joliot-Curie Irene AMD Bull 312550000 1 mars 2020 31 oct. 2020

Performances janvier 2019 sur irene

Tableau des performances NEMO sur Irene

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
eORCA1-LIM3-PISCES 433 ( 432 nemo + 1 xios ) 12 h 5 200 h
eORCA025-LIM3 1 302 ( 1 295 nemo + 7 xios ) 40 h 52100 h
eORCA025-LIM3-PISCES 1 302 ( 1 295 nemo + 7 xios ) 130 h 170000 h
eORCA025-LIM3-PISCES-CRS 860 ( 853 nemo + 7 xios ) 84 h 73 000 h

Tableau des performances IPSLCM5A2

IPSLCM5A2: chiffrages fournis par Pierre Sepulchre, 25 juillet 2018.

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
IPSLCM5A2 32x8 (LMDZ) + 60 (NEMO) +1 = 317 soit 7 noeuds 336 coeurs 3.09 h 1 040 h

Tableau des performances IPSLCM6-LR

Mesures janvier 2019 :

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
IPSL-CM6.1.8-LR 960 18 h 18 000 h avec workflow CMIP6, 5 000 s par an avec une marge

A noter : l'équilibrage des charges sur Irene est excellent. Il est obtenu avec la même configuration que sur curie : 71 tâches MPI et 8 OpenMP pour LMDZ, 360 tâches MPI pour NEMO et 12 tâches pour XIOS.

Tableau des performances IPSLCM6-LR atmosphère/surfaces continentales

Mesures janvier 2019 : chiffrages fournis par A. Sima (estimations à partir de RFMIP et AMIP)

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
IPSL-CM6.1.8-LR 576 = 71 x 8 (LMDZ) + 1 (XIOS) 12 h 7 000 h workflow CMIP6, sorties mensuelles
IPSL-CM6.1.8-LR 624 = 71 x 8 (LMDZ) + 12 x 3 (XIOS) 53 h 33 000 h workflow CMIP6, max de sorties (inst, 3hr, station, etc ...)

Tableau des performances IPSLCM6-MR1 : LMDZ 256x256x79-eORCA1

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
IPSL-CM6.1.8-MR1 1 200 27 h 32 000 h avec sorties très limitées, 9 655 s par an avec une marge, moyenne sur 250 ans de run sur Irene

A noter : ceci est obtenu avec : 128 tâches MPI et 8 OpenMP pour LMDZ, 171 tâches MPI pour NEMO et 1 tâche pour XIOS.

Tableau des performances IPSLCM6-HR atmosphère seule

Mesures issues de HighResMIP, avec Workflow CMIP6.

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
CM6.1-ATM-H 2 512 (180*12 + 44*8) 75 h 200 000 h avec workflow CMIP6, mesuré sur la simulation CM6.1-ATM-HR-highresSST-present.4

Tableau des performances LMDZORINCA_v6

Les informations sont disponibles ici

Tableau des performances ORCHIDEE offline sur Irene

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
Offline historique, forçage 2 degree global 32 ( 31 orchidee + 1 xios ) 1h 32h
Offline historique, forçage 0.5 degree global 64 ( 63 orchidee + 1 xios ) 7h 450h

Document technique 2019

Voir là le dossier technique mis à jour le 10/1/2019 pour inclure IPSLCM6-LR en production sur Irene : dossier technique IPSL en pdf et dossier technique IPSL en doc

Logiciels demandés

Documents 2017 toujours valables

Pour ada

Les performances reprises ici sont celles de 2017 valables pour ada'''

Configuration Océan Atmosphère Nb OpenMP atm Nb MPI atm Nb MPI oce Nb IO server Nb total de coeurs Commentaire
IPSL-CM6.0.10-LR 362 332 75 144 143 79 8 71 480 1 (1 049) 1 056 Mesuré
IPSL-CM6-MR/eORCA1 362 332 75 256 256 79 8 128 220 1 (1 245) 1 248 Mesure août 2017 sur ada
IPSL-CM6-MR/eORCA025 1442 1207 75 256 256 79 8 128 1295 1 1 024 + 1 295 = 1645 Estimation 2017
IPSL-CM6-HR / atmosphère seule 512 360 79 8 180 1 1 441 (1 472) Estimation 2017

Tableau des performances IPSL-CM6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
IPSL-CM6.0.10-LR 1 056 19 h 21 500 h Mesuré sur CM6010.2-LR-pdCtrl-01, +5% post-traitement inclus
IPSL-CM6-MR/eORCA1 1 248 42 h 55 000 h Mesure sur ada inclus +5% post-traitement
IPSL-CM6-MR/eORCA025 1 648 140 h 238 000 h Estimation 2017
IPSL-CM6-HR /atmosphère seule 1 472 100 h 155 000 h Estimation 2017

Sans oublier IPSLCM5A2, chiffrage pour tenir compte des pas de temps réduits pour paléo (2 mn pour dynamique LMDZ et 1h20 pour NEMO) :

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
IPSLCM5A2 304 5.9 h 1 800 h

Tableau des performances LMDZOR_v6

Configuration Résolution Nb total de coeurs Nb coeurs facture Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZOR_v6 144x142x79 569 (71 mpi*8omp gcm) +1mpi xios 576 17 h 11 000 h Revu avec temps type IPSLCM6.0.10, ajouter 5% pour simulation guidé
LMDZOR_v6 256x256x79 1 024 (124mpi*8omp gcm) +1mpi xios 34 h 40 000 h Mesure sur ada inclus +5% post-traitement

Tableau des performances LMDZORINCA_v6

Configuration Résolution Nb total de coeurs Nb coeurs facture Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZORINCA_v6 AER 144x142x79  377 (47mpi*8omp gcm) + 1 mpi xios 384 87h 34 000 h temps calculé avec LMDZORINCA_v6.0.11
LMDZORINCA_v6 NMHC_AER 96x95x39 129 (32mpi*4 omp gcm) + 1 mpi xios 144  51h  7 500 h temps calculé avec LMDZORINCA_v6.0.11

Tableau des performances NEMO

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
eORCA1-LIM3-PISCES 512 ( 496 nemo + 16 xios ) 14 h 7 200 h
eORCA1-OFF-PISCES 498 ( 496 nemo + 2 xios ) 4 h 2 000 h

Tableau des performances DYNAMICO

Demandes d'heures A5 : date limite 22 août 2018 11h

Voir : https://www.edari.fr/

L’appel à projets pour l’allocation A5 (et pour des demandes complémentaires A4) est ouvert jusqu’au mercredi 22 août 2018 à 11h. Un peu plus de 600 millions d’heures de calcul sont disponibles dans le cadre de l’allocation A5, pour une utilisation du 1er novembre 2018 au 31 octobre 2019.

Pour obtenir une allocation d’heures à l'IDRIS, les porteurs de projets sont invités à chiffrer leurs besoins sur 1 an en heures équivalentes ada (ou Turing). Les allocations seront sur 1 an, sur les 2 machines successivement en tenant compte du ratio retenu.

Pour les allocations A5 sont disponibles :

  • 63,6 millions d’heures sur irene Skylake
  • 66,9 millions d'heures sur Irene KNL ===> que nous n'utiliserons pas a priori
  • 25,4 millions d’heures sur ada
  • 264 millions d'heures sur Turing ===> que nous n'utilisons pas
  • 215 millions d’heures sur occigen

Pour les extensions des projets A4 pour 6 mois : novembre 2018 à avril 2019, sont disponibles :

  • 3,6 millions d’heures sur ada
  • 24 millions d’heures sur occigen
  • 15,6 millions d’heures sur irene Skylake

L’appel à projets pour l’allocation A6 sera ouvert dans 6 mois pour une allocation à partir de mai 2019.

Argumentaire pour une allocation dédiée pour fin 2018-2019-2020-2021

Modélisation globale

Les projets CMIP5 et CMIP6 ont chacun généré une intense activité de développement du modèle de climat de l'IPSL suivie d'une période de production de simulations de référence. Il y a en effet nécessité de concentrer l'essentiel de la production CMIP sur une période bornée dans le temps de manière à suivre le calendrier international et à réaliser un ensemble complet de simulations climatiques avec une version donnée du modèle (DECK et MIPs en ce qui concerne CMIP6). Par contre, avoir des périodes de développement de modèle trop concentrées dans le temps n'apparaît pas comme un mode de fonctionnement idéal. Cela génère des risques par rapport au calendrier international, une absence de recul sur certains choix effectués, et du stress pour les équipes travaillant sur le modèle. Il nous semble plus approprié de garder un fond d'activité de développement de modèle entre deux projets CMIP de manière à lisser dans le temps l'évolution du modèle de climat (qui ne doit pas être seulement vu comme la juxtaposition de ses composantes atmosphérique, océanique, et continentale). De plus, il est important de pouvoir documenter les évolutions du modèle et attribuer ses changements de propriétés à des changements de paramétrisations ou de résolution. Cette vision est aussi celle du Working Group on Climate Modelling qui a conçu les expériences de référence du DECK de manière à ce qu'elles puissent être menées régulièrement (Eyring et al., 2016) :

The persistence and consistency of the DECK will make it possible to track changes in performance and response characteristics over future generations of models and CMIP phases. Although the set of DECK experiments is not expected to evolve much, additional experiments may become enough well established as benchmarks (routinely run by modelling groups as they develop new model versions) so that in the future they might be migrated into the DECK. The common practice of including the DECK in model development efforts means that models can contribute to CMIP without carrying out additional computationally burdensome experiments. All of the DECK and the historical simulations were included in the core set of experiments performed under CMIP5 (Taylor et al., 2012), and all but the abrupt-4×CO2 simulation were included in even earlier CMIP phases.

Nous envisageons à l'issu du projet CMIP6 de développer 3 versions du modèle IPSL-CM par an de manière à intégrer les développements effectués à tour de rôle par les composantes, comme le CO2 atmosphérique interactif, le cycle de l'azote, le changement de coeur dynamique (DYNAMICO en lieu de l'ancienne dynamique atmosphérique), etc... Nous savons par expérience qu'une nouvelle version coûte en moyenne environ 2000 années de simulations (par ex. 20 tests techniques de 1 an, 9 tests atmosphériques de 20 ans, 9 tests couplés de 100 ans, et 2 tests couplés de 200 ans pour ajuster un certain nombre de paramètres atmosphériques et océaniques et un spin-up de 500 ans). Plusieurs tests longs sont nécessaires car certaines propriétés émergentes du système (THC, biais de l'océan profond) mettent longtemps à se manifester. Les tests techniques englobent ce qui était fait historiquement dans le projet "gen0926/rpsl" qui s’intitule "Développement du système couplé IPSL et partage de données".

Il nous semble également approprié de réaliser un DECK par an (soit un toutes les 3 versions du modèle). Un DECK requiert un supplément d'environ 1000 années de simulations (500 ans de piControl, 150 ans de abrupt4co2, 150 ans de 1pctco2, 165 ans de historical et 35 ans d'AMIP).

Cela fait donc un total de 7000 années de simulation IPSL-CM6 par an, soit 14 millions d'heures équivalent curie en résolution LR, et 52 millions d'heures en résolution MR. On envisage aussi 100 années de simulations en HR d'ici à 2021, soit 30 millions d'heures.

Certaines expériences liées à CMIP6 nécessitent en outre une réactualisation régulière des expériences. Un des volets du protocole est lié aux expériences de prévision décennnale (DCPP), il implique ainsi de répéter les expériences de prévision chaque année. Il s'agit de tirer partie de l'année écoulée pour pouvoir actualiser les conditions initiales des prévisions, et donc reculer d'une année l'échéance de prévision. Le protocole DCPP devient donc plus continu. Cela implique 10 simulations de 10 ans à produire chaque année, soit 100 ans / année. Cependant, selon le type d'anomalies climatiques détectées dans les prochaines années, le protocole d'initialisation développé dans le cadre de CMIP6 au vu des anomalies moyennes des 60 dernières années pourrait nécessité d'être revu, et ce afin d'optimiser en continu les prévisions futures. Cela impliquera une nouvelle simulation de construction des états initiaux (60 années) et une nouvelle série de prévisions rétrospectives (30 dates de prévision * 5 membres * 10 ans = 1500 années de simulations), indispensables pour débiaiser la prévision future. A cause de ce coût, cette réévaluation de la procédure d'initialisation des prévision ne sera envisagée qu'une fois au cours des 3 prochaines années L'aspect semi-opérationnel du volet B du "Decadal Climate Prediction Project" implique donc 1500 + 60 + 100*3 = 1860 années de simulations à répartir sur les 3 prochaines années (soit 100, 100 et 1660 années en 2019-2020-2021, correspondant à 0,2, 0,2 et 3,3 millions d'heures en résolution LR).

Modélisation régionale

En parallèle du développement des versions successives du modèle IPSL-CM6, la régionalisation des simulations CMIP5/CMIP6 se poursuit dans le cadre de Copernicus. Cela correspond à xxx simulations de xxx années à la résolution xxx, soit 5 millions d'heures équivalent curie par an.

Allocation pluri-annuelle dédiée fin 2018-2019-2020-2021

Sauf mention contraire, toutes les heures sont des heures équivalent curie. La conversion en heures curie-2 n'est pas encore connue pour les modèles IPSL-CM6 et WRF mais on peut utiliser un facteur 2 pour obtenir une première estimation.

Dans le cadre de l'infrastructure CLIMERI-France, nous avons besoin d'une allocation pluri-annuelle offrant la visibilité requise et permettant de réaliser :

  • 7000 années IPSL-CM6 par an, soit 14 millions d'heures pour le LR et 52 millions pour le MR
  • 1860 années IPSL-CM6-LR réparties sur 3 ans (2019-2021) pour la prévision décennale
  • des simulations "opérationnelles" CORDEX-Europe, pour 5 millions heures.

Nous demandons donc sur la machine curie-2 une allocation dédiée de :

  • 4 millions d'heures pour le dernier trimestre 2018 (trusting, 1/4 du LR)
  • 38 millions d'heures pour 2019 (trusting, 1/2 LR + 1/2 MR, décennal en LR, CORDEX)
  • 57 millions d'heures pour 2020 (trusting, MR, décennal en LR, CORDEX)
  • 91 millions d'heures pour 2021 (trusting, MR, réinitialisation du décennal en LR, CORDEX, HR)

soit 2, 19, 29 et 46 millions d'heures curie-2.

En parallèle, nous chiffrons des besoins de stockage de l'ordre de

  • xxx Po

Simulations hors allocation multi-annuelle dédiée faisant l'objet de demandes DARI ou PRACE

L'allocation dédiée évoquée ci-dessus n'a pas vocation à couvrir tous les besoins de l'IPSL. Les activités suivantes doivent continuer à faire l'objet de demandes DARI ou PRACE:

  • Développement des composantes
  • Projets scientifiques
  • Run démo à très haute résolution
  • ...

Nous savons d'expérience que les besoins en calcul évoluent par pallier à chaque projet CMIP, ce qui nous permet d'anticiper des besoins totaux de l'ordre de 100 millions d'heures équivalent curie à compter de 2019 qui viendront compléter la demande d'allocation dédiée (soit des demandes agrégées de l'ordre de xx millions d'heures pour DARI et PRACE au niveau de l'activité climat de l'IPSL).

Performances et estimations 2017

Voir là le dossier technique mis à jour le 2/8/2017 : dossier technique IPSL en pdf et dossier technique IPSL en doc

Les performances suivantes sont pour curie et ada.

Logiciels demandés, septembre 2017

Résolutions 2017 et future

Configuration Océan Atmosphère Nb OpenMP atm Nb MPI atm Nb MPI oce Nb IO server Nb total de coeurs Commentaire
IPSL-CM6.0.10-LR 362 332 75 144 143 79 8 71 480 1 (1 049) 1 056 Mesuré
IPSL-CM6-MR/eORCA1 362 332 75 256 256 79 8 128 220 1 (1 245) 1 248 Mesure août 2017 sur ada
IPSL-CM6-MR/eORCA025 1442 1207 75 256 256 79 8 128 1295 1 1 024 + 1 295 = 1645 Estimation 2017
IPSL-CM6-HR / atmosphère seule 512 360 79 8 180 1 1 441 (1 472) Estimation 2017

Tableau des performances IPSL-CM6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
IPSL-CM6.0.10-LR 1 056 19 h 21 500 h Mesuré sur CM6010.2-LR-pdCtrl-01, +5% post-traitement inclus
IPSL-CM6-MR/eORCA1 1 248 42 h 55 000 h Mesure sur ada inclus +5% post-traitement
IPSL-CM6-MR/eORCA025 1 648 140 h 238 000 h Estimation 2017
IPSL-CM6-HR /atmosphère seule 1 472 100 h 155 000 h Estimation 2017

Sans oublier IPSLCM5A2, chiffrage pour tenir compte des pas de temps réduits pour paléo (2 mn pour dynamique LMDZ et 1h20 pour NEMO) :

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
IPSLCM5A2 304 5.9 h 1 800 h

Tableau des performances LMDZOR_v6

Configuration Résolution Nb total de coeurs Nb coeurs facture Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZOR_v6 144x142x79 569 (71 mpi*8omp gcm) +1mpi xios 576 17 h 11 000 h Revu avec temps type IPSLCM6.0.10, ajouter 5% pour simulation guidé
LMDZOR_v6 256x256x79 1 024 (124mpi*8omp gcm) +1mpi xios 34 h 40 000 h Mesure sur ada inclus +5% post-traitement

Tableau des performances LMDZORINCA_v6

Configuration Résolution Nb total de coeurs Nb coeurs facture Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZORINCA_v6 AER 144x142x79  377 (47mpi*8omp gcm) + 1 mpi xios 384 87h 34 000 h temps calculé avec LMDZORINCA_v6.0.11
LMDZORINCA_v6 NMHC_AER 96x95x39 129 (32mpi*4 omp gcm) + 1 mpi xios 144  51h  7 500 h temps calculé avec LMDZORINCA_v6.0.11

Tableau des performances NEMO eORCA025

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
eORCA1-LIM3-PISCES 512 ( 496 nemo + 16 xios ) 14 h 7 200 h
eORCA1-OFF-PISCES 498 ( 496 nemo + 2 xios ) 4 h 2 000 h
eORCA025-LIM3 1 302 ( 1 295 nemo + 7 xios ) 50 h 75 000 h
eORCA025-LIM3-PISCES 1 302 ( 1 295 nemo + 7 xios ) 140 h 200 000 h

Tableau des performances DYNAMICO

Concernant le coût de DYNAMICO : les estimations dont je dispose sont basées sur des simus aquaplanètes ancienne physique à résolution modérée, mais elles indiquent que :

  • la partie dynamique n’est pas plus chère que LMD-Z (elle était moins chère il y a 2-3 ans mais Yann a amélioré LMD-Z depuis donc la différence n’est peut-être pas énorme)
  • mais elle est plus scalable

Sachant que la physique est la même, une approche prudente consiste à estimer la consommation totale comme comparable à celle de LMD-Z, avec un gain à attendre sur le nombre d’années/jours en mettant plus de CPUs.

Thomas

Exposé DARI 2017

  1. Millour a présenté au LMD la campagne DARI 2017. Voir exposé en pdf

Ressources calcul disponibles en 2017

  • Procédure nationale (tier 1) : https://www.edari.fr/
    • Attention au changement de calendrier et de procédure.
    • Note de cadrage 2017 : http://www.genci.fr/sites/default/files/Courrier-cadrage-campagne-genci.pdf
    • Date limite : entre le 3 et le 30 octobre 2016
    • A1 : 10 mois de 1/1/2017 à 31/10/2017, suivi de A3 en novembre 2017
    • A2 : 16 mois sur ada et occigen, de 1/1/2017 à 30/4/2018, suivi de A4 en mai 2018. rien sur curie car attente de curie2.
    • il faut faire sa demande en A1 ou A2 mais chiffrer le cas où on serait transféré de l'un à l'autre
    • bien préciser sur quelle machine vous pouvez travailler : l'environnement IPSL libIGCM n'est pas fait pour Occigen
Estimation des ressources disponibles Estimation des ressources disponibles
Centre Supercalculateurs DARI 2017 - A1 DARI 2017 - A2
CINES Bull - Occigen 239 455 000 313 468 000
IDRIS IBM Noeuds larges - Ada 31 134 000 40 757 000
IBM BG/Q - Turing 303 217 000 396 939 000
TGCC Bull - Curie nœuds fins 201 376 000 -

Tableau : PRACE systems available in this Call:

System Architecture Site (Country) Core Hours Node Hours
Curie Bull Bullx cluster GENCI@CEA (FR) 113 million 7 million
Hazel Hen Cray XC40 System GCS@HLRS (DE) 57 million 2.4 million
Juqueen IBM BlueGene/Q system GCS@JSC (DE) 350 million 4.6 million
Marconi Lenovo System CINECA (IT) 630 million (KNL) 9.2 million
35 million (Broadwell) 1 million
MareNostrum IBM System X iDataplex BSC (ES) 316 million T.B.D.
Piz Daint Cray XC30 System CSCS (CH) 476 million 7 million
SuperMUC IBM System X iDataplex/ Lenovo NextScale GCS@LRZ (DE) 30 million (SuperMUC 1) 1.9 million
14 million (SuperMUC 2) 0.5 million

Projet gencmip6

Voir détails des ressources pour le projet CMIP6 à l'IPSL en fin de page.

Mésocentre IPSL

Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. N'hésitez pas à le citer dans votre demande d'heures. Il suffit juste de le sélectionner dans la liste des mésocentres proposés sur le site WWW.

Projet 0826

Le projet 0826, intitulé : "Développement du système couplé IPSL et partage de données." demande un petit peu d'heures sur toutes les machines disponibles et les espaces nécessaires pour les données partagées. Si vous voulez tester une machine : turing ou occigen, par exemple, n'hésitez pas à demander à en faire partie. contact MA Foujols.

Mais aussi à l'UPMC/SU

Dossier technique

Dossier technique pour les demandes d'heures 2017. Avec les performances IPSLCM6. Version 1 du 6/10/2016 : dossier technique IPSL en pdf et dossier technique IPSL en doc

Performances estimées 2016 :

Les 3 machines ada (IDRIS), curie (TGCC) et occigen (CINES) ont presque les mêmes performances. Par souci de simplicité on donne un seul tableau de performances. Voir plus loin les spécificités des centres.

IPSLCM6 2016

Les performances ci-dessous sont fait a base des modèles en aout 2016.

Tableau des résolutions

Configuration Océan Atmosphère Nb OpenMP atm Nb MPI atm Nb MPI oce Nb IO server Nb total de coeurs
IPSLCM5A2 (idem IPSLCM5A-LR CMIP5) 182 142 31 96 95 39 8 32 45 1 304
IPSLCM5A2-chimie 182 142 31 96 95 39 8 32 45 1 304
IPSLCM6-LR 362 332 75 144 142 79 8 47 180 1 (557) 560
IPSLCM6-LR et aérosols interactifs 362 332 75 144 142 79 8 47 180 1 560
IPSLCM6-MR 362 332 75 256 256 79 8 86 180 1 (869) 880
IPSLCM6-HR / atmosphère seule 512 360 79 8 120 1 (961) 976

Tableau des performances IPSLCM6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
IPSLCM5A2 304 4.5 h 1 500 h
IPSLCM5A2-chimie 304 70h 21 280 h
IPSLCM6-LR 560 44 h 27 000 h
IPSLCM6-LR et aérosols interactifs 560 190 h (estimation) 105 840 h
IPSLCM6-MR 880 80 h 76 000 h (estimation revue en 2016)
IPSLCM6-HR / atmosphère seule 976 180 h 195 000 h (estimation revue en 2016)

Tableau des performances LMDZOR_v6

Configuration Resolution Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZOR_v6 144x142x79 377 (47mpi*8omp gcm +1mpi xios, soit 12 noeuds entiers) 34 h 14 000 h Mise en place comme pour IPSLCM6.0.6
LMDZOR_v6 96x95x79 249 (31mpi*8omp gcm +1mpi xios, soit 8 noeuds entiers) 19 h 5 000 h Estimation mise en place equivalent au IPSLCM6.0.6
LMDZOR_v6 96x95x39 125 (31mpi*4omp gcm +1mpi xios, soit 4 noeuds entiers) 14 h 2 000 h Mise en place avec NPv3.2 et CWRR

Tableau des performances NEMO_v6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
eORCA1-LIM3-PISCES 512 ( 496 nemo + 16 xios ) 14 h 7200 h
eORCA1-OFF-PISCES 498 ( 496 nemo + 2 xios ) 4 h 2000 h

Et pour les fichiers ?

Configuration Océan Atmosphère Facteur multiplicatif fichiers atm 3D atm 2D Facteur multiplicatif fichiers océan 3D océan 2D Commentaire
IPSLCM5A2 182 142 31 96 95 39 1 1 1 1
IPSLCM6-LR 362 332 75 144 142 79 4,5 2,2 10 4 100 Go pour 1 an avec sorties par défaut 2016
IPSLCM6-LR et aérosols interactifs 362 332 75 144 142 39 2,2 et aérosols 2,2 et aérosols 10 4
IPSLCM6-LR et chimie 362 332 75 144 142 39 2,2 et chimie 2,2 et chimie 10 4
IPSLCM6-MR 362 332 75 280 280 79 17 4 10 4
IPSLCM6-HR 1442 1021 75 280 280 79 17 4 130 54

Particularités des centres

IDRIS IBM - Ada

  • La machine va aussi vite que curie.
  • Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements.
  • Rappel : il faut de l'ordre de 20 To par personne sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.

TGCC Bull curie

  • Il faut bien préciser les besoins, en particulier en production :
    • Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres lorsque le projet est 'en avance' dans sa consommation (ccc_myproject).
  • Une demande collective unique d'extension du nombre d'inodes IPSL sera faite fin 2016. A suivre.
    • Pour avoir plus de quotas sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir. De plus, toute dérogation a une date limite. 31/1/2017 pour la plupart. Attention à être inclus dans la demande d'extension inodes IPSL annuelle.
    • ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
      > ccc_quota
      Disk quotas for user xxxxxx (uid xxxxx):
      
                   ------------------- SPACE --------------------  ------------------- INODE --------------------
       Filesystem       usage        soft        hard       grace     entries        soft        hard       grace
       ----------       -----        ----        ----       -----     -------        ----        ----       -----
             home     543.34M          3G          3G           -           -           -           -           - 
          scratch       1.56T         20T         20T           -      76.03k          2M          2M           - 
             work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           - 
            store           -           -           -           -     512.61k        550k        551k           - 
      
      Account scoring:
      ----------------
      Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail
      store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4
      
      ...
      

post-traitement aussi

  • Dans la chaîne IPSL, les post-traitements se feront sur curie. Il faut donc demander quelques heures en plus (5%) pour le post-traitement.

CINES Bull occigen

Il est possible de demander des heures en 2017 sur cette machine. La chaîne complète ne sera pas portée mais il est possible de compiler les modèles IPSL sur occigen. A savoir :

  • peu d'expérience des serveurs de fichiers du CINES à ce jour.
  • un datanode ESGF existe au CINES
  • pas d'environnement de production IPSL (libIGCM)

Ressources dédiées CMIP6 à l'IPSL

Demande

Voir note n° 32 : stratégie calcul en modélisation du climat (synthèse et document technique) http://icmc.ipsl.fr/index.php/publications/reports-notes/scientific-notes

2018

Mise en réserve :

  • 8 millions d'heures ada
  • 96 millions d'heures curie

2017

  • 8 millions d'heures ada
  • 96 millions d'heures curie

2016

Voir suivi consommation IDRIS et TGCC là : https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/igcmg/ConsoGENCI/index.html

En 2016, la 1ère phase des espaces dédiés CMIP6 a été installée au TGCC. Il s'agit de GENCMIP6_HOME GENCMIP6_CCCWORKDIR et GENCMIP6_CCCSTOREDIR et ils sont gérés par quota groupe.

2015

  • 2eme semestre :
    • 12 millions d’heures curie_nf, sorties minimales (700 To), cela correspond à 6 000 ans de couplé IPSLCM6-LR.
    • 2 millions d’heures ada, sorties normales, cela correspond à 1 000 ans de couplé IPSLCM6-LR et cela produit 300 To.
  • 1er semestre :
    • 5 millions d'heures curie_nf et 270 To.

Historique

  • 6/2018 : préparation appel A5
  • 7/2017 : préparation appel A3
  • 18/3/2016 : ajout informations ressources dédiées CMIP6 à l'IPSL
  • 20/10/2015 : vérification des ressources IPSLCM6-VLR et IPSLCM6-LR et mise à jour doc technique.
  • 5/10/2015 : Ressources disponibles en 2016
  • 7/10/2014 :
    • modification chiffrage IPSLCM6-VLR
    • ajout chiffrage IPSLCM6-XLR, idem IPSLCM5A-MR, configuration a priori non supportée.

Pour mémoire : les performances de 2014 pour IPSL-CM5A : wiki:PerformancesIPSLCM5A.

Last modified 2 months ago Last modified on 01/19/24 14:24:24

Attachments (23)