wiki:PerformancesIPSLCM6

Version 113 (modified by oboucher, 7 years ago) (diff)

--

Performances IPSL-CM6 et demandes d'heures y compris CMIP6

Cette page liste quelques performances mesurées et estimées du modèle IPSLCM6. Il rappelle également les ressources calcul disponibles au niveau national et les dates clés. Enfin, il inclut les informations pour l'allocation dédiée à CMIP6.

Modifications

  • Ajout d'un argumentaire pour une allocation dédiée (OB)
  • Ajout du paragraphe : préparation de la suite de CMIP6 pour 2019 (MAF)
  • Ajout demandes d'heures A3 : date limite 5 septembre 2017 (MAF)

Préparation de l'après CMIP6 pour 2019-2021

Résolutions pour 2019

Configuration Océan Atmosphère Nb OpenMP atm Nb MPI atm Nb MPI oce Nb IO server Nb total de coeurs Commentaire
IPSL-CM6.0.10-LR 362 332 75 144 143 79 8 71 480 1 (1049) 1056 Mesuré
IPSL-CM6-MR/ORCA1 362 332 75 256 256 79 8 128 480 1 (1505) 1536 Estimation 2017
IPSL-CM6-MR/ORCA025 1442 1207 75 256 256 79 8 128 1295 1 1024 (à diviser par3?) + 1295 = 1645 Estimation 2017
IPSL-CM6-HR / atmosphère seule 512 360 79 8 180 1 1440 Estimation 2016 à revoir

Tableau des performances IPSL-CM6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Commentaire
IPSL-CM6.0.10-LR 1 056 19 h 21 500 h Mesuré sur CM6010.2-LR-pdCtrl-01, +10% post-traitement inclus
IPSL-CM6-MR/ORCA1 1 536 34 h 57 000 h Estimation 2017 , +10% inclus
IPSL-CM6-MR/ORCA025 1648 140 h 238 000 h Avec eORCA025 à 2 ans par jour et LMDZ à 7 ans par jour, veut-on cela?
IPSL-CM6-HR / atmosphère seule 1 440 180 h 195 000 h A revoir

Tableau des performances LMDZOR_v6

Configuration Resolution Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZOR_v6 144x142x79 377 (71 mpi*8omp gcm) +1mpi xios 19 h 8 000 h Revu avec temps type IPSLCM6.0.10
LMDZOR_v6 256x256x79 1024 (124mpi*8omp gcm) +1mpi xios 34 h 38 000 h Estimation 2017 (FH sur ada)

Tableau des performances NEMO eORCA025

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
eORCA1-LIM3-PISCES 512 ( 496 nemo + 16 xios ) 14 h 7 200 h
eORCA1-OFF-PISCES 498 ( 496 nemo + 2 xios ) 4 h 2 000 h
eORCA025-LIM3-PISCES 1302 ( 1295 nemo + 7 xios ) 140 h 200 000 h

Tableau des performances DYNAMICO

A faire

Argumentaire pour une allocation dédiée pour fin 2018-2019-2020-2021

Les projets CMIP5 et CMIP6 ont chacun généré une intense activité de développement du modèle de climat de l'IPSL suivie d'une période de production de simulations de référence. Il y a en effet nécessité de concentrer l'essentiel de la production CMIP sur une période bornée dans le temps de manière à suivre le calendrier international et à réaliser un ensemble complet de simulations climatiques avec une version donnée du modèle (DECK et MIPs en ce qui concerne CMIP6). Par contre, avoir des périodes de développement de modèle trop concentrées dans le temps n'apparaît pas comme un mode de fonctionnement idéal. Cela génère des risques par rapport au calendrier international, une absence de recul sur certains choix effectués, et du stress pour les équipes travaillant sur le modèle. Il nous semble plus approprié de garder un fond d'activité de développement de modèle entre deux projets CMIP de manière à lisser dans le temps l'évolution du modèle de climat (qui ne doit pas être seulement vu comme la juxtaposition de ses composantes atmosphérique, océanique, et continentale). De plus, il est important de pouvoir documenter les évolutions du modèle et attribuer ses changements de propriétés à des changements de paramétrisations ou de résolution. Cette vision est aussi celle du Working Group on Climate Modelling qui a conçu les expériences de référence du DECK de manière à ce qu'elles puissent être menées régulièrement (Eyring et al., 2016) :

The persistence and consistency of the DECK will make it possible to track changes in performance and response characteristics over future generations of models and CMIP phases. Although the set of DECK experiments is not expected to evolve much, additional experiments may become enough well established as benchmarks (routinely run by modelling groups as they develop new model versions) so that in the future they might be migrated into the DECK. The common practice of including the DECK in model development efforts means that models can contribute to CMIP without carrying out additional computationally burdensome experiments. All of the DECK and the historical simulations were included in the core set of experiments performed under CMIP5 (Taylor et al., 2012), and all but the abrupt-4×CO2 simulation were included in even earlier CMIP phases.

Nous envisageons à l'issu du projet CMIP6 de développer 3 versions du modèle IPSL-CM par an de manière à intégrer les développements effectués à tour de rôle par les composantes, comme le CO2 atmosphérique interactif, le cycle de l'azote, le changement de coeur dynamique (DYNAMICO en lieu de l'ancienne dynamique atmosphérique), etc... Nous savons par expérience qu'une nouvelle version coûte environ 1000 années de simulations (5 tests de 100 ans pour ajuster un certain nombre de paramètres atmosphériques et un spin-up de 500 ans). Il nous semble approprié de réaliser un DECK par an (soit un toutes les 3 versions du modèle). Un DECK requiert un supplément d'environ 1000 années de simulations (500 ans de piControl, 150 ans de abrupt4co2, 150 ans de 1pctco2, 165 ans de historical et 35 ans d'AMIP). Cela fait donc un total de 4000 années de simulation IPSL-CM6 par an.

En parallèle du développement des versions successives du modèle IPSL-CM6, la régionalisation des simulations CMIP5/CMIP6 se poursuit dans le cadre de Copernicus. Cela correspond à xxx simulations de xxx années à la résolution xxx, soit 5 millions d'heures équivalent curie par an.

Allocation pluri-annuelle dédiée

Dans le cadre de l'infrastructure CLIMERI-France, nous avons besoin d'une allocation pluri-annuelle permettant de réaliser :

  • 4000 années IPSL-CM6 par an, soit
  • des runs CORDEX-Europe, pour 5,000,000 heures équivalent curie.

Simulations hors allocation multi-annuelle dédiée

  • Développement des composantes
  • Projets scientifiques

Demandes d'heures A3 : date limite 5 septembre 2017

Les projets de type A1 ont eu des allocations jusqu’au 31/10/2017. L’appel à projets pour l’allocation A3 est ouvert jusqu’au mardi 5 septembre 2017. Un peu plus de 600 millions d’heures de calcul sont disponibles dans le cadre de l’allocation A3, pour une utilisation du 1er novembre 2017 au 31 octobre 2018.

Le calculateur Curie au TGCC sera remplacé par un calculateur de nouvelle génération au 2e trimestre 2018. Pour l’allocation A3, deux machines seront donc successivement accessibles pour les porteurs de projets souhaitant obtenir des heures au TGCC :

  • Curie nœuds fins, utilisable sur les 6 premiers mois de l’allocation A3, soit de novembre 2017 à avril 2018 ;
  • Successeur de Curie, utilisable sur les 6 derniers mois de l’allocation A3, soit de mai à octobre 2018

Pour obtenir une allocation d’heures au TGCC, les porteurs de projets sont invités à chiffrer leurs besoins sur 1 an en heures équivalentes Curie nœuds fins. Le Comité d’attribution répartira l’attribution sur les 2 machines, en tenant compte d’un ratio de puissance d’un facteur 2 entre Curie et son successeur.

Pour les allocations A3 sont disponibles :

  • 104 millions d’heures sur curie
  • 25 millions d’heures sur ada
  • 210 millions d’heures sur occigen

Pour les extensions des projets A2, à faire aussi avant le 5 septembre, pour 6 mois : novembre 2017 à avril 2018, sont disponibles :

  • 5 millions d’heures sur ada
  • 39 millions d’heures sur occigen

L’appel à projets pour l’allocation A4 sera ouvert dans 6 mois pour une allocation à partir de mai 2018.

Exposé DARI 2017

  1. Millour a présenté au LMD la campagne DARI 2017. Voir exposé en pdf

Ressources calcul disponibles en 2017

  • Procédure nationale (tier 1) : https://www.edari.fr/
    • Attention au changement de calendrier et de procédure.
    • Note de cadrage 2017 : http://www.genci.fr/sites/default/files/Courrier-cadrage-campagne-genci.pdf
    • Date limite : entre le 3 et le 30 octobre 2016
    • A1 : 10 mois de 1/1/2017 à 31/10/2017, suivi de A3 en novembre 2017
    • A2 : 16 mois sur ada et occigen, de 1/1/2017 à 30/4/2018, suivi de A4 en mai 2018. rien sur curie car attente de curie2.
    • il faut faire sa demande en A1 ou A2 mais chiffrer le cas où on serait transféré de l'un à l'autre
    • bien préciser sur quelle machine vous pouvez travailler : l'environnement IPSL libIGCM n'est pas fait pour Occigen
Estimation des ressources disponibles Estimation des ressources disponibles
Centre Supercalculateurs DARI 2017 - A1 DARI 2017 - A2
CINES Bull - Occigen 239 455 000 313 468 000
IDRIS IBM Noeuds larges - Ada 31 134 000 40 757 000
IBM BG/Q - Turing 303 217 000 396 939 000
TGCC Bull - Curie nœuds fins 201 376 000 -

Tableau : PRACE systems available in this Call:

System Architecture Site (Country) Core Hours Node Hours
Curie Bull Bullx cluster GENCI@CEA (FR) 113 million 7 million
Hazel Hen Cray XC40 System GCS@HLRS (DE) 57 million 2.4 million
Juqueen IBM BlueGene/Q system GCS@JSC (DE) 350 million 4.6 million
Marconi Lenovo System CINECA (IT) 630 million (KNL) 9.2 million
35 million (Broadwell) 1 million
MareNostrum IBM System X iDataplex BSC (ES) 316 million T.B.D.
Piz Daint Cray XC30 System CSCS (CH) 476 million 7 million
SuperMUC IBM System X iDataplex/ Lenovo NextScale GCS@LRZ (DE) 30 million (SuperMUC 1) 1.9 million
14 million (SuperMUC 2) 0.5 million

Projet gencmip6

Voir détails des ressources pour le projet CMIP6 à l'IPSL en fin de page.

Mésocentre IPSL

Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. N'hésitez pas à le citer dans votre demande d'heures. Il suffit juste de le sélectionner dans la liste des mésocentres proposés sur le site WWW.

Projet 0826

Le projet 0826, intitulé : "Développement du système couplé IPSL et partage de données." demande un petit peu d'heures sur toutes les machines disponibles et les espaces nécessaires pour les données partagées. Si vous voulez tester une machine : turing ou occigen, par exemple, n'hésitez pas à demander à en faire partie. contact MA Foujols.

Mais aussi à l'UPMC/SU

Dossier technique

Dossier technique pour les demandes d'heures 2017. Avec les performances IPSLCM6. Version 1 du 6/10/2016 : dossier technique IPSL en pdf et dossier technique IPSL en doc

Performances estimées :

Les 3 machines ada (IDRIS), curie (TGCC) et occigen (CINES) ont presque les mêmes performances. Par souci de simplicité on donne un seul tableau de performances. Voir plus loin les spécificités des centres.

IPSLCM6

Tableau des résolutions

Configuration Océan Atmosphère Nb OpenMP atm Nb MPI atm Nb MPI oce Nb IO server Nb total de coeurs
IPSLCM5A2 (idem IPSLCM5A-LR CMIP5) 182 142 31 96 95 39 8 32 45 1 304
IPSLCM5A2-chimie 182 142 31 96 95 39 8 32 45 1 304
IPSLCM6-LR 362 332 75 144 142 79 8 47 180 1 (557) 560
IPSLCM6-LR et aérosols interactifs 362 332 75 144 142 79 8 47 180 1 560
IPSLCM6-MR 362 332 75 256 256 79 8 86 180 1 (869) 880
IPSLCM6-HR / atmosphère seule 512 360 79 8 120 1 (961) 976

Tableau des performances IPSLCM6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
IPSLCM5A2 304 4.5 h 1 500 h
IPSLCM5A2-chimie 304 70h 21 280 h
IPSLCM6-LR 560 44 h 27 000 h
IPSLCM6-LR et aérosols interactifs 560 190 h (estimation) 105 840 h
IPSLCM6-MR 880 80 h 76 000 h (estimation revue en 2016)
IPSLCM6-HR / atmosphère seule 976 180 h 195 000 h (estimation revue en 2016)

Tableau des performances LMDZOR_v6

Configuration Resolution Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans Comment
LMDZOR_v6 144x142x79 377 (47mpi*8omp gcm +1mpi xios, soit 12 noeuds entiers) 34 h 14 000 h Mise en place comme pour IPSLCM6.0.6
LMDZOR_v6 96x95x79 249 (31mpi*8omp gcm +1mpi xios, soit 8 noeuds entiers) 19 h 5 000 h Estimation mise en place equivalent au IPSLCM6.0.6
LMDZOR_v6 96x95x39 125 (31mpi*4omp gcm +1mpi xios, soit 4 noeuds entiers) 14 h 2 000 h Mise en place avec NPv3.2 et CWRR

Tableau des performances NEMO_v6

Configuration Nb total de coeurs Temps réel pour 10 ans Temps à demander pour 10 ans
eORCA1-LIM3-PISCES 512 ( 496 nemo + 16 xios ) 14 h 7200 h
eORCA1-OFF-PISCES 498 ( 496 nemo + 2 xios ) 4 h 2000 h

Et pour les fichiers ?

Configuration Océan Atmosphère Facteur multiplicatif fichiers atm 3D atm 2D Facteur multiplicatif fichiers océan 3D océan 2D Commentaire
IPSLCM5A2 182 142 31 96 95 39 1 1 1 1
IPSLCM6-LR 362 332 75 144 142 79 4,5 2,2 10 4 100 Go pour 10 ans avec sorties par défaut 2016
IPSLCM6-LR et aérosols interactifs 362 332 75 144 142 39 2,2 et aérosols 2,2 et aérosols 10 4
IPSLCM6-LR et chimie 362 332 75 144 142 39 2,2 et chimie 2,2 et chimie 10 4
IPSLCM6-MR 362 332 75 280 280 79 17 4 10 4
IPSLCM6-HR 1442 1021 75 280 280 79 17 4 130 54

Particularités des centres

IDRIS IBM - Ada

  • La machine va aussi vite que curie.
  • Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements.
  • Rappel : il faut de l'ordre de 20 To par personne sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.

TGCC Bull curie

  • Il faut bien préciser les besoins, en particulier en production :
    • Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres lorsque le projet est 'en avance' dans sa consommation (ccc_myproject).
  • Une demande collective unique d'extension du nombre d'inodes IPSL sera faite fin 2016. A suivre.
    • Pour avoir plus de quotas sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir. De plus, toute dérogation a une date limite. 31/1/2017 pour la plupart. Attention à être inclus dans la demande d'extension inodes IPSL annuelle.
    • ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
      > ccc_quota
      Disk quotas for user xxxxxx (uid xxxxx):
      
                   ------------------- SPACE --------------------  ------------------- INODE --------------------
       Filesystem       usage        soft        hard       grace     entries        soft        hard       grace
       ----------       -----        ----        ----       -----     -------        ----        ----       -----
             home     543.34M          3G          3G           -           -           -           -           - 
          scratch       1.56T         20T         20T           -      76.03k          2M          2M           - 
             work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           - 
            store           -           -           -           -     512.61k        550k        551k           - 
      
      Account scoring:
      ----------------
      Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail
      store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4
      
      ...
      

post-traitement aussi

  • Dans la chaîne IPSL, les post-traitements se feront sur curie. Il faut donc demander quelques heures en plus (5%) pour le post-traitement.

CINES Bull occigen

Il est possible de demander des heures en 2017 sur cette machine. La chaîne complète ne sera pas portée mais il est possible de compiler les modèles IPSL sur occigen. A savoir :

  • peu d'expérience des serveurs de fichiers du CINES à ce jour.
  • un datanode ESGF existe au CINES
  • pas d'environnement de production IPSL (libIGCM)

Ressources dédiées CMIP6 à l'IPSL

Demande

Voir note n° 32 : stratégie calcul en modélisation du climat (synthèse et document technique) http://icmc.ipsl.fr/index.php/publications/reports-notes/scientific-notes

2018

Mise en réserve :

  • 8 millions d'heures ada
  • 96 millions d'heures curie

2017

  • 8 millions d'heures ada
  • 96 millions d'heures curie

2016

Voir suivi consommation IDRIS et TGCC là : https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/igcmg/ConsoGENCI/index.html

En 2016, la 1ère phase des espaces dédiés CMIP6 a été installée au TGCC. Il s'agit de GENCMIP6_HOME GENCMIP6_CCCWORKDIR et GENCMIP6_CCCSTOREDIR et ils sont gérés par quota groupe.

2015

  • 2eme semestre :
    • 12 millions d’heures curie_nf, sorties minimales (700 To), cela correspond à 6 000 ans de couplé IPSLCM6-LR.
    • 2 millions d’heures ada, sorties normales, cela correspond à 1 000 ans de couplé IPSLCM6-LR et cela produit 300 To.
  • 1er semestre :
    • 5 millions d'heures curie_nf et 270 To.

Historique

  • 18/3/2016 ajout informations ressources dédiées CMIP6 à l'IPSL
  • 20/10/2015 : vérification des ressources IPSLCM6-VLR et IPSLCM6-LR et mise à jour doc technique.
  • 5/10/2015 : Ressources disponibles en 2016
  • 7/10/2014 :
    • modification chiffrage IPSLCM6-VLR
    • ajout chiffrage IPSLCM6-XLR, idem IPSLCM5A-MR, configuration a priori non supportée.

Pour mémoire : les performances de 2014 pour IPSL-CM5A : wiki:PerformancesIPSLCM5A.

Attachments (23)