= Performances IPSL-CM6 et demandes d'heures y compris CMIP6 = [[PageOutline]] Cette page liste quelques performances mesurées et estimées du modèle IPSLCM6. Il rappelle également les ressources calcul disponibles au niveau national et les dates clés. Enfin, il inclut les informations pour l'allocation dédiée à CMIP6 et la demande suivante. == Modifications == * Préparation appel A5 : date limite 22 août 2018 11h * Ressources disponibles * Performances des configurations IPSL * Ajout informations Prace * Déplacement des paragraphes CMIP6 à la fin de la page == Prochains appels Prace == Voir : http://www.prace-ri.eu/prace-project-access/ * Call 18 * Opening of the call: 4 September 2018 * Closing of the call: 30 October 2018, 10:00 Brussels time * Allocation period: From 2 April 2019 to 1 April 2020 * Call 19 * Opening of the call: 5 March 2019 * Closing of the call: 30 April 2019, 10:00 Brussels time * Allocation period: From 1 October 2019 to 30 September 2020 * Pour mémoire : Call 17 * Clos le 2 mai 2018 * Disponible sur irene : || System || Architecture || Site (Country) || Core Hours (node hours) || Minimum request || || Irene (Joliot Curie) – SKL || Bull Sequana X1000 || GENCI@CEA (FR) || 134 million (2.8 million) || 15 million core hours || == Demandes d'heures A5 : date limite 22 août 2018 11h == Voir : https://www.edari.fr/ L’appel à projets pour l’allocation A5 (et pour des demandes complémentaires A4) est ouvert jusqu’au mercredi 22 août 2018 à 11h. Un peu plus de 600 millions d’heures de calcul sont disponibles dans le cadre de l’allocation A5, pour une utilisation du 1er novembre 2018 au 31 octobre 2019. Pour obtenir une allocation d’heures à l'IDRIS, les porteurs de projets sont invités à chiffrer leurs besoins sur 1 an en heures équivalentes ada (ou Turing). Les allocations seront sur 1 an, sur les 2 machines successivement en tenant compte du ratio retenu. Pour les allocations A5 sont disponibles : * 63,6 millions d’heures sur irene Skylake * 66,9 millions d'heures sur Irene KNL ===> que nous n'utiliserons pas a priori * 25,4 millions d’heures sur ada * 264 millions d'heures sur Turing ===> que nous n'utilisons pas * 215 millions d’heures sur occigen Pour les extensions des projets A4 pour 6 mois : novembre 2018 à avril 2019, sont disponibles : * 3,6 millions d’heures sur ada * 24 millions d’heures sur occigen * 15,6 millions d’heures sur irene Skylake L’appel à projets pour l’allocation A6 sera ouvert dans 6 mois pour une allocation à partir de mai 2019. == Performances juillet 2018 sur irene == === Tableau des performances NEMO eORCA025 sur Irene === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''eORCA1-LIM3-PISCES''' || 433 ( 432 nemo + 1 xios ) || 12 h || '''5 200 h'''|| || '''eORCA025-LIM3-PISCES-CRS''' || 860 ( 853 nemo + 7 xios ) || 84 h || '''73 000 h'''|| || '''eORCA025-LIM3-PISCES''' || 1 302 ( 1 295 nemo + 7 xios ) || ??? || '''???'''|| === Tableau des performances IPSLCM5A2 === IPSLCM5A2: chiffrages fournis par Pierre Sepulchre, 25 juillet 2018. || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''IPSLCM5A2''' || 32x8 (LMDZ) + 60 (NEMO) +1 = 317 soit 7 noeuds 336 coeurs || 3.09 h|| '''1 040 h'''|| === Tableau des performances IPSLCM6-LR === 1/8/2018 En attendant les tests, prenez les valeurs de '''curie''' soit : || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Commentaire || || '''IPSL-CM6.1.5-LR''' || 944 || 15 h || '''15 000 h''' || piControl_TEST avec très très peu de sorties || || '''IPSL-CM6.1.5-LR''' || 976 || 20 h || '''20 000 h''' || avec workflow CMIP6, mesuré sur la simulation CM61-LR-pi-03e le 21 juillet 2018 || '''8/8/2018 , tests effectués sur irene''' || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Commentaire || || '''IPSL-CM6.1.5-LR''' || 960 || 13 h || '''12 500 h''' || piControl_TEST avec très très peu de sorties || A noter : l'équilibrage des charges sur Irene est excellent. Il est obtenu avec la même configuration que sur curie : 71 tâches MPI et 8 OpenMP pour LMDZ, 360 tâches MPI pour NEMO et 1 tâche pour XIOS. === Tableau des performances IPSLCM6-MR : LMDZ 256x256x79-eORCA1 === En attendant les tests, prenez les valeurs de '''ada''' soit : || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Commentaire || || '''IPSL-CM6.1.5-MR''' || 1 248 || 42 h || '''55 000 h''' || simulation réalisée sur ada || === Tableau des performances IPSLCM6-HR atmosphère seule === Mesures issues de HighResMIP, avec Workflow CMIP6. || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Commentaire || || '''CM6.1-ATM-H''' || 2 512 (180*12 + 44*8) || 75 h || '''200 000 h''' || avec workflow CMIP6, mesuré sur la simulation CM6.1-ATM-HR-highresSST-present.4 || === Tableau des performances LMDZORINCA_v6 === Les informations sont disponibles [http://forge.ipsl.jussieu.fr/inca/wiki/INCAperformances#Mise%C3%A0jourjuillet2018 ici] === Tableau des performances ORCHIDEE offline sur Irene === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''Offline historique, forçage 2 degree global''' || 32 ( 31 orchidee + 1 xios ) || 1h || '''32h'''|| || '''Offline historique, forçage 0.5 degree global''' || 64 ( 63 orchidee + 1 xios ) || 7h || '''450h'''|| === Document technique 2018 === Voir là le dossier technique '''mis à jour le 8/8/2018 pour inclure IPSLCM6-LR sur Irene''' : [attachment:DossierTechnique_2018_v3.pdf dossier technique IPSL en pdf ] et [attachment:DossierTechnique_2018_v3.doc dossier technique IPSL en doc] Pour mémoire, le dossier technique du 1/8/2018 : [attachment:DossierTechnique_2018_v2.pdf dossier technique IPSL en pdf ] et [attachment:DossierTechnique_2018_v2.doc dossier technique IPSL en doc] === Logiciels demandés === Documents 2017 toujours valables * [attachment:Logiciels-curie-2017.pdf logiciels demandés sur curie et sur irene ] * [attachment:Logiciels-ada-2017.pdf logiciels demandés sur ada ] == Pour ada == '''Les performances reprises ici sont celles de 2017 valables pour ada!!!!!''' || Configuration || Océan || || || || Atmosphère || || || || Nb OpenMP atm || Nb MPI atm || ||Nb MPI oce || ||Nb IO server || || Nb total de coeurs || Commentaire || || IPSL-CM6.0.10-LR || 362 || 332 || 75 || || 144 || 143 || 79 || || 8 || 71 || || 480 || || 1 || || (1 049) 1 056 || Mesuré || || IPSL-CM6-MR/eORCA1 || 362 || 332 || 75 || || 256 || 256 || 79 || || 8 || 128 || || 220 || || 1 || || (1 245) 1 248 || Mesure août 2017 sur ada|| || IPSL-CM6-MR/eORCA025 || 1442 || 1207 || 75 || || 256 || 256 || 79 || || 8 ||128 || || 1295 || || 1 || || 1 024 + 1 295 = 1645 || Estimation 2017 || || IPSL-CM6-HR / atmosphère seule || || || || || 512 || 360|| 79 || || 8 ||180 || || || || 1 || || 1 441 (1 472) || Estimation 2017 || === Tableau des performances IPSL-CM6 === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Commentaire || || '''IPSL-CM6.0.10-LR''' || 1 056 || 19 h || '''21 500 h''' || Mesuré sur CM6010.2-LR-pdCtrl-01, +5% post-traitement inclus || || IPSL-CM6-MR/eORCA1 || 1 248 || 42 h || 55 000 h || Mesure sur ada inclus +5% post-traitement || || IPSL-CM6-MR/eORCA025 || 1 648 || 140 h || 238 000 h || Estimation 2017 || || IPSL-CM6-HR /atmosphère seule || 1 472 || 100 h || 155 000 h || Estimation 2017 || Sans oublier IPSLCM5A2, chiffrage pour tenir compte des pas de temps réduits pour paléo (2 mn pour dynamique LMDZ et 1h20 pour NEMO) : || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''IPSLCM5A2''' || 304 || 5.9 h || '''1 800 h''' || === Tableau des performances LMDZOR_v6 === || Configuration || Résolution || Nb total de coeurs || Nb coeurs facture || Temps réel pour 10 ans || '''Temps à demander pour 10 ans ''' || Comment || || '''LMDZOR_v6''' || 144x142x79 || 569 (71 mpi*8omp gcm) +1mpi xios || 576 || 17 h || 11 000 h || Revu avec temps type IPSLCM6.0.10, ajouter 5% pour simulation guidé || || '''LMDZOR_v6''' || 256x256x79 || 1 024 (124mpi*8omp gcm) +1mpi xios || || 34 h || 40 000 h || Mesure sur ada inclus +5% post-traitement || === Tableau des performances LMDZORINCA_v6 === || Configuration || Résolution || Nb total de coeurs || Nb coeurs facture || Temps réel pour 10 ans || '''Temps à demander pour 10 ans ''' || Comment || || '''LMDZORINCA_v6 AER''' || 144x142x79 || 377 (47mpi*8omp gcm) + 1 mpi xios || 384 || 87h || 34 000 h || temps calculé avec LMDZORINCA_v6.0.11 || || '''LMDZORINCA_v6 NMHC_AER''' || 96x95x39 || 129 (32mpi*4 omp gcm) + 1 mpi xios || 144 || 51h || 7 500 h || temps calculé avec LMDZORINCA_v6.0.11 || === Tableau des performances NEMO eORCA025 === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''eORCA1-LIM3-PISCES''' || 512 ( 496 nemo + 16 xios ) || 14 h || '''7 200 h''' || || '''eORCA1-OFF-PISCES''' || 498 ( 496 nemo + 2 xios ) || 4 h || '''2 000 h''' || || '''eORCA025-LIM3''' || 1 302 ( 1 295 nemo + 7 xios ) || 50 h || '''75 000 h''' || || '''eORCA025-LIM3-PISCES''' || 1 302 ( 1 295 nemo + 7 xios ) || 140 h || '''200 000 h''' || === Tableau des performances DYNAMICO === == Argumentaire pour une allocation dédiée pour fin 2018-2019-2020-2021 == === Modélisation globale === Les projets CMIP5 et CMIP6 ont chacun généré une intense activité de développement du modèle de climat de l'IPSL suivie d'une période de production de simulations de référence. Il y a en effet nécessité de concentrer l'essentiel de la production CMIP sur une période bornée dans le temps de manière à suivre le calendrier international et à réaliser un ensemble complet de simulations climatiques avec une version donnée du modèle (DECK et MIPs en ce qui concerne CMIP6). Par contre, avoir des périodes de développement de modèle trop concentrées dans le temps n'apparaît pas comme un mode de fonctionnement idéal. Cela génère des risques par rapport au calendrier international, une absence de recul sur certains choix effectués, et du stress pour les équipes travaillant sur le modèle. Il nous semble plus approprié de garder un fond d'activité de développement de modèle entre deux projets CMIP de manière à lisser dans le temps l'évolution du modèle de climat (qui ne doit pas être seulement vu comme la juxtaposition de ses composantes atmosphérique, océanique, et continentale). De plus, il est important de pouvoir documenter les évolutions du modèle et attribuer ses changements de propriétés à des changements de paramétrisations ou de résolution. Cette vision est aussi celle du Working Group on Climate Modelling qui a conçu les expériences de référence du DECK de manière à ce qu'elles puissent être menées régulièrement (Eyring et al., 2016) : ''The persistence and consistency of the DECK will make it possible to track changes in performance and response characteristics over future generations of models and CMIP phases. Although the set of DECK experiments is not expected to evolve much, additional experiments may become enough well established as benchmarks (routinely run by modelling groups as they develop new model versions) so that in the future they might be migrated into the DECK. The common practice of including the DECK in model development efforts means that models can contribute to CMIP without carrying out additional computationally burdensome experiments. All of the DECK and the historical simulations were included in the core set of experiments performed under CMIP5 (Taylor et al., 2012), and all but the abrupt-4×CO2 simulation were included in even earlier CMIP phases.'' Nous envisageons à l'issu du projet CMIP6 de développer 3 versions du modèle IPSL-CM par an de manière à intégrer les développements effectués à tour de rôle par les composantes, comme le CO2 atmosphérique interactif, le cycle de l'azote, le changement de coeur dynamique (DYNAMICO en lieu de l'ancienne dynamique atmosphérique), etc... Nous savons par expérience qu'une nouvelle version coûte en moyenne environ 2000 années de simulations (par ex. 20 tests techniques de 1 an, 9 tests atmosphériques de 20 ans, 9 tests couplés de 100 ans, et 2 tests couplés de 200 ans pour ajuster un certain nombre de paramètres atmosphériques et océaniques et un spin-up de 500 ans). Plusieurs tests longs sont nécessaires car certaines propriétés émergentes du système (THC, biais de l'océan profond) mettent longtemps à se manifester. Les tests techniques englobent ce qui était fait historiquement dans le projet "gen0926/rpsl" qui s’intitule "Développement du système couplé IPSL et partage de données". Il nous semble également approprié de réaliser un DECK par an (soit un toutes les 3 versions du modèle). Un DECK requiert un supplément d'environ 1000 années de simulations (500 ans de piControl, 150 ans de abrupt4co2, 150 ans de 1pctco2, 165 ans de historical et 35 ans d'AMIP). Cela fait donc un total de 7000 années de simulation IPSL-CM6 par an, soit 14 millions d'heures équivalent curie en résolution LR, et 52 millions d'heures en résolution MR. On envisage aussi 100 années de simulations en HR d'ici à 2021, soit 30 millions d'heures. Certaines expériences liées à CMIP6 nécessitent en outre une réactualisation régulière des expériences. Un des volets du protocole est lié aux expériences de prévision décennnale (DCPP), il implique ainsi de répéter les expériences de prévision chaque année. Il s'agit de tirer partie de l'année écoulée pour pouvoir actualiser les conditions initiales des prévisions, et donc reculer d'une année l'échéance de prévision. Le protocole DCPP devient donc plus continu. Cela implique 10 simulations de 10 ans à produire chaque année, soit 100 ans / année. Cependant, selon le type d'anomalies climatiques détectées dans les prochaines années, le protocole d'initialisation développé dans le cadre de CMIP6 au vu des anomalies moyennes des 60 dernières années pourrait nécessité d'être revu, et ce afin d'optimiser en continu les prévisions futures. Cela impliquera une nouvelle simulation de construction des états initiaux (60 années) et une nouvelle série de prévisions rétrospectives (30 dates de prévision * 5 membres * 10 ans = 1500 années de simulations), indispensables pour débiaiser la prévision future. A cause de ce coût, cette réévaluation de la procédure d'initialisation des prévision ne sera envisagée qu'une fois au cours des 3 prochaines années L'aspect semi-opérationnel du volet B du "Decadal Climate Prediction Project" implique donc 1500 + 60 + 100*3 = 1860 années de simulations à répartir sur les 3 prochaines années (soit 100, 100 et 1660 années en 2019-2020-2021, correspondant à 0,2, 0,2 et 3,3 millions d'heures en résolution LR). === Modélisation régionale === En parallèle du développement des versions successives du modèle IPSL-CM6, la régionalisation des simulations CMIP5/CMIP6 se poursuit dans le cadre de Copernicus. Cela correspond à xxx simulations de xxx années à la résolution xxx, soit 5 millions d'heures équivalent curie par an. === Allocation pluri-annuelle dédiée fin 2018-2019-2020-2021 === Sauf mention contraire, toutes les heures sont des heures équivalent curie. La conversion en heures curie-2 n'est pas encore connue pour les modèles IPSL-CM6 et WRF mais on peut utiliser un facteur 2 pour obtenir une première estimation. Dans le cadre de l'infrastructure CLIMERI-France, nous avons besoin d'une allocation pluri-annuelle offrant la visibilité requise et permettant de réaliser : * 7000 années IPSL-CM6 par an, soit 14 millions d'heures pour le LR et 52 millions pour le MR * 1860 années IPSL-CM6-LR réparties sur 3 ans (2019-2021) pour la prévision décennale * des simulations "opérationnelles" CORDEX-Europe, pour 5 millions heures. Nous demandons donc sur la machine curie-2 une allocation dédiée de : * 4 millions d'heures pour le dernier trimestre 2018 (trusting, 1/4 du LR) * 38 millions d'heures pour 2019 (trusting, 1/2 LR + 1/2 MR, décennal en LR, CORDEX) * 57 millions d'heures pour 2020 (trusting, MR, décennal en LR, CORDEX) * 91 millions d'heures pour 2021 (trusting, MR, réinitialisation du décennal en LR, CORDEX, HR) soit 2, 19, 29 et 46 millions d'heures curie-2. En parallèle, nous chiffrons des besoins de stockage de l'ordre de * xxx Po === Simulations hors allocation multi-annuelle dédiée faisant l'objet de demandes DARI ou PRACE === L'allocation dédiée évoquée ci-dessus n'a pas vocation à couvrir tous les besoins de l'IPSL. Les activités suivantes doivent continuer à faire l'objet de demandes DARI ou PRACE: * Développement des composantes * Projets scientifiques * Run démo à très haute résolution * ... Nous savons d'expérience que les besoins en calcul évoluent par pallier à chaque projet CMIP, ce qui nous permet d'anticiper des besoins totaux de l'ordre de 100 millions d'heures équivalent curie à compter de 2019 qui viendront compléter la demande d'allocation dédiée (soit des demandes agrégées de l'ordre de xx millions d'heures pour DARI et PRACE au niveau de l'activité climat de l'IPSL). == Performances et estimations 2017 == Voir là le dossier technique mis à jour le 2/8/2017 : [attachment:DossierTechnique_2017.pdf dossier technique IPSL en pdf ] et [attachment:DossierTechnique_2017.doc dossier technique IPSL en doc] Les performances suivantes sont pour curie et ada. === Logiciels demandés, septembre 2017 === * [attachment:Logiciels-curie-2017.pdf logiciels demandés sur curie ] * [attachment:Logiciels-ada-2017.pdf logiciels demandés sur ada ] === Résolutions 2017 et future === || Configuration || Océan || || || || Atmosphère || || || || Nb OpenMP atm || Nb MPI atm || ||Nb MPI oce || ||Nb IO server || || Nb total de coeurs || Commentaire || || IPSL-CM6.0.10-LR || 362 || 332 || 75 || || 144 || 143 || 79 || || 8 || 71 || || 480 || || 1 || || (1 049) 1 056 || Mesuré || || IPSL-CM6-MR/eORCA1 || 362 || 332 || 75 || || 256 || 256 || 79 || || 8 || 128 || || 220 || || 1 || || (1 245) 1 248 || Mesure août 2017 sur ada|| || IPSL-CM6-MR/eORCA025 || 1442 || 1207 || 75 || || 256 || 256 || 79 || || 8 ||128 || || 1295 || || 1 || || 1 024 + 1 295 = 1645 || Estimation 2017 || || IPSL-CM6-HR / atmosphère seule || || || || || 512 || 360|| 79 || || 8 ||180 || || || || 1 || || 1 441 (1 472) || Estimation 2017 || === Tableau des performances IPSL-CM6 === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Commentaire || || '''IPSL-CM6.0.10-LR''' || 1 056 || 19 h || '''21 500 h''' || Mesuré sur CM6010.2-LR-pdCtrl-01, +5% post-traitement inclus || || IPSL-CM6-MR/eORCA1 || 1 248 || 42 h || 55 000 h || Mesure sur ada inclus +5% post-traitement || || IPSL-CM6-MR/eORCA025 || 1 648 || 140 h || 238 000 h || Estimation 2017 || || IPSL-CM6-HR /atmosphère seule || 1 472 || 100 h || 155 000 h || Estimation 2017 || Sans oublier IPSLCM5A2, chiffrage pour tenir compte des pas de temps réduits pour paléo (2 mn pour dynamique LMDZ et 1h20 pour NEMO) : || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''IPSLCM5A2''' || 304 || 5.9 h || '''1 800 h''' || === Tableau des performances LMDZOR_v6 === || Configuration || Résolution || Nb total de coeurs || Nb coeurs facture || Temps réel pour 10 ans || '''Temps à demander pour 10 ans ''' || Comment || || '''LMDZOR_v6''' || 144x142x79 || 569 (71 mpi*8omp gcm) +1mpi xios || 576 || 17 h || 11 000 h || Revu avec temps type IPSLCM6.0.10, ajouter 5% pour simulation guidé || || '''LMDZOR_v6''' || 256x256x79 || 1 024 (124mpi*8omp gcm) +1mpi xios || || 34 h || 40 000 h || Mesure sur ada inclus +5% post-traitement || === Tableau des performances LMDZORINCA_v6 === || Configuration || Résolution || Nb total de coeurs || Nb coeurs facture || Temps réel pour 10 ans || '''Temps à demander pour 10 ans ''' || Comment || || '''LMDZORINCA_v6 AER''' || 144x142x79 || 377 (47mpi*8omp gcm) + 1 mpi xios || 384 || 87h || 34 000 h || temps calculé avec LMDZORINCA_v6.0.11 || || '''LMDZORINCA_v6 NMHC_AER''' || 96x95x39 || 129 (32mpi*4 omp gcm) + 1 mpi xios || 144 || 51h || 7 500 h || temps calculé avec LMDZORINCA_v6.0.11 || === Tableau des performances NEMO eORCA025 === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''eORCA1-LIM3-PISCES''' || 512 ( 496 nemo + 16 xios ) || 14 h || '''7 200 h''' || || '''eORCA1-OFF-PISCES''' || 498 ( 496 nemo + 2 xios ) || 4 h || '''2 000 h''' || || '''eORCA025-LIM3''' || 1 302 ( 1 295 nemo + 7 xios ) || 50 h || '''75 000 h''' || || '''eORCA025-LIM3-PISCES''' || 1 302 ( 1 295 nemo + 7 xios ) || 140 h || '''200 000 h''' || === Tableau des performances DYNAMICO === Concernant le coût de DYNAMICO : les estimations dont je dispose sont basées sur des simus aquaplanètes ancienne physique à résolution modérée, mais elles indiquent que : * la partie dynamique n’est pas plus chère que LMD-Z (elle était moins chère il y a 2-3 ans mais Yann a amélioré LMD-Z depuis donc la différence n’est peut-être pas énorme) * mais elle est plus scalable Sachant que la physique est la même, une approche prudente consiste à estimer la consommation totale comme comparable à celle de LMD-Z, avec un gain à attendre sur le nombre d’années/jours en mettant plus de CPUs. Thomas === Exposé DARI 2017 === E. Millour a présenté au LMD la campagne DARI 2017. Voir [attachment:DARI2017.pdf exposé en pdf] === Ressources calcul disponibles en 2017 === * Procédure nationale (tier 1) : https://www.edari.fr/ * Attention au changement de calendrier et de procédure. * Note de cadrage 2017 : http://www.genci.fr/sites/default/files/Courrier-cadrage-campagne-genci.pdf * Date limite : entre le 3 et le 30 octobre 2016 * A1 : 10 mois de 1/1/2017 à 31/10/2017, suivi de A3 en novembre 2017 * A2 : 16 mois sur ada et occigen, de 1/1/2017 à 30/4/2018, suivi de A4 en mai 2018. '''rien sur curie''' car attente de curie2. * il faut faire sa demande en A1 ou A2 mais chiffrer le cas où on serait transféré de l'un à l'autre * bien préciser sur quelle machine vous pouvez travailler : l'environnement IPSL libIGCM n'est pas fait pour Occigen || || || '''Estimation des ressources disponibles ''' || '''Estimation des ressources disponibles''' || || '''Centre''' || '''Supercalculateurs''' || '''DARI 2017 - A1 ''' || '''DARI 2017 - A2 ''' || || '''CINES''' || Bull - Occigen || 239 455 000|| 313 468 000|| || '''IDRIS''' || IBM Noeuds larges - Ada || 31 134 000|| 40 757 000|| || || IBM BG/Q - Turing || 303 217 000|| 396 939 000|| || '''TGCC''' || Bull - Curie nœuds fins || 201 376 000|| -|| * Procédure européenne ie Prace. Date limite le 21 novembre 2016. Voir : http://www.prace-ri.eu/prace-project-access/ Tableau : PRACE systems available in this Call: || '''System''' || '''Architecture''' || '''Site (Country)''' || '''Core Hours''' || '''Node Hours''' || || '''Curie''' || Bull Bullx cluster || GENCI@CEA (FR) || 113 million|| 7 million|| || '''Hazel Hen''' || Cray XC40 System || GCS@HLRS (DE) || 57 million|| 2.4 million|| || '''Juqueen''' || IBM !BlueGene/Q system || GCS@JSC (DE) || 350 million|| 4.6 million|| || '''Marconi''' || Lenovo System || CINECA (IT) || 630 million (KNL)|| 9.2 million|| || || || || 35 million (Broadwell)|| 1 million|| || '''!MareNostrum''' || IBM System X iDataplex || BSC (ES) || 316 million|| T.B.D.|| || '''Piz Daint''' || Cray XC30 System || CSCS (CH) || 476 million|| 7 million|| || '''SuperMUC''' || IBM System X iDataplex/ Lenovo !NextScale || GCS@LRZ (DE) || 30 million (SuperMUC 1)|| 1.9 million|| || || || || 14 million (SuperMUC 2)|| 0.5 million|| == Projet gencmip6 == Voir détails des ressources pour le projet CMIP6 à l'IPSL en fin de page. == Mésocentre IPSL == Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. N'hésitez pas à le citer dans votre demande d'heures. Il suffit juste de le sélectionner dans la liste des mésocentres proposés sur le site WWW. == Projet 0826 == Le projet 0826, intitulé : "Développement du système couplé IPSL et partage de données." demande un petit peu d'heures sur toutes les machines disponibles et les espaces nécessaires pour les données partagées. Si vous voulez tester une machine : turing ou occigen, par exemple, n'hésitez pas à demander à en faire partie. contact MA Foujols. == Mais aussi à l'UPMC/SU == * des calculateurs et des services : http://asclepios.dsi.upmc.fr/wp/ == Dossier technique == Dossier technique pour les demandes d'heures 2017. Avec les performances IPSLCM6. Version 1 du 6/10/2016 : [attachment:DossierTechnique_2016_v1.pdf dossier technique IPSL en pdf ] et [attachment:DossierTechnique_2016_v1.doc dossier technique IPSL en doc] == Performances estimées 2016 : == Les 3 machines ada (IDRIS), curie (TGCC) et occigen (CINES) ont presque les mêmes performances. Par souci de simplicité on donne un seul tableau de performances. Voir plus loin les spécificités des centres. == IPSLCM6 2016 == Les performances ci-dessous sont fait a base des modèles en aout 2016. === Tableau des résolutions === || Configuration || Océan || || || || Atmosphère || || || || Nb OpenMP atm || Nb MPI atm || ||Nb MPI oce || ||Nb IO server || || Nb total de coeurs || || IPSLCM5A2 (idem IPSLCM5A-LR CMIP5) || 182 || 142 || 31 || || 96 || 95|| 39 || || 8 || 32 || || 45 || || 1 || || 304 || || IPSLCM5A2-chimie || 182 || 142 || 31 || || 96 || 95|| 39 || || 8 || 32 || || 45 || || 1 || || 304 || || IPSLCM6-LR || 362 || 332 || 75 || || 144 || 142|| 79 || || 8 || 47 || || 180 || || 1 || || (557) 560 || || IPSLCM6-LR et aérosols interactifs || 362 || 332 || 75 || || 144 || 142|| 79 || || 8 || 47 || || 180 || || 1 || || 560 || || IPSLCM6-MR || 362 || 332 || 75 || || 256 || 256|| 79 || || 8 || 86 || || 180 || || 1 || || (869) 880 || || IPSLCM6-HR / atmosphère seule || || || || || 512 || 360|| 79 || || 8 ||120 || || || || 1 || || (961) 976 || === Tableau des performances IPSLCM6 === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''IPSLCM5A2''' || 304 || 4.5 h || '''1 500 h''' || || IPSLCM5A2-chimie || 304 || 70h || 21 280 h || || '''IPSLCM6-LR''' || 560 || 44 h || '''27 000 h''' || || IPSLCM6-LR et aérosols interactifs || 560 || 190 h (estimation) || 105 840 h || || IPSLCM6-MR || 880 || 80 h || 76 000 h (estimation revue en 2016) || || IPSLCM6-HR / atmosphère seule || 976 || 180 h || 195 000 h (estimation revue en 2016) || === Tableau des performances LMDZOR_v6 === || Configuration || Resolution || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || Comment || || '''LMDZOR_v6''' || 144x142x79 || 377 (47mpi*8omp gcm +1mpi xios, soit 12 noeuds entiers) || 34 h || '''14 000 h''' || Mise en place comme pour IPSLCM6.0.6 || || '''LMDZOR_v6''' || 96x95x79 || 249 (31mpi*8omp gcm +1mpi xios, soit 8 noeuds entiers) || 19 h || '''5 000 h''' || Estimation mise en place equivalent au IPSLCM6.0.6 || || '''LMDZOR_v6''' || 96x95x39 || 125 (31mpi*4omp gcm +1mpi xios, soit 4 noeuds entiers) || 14 h || '''2 000 h''' || Mise en place avec NPv3.2 et CWRR || === Tableau des performances NEMO_v6 === || Configuration || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''eORCA1-LIM3-PISCES''' || 512 ( 496 nemo + 16 xios ) || 14 h || '''7200 h''' || || '''eORCA1-OFF-PISCES''' || 498 ( 496 nemo + 2 xios ) || 4 h || '''2000 h''' || === Et pour les fichiers ? === || Configuration ||Océan || || || Atmosphère || || || Facteur multiplicatif fichiers atm 3D || atm 2D || Facteur multiplicatif fichiers océan 3D || océan 2D || Commentaire || || IPSLCM5A2 || 182 || 142 || 31 || 96 || 95|| 39 || 1 || 1 || 1 || 1 || || || IPSLCM6-LR || 362 || 332 || 75 || 144 || 142|| 79 || 4,5 || 2,2 || 10 || 4 || 100 Go pour 1 an avec sorties par défaut 2016 || || IPSLCM6-LR et aérosols interactifs || 362 || 332 || 75 || 144 || 142 || 39 || 2,2 et aérosols || 2,2 et aérosols|| 10 || 4 || || || IPSLCM6-LR et chimie || 362 || 332 || 75 || 144 || 142 || 39 || 2,2 et chimie || 2,2 et chimie || 10 || 4 || || || IPSLCM6-MR || 362 || 332 || 75 || 280 || 280|| 79 || 17 || 4 || 10 || 4 || || || IPSLCM6-HR || 1442 || 1021 || 75 || 280 || 280|| 79 || 17 || 4 || 130 || 54 || || == Particularités des centres == === IDRIS IBM - Ada === * La machine va aussi vite que curie. * Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements. * Rappel : il faut de l'ordre de 20 To par personne sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS. === TGCC Bull curie === * Il faut bien préciser les besoins, en particulier en production : * Pour faire de la '''production''', il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres lorsque le projet est 'en avance' dans sa consommation (ccc_myproject). * Une demande collective unique d'extension du nombre d'inodes IPSL sera faite fin 2016. A suivre. * Pour avoir plus de quotas sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir. De plus, toute dérogation a une date limite. 31/1/2017 pour la plupart. Attention à être inclus dans la demande d'extension inodes IPSL annuelle. * ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes. {{{ > ccc_quota Disk quotas for user xxxxxx (uid xxxxx): ------------------- SPACE -------------------- ------------------- INODE -------------------- Filesystem usage soft hard grace entries soft hard grace ---------- ----- ---- ---- ----- ------- ---- ---- ----- home 543.34M 3G 3G - - - - - scratch 1.56T 20T 20T - 76.03k 2M 2M - work 328.15G 9.31T 9.31T - 1.13M 3M 3M - store - - - - 512.61k 550k 551k - Account scoring: ---------------- Filesystem volume(TB) inodes non_files files<32M files<1G avg_fsize(MB) score score_detail store 822.325 512612 2.44% 20.14% 43.50% 1724 13/20 6/6, 3/7, 1/3, 3/4 ... }}} ==== post-traitement aussi ==== * Dans la chaîne IPSL, les post-traitements se feront sur curie. Il faut donc demander quelques heures en plus (5%) pour le post-traitement. === CINES Bull occigen === Il est possible de demander des heures en 2017 sur cette machine. La chaîne complète ne sera pas portée mais il est possible de compiler les modèles IPSL sur occigen. A savoir : * peu d'expérience des serveurs de fichiers du CINES à ce jour. * un datanode ESGF existe au CINES * pas d'environnement de production IPSL (libIGCM) == Ressources dédiées CMIP6 à l'IPSL == === Demande === Voir note n° 32 : stratégie calcul en modélisation du climat (synthèse et document technique) http://icmc.ipsl.fr/index.php/publications/reports-notes/scientific-notes === 2018 === Mise en réserve : * 8 millions d'heures ada * 96 millions d'heures curie === 2017 === * 8 millions d'heures ada * 96 millions d'heures curie === 2016 === Voir suivi consommation IDRIS et TGCC là : https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/igcmg/ConsoGENCI/index.html * curie noeuds fins : 60 millions d'heures. Voir: [https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/igcmg/ConsoGENCMIP6/index.html consommation, jobs et production de fichiers]. * ada : 6 millions d'heures et 600 To de quota de stockage sur ergon En 2016, la 1ère phase des espaces dédiés CMIP6 a été installée au TGCC. Il s'agit de GENCMIP6_HOME GENCMIP6_CCCWORKDIR et GENCMIP6_CCCSTOREDIR et ils sont gérés par quota groupe. === 2015 === * 2eme semestre : * 12 millions d’heures curie_nf, sorties minimales (700 To), cela correspond à 6 000 ans de couplé IPSLCM6-LR. * 2 millions d’heures ada, sorties normales, cela correspond à 1 000 ans de couplé IPSLCM6-LR et cela produit 300 To. * 1er semestre : * 5 millions d'heures curie_nf et 270 To. == Historique == * 6/2018 : préparation appel A5 * 7/2017 : préparation appel A3 * 18/3/2016 : ajout informations ressources dédiées CMIP6 à l'IPSL * 20/10/2015 : vérification des ressources IPSLCM6-VLR et IPSLCM6-LR et mise à jour doc technique. * 5/10/2015 : Ressources disponibles en 2016 * 7/10/2014 : * modification chiffrage IPSLCM6-VLR * ajout chiffrage IPSLCM6-XLR, idem IPSLCM5A-MR, configuration a priori non supportée. Pour mémoire : les performances de 2014 pour IPSL-CM5A : wiki:PerformancesIPSLCM5A.