Version 67 (modified by cetlod, 12 years ago) (diff) |
---|
Performances IPSLCM5A
2013
Mise à jour en septembre 2012.
Ressources disponibles
- Procédure nationale : https://www.edari.fr/
- Procédure Prace européeene : http://www.prace-ri.eu/Call-Announcements?lang=en
Centre | Supercalculateurs | Estimation des ressources disponibles DARI 2013 | Prace |
CINES | IBM Power7 - Yoda | 1 227 000 | - |
SGI ICE - Jade | 114 123 000 | - | |
IDRIS | IBM Noeuds larges - Ada | 55 450 000 | - |
IBM BG/Q - Turing | 342 000 000 | - | |
CCRT | Bull Xéon – Titane | 20 148 000 - jusqu'au 30 juin 2013 | - |
Bull Xéon – Titane noeuds hybrides GPU | 600 000 | - | |
TGCC | Bull - Curie nœuds larges | 9 000 000 | 28 000 000 |
Bull - Curie nœuds fins | 63 600 000 | 201 000 000 | |
Bull - Curie nœuds hybrides GPU | 284 000 | 600 000 |
Dossier technique
Dossier technique pour les demandes d'heures 2013. En cours. Le dossier de l'an dernier est là : dossier technique IPSL
A noter : une étude comparative quantitative sur les différences entre machines sur une simulation de type piControl avec IPSLCM5A-LR est en cours.
Performances
IDRIS IBM Noeuds larges - Ada
- En première approche, les performances sont identiques à celles de vargas.
- Les post-traitements se feront sur des noeuds dédiés et non plus sur ulam. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul.
- Il faut bien préciser les besoins :
- accès depuis ada par NFS aux fichiers gaya. En lecture seule seulement. Si besoin en écriture, le préciser car ce n'est pas envisagé à ce jour par l'IDRIS.
- outils nécessaires de type nco, cdo, ... sur ada
- préciser le nombre de jobs de post-traitements mono simultanés : 300
- nombre de fichiers sur gaya et espace : 120 000 si on ne packe pas pour une simulation de type historical. 7 000 si on packe. Pas encore testé sur ada. dépendra de la dimension de l'espace temporaire WORKDIR.
Rappel des performances vargas
IPSLCM5A
Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel | Temps à demander |
vargas (IDRIS) | 32 (5 océan + 26 atmosphère) | 1200 s | 40 h | 40x32 = 1 300h |
Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel | Temps à demander |
vargas | 64 (16 océan + 1 oasis + 47 atm | 1500 s | 70 h | 70x64 = 4 500h |
LMDZOR
Ancienne physique résolution 96x95x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
vargas (IDRIS) | 32 | 15 min | 30 h | 30x32 = 960h |
Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
vargas (IDRIS) | 32 | 35 min | 70 h | 70x32 = 2240h |
Ancienne physique résolution 144x142x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
vargas (IDRIS) | 32 | 30 min | 62 h | 62x32 = 2000h |
Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
vargas (IDRIS) | 32 | 100 min | 210 h | 210x32 = 6700h |
NEMO
ORCA2_LIM, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
vargas (IDRIS) | 1 | 3h | 30h | 30x1 = 30h |
ORCA2_LIM_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
vargas (IDRIS) | 32 | 1h | 10h | 10x32 = 320h |
ORCA2_OFF_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
vargas (IDRIS) | 32 | 16 mn | 2h40mn | 2h40mnx32 = 85h |
ORCA025_LIM2, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
vargas (IDRIS) | 186 | 6h | 60h | 60x186 ~ 11200h |
CCRT Bull titane
- Les post-traitements se font sur titane. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul.
- Le bug faisant compter 8 fois les temps mono a été corrigé.
- Il faut bien préciser les besoins :
- quota scratch sur titane : demander 3 To pour faire de la production
- nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers
IPSLCM5A
Mesure consommation 10 ans Résolution 96x95x39 - ORCA2 (sorties "légères")
machine | Nb CPU | Temps réel/mois | Temps réel/10 ans | Temps calcul | Temps à demander incluant les post-traitements |
titane | 32 | 1400 s | 50 h | 1600 h | 2000 h |
Mesure consommation 10 ans Résolution 144x142x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel/10 ans | Temps calcul | Temps à demander incluant les post-traitements |
titane | 52 | 1500 s | 70 h | 3640 h | 4500 h |
Configuration Forcée : LMDZOR
Ancienne physique résolution 96x95x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
titane (CCRT) | 32 | 16 min | 32 h | 32x32 = 1024h |
Ancienne physique résolution 144x142x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
titane(CCRT) | 32 | 40 min | 80 h | 80x32 = 2560h |
Configuration Forcée : LMDZORINCA
Vous trouverez les renseignements sur cette page
NEMO
ORCA2_LIM, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
titane (CCRT) | 1 | 2h | 20h | 20x1 = 20h |
ORCA2_LIM_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
titane (CCRT) | 32 | 1h | 10h | 10x32 = 320h |
ORCA2_OFF_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
titane (CCRT) | 32 | 16 mn | 2h40mn | 2h40mnx32 = 85h |
TGCC Bull curie
noeuds larges
- Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs.
- Il faut bien préciser les besoins, en particulier en production :
- quota scratch sur curie : demander 20 To pour faire de la production
- nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go.
- nombre de jobs simultanés de post-traitement en mono. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux
- pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.
noeuds fins
Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel/10 ans | Temps à demander sur noeuds fins | Temps à demander sur noeuds larges |
curie | 32 | 900 s | 30 h | 1000 h | 250 h |
Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel/10 ans | Temps à demander sur noeuds fins | Temps à demander sur noeuds larges |
curie | 64 | 1200 s | 40 h | 2500 h | 600 h |
Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025
machine | Temps à demander sur noeuds fins |
curie | 50000 h |
Détail du calcul de l'estimation :
- Grand challenge (sur CINES/jade) :
- LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
- Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
- 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
- IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
- 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
- ORCA2 = 10-20 % de IPSLCM5A
- 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
- IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
- 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.
TGCC Bull curie noeuds hybrides
Pas d'utilisation à ce jour
Performances estimées
CINES : l'environnement des simulations IPSL n'est pas installé.
CINES IBM yoda
Pas de performances connues
CINES SGI jade
Grand challenge
NEMO (Drakkar)
ORCA025_LIM2, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
jade (IDRIS) | 856 | ~1h | ~10h | 10x856 ~ 8560h |
ORCA025_LIM2_PISCES_CFC, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
jade (IDRIS) | 856 | ~7h | ~70h | 70x856 ~ 60000h |
Attention : pas d'environnement modipsl/libIGCM à ce jour.
IPSLCM5A : 96x95x39 - ORCA2
Mesure consommation 10 ans
machine | Nb CPU | Temps réel | Temps à demander |
jade | 32 | 60h | 1920 h |
IDRIS BlueGene Turing
Pas encore de test sur cette nouvelle machine. Sur l'ancienne (babel) : utilisation non conseillée. Tests avec NEMO seulement.
CCRT Bull titane GPUs
Pas d'utilisation recensée à ce jour.
2012
Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.
2010
Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.
Attachments (12)
-
DossierTechnique_2012.doc
(154.5 KB) -
added by omamce 13 years ago.
Dossier technique pour les demandes d'heures 2012
- Comp-convergence-clim-t2m-slp-precip-calculateurs.pdf (20.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-demande-v2.doc (776.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-demande-v2.pdf (937.8 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-bilan-v2.doc (96.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-bilan-v2.pdf (163.1 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-publi-v2.doc (101.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-publi-v2.pdf (108.8 KB) - added by mafoipsl 12 years ago.
- Comp-convergence-clim-t2m-precip-slp-calculateurs-new-200yrdist2.jpg (106.3 KB) - added by mafoipsl 11 years ago.
- Ressources-calcul-sept2013.pdf (416.4 KB) - added by mafoipsl 11 years ago.
- DossierTechnique_2013_v2.pdf (1.1 MB) - added by mafoipsl 11 years ago.
- DossierTechnique_2013_v2.doc (544.5 KB) - added by mafoipsl 11 years ago.