Changes between Version 55 and Version 56 of PerformancesIPSLCM5A
- Timestamp:
- 09/19/12 14:59:01 (12 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
PerformancesIPSLCM5A
v55 v56 3 3 [[PageOutline]] 4 4 5 = 201 2=5 = 2013 = 6 6 7 Mise à jour en mai 2012 des performances titane et curie.7 Mise à jour en septembre 2012. 8 8 9 9 == Ressources disponibles == 10 10 11 /!\ '''Plus de vectoriel : ni Brodie (IDRIS) ni Mercure SX-8R (CCRT)'''12 11 13 || '''Centre''' || '''Supercalculateurs''' || '''Estimation des ressources disponibles DARI 201 2 - 1ère session''' || '''Estimation des ressources disponibles DARI 2012 - 2ème session'''14 || '''CINES''' || IBM Power7 - Yoda || 920 300 || -||15 || || SGI ICE - Jade || 11 1 055 000 || 28 000000 ||16 || '''IDRIS''' || IBM SP – Vargas || 18 288 000 ||0 ||17 || || IBM BG/ P - Babel || 198 956 000 || 50000 000 ||18 || '''CCRT''' || Bull Xéon – Titane || 33 064 000 || 4 000 000||19 || || Bull Xéon – Titane noeuds hybrides GPU || 920 000 || accès restreint||20 || '''TGCC''' || Bull - Curie nœuds larges || 6 902 000 || 2 200 000||21 || || Bull - Curie nœuds fins || 40 500 000 || 13 000 000 ||22 || || Bull - Curie nœuds hybrides GPU || 144 000 || pas disponible||12 || '''Centre''' || '''Supercalculateurs''' || '''Estimation des ressources disponibles DARI 2013''' || 13 || '''CINES''' || IBM Power7 - Yoda || 1 227 000 || 14 || || SGI ICE - Jade || 114 123 000 || 15 || '''IDRIS''' || IBM Noeuds larges - Ada || 55 450 000 || 16 || || IBM BG/Q - Turing || 342 000 000 || 17 || '''CCRT''' || Bull Xéon – Titane || 20 148 000 - jusqu'au 30 juin 2013 || 18 || || Bull Xéon – Titane noeuds hybrides GPU || 600 000 || 19 || '''TGCC''' || Bull - Curie nœuds larges || 9 000 000 || 20 || || Bull - Curie nœuds fins || 63 600 000 || 21 || || Bull - Curie nœuds hybrides GPU || 284 000 || 23 22 24 23 == Dossier technique == 25 24 26 Dossier technique pour les demandes d'heures 201 2 : voir aussi[attachment:DossierTechnique_2012.doc dossier technique IPSL]25 Dossier technique pour les demandes d'heures 2013. En cours. Le dossier de l'an dernier est là : [attachment:DossierTechnique_2012.doc dossier technique IPSL] 27 26 28 == Performances connues==27 == Performances == 29 28 30 === IDRIS IBM vargas===29 === IDRIS IBM Noeuds larges - Ada === 31 30 32 * Les post-traitements des simulations faites sur vargas se font actuellement sur ulam. Nous rencontrons des difficultés insurmontables dans les post-traitements sur ulam et en l'état, il est impossible de réaliser des simulations de type CMIP5 (historical) en production. 33 * Il faudrait pouvoir post-traiter les simulations faites sur vargas sur vargas elle-même. Il s'agit des jobs de rebuild, TS et Monitoring, SE et ATLAS. Pour cela il faudrait sur vargas : 34 * disposer des outils nco et C° nécessaires (rappeler la liste svp) 35 * avoir la possibilités de lancer jusque 150 jobs à la fois, en classe scalaire sur vargas. C'est ce que peut soumettre le script !TimeSeriesChecker de vérification des TS 36 * avoir la possibilité de tourner une vingtaine de jobs de type scalaire simultanément par utilisatueur 37 * disposer de l'espace TMPDIR nécessaire à ces jobs de post-traitements qui tourneraient simultanément. 38 * Chiffrages issus de la simu v3.historicalV52 qui a tourné entre mai et juin 2011 : 39 * Une simulation de type historical (1850-2006, 157 ans) tourne en lançant 40 jobs enchainés sur vargas (<10h). 40 * L'execution s'est étalée sur une période de 1 mois environ. Elle a lancé au fur et à mesure les jobs de post-traitements sur ulam puis le rattrapage des TS a été lancé à la main. En tout : 41 * 156 jobs de rebuilds, (<10h) + 9 à refaire à la main à cause de souci d'accès aux fichiers gaya (arrêts désynchronisés) 42 * 15 jobs de SE (moyennes saisonnières), (<10h) 43 * 30 jobs de monitoring (<1h) 44 * 45 jobs d'atlas (<1h) 45 * 464 jobs de !TimeSeries (TS) en direct (<20h) 46 * 166 jobs de TS (<20h) de rattrapage (via le script !TimeSeriesChecker) 47 * Les jobs de TS peuvent partir en time limit exceeded. Le max de temps réel étant actuellement de 20h. 48 * Estimation du temps réel nécessaire sur vargas pour les post-traitements : 20% 49 * pour une simulation de type historical avec sorties HF activées : 50 * 4 000 h de post-traitement (temps réel) sur vargas. 51 * 20 000 h de temps réel en calcul pour la simu elle-même. 31 * En première approche, les performances sont identiques à celles de vargas. 32 * Les post-traitements se feront sur des noeuds dédiés et plus sur ulam. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20% du calcul. 33 * Il faut bien préciser les besoins : 34 * accès depuis ada par NFS aux fichiers gaya. En lecture seule seulement. Si besoin en écriture, le préciser en détail. Pas envisagé à ce jour. 35 * outils nécessaires de type nco, cdo, ... sur ada 36 * préciser le nombre de jobs de post-traitements mono simultanés : 300 37 * nombre de fichiers sur gaya et espace : 120 000 si on ne packe pas pour une simulation de type historical. 7 000 si on packe. Pas encore testé sur ada. dépendra de la dimension de l'espace temporaire. 38 39 === Rappel des performances vargas === 52 40 53 41 ==== IPSLCM5A ==== … … 56 44 || vargas (IDRIS) || 32 (5 océan + 26 atmosphère) || 40 h || 40x32 = '''1 300h''' || 57 45 58 Attention aux ressources pour le post-traitement. Estimation pour post-traitement sur vargas : 20%59 60 61 46 '''Estimation consommation 10 ans pour résolution 144x142x39 - ORCA2''' 62 47 || machine || Nb CPU || Temps réel || '''Temps à demander''' || … … 64 49 65 50 Test 1 an OK. Voir : [http://dodsp.idris.fr/rpsl003/IPSLCM5A-MR/DEVT/pdControl/VERIF092011/MONITORING/ Monitoring VERIF092011 IPSLCM5A-MR] 66 67 Attention aux ressources pour le post-traitement. Pas encore d'estimation à ce jour.68 51 69 52 ==== LMDZOR ==== … … 75 58 || machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 76 59 || vargas (IDRIS) || 32 || 35 min || 70 h || 70x32 = '''2240h''' || 77 78 60 79 61 '''Ancienne physique résolution 144x142x39''', estimation consommation 10 ans … … 102 84 === CCRT Bull titane === 103 85 104 Avril 2012 : depuis libIGCM_v2.0_beta1 les post-traitements titane se font sur titane et les fichiers produits sont packés. Une simulation de type historical produisit 120 000 fichiers. Elle produit maintenant 7000 fichiers. 86 * Les post-traitements se font sur titane. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20% du calcul. 87 * Il faut bien préciser les besoins : 88 * quota scratch sur titane : demander 3 To pour faire de la production 89 * nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers 105 90 106 Le post-traitement sur titane pose un problème de comptabilité puisqu'ils sont comptabilisés 8 fois comme tous les jobs monoprocesseur. Il fallait demander 20% de temps en plus pour les traitements. Avec ce souci de facteur 8 il faut demander 260% du temps calcul estimé!107 91 108 92 ==== IPSLCM5A ==== … … 146 130 147 131 148 === TGCC Bull curie noeuds larges === 132 === TGCC Bull curie === 133 ==== noeuds larges ==== 149 134 150 libIGCM OK depuis libiGCM 2 beta : avril 2012. 135 * Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 136 * Il faut bien préciser les besoins : 137 * quota scratch sur titane : demander 20 To 138 * nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers 151 139 152 ==== Résolution 96x95x39 - ORCA2====140 ==== noeuds fins ==== 153 141 154 '''Mesure consommation 10 ans''' 155 || machine || Nb CPU || Temps réel || Temps calcul seul || '''Temps à demander''' || 156 || curie || 32 || 46 h || 1472 h || ''' 1800 h''' || 157 158 === TGCC Bull curie noeuds fins === 159 160 libIGCM OK depuis libiGCM 2 beta : avril 2012. 161 162 ==== Résolution 96x95x39 - ORCA2 ==== 142 ===== Résolution 96x95x39 - ORCA2 ===== 163 143 164 144 '''Mesure consommation 10 ans''' … … 166 146 || curie -q standard || 32 || 24 h || '''900 h''' || 167 147 168 === TGCC Bull curie noeuds hybrides === 148 ===== Résolution 144x142x39 - ORCA2 ===== 149 150 '''Mesure consommation 10 ans Résolution 144x142x39 - ORCA2 ''' 151 || machine || Nb CPU || Temps réel || '''Temps à demander''' || 152 || titane || 64 || ?? || '''??''' || 153 154 ==== TGCC Bull curie noeuds hybrides ==== 155 156 Pas d'utilisation à ce jour 169 157 170 158 == Performances estimées == … … 190 178 || jade || 32 || 60h || '''1920 h''' || 191 179 192 === IDRIS !BlueGene Babel===180 === IDRIS !BlueGene Turing === 193 181 194 Utilisation non conseillée. Tests avec NEMO seulement.182 Pas encore de test sur cette nouvelle machine. Sur l'ancienne (balel) : utilisation non conseillée. Tests avec NEMO seulement. 195 183 196 184 === CCRT Bull titane GPUs === … … 198 186 Pas d'utilisation recensée à ce jour. 199 187 188 = 2012 = 189 190 Informations supprimées. Voir l'historique des changements pour les retrouver si besoin. 200 191 201 192 = 2010 = 202 193 203 194 Informations supprimées. Voir l'historique des changements pour les retrouver si besoin. 204
