Changes between Version 69 and Version 70 of PerformancesIPSLCM5A
- Timestamp:
- 09/26/12 08:54:55 (12 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
PerformancesIPSLCM5A
v69 v70 9 9 == Ressources disponibles == 10 10 11 * Procédure nationale : https://www.edari.fr/12 * Procédure Prace europée ene: http://www.prace-ri.eu/Call-Announcements?lang=en13 14 15 || '''Centre''' || '''Supercalculateurs''' || '''Estimation des ressources disponibles DARI 2013''' || Prace||11 * Procédure nationale (tier 1) : https://www.edari.fr/ 12 * Procédure Prace européenne (tier 0) : http://www.prace-ri.eu/Call-Announcements?lang=en 13 14 15 || '''Centre''' || '''Supercalculateurs''' || '''Estimation des ressources disponibles DARI 2013''' (tier 1) || Prace (tier 0) || 16 16 || '''CINES''' || IBM Power7 - Yoda || 1 227 000 || - || 17 17 || || SGI ICE - Jade || 114 123 000 || - || … … 94 94 * Il faut bien préciser les besoins : 95 95 * quota scratch sur titane : demander 3 To pour faire de la production 96 * nombre d e fichiers et espace sur CCCSTOREDIR, justifier précisémentsi plus de 100 000 fichiers96 * nombre d'inodes et espace sur CCCSTOREDIR, justifier '''précisément''' si plus de 100 000 fichiers 97 97 98 98 … … 139 139 === TGCC Bull curie === 140 140 141 ==== noeuds larges ====141 ==== noeuds larges : post-traitement ==== 142 142 143 143 * Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 144 144 * Il faut bien préciser les besoins, en particulier en production : 145 * quota scratch sur curie: demander 20 To pour faire de la production146 * nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers.147 * nombre de jobs simultanés de post-traitement en mono. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux148 * pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.149 150 ==== noeuds fins ====145 * '''quota scratch sur curie''' : demander 20 To pour faire de la production 146 * '''nombre d'inodes (fichiers) et espace sur CCCSTOREDIR''', justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers. 147 * '''nombre de jobs simultanés de post-traitement en mono'''. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux 148 * pour faire de la '''production''', il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser '''le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés'''. 149 150 ==== noeuds fins : calculs ==== 151 151 152 152 '''Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2 ''' … … 162 162 || curie || '''50000 h''' || 163 163 164 Détail du calcul de l'estimation :164 Détail du calcul de l'estimation pour le 280x280x39 - ORCA025: 165 165 * Grand challenge (sur CINES/jade) : 166 166 * LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère. … … 211 211 || jade (IDRIS) || 856 || ~7h || ~70h || 70x856 ~ '''60000h''' || 212 212 213 '''Config ORCA025.L75''' 214 215 Informations en provenance de JM Molines : 216 * Configuration : 217 * NEMO 3.4/ LIM2 EVP 218 * time_step=1080 sec 219 * 592 cores 220 * Performances sur jade2 (prec Nehalem) 221 * 1 an sans trends ni sortie de kztide : environ 3000 h cpu soit environ 5h elapsed; 1 an de sortie a 5 j : 204 Gb; 1an de moyennes : 77 Gb; restarts : 17 Gb ; soit total : 298 Gb ( 609 inodes/an) 222 * 1 an avec trends et kztide : environ 3600 h cpu soit environ 6h elapsed; 1 an de sortie a 5 j : 277 Gb; 1an de moyennes : 90 Gb; restarts : 17 Gb ; soit total : 384 Gb ( 694 inodes/an ) 223 213 224 '''Attention''' : pas d'environnement modipsl/libIGCM à ce jour. 214 225 … … 227 238 Pas d'utilisation recensée à ce jour. 228 239 229 == Décompte des fichiers ==230 231 En résumé, pour les logins de production de simulations lourdes, nous avonsbesoin de :240 == Décompte des fichiers pour le TGCC/CCRT == 241 242 En résumé, pour les logins de production de simulations lourdes, besoin de : 232 243 * sur /ccc/store : 500 000 en plus de ce qui existera après le déménagement. 233 244 * sur /ccc/work : 3 millions de fichiers. 234 245 235 Pour ce point, nous avons vérifié les chiffrages sur les premières simulations de production avec la nouvelle chaine et extrapolé.236 237 246 Sur la SX9, on peut faire par ans l'équivalent de 180 simus de type historical et on arrivait à 20 millions de fichiers. x2 avec titane. Progression annuelle 2011, 2012 : + 40 millions de fichiers par an. 238 247 239 * Avant : Pour un historical complet, sorties CMIP5, on avait 120 000 fichiers dont 1 700 fichiers de TS.248 * Avant : Pour un historical IPSLCM5A-LR complet, sorties CMIP5, on avait 120 000 fichiers dont 1 700 fichiers de TS. 240 249 * Après pack : 241 250 * Avec le pack par an :
