Version 85 (modified by cetlod, 11 years ago) (diff) |
---|
Performances IPSLCM5A
2014
Mise à jour en septembre 2013.
Ressources disponibles
- Procédure nationale (tier 1) : https://www.edari.fr/
- Procédure Prace européenne (tier 0) : http://www.prace-ri.eu/Call-Announcements?lang=en
Centre | Supercalculateurs | Estimation des ressources disponibles DARI 2013 (tier 1) | Prace (tier 0) |
CINES | IBM Power7 - Yoda | 1 150 000 | - |
SGI ICE - Jade | 95 920 000 | - | |
IDRIS | IBM Noeuds larges - Ada | 53 100 000 | - |
IBM BG/Q - Turing | 345 560 000 | - | |
TGCC | Bull - Curie nœuds larges | 9 930 000 | 28 000 000 |
Bull - Curie nœuds fins | 62 100 000 | 201 000 000 | |
Bull - Curie nœuds hybrides GPU | 270 000 | 600 000 |
Dossier technique
Dossier technique pour les demandes d'heures 2014. En cours. Le dossier de l'an dernier est là : dossier technique IPSL
Comparaison entre machines sur une simulation de type piControl avec IPSLCM5A-LR
Cette figure montre la convergence de quelques variables sur 5 simulations de type piControl2 (200 ans) réalisées sur 5 machines : SX9, titane, vargas, curie et ada. La 6ème courbe provient d'une simulation de type historical. Figure réalisée par J Servonnat.
Le principe, pour chaque variable, a été de calculer la distance quadratique entre piControl2 sur SX9 et sur les autres machines , en fonction de la longueur de la période que l'on considère. Pour tester la "normalité" de ces distances, j'ai estimé la distribution de la distance pour chaque longueur de période (en gros, j'ai tiré aléatoirement des couples de périodes dans piControl2, et j'ai calculé la distance). C'est ce qu'on voit en grisé en arrière-plan:
- le gris le plus clair montre les contours des 1er et 99eme quantiles de la distribution (pour chaque longueur de période)
- le gris un peu plus foncé montre les contours des 5eme et 95eme quantile
- le gris le plus foncé les contours des 25eme et 75eme quantiles.
Performances :
IDRIS IBM Noeuds larges - Ada
- La machine va un peu moins vite que curie.
- Les post-traitements se feront sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est pas nécessaire de demander des ressources pour les post-traitements.
- Rappel : il faut de l'ordre de 20 To sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.
Performances ada
IPSLCM5A
Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel | Temps à demander |
ada (IDRIS) | 32 (5 océan + 26 atmosphère) | 1200 s | 40 h | 40x32 = 1 300h |
Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel | Temps à demander |
ada | 64 (16 océan + 1 oasis + 47 atm | 1500 s | 70 h | 70x64 = 4 500h |
LMDZOR
Ancienne physique résolution 96x95x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
ada (IDRIS) | 32 | 15 min | 30 h | 30x32 = 960h |
Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
ada (IDRIS) | 32 | 35 min | 70 h | 70x32 = 2240h |
Ancienne physique résolution 144x142x39, estimation consommation 10 ans
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
ada (IDRIS) | 32 | 30 min | 62 h | 62x32 = 2000h |
Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5
machine | Nb CPU | Temps réel / mois | Temps réel total | Temps à demander |
ada (IDRIS) | 32 | 100 min | 210 h | 210x32 = 6700h |
NEMO
ORCA2_LIM, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
ada (IDRIS) | 1 | 3h | 30h | 30x1 = 30h |
ORCA2_LIM_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
ada (IDRIS) | 32 | 1h | 10h | 10x32 = 320h |
ORCA2_OFF_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
ada (IDRIS) | 32 | 16 mn | 2h40mn | 2h40mnx32 = 85h |
ORCA025_LIM2, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
ada (IDRIS) | 186 | 6h | 60h | 60x186 ~ 11200h |
TGCC Bull curie
noeuds larges : post-traitement
- Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 10 à 20% du nombre d'heures demandées sur noeuds fins.
- Il faut bien préciser les besoins, en particulier en production :
- ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
> ccc_quota Disk quotas for user p86maf (uid 9920): ------------------- SPACE -------------------- ------------------- INODE -------------------- Filesystem usage soft hard grace entries soft hard grace ---------- ----- ---- ---- ----- ------- ---- ---- ----- home 543.34M 3G 3G - - - - - scratch 1.56T 20T 20T - 76.03k 2M 2M - work 328.15G 9.31T 9.31T - 1.13M 3M 3M - store - - - - 512.61k 550k 551k - Account scoring: ---------------- Filesystem volume(TB) inodes non_files files<32M files<1G avg_fsize(MB) score score_detail store 822.325 512612 2.44% 20.14% 43.50% 1724 13/20 6/6, 3/7, 1/3, 3/4 Detailed inode count: Filesystem type cnt store file 500099 store dir 11212 store symlink 1301
- Demander plus de quotas si besoin, mais sur STOREDIR, il faut avoir un bon score pour les obtenir.
- Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.
- ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
noeuds fins : calculs
Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel/10 ans | Temps à demander sur noeuds fins | Temps à demander sur noeuds larges |
curie | 32 | 900 s | 30 h | 1000 h | 250 h |
Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel/10 ans | Temps à demander sur noeuds fins | Temps à demander sur noeuds larges |
curie | 64 | 1200 s | 40 h | 2500 h | 600 h |
Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025
machine | Temps à demander sur noeuds fins |
curie | 50000 h |
Détail du calcul de l'estimation pour le 280x280x39 - ORCA025:
- Grand challenge (sur CINES/jade) :
- LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
- Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
- 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
- IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
- 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
- ORCA2 = 10-20 % de IPSLCM5A
- 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
- IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
- 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.
Estimation LMDZOR 144x142x39
Estimation basée sur 3mois de simulation pour LMDZOR MR Ancien physique Choisnel donne : "1500H curie noeud fin / 10 ans de simulation". Pour nouvelle physique, prendre le même rapport que sur ada, disons fois 2.5.
NEMO
ORCA2_LIM_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
curie | 32 | 30mn | 5h | 5x32 = 160h |
ORCA2_OFF_PISCES, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
curie | 32 | 14 mn | ~2h30mn | 2h30mnx32 ~ 80h |
TGCC Bull curie noeuds hybrides
Pas d'utilisation à ce jour
Performances estimées
CINES : l'environnement des simulations IPSL n'est pas installé.
CINES IBM yoda
Pas de performances connues
CINES SGI jade
Grand challenge
NEMO (Drakkar)
ORCA025_LIM2_L46 (1442x1021x46) - rdt = 1440s, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
jade (IDRIS) | 856 | ~1h | ~10h | 10x856 ~ 8560h |
ORCA025_LIM2_PISCES_CFC_L46 - rdt = 1440s, estimation consommation 10 ans
machine | Nb CPU | Temps réel / an | Temps réel total | Temps à demander |
jade (IDRIS) | 856 | ~7h | ~70h | 70x856 ~ 60000h |
Config ORCA025.L75 (1442x1021x75)
Informations en provenance de JM Molines / Albanne Lecointre :
- Configuration :
- NEMO 3.4/ LIM2 EVP
- time_step=1080 sec
- 592 cores
- Performances sur jade2 (prec Nehalem)
- 1 an sans trends ni sortie de kztide : environ 3000 h cpu soit environ 5h elapsed; 1 an de sortie a 5 j : 204 Gb; 1an de moyennes : 77 Gb; restarts : 17 Gb ; soit total : 298 Gb ( 609 inodes/an)
- 1 an avec trends et kztide : environ 3600 h cpu soit environ 6h elapsed; 1 an de sortie a 5 j : 277 Gb; 1an de moyennes : 90 Gb; restarts : 17 Gb ; soit total : 384 Gb ( 694 inodes/an )
Config ORCA012.L46 (4322x3059x46)
- NEMO 3.4/ LIM2 EVP
- time_step=360 sec
- 3000 cores
- 1 year : ~15 h elapsed time ; ~45 000 CPU hours (jade) ; Disk space for 1y, 5d output : 900 Gb
Config ORCA012.L75 (4322x3059x75)
- NEMO 3.4/ LIM2 EVP
- time_step=360 sec
- 3000 cores
- 1 year : ~22 h elapsed time ; ~65 000 CPU hours (jade) ; Disk space for 1y, 5d output : 1.5 Tb
Attention : pas d'environnement modipsl/libIGCM à ce jour.
IPSLCM5A : 96x95x39 - ORCA2
Mesure consommation 10 ans
machine | Nb CPU | Temps réel | Temps à demander |
jade | 32 | 60h | 1920 h |
IDRIS BlueGene Turing
Pas encore de test sur cette nouvelle machine. Il seait utile d'avoir des heures pour faire des tests avec LMDZ
CCRT Bull titane GPUs
Pas d'utilisation recensée à ce jour.
2013
Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.
2012
Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.
2010
Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.
Attachments (12)
-
DossierTechnique_2012.doc
(154.5 KB) -
added by omamce 13 years ago.
Dossier technique pour les demandes d'heures 2012
- Comp-convergence-clim-t2m-slp-precip-calculateurs.pdf (20.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-demande-v2.doc (776.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-demande-v2.pdf (937.8 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-bilan-v2.doc (96.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-bilan-v2.pdf (163.1 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-publi-v2.doc (101.5 KB) - added by mafoipsl 12 years ago.
- DARI2013IPSL-publi-v2.pdf (108.8 KB) - added by mafoipsl 12 years ago.
- Comp-convergence-clim-t2m-precip-slp-calculateurs-new-200yrdist2.jpg (106.3 KB) - added by mafoipsl 11 years ago.
- Ressources-calcul-sept2013.pdf (416.4 KB) - added by mafoipsl 11 years ago.
- DossierTechnique_2013_v2.pdf (1.1 MB) - added by mafoipsl 11 years ago.
- DossierTechnique_2013_v2.doc (544.5 KB) - added by mafoipsl 11 years ago.