Version 11 (modified by mafoipsl, 10 years ago) (diff) |
---|
Performances IPSLCM6 et demandes d'heures
Cette page liste quelques performances mesurées et estimées du modèle IPSLCM6. Il rappelle également les ressources calcul disponibles au niveau national et européen e 2015 et les dates clés.
Pour mémoire : année précédente avec IPSLCM5A : wiki:PerformancesIPSLCM5A.
Ressources disponibles en 2015
- Procédure nationale (tier 1) : https://www.edari.fr/
- date limite : encore inconnue , l'an dernier c'était le 18 octobre 2013
- Nouveauté : occigen au CINES ou 50 000 coeurs Bull. Voir : https://www.cines.fr/occigen-le-nouveau-supercalculateur/
- Procédure Prace européenne (tier 0, curie et 6 autres machines) : http://www.prace-ri.eu/PRACE-Project-Access
- date limite : dossier à faire entre le 10 septembre et le 22 octobre 2014 pour allocations en mars 2015
- Exposé sur les ressources, fait à la réunion climat du LMD , 15/9/2014, slides
Centre | Supercalculateurs | Estimation des ressources disponibles DARI 2015 (tier 1) | Prace (tier 0) |
CINES | Bull - Occigen | 290 000 000 | - |
IDRIS | IBM Noeuds larges - Ada | 53 100 000 | - |
IBM BG/Q - Turing | 345 560 000 | - | |
TGCC | Bull - Curie nœuds larges | 9 930 000 | 28 000 000 |
Bull - Curie nœuds fins | 62 100 000 | 201 000 000 | |
Bull - Curie nœuds hybrides GPU | 270 000 | 600 000 |
Mésocentre IPSL
Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. Il s'agit de l'ensemble CICLAD+CLIMSERV que nous avons identifié ainsi. N'hésitez pas à le citer dans votre demande d'heures. Il suffit juste de le sélectionner dans la liste des mésocentres proposés sur le site WWW.
Performances estimées :
Les 3 machines ada (IDRIS), curie (TGCC) et occigen (CINES) ont presque les mêmes performances. Par souci de simplicité on donne un seul tableau de performances. Voir plus loin les spécificités des centres.
IPSLCM5A-LR
Pour mémoire, IPSLCM5A-LR sur ada l'an dernier.
Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2
machine | Nb CPU | Temps réel/mois | Temps réel | Temps à demander |
ada | 32 (5 océan + 26 atmosphère) | 1000 s | 36 h | 36x32 = 1 200h |
Tableau des résolutions
Configuration | Comment | Océan | Atmosphère | Nb OpenMP atm | Nb MPI atm | Nb MPI oce | Nb IO server | Nb total de coeurs | ||||
IPSLCM5A | MPI seul | 182 | 142 | 31 | 96 | 95 | 39 | 1 | 26 | 5 | 32 | |
IPSLCM6-VLR | MPI-OpenMP | 182 | 142 | 31 | 96 | 95 | 39 | 8 | 27 | 20 | 1 | 237 |
IPSLCM6-LR | MPI-OpenMP | 362 | 292 | 75 | 144 | 142 | 79 | 8 | 47 | 67 | 1 | 443 |
IPSLCM6-LR et chimie | MPI-OpenMP | 362 | 292 | 75 | 144 | 142 | 39 | 4 | 47 | 67 | 1 | 256 |
IPSLCM6-MR | MPI-OpenMP | 362 | 292 | 75 | 280 | 280 | 79 | 8 | 92 | 67 | 1 | 803 |
IPSLCM6-VLR | MPI-OpenMP | 1442 | 1021 | 75 | 280 | 280 | 79 | 8 | 92 | 592 | 1 | 1328 |
Tableau des performances IPSLCM6
Configuration | Commentaire | Nb total de coeurs | Temps réel pour 10 ans | Temps à demander pour 10 ans |
IPSLCM5A | MPI seul | 32 | 36h | 1 000 h |
IPSLCM6-VLR | MPI-OpenMP | 237 | 10h | 2 400 h |
IPSLCM6-LR | MPI-OpenMP | 443 | 40 h | 17 800 h |
IPSLCM6-LR et chimie | MPI-OpenMP | 256 | 200 h | 51 300 h |
IPSLCM6-MR | MPI-OpenMP | 803 | 80 h | 64 300 h |
IPSLCM6-VLR | MPI-OpenMP | 1 328 | 80 h | 107 000 h |
Et pour les fichiers ?
Configuration | Commentaire | Océan | Atmosphère | Facteur multiplicatif fichiers atm 3D | atm 2D | Facteur multiplicatif fichiers océan 3D | océan 2D | ||||
IPSLCM5A | MPI seul | 182 | 142 | 31 | 96 | 95 | 39 | 1 | 1 | 1 | 1 |
IPSLCM6-VLR | MPI-OpenMP | 182 | 142 | 31 | 96 | 95 | 39 | 1 | 1 | 1 | 1 |
IPSLCM6-LR | MPI-OpenMP | 362 | 292 | 75 | 144 | 142 | 79 | 4,5 | 2,2 | 10 | 4 |
IPSLCM6-LR et chimie | MPI-OpenMP | 362 | 292 | 75 | 144 | 142 | 39 | 2,2 | 2,2 | 10 | 4 |
IPSLCM6-MR | MPI-OpenMP | 362 | 292 | 75 | 280 | 280 | 79 | 17 | 4 | 10 | 4 |
IPSLCM6-VLR | MPI-OpenMP | 1442 | 1021 | 75 | 280 | 280 | 79 | 17 | 4 | 130 | 54 |
Particularités des centres
IDRIS IBM - Ada
- La machine va un peu moins vite que curie.
- Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements.
- Rappel : il faut de l'ordre de 20 To par personne sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.
TGCC Bull curie
- Une demande collective unique d'inodes IPSL sera faite fin 2014. A suivre.
- Il faut bien préciser les besoins, en particulier en production :
- ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
> ccc_quota Disk quotas for user xxxxxx (uid xxxxx): ------------------- SPACE -------------------- ------------------- INODE -------------------- Filesystem usage soft hard grace entries soft hard grace ---------- ----- ---- ---- ----- ------- ---- ---- ----- home 543.34M 3G 3G - - - - - scratch 1.56T 20T 20T - 76.03k 2M 2M - work 328.15G 9.31T 9.31T - 1.13M 3M 3M - store - - - - 512.61k 550k 551k - Account scoring: ---------------- Filesystem volume(TB) inodes non_files files<32M files<1G avg_fsize(MB) score score_detail store 822.325 512612 2.44% 20.14% 43.50% 1724 13/20 6/6, 3/7, 1/3, 3/4 ...
- Demander plus de quotas si besoin, mais sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir. De plus, toute dérogation a une date limite. 15/1/2015 pour la plupart. Attention à être inclus dans la demande d'extension inodes IPSL annuelle.
- Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.
- ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
noeuds larges : post-traitement
- Dans la chaîne IPSL, les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. On conseille de demander 10 % du nombre d'heures demandées sur noeuds fins.
noeuds fins : calculs
- Bien préciser le nombre d'heures de calcul sur noeuds fins.
CINES Bull occigen
Il est possible de demander des heures en 2015 sur cette machine. En cours 2 actions :
- portage de la chaîne IPSL
- 2 grands challenges avec NEMO et DYNAMICO (saturne)
A savoir :
- peu d'expérience des serveurs de fichiers du CINES à ce jour. Plus d'informations dès que possible.
- un datanode ESGF existe au CINES
Attachments (23)
- Ressources-calcul-sept2014.pdf (11.8 MB) - added by mafoipsl 10 years ago.
- DossierTechnique_2014_v1.pdf (781.2 KB) - added by mafoipsl 10 years ago.
- DossierTechnique_2014_v1.doc (211.0 KB) - added by mafoipsl 10 years ago.
- DossierTechnique_2015_v1.doc (186.0 KB) - added by mafoipsl 9 years ago.
- DossierTechnique_2015_v1.pdf (771.7 KB) - added by mafoipsl 9 years ago.
- DossierTechnique_2016_v1.pdf (766.9 KB) - added by mafoipsl 8 years ago.
- DossierTechnique_2016_v1.doc (188.0 KB) - added by mafoipsl 8 years ago.
- DARI2017.pdf (405.9 KB) - added by mafoipsl 8 years ago.
- DossierTechnique_2017.pdf (738.5 KB) - added by mafoipsl 7 years ago.
- DossierTechnique_2017.doc (192.0 KB) - added by mafoipsl 7 years ago.
- Logiciels-curie-2017.pdf (484.2 KB) - added by mafoipsl 7 years ago.
- Logiciels-ada-2017.pdf (183.0 KB) - added by mafoipsl 7 years ago.
- DossierTechnique_2018_v2.doc (204.0 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2018_v2.pdf (349.9 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2018_v3.doc (205.0 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2018_v3.pdf (492.1 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2018_v3.docx (319.4 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2019.pdf (480.6 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2019.docx (319.4 KB) - added by mafoipsl 6 years ago.
- DossierTechnique_2020.pdf (439.5 KB) - added by aclsce 4 years ago.
- DossierTechnique_2020.docx (210.5 KB) - added by aclsce 4 years ago.
- DossierTechnique_2021.docx (187.3 KB) - added by acosce 3 years ago.
-
DossierTechnique_2022.docx
(217.1 KB) -
added by oboucher 3 years ago.
Dossier Technique 2022 - mise en forme OB