Performances IPSLCM5A

2013

Mise à jour en septembre 2012.

Ressources disponibles

• Procédure nationale : ​https://www.edari.fr/
• Procédure Prace européeene : ​http://www.prace-ri.eu/Call-Announcements?lang=en

Centre	Supercalculateurs	Estimation des ressources disponibles DARI 2013	Prace
CINES	IBM Power7 - Yoda	1 227 000	-
	SGI ICE - Jade	114 123 000	-
IDRIS	IBM Noeuds larges - Ada	55 450 000	-
	IBM BG/Q - Turing	342 000 000	-
CCRT	Bull Xéon – Titane	20 148 000 - jusqu'au 30 juin 2013	-
	Bull Xéon – Titane noeuds hybrides GPU	600 000	-
TGCC	Bull - Curie nœuds larges	9 000 000	28 000 000
	Bull - Curie nœuds fins	63 600 000	201 000 000
	Bull - Curie nœuds hybrides GPU	284 000	600 000

Dossier technique

Dossier technique pour les demandes d'heures 2013. En cours. Le dossier de l'an dernier est là : dossier technique IPSL​

A noter : une étude comparative quantitative sur les différences entre machines sur une simulation de type piControl avec IPSLCM5A-LR est en cours.

Performances

IDRIS IBM Noeuds larges - Ada

• En première approche, les performances sont identiques à celles de vargas.
• Les post-traitements se feront sur des noeuds dédiés et non plus sur ulam. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul.
• Il faut bien préciser les besoins :
  • accès depuis ada par NFS aux fichiers gaya. En lecture seule seulement. Si besoin en écriture, le préciser car ce n'est pas envisagé à ce jour par l'IDRIS.
  • outils nécessaires de type nco, cdo, ... sur ada
  • préciser le nombre de jobs de post-traitements mono simultanés : 300
  • nombre de fichiers sur gaya et espace : 120 000 si on ne packe pas pour une simulation de type historical. 7 000 si on packe. Pas encore testé sur ada. dépendra de la dimension de l'espace temporaire WORKDIR.

Rappel des performances vargas

IPSLCM5A

Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel	Temps à demander
vargas (IDRIS)	32 (5 océan + 26 atmosphère)	1200 s	40 h	40x32 = 1 300h

Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel	Temps à demander
vargas	64 (16 océan + 1 oasis + 47 atm	1500 s	70 h	70x64 = 4 500h

LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
vargas (IDRIS)	32	15 min	30 h	30x32 = 960h

Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
vargas (IDRIS)	32	35 min	70 h	70x32 = 2240h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
vargas (IDRIS)	32	30 min	62 h	62x32 = 2000h

Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
vargas (IDRIS)	32	100 min	210 h	210x32 = 6700h

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
vargas (IDRIS)	1	3h	30h	30x1 = 30h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
vargas (IDRIS)	32	1h	10h	10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
vargas (IDRIS)	32	16 mn	2h40mn	2h40mnx32 = 85h

ORCA025_LIM2, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
vargas (IDRIS)	186	6h	60h	60x186 ~ 11200h

CCRT Bull titane

• Les post-traitements se font sur titane. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul.
• Le bug faisant compter 8 fois les temps mono a été corrigé.
• Il faut bien préciser les besoins :
  • quota scratch sur titane : demander 3 To pour faire de la production
  • nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers

IPSLCM5A

Mesure consommation 10 ans Résolution 96x95x39 - ORCA2 (sorties "légères")

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps calcul	Temps à demander incluant les post-traitements
titane	32	1400 s	50 h	1600 h	2000 h

Mesure consommation 10 ans Résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps calcul	Temps à demander incluant les post-traitements
titane	52	1500 s	70 h	3640 h	4500 h

Configuration Forcée : LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
titane (CCRT)	32	16 min	32 h	32x32 = 1024h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
titane(CCRT)	32	40 min	80 h	80x32 = 2560h

Configuration Forcée : LMDZORINCA

Vous trouverez les renseignements sur cette ​page

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
titane (CCRT)	1	2h	20h	20x1 = 20h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
titane (CCRT)	32	1h	10h	10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
titane (CCRT)	32	16 mn	2h40mn	2h40mnx32 = 85h

TGCC Bull curie

noeuds larges

• Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs.
• Il faut bien préciser les besoins, en particulier en production :
  • quota scratch sur curie : demander 20 To pour faire de la production
  • nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go.
  • nombre de jobs simultanés de post-traitement en mono. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux
  • pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.

noeuds fins

Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps à demander sur noeuds fins	Temps à demander sur noeuds larges
curie	32	900 s	30 h	1000 h	250 h

Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps à demander sur noeuds fins	Temps à demander sur noeuds larges
curie	64	1200 s	40 h	2500 h	600 h

Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025

machine	Temps à demander sur noeuds fins
curie	50000 h

Détail du calcul de l'estimation :

• Grand challenge (sur CINES/jade) :
  • LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
  • Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
  • 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
  • IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
• 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
  • ORCA2 = 10-20 % de IPSLCM5A
  • 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
  • IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
• 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.

NEMO

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	32	30mn	5h	5x32 = 160h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	32	14 mn	~2h30mn	2h30mnx32 ~ 80h

TGCC Bull curie noeuds hybrides

Pas d'utilisation à ce jour

Performances estimées

CINES : l'environnement des simulations IPSL n'est pas installé.

CINES IBM yoda

Pas de performances connues

CINES SGI jade

Grand challenge

NEMO (Drakkar)

ORCA025_LIM2, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
jade (IDRIS)	856	~1h	~10h	10x856 ~ 8560h

ORCA025_LIM2_PISCES_CFC, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
jade (IDRIS)	856	~7h	~70h	70x856 ~ 60000h

Attention : pas d'environnement modipsl/libIGCM à ce jour.

IPSLCM5A : 96x95x39 - ORCA2

Mesure consommation 10 ans

machine	Nb CPU	Temps réel	Temps à demander
jade	32	60h	1920 h

IDRIS BlueGene Turing

Pas encore de test sur cette nouvelle machine. Sur l'ancienne (babel) : utilisation non conseillée. Tests avec NEMO seulement.

CCRT Bull titane GPUs

Pas d'utilisation recensée à ce jour.

2012

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2010

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.