wiki:PerformancesIPSLCM5A

Version 77 (modified by mafoipsl, 11 years ago) (diff)

--


Performances IPSLCM5A

2013

Mise à jour en septembre 2012.

Ressources disponibles

Centre Supercalculateurs Estimation des ressources disponibles DARI 2013 (tier 1) Prace (tier 0)
CINES IBM Power7 - Yoda 1 227 000 -
SGI ICE - Jade 114 123 000 -
IDRIS IBM Noeuds larges - Ada 55 450 000 -
IBM BG/Q - Turing 342 000 000 -
CCRT Bull Xéon – Titane 20 148 000 - jusqu'au 30 juin 2013 -
Bull Xéon – Titane noeuds hybrides GPU 600 000 -
TGCC Bull - Curie nœuds larges 9 000 000 28 000 000
Bull - Curie nœuds fins 63 600 000 201 000 000
Bull - Curie nœuds hybrides GPU 284 000 600 000

Dossier technique

Dossier technique pour les demandes d'heures 2013. En cours. Le dossier de l'an dernier est là : dossier technique IPSL

Important : recenser toutes les demandes de quotas inodes des logins du TGCC qui dépassent 100 000.

Comparaison entre machines sur une simulation de type piControl avec IPSLCM5A-LR

La figure comparaison convergence t2m, slp et precip montre la convergence de quelques variables sur 4 simulations de type piControl2 réalisées sur 4 machines : SX9, titane, vargas et curie. Figure réalisée par J Servonnat.

Le principe, pour chaque variable, a été de calculer la distance quadratique entre piControl2 sur SX9 et sur les autres machines , en fonction de la longueur de la période que l'on considère. Pour tester la "normalité" de ces distances, j'ai estimé la distribution de la distance pour chaque longueur de période (en gros, j'ai tiré aléatoirement des couples de périodes dans piControl2, et j'ai calculé la distance). C'est ce qu'on voit en grisé en arrière-plan:

  • le gris le plus clair montre les contours des 1er et 99eme quantiles de la distribution (pour chaque longueur de période)
  • le gris un peu plus foncé montre les contours des 5eme et 95eme quantile
  • le gris le plus foncé les contours des 25eme et 75eme quantiles.

Performances :


IDRIS IBM Noeuds larges - Ada

  • En première approche, les performances sont identiques à celles de vargas.
  • Les post-traitements se feront sur des noeuds dédiés et non plus sur ulam. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul.
  • Il faut bien préciser les besoins :
    • accès depuis ada par NFS aux fichiers gaya. En lecture seule seulement. Si besoin en écriture, le préciser car ce n'est pas envisagé à ce jour par l'IDRIS.
    • outils nécessaires de type nco, cdo, ... sur ada
    • préciser le nombre de jobs de post-traitements mono simultanés : 300
    • nombre de fichiers sur gaya et espace : 120 000 si on ne packe pas pour une simulation de type historical. 7 000 si on packe. L'option pack n' a pas encore testé sur ada. Son bon fonctionnement dépendra de la dimension de l'espace temporaire WORKDIR utilisé par les fichiers à packer.

Rappel des performances vargas

IPSLCM5A

Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel Temps à demander
vargas (IDRIS) 32 (5 océan + 26 atmosphère) 1200 s 40 h 40x32 = 1 300h

Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel Temps à demander
vargas 64 (16 océan + 1 oasis + 47 atm 1500 s 70 h 70x64 = 4 500h

LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
vargas (IDRIS) 32 15 min 30 h 30x32 = 960h

Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
vargas (IDRIS) 32 35 min 70 h 70x32 = 2240h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
vargas (IDRIS) 32 30 min 62 h 62x32 = 2000h

Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
vargas (IDRIS) 32 100 min 210 h 210x32 = 6700h

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
vargas (IDRIS) 1 3h 30h 30x1 = 30h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
vargas (IDRIS) 32 1h 10h 10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
vargas (IDRIS) 32 16 mn 2h40mn 2h40mnx32 = 85h

ORCA025_LIM2, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
vargas (IDRIS) 186 6h 60h 60x186 ~ 11200h

CCRT Bull titane

  • cette machine sera arrêtée le 30 juin 2013.
  • Les post-traitements se font sur titane. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul.
  • Le bug faisant compter 8 fois les temps mono a été corrigé.
  • Il faut bien préciser les besoins :
    • quota scratch sur titane : demander 3 To pour faire de la production
    • nombre d'inodes et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers

IPSLCM5A

Mesure consommation 10 ans Résolution 96x95x39 - ORCA2 (sorties "légères")

machine Nb CPU Temps réel/mois Temps réel/10 ans Temps calcul Temps à demander incluant les post-traitements
titane 32 1400 s 50 h 1600 h 2000 h

Mesure consommation 10 ans Résolution 144x142x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel/10 ans Temps calcul Temps à demander incluant les post-traitements
titane 52 1500 s 70 h 3640 h 4500 h

Configuration Forcée : LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
titane (CCRT) 32 16 min 32 h 32x32 = 1024h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
titane(CCRT) 32 40 min 80 h 80x32 = 2560h

Configuration Forcée : LMDZORINCA

Vous trouverez les renseignements sur cette page

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
titane (CCRT) 1 2h 20h 20x1 = 20h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
titane (CCRT) 32 1h 10h 10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
titane (CCRT) 32 16 mn 2h40mn 2h40mnx32 = 85h

TGCC Bull curie

noeuds larges : post-traitement

  • Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs.
  • Il faut bien préciser les besoins, en particulier en production :
    • quota scratch sur curie : demander 20 To pour faire de la production. Il s'agit de l'espace nécessaire pour faire tourner les jobs ($TMPDIR mimé) et stocker les fichiers temporairement avant pack.
    • nombre d'inodes (fichiers) et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers.
    • nombre de jobs simultanés de post-traitement en mono. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux
    • pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.

noeuds fins : calculs

Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel/10 ans Temps à demander sur noeuds fins Temps à demander sur noeuds larges
curie 32 900 s 30 h 1000 h 250 h

Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel/10 ans Temps à demander sur noeuds fins Temps à demander sur noeuds larges
curie 64 1200 s 40 h 2500 h 600 h

Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025

machine Temps à demander sur noeuds fins
curie 50000 h

Détail du calcul de l'estimation pour le 280x280x39 - ORCA025:

  • Grand challenge (sur CINES/jade) :
    • LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
    • Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
    • 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
    • IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
  • 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
    • ORCA2 = 10-20 % de IPSLCM5A
    • 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
    • IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
  • 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.

NEMO

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
curie 32 30mn 5h 5x32 = 160h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
curie 32 14 mn ~2h30mn 2h30mnx32 ~ 80h

TGCC Bull curie noeuds hybrides

Pas d'utilisation à ce jour


Performances estimées

CINES : l'environnement des simulations IPSL n'est pas installé.

CINES IBM yoda

Pas de performances connues

CINES SGI jade

Grand challenge

NEMO (Drakkar)

ORCA025_LIM2_L46 (1442x1021x46) - rdt = 1440s, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
jade (IDRIS) 856 ~1h ~10h 10x856 ~ 8560h

ORCA025_LIM2_PISCES_CFC_L46 - rdt = 1440s, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
jade (IDRIS) 856 ~7h ~70h 70x856 ~ 60000h

Config ORCA025.L75 (1442x1021x75)

Informations en provenance de JM Molines / Albanne Lecointre :

  • Configuration :
    • NEMO 3.4/ LIM2 EVP
    • time_step=1080 sec
    • 592 cores
  • Performances sur jade2 (prec Nehalem)
    • 1 an sans trends ni sortie de kztide : environ 3000 h cpu soit environ 5h elapsed; 1 an de sortie a 5 j : 204 Gb; 1an de moyennes : 77 Gb; restarts : 17 Gb ; soit total : 298 Gb ( 609 inodes/an)
    • 1 an avec trends et kztide : environ 3600 h cpu soit environ 6h elapsed; 1 an de sortie a 5 j : 277 Gb; 1an de moyennes : 90 Gb; restarts : 17 Gb ; soit total : 384 Gb ( 694 inodes/an )

Config ORCA012.L46 (4326x3061x46)

  • NEMO 3.4/ LIM2 EVP
  • time_step=360 sec
  • 3000 cores
  • 1 year : ~15 h elapsed time ; ~45 000 CPU hours (jade) ; Disk space for 1y, 5d output : 900 Gb

Config ORCA012.L75 (4326x3061x75)

  • NEMO 3.4/ LIM2 EVP
  • time_step=360 sec
  • 3000 cores
  • 1 year : ~22 h elapsed time ; ~65 000 CPU hours (jade) ; Disk space for 1y, 5d output : 1.5 Tb

Attention : pas d'environnement modipsl/libIGCM à ce jour.

IPSLCM5A : 96x95x39 - ORCA2

Mesure consommation 10 ans

machine Nb CPU Temps réel Temps à demander
jade 32 60h 1920 h

IDRIS BlueGene Turing

Pas encore de test sur cette nouvelle machine. Sur l'ancienne (babel) : utilisation non conseillée. Tests avec NEMO seulement.

CCRT Bull titane GPUs

Pas d'utilisation recensée à ce jour.

Décompte des fichiers pour le TGCC/CCRT

En résumé, pour les logins de production de simulations lourdes, besoin de :

  • sur /ccc/store : 500 000 en plus de ce qui existera après le déménagement.
  • sur /ccc/work : 3 millions de fichiers.

Sur la SX9, on peut faire par ans l'équivalent de 180 simus de type historical et on arrivait à 20 millions de fichiers. x2 avec titane. Progression annuelle 2011, 2012 : + 40 millions de fichiers par an.

  • Avant : Pour un historical IPSLCM5A-LR complet, sorties CMIP5, on avait 120 000 fichiers dont 1 700 fichiers de TS.
  • Après pack :
    • Avec le pack par an :
      • 7 300 fichiers sur store et 28 000 fichiers sur work pour accès dods
    • packe par 5 ans :
      • 3 100 fichiers sur store et 28 000 fichiers sur work pour accès dods
    • pack par 10 ans :
      • 2 500 fichiers sur store et 28 000 fichiers sur work pour accès dods

Les quotas à demander sur les différents espaces.

  • /store

Avec ce rapport de 16 (120 000/ 7 300) on arrive à + 1 millions de fichiers pour la production annuelle SX9 sur /store. + 2 millions de fichiers avec titane Aujourd'hui on a 4 à 5 millions de fichiers quand on fait de la prod, soit le 1/4 de la production annuelle SX9. On garde ce rapport 4. Cela veut dire quota de 500 000 fichiers sur /store pour les logins de production. 500 000 en plus de ce qui existera après le déménagement.

  • /work

Avec ce rapport de 4 (120 000/28 000) on arrive à + 5 millions de fichiers pour la production annuelle SX9 sur /work, + 10 millions de fichiers avec titane Par login de production, il faut 2 millions de fichiers pour distribution dods et 1 million de fichiers pour travailler. 3 millions de fichiers.

2012

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2010

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

Attachments (12)