wiki:PerformancesIPSLCM5A

Version 85 (modified by cetlod, 11 years ago) (diff)

--


Performances IPSLCM5A

2014

Mise à jour en septembre 2013.

Ressources disponibles

Centre Supercalculateurs Estimation des ressources disponibles DARI 2013 (tier 1) Prace (tier 0)
CINES IBM Power7 - Yoda 1 150 000 -
SGI ICE - Jade 95 920 000 -
IDRIS IBM Noeuds larges - Ada 53 100 000 -
IBM BG/Q - Turing 345 560 000 -
TGCC Bull - Curie nœuds larges 9 930 000 28 000 000
Bull - Curie nœuds fins 62 100 000 201 000 000
Bull - Curie nœuds hybrides GPU 270 000 600 000

Dossier technique

Dossier technique pour les demandes d'heures 2014. En cours. Le dossier de l'an dernier est là : dossier technique IPSL

Comparaison entre machines sur une simulation de type piControl avec IPSLCM5A-LR

Cette figure montre la convergence de quelques variables sur 5 simulations de type piControl2 (200 ans) réalisées sur 5 machines : SX9, titane, vargas, curie et ada. La 6ème courbe provient d'une simulation de type historical. Figure réalisée par J Servonnat.

Le principe, pour chaque variable, a été de calculer la distance quadratique entre piControl2 sur SX9 et sur les autres machines , en fonction de la longueur de la période que l'on considère. Pour tester la "normalité" de ces distances, j'ai estimé la distribution de la distance pour chaque longueur de période (en gros, j'ai tiré aléatoirement des couples de périodes dans piControl2, et j'ai calculé la distance). C'est ce qu'on voit en grisé en arrière-plan:

  • le gris le plus clair montre les contours des 1er et 99eme quantiles de la distribution (pour chaque longueur de période)
  • le gris un peu plus foncé montre les contours des 5eme et 95eme quantile
  • le gris le plus foncé les contours des 25eme et 75eme quantiles.

Performances :


IDRIS IBM Noeuds larges - Ada

  • La machine va un peu moins vite que curie.
  • Les post-traitements se feront sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est pas nécessaire de demander des ressources pour les post-traitements.
  • Rappel : il faut de l'ordre de 20 To sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.

Performances ada

IPSLCM5A

Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel Temps à demander
ada (IDRIS) 32 (5 océan + 26 atmosphère) 1200 s 40 h 40x32 = 1 300h

Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel Temps à demander
ada 64 (16 océan + 1 oasis + 47 atm 1500 s 70 h 70x64 = 4 500h

LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
ada (IDRIS) 32 15 min 30 h 30x32 = 960h

Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
ada (IDRIS) 32 35 min 70 h 70x32 = 2240h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
ada (IDRIS) 32 30 min 62 h 62x32 = 2000h

Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5

machine Nb CPU Temps réel / mois Temps réel total Temps à demander
ada (IDRIS) 32 100 min 210 h 210x32 = 6700h

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
ada (IDRIS) 1 3h 30h 30x1 = 30h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
ada (IDRIS) 32 1h 10h 10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
ada (IDRIS) 32 16 mn 2h40mn 2h40mnx32 = 85h

ORCA025_LIM2, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
ada (IDRIS) 186 6h 60h 60x186 ~ 11200h

TGCC Bull curie

noeuds larges : post-traitement

  • Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 10 à 20% du nombre d'heures demandées sur noeuds fins.
  • Il faut bien préciser les besoins, en particulier en production :
    • ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.
      > ccc_quota
      Disk quotas for user p86maf (uid 9920):
      
                   ------------------- SPACE --------------------  ------------------- INODE --------------------
       Filesystem       usage        soft        hard       grace     entries        soft        hard       grace
       ----------       -----        ----        ----       -----     -------        ----        ----       -----
             home     543.34M          3G          3G           -           -           -           -           - 
          scratch       1.56T         20T         20T           -      76.03k          2M          2M           - 
             work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           - 
            store           -           -           -           -     512.61k        550k        551k           - 
      
      Account scoring:
      ----------------
      Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail
      store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4
      
      Detailed inode count:
      Filesystem      type    cnt
      store           file    500099
      store           dir     11212
      store           symlink 1301
      
    • Demander plus de quotas si besoin, mais sur STOREDIR, il faut avoir un bon score pour les obtenir.
    • Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.

noeuds fins : calculs

Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel/10 ans Temps à demander sur noeuds fins Temps à demander sur noeuds larges
curie 32 900 s 30 h 1000 h 250 h

Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2

machine Nb CPU Temps réel/mois Temps réel/10 ans Temps à demander sur noeuds fins Temps à demander sur noeuds larges
curie 64 1200 s 40 h 2500 h 600 h

Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025

machine Temps à demander sur noeuds fins
curie 50000 h

Détail du calcul de l'estimation pour le 280x280x39 - ORCA025:

  • Grand challenge (sur CINES/jade) :
    • LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
    • Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
    • 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
    • IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
  • 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
    • ORCA2 = 10-20 % de IPSLCM5A
    • 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
    • IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
  • 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.

Estimation LMDZOR 144x142x39

Estimation basée sur 3mois de simulation pour LMDZOR MR Ancien physique Choisnel donne : "1500H curie noeud fin / 10 ans de simulation". Pour nouvelle physique, prendre le même rapport que sur ada, disons fois 2.5.

NEMO

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
curie 32 30mn 5h 5x32 = 160h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
curie 32 14 mn ~2h30mn 2h30mnx32 ~ 80h

TGCC Bull curie noeuds hybrides

Pas d'utilisation à ce jour


Performances estimées

CINES : l'environnement des simulations IPSL n'est pas installé.

CINES IBM yoda

Pas de performances connues

CINES SGI jade

Grand challenge

NEMO (Drakkar)

ORCA025_LIM2_L46 (1442x1021x46) - rdt = 1440s, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
jade (IDRIS) 856 ~1h ~10h 10x856 ~ 8560h

ORCA025_LIM2_PISCES_CFC_L46 - rdt = 1440s, estimation consommation 10 ans

machine Nb CPU Temps réel / an Temps réel total Temps à demander
jade (IDRIS) 856 ~7h ~70h 70x856 ~ 60000h

Config ORCA025.L75 (1442x1021x75)

Informations en provenance de JM Molines / Albanne Lecointre :

  • Configuration :
    • NEMO 3.4/ LIM2 EVP
    • time_step=1080 sec
    • 592 cores
  • Performances sur jade2 (prec Nehalem)
    • 1 an sans trends ni sortie de kztide : environ 3000 h cpu soit environ 5h elapsed; 1 an de sortie a 5 j : 204 Gb; 1an de moyennes : 77 Gb; restarts : 17 Gb ; soit total : 298 Gb ( 609 inodes/an)
    • 1 an avec trends et kztide : environ 3600 h cpu soit environ 6h elapsed; 1 an de sortie a 5 j : 277 Gb; 1an de moyennes : 90 Gb; restarts : 17 Gb ; soit total : 384 Gb ( 694 inodes/an )

Config ORCA012.L46 (4322x3059x46)

  • NEMO 3.4/ LIM2 EVP
  • time_step=360 sec
  • 3000 cores
  • 1 year : ~15 h elapsed time ; ~45 000 CPU hours (jade) ; Disk space for 1y, 5d output : 900 Gb

Config ORCA012.L75 (4322x3059x75)

  • NEMO 3.4/ LIM2 EVP
  • time_step=360 sec
  • 3000 cores
  • 1 year : ~22 h elapsed time ; ~65 000 CPU hours (jade) ; Disk space for 1y, 5d output : 1.5 Tb

Attention : pas d'environnement modipsl/libIGCM à ce jour.

IPSLCM5A : 96x95x39 - ORCA2

Mesure consommation 10 ans

machine Nb CPU Temps réel Temps à demander
jade 32 60h 1920 h

IDRIS BlueGene Turing

Pas encore de test sur cette nouvelle machine. Il seait utile d'avoir des heures pour faire des tests avec LMDZ

CCRT Bull titane GPUs

Pas d'utilisation recensée à ce jour.

2013

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2012

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2010

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

Attachments (12)