---

Performances IPSLCM5A

2014

Mise à jour en septembre 2013.

Ressources disponibles

• Procédure nationale (tier 1) : ​https://www.edari.fr/
• Procédure Prace européenne (tier 0) : ​http://www.prace-ri.eu/Call-Announcements?lang=en

Centre	Supercalculateurs	Estimation des ressources disponibles DARI 2013 (tier 1)	Prace (tier 0)
CINES	IBM Power7 - Yoda	1 150 000	-
	SGI ICE - Jade	95 920 000	-
IDRIS	IBM Noeuds larges - Ada	53 100 000	-
	IBM BG/Q - Turing	345 560 000	-
TGCC	Bull - Curie nœuds larges	9 930 000	28 000 000
	Bull - Curie nœuds fins	62 100 000	201 000 000
	Bull - Curie nœuds hybrides GPU	270 000	600 000

Dossier technique

Dossier technique pour les demandes d'heures 2014. En cours. Le dossier de l'an dernier est là : dossier technique IPSL​

Comparaison entre machines sur une simulation de type piControl avec IPSLCM5A-LR

La figure [Image(wiki:Comp-convergence-clim-t2m-precip-slp-calculateurs-new-200yrdist2.jpg?, 240px)] comparaison convergence t2m, precip et slp] montre la convergence de quelques variables sur 5 simulations de type piControl2 (200 ans) réalisées sur 5 machines : SX9, titane, vargas, curie et ada. La 6ème courbe provient d'une simulation de type historical. Figure réalisée par J Servonnat.

Le principe, pour chaque variable, a été de calculer la distance quadratique entre piControl2 sur SX9 et sur les autres machines , en fonction de la longueur de la période que l'on considère. Pour tester la "normalité" de ces distances, j'ai estimé la distribution de la distance pour chaque longueur de période (en gros, j'ai tiré aléatoirement des couples de périodes dans piControl2, et j'ai calculé la distance). C'est ce qu'on voit en grisé en arrière-plan:

• le gris le plus clair montre les contours des 1er et 99eme quantiles de la distribution (pour chaque longueur de période)
• le gris un peu plus foncé montre les contours des 5eme et 95eme quantile
• le gris le plus foncé les contours des 25eme et 75eme quantiles.

---

Performances :

---

IDRIS IBM Noeuds larges - Ada

• La machine va un peu moins vite que curie.
• Les post-traitements se feront sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est pas nécessaire de demander des ressources pour les post-traitements.
• Rappel : il faut de l'ordre de 20 To sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.

---

Performances ada

IPSLCM5A

Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel	Temps à demander
ada (IDRIS)	32 (5 océan + 26 atmosphère)	1200 s	40 h	40x32 = 1 300h

Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel	Temps à demander
ada	64 (16 océan + 1 oasis + 47 atm	1500 s	70 h	70x64 = 4 500h

LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	15 min	30 h	30x32 = 960h

Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	35 min	70 h	70x32 = 2240h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	30 min	62 h	62x32 = 2000h

Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	100 min	210 h	210x32 = 6700h

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	1	3h	30h	30x1 = 30h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	32	1h	10h	10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	32	16 mn	2h40mn	2h40mnx32 = 85h

ORCA025_LIM2, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	186	6h	60h	60x186 ~ 11200h

---

TGCC Bull curie

noeuds larges : post-traitement

• Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 10 à 20% du nombre d'heures demandées sur noeuds fins.
• Il faut bien préciser les besoins, en particulier en production :
  • ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.

    > ccc_quota
    Disk quotas for user p86maf (uid 9920):
    
                 ------------------- SPACE --------------------  ------------------- INODE --------------------
     Filesystem       usage        soft        hard       grace     entries        soft        hard       grace
     ----------       -----        ----        ----       -----     -------        ----        ----       -----
           home     543.34M          3G          3G           -           -           -           -           - 
        scratch       1.56T         20T         20T           -      76.03k          2M          2M           - 
           work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           - 
          store           -           -           -           -     512.61k        550k        551k           - 
    
    Account scoring:
    ----------------
    Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail
    store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4
    
    Detailed inode count:
    Filesystem      type    cnt
    store           file    500099
    store           dir     11212
    store           symlink 1301
    

  • Demander plus de quotas si besoin, mais sur STOREDIR, il faut avoir un bon score pour les obtenir.
  • Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.

noeuds fins : calculs

Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps à demander sur noeuds fins	Temps à demander sur noeuds larges
curie	32	900 s	30 h	1000 h	250 h

Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps à demander sur noeuds fins	Temps à demander sur noeuds larges
curie	64	1200 s	40 h	2500 h	600 h

Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025

machine	Temps à demander sur noeuds fins
curie	50000 h

Détail du calcul de l'estimation pour le 280x280x39 - ORCA025:

• Grand challenge (sur CINES/jade) :
  • LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
  • Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
  • 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
  • IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
• 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
  • ORCA2 = 10-20 % de IPSLCM5A
  • 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
  • IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
• 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.

Estimation LMDZOR 144x142x39

Estimation basée sur 3mois de simulation pour LMDZOR MR Ancien physique Choisnel donne : "1500H curie noeud fin / 10 ans de simulation". Pour nouvelle physique, prendre le même rapport que sur ada, disons fois 2.5.

NEMO

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	32	30mn	5h	5x32 = 160h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	32	14 mn	~2h30mn	2h30mnx32 ~ 80h

TGCC Bull curie noeuds hybrides

Pas d'utilisation à ce jour

---

Performances estimées

CINES : l'environnement des simulations IPSL n'est pas installé.

CINES IBM yoda

Pas de performances connues

CINES SGI jade

Grand challenge

NEMO (Drakkar)

ORCA025_LIM2_L46 (1442x1021x46) - rdt = 1440s, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
jade (IDRIS)	856	~1h	~10h	10x856 ~ 8560h

ORCA025_LIM2_PISCES_CFC_L46 - rdt = 1440s, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
jade (IDRIS)	856	~7h	~70h	70x856 ~ 60000h

Config ORCA025.L75 (1442x1021x75)

Informations en provenance de JM Molines / Albanne Lecointre :

• Configuration :
  • NEMO 3.4/ LIM2 EVP
  • time_step=1080 sec
  • 592 cores
• Performances sur jade2 (prec Nehalem)
  • 1 an sans trends ni sortie de kztide : environ 3000 h cpu soit environ 5h elapsed; 1 an de sortie a 5 j : 204 Gb; 1an de moyennes : 77 Gb; restarts : 17 Gb ; soit total : 298 Gb ( 609 inodes/an)
  • 1 an avec trends et kztide : environ 3600 h cpu soit environ 6h elapsed; 1 an de sortie a 5 j : 277 Gb; 1an de moyennes : 90 Gb; restarts : 17 Gb ; soit total : 384 Gb ( 694 inodes/an )

Config ORCA012.L46 (4326x3061x46)

• NEMO 3.4/ LIM2 EVP
• time_step=360 sec
• 3000 cores
• 1 year : ~15 h elapsed time ; ~45 000 CPU hours (jade) ; Disk space for 1y, 5d output : 900 Gb

Config ORCA012.L75 (4326x3061x75)

• NEMO 3.4/ LIM2 EVP
• time_step=360 sec
• 3000 cores
• 1 year : ~22 h elapsed time ; ~65 000 CPU hours (jade) ; Disk space for 1y, 5d output : 1.5 Tb

Attention : pas d'environnement modipsl/libIGCM à ce jour.

IPSLCM5A : 96x95x39 - ORCA2

Mesure consommation 10 ans

machine	Nb CPU	Temps réel	Temps à demander
jade	32	60h	1920 h

IDRIS BlueGene Turing

Pas encore de test sur cette nouvelle machine. Il seait utile d'avoir des heures pour faire des tests avec LMDZ

CCRT Bull titane GPUs

Pas d'utilisation recensée à ce jour.

2013

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2012

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2010

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.