wiki:INCAperformances

Version 31 (modified by acosce, 11 years ago) (diff)

--

INCA performances on ccrt

Attention, on compte en temps réel sur le CCRT. Pour les demandes d'heures de calcul il faut multiplier le temps réel par le nombre de processeurs.

Mise à jour le 12 octobre 2012

CURIE

noeuds larges : post-traitement

  • Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs.
  • Il faut bien préciser les besoins, en particulier en production :
    • quota scratch sur curie : demander 20 To pour faire de la production. Il s'agit de l'espace nécessaire pour faire tourner les jobs ($TMPDIR mimé) et stocker les fichiers temporairement avant pack.
    • nombre d'inodes (fichiers) et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers.
    • nombre de jobs simultanés de post-traitement en mono. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux
    • pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.

noeuds fins : calculs

Configuration Chimie Physique de LMDZ Real time temps à demander Simulation Nb CPU Resolution
LMDZORINCA GES  AP 90 min 2880 min 1 mois 32 96x95x39
LMDZORINCA NMHC_AER AP 155 min 4960 min 1 mois 32 96x95x39


Mise à jour le 12 septembre 2011

TITANE

Configuration Chimie Real time temps à demander Simulation Nb CPU Resolution
LMDZORINCA NMHC_AER 40 min 1250 min 1 mois 32 96x95x19
LMDZORINCA  AER 15 min 480 min 1 mois 32 96x95x19
LMDZORINCA GES 10 min 320 min 1 mois 32 96x95x19
LMDZORINCA NMHC_AER 1h40 3168 min 1 mois 32 96x95x39
LMDZORINCA  GES  17 min 448 min  1 mois 32 96x95x39
LMDZORINCA AER 25 min 1000 min 1 mois  40 144x142x19

2 difficultés majeurs sur titane :

  • Les post-traitements des simulations faites sur titane se font actuellement sur cesium. Nous rencontrons des difficultés car cesium est trop petite pour absorber toute la charge des post-traitements.
    • Une première action a été de faire les rebuild sur la frontale de titane. Utiliser libIGCM_v1_11 pour cela.
    • Pour pouvoir faire tous les post-traitements sur titane il faudrait :
      • disposer des outils nco et C° nécessaires (rappeler la liste svp)
      • avoir la possibilités de lancer jusque 150 jobs à la fois, en classe scalaire sur titane. C'est ce que peut soumettre le script TimeSeriesChecker de vérification des TS
      • avoir la possibilité de tourner une vingtaine de jobs de type scalaire simultanément par utilisateur
      • disposer de l'espace TMPDIR nécessaire à ces jobs de post-traitements qui tourneraient simultanément.
  • Le nombre d'inodes sur /dmnfs
    • Les répertoires MONITORING sont sur /dmnfs pour être accessibles par dods.
      • Au TGCC, il est prévu d'avoir un 2ème espace visible depuis dods. Quand ce sera prêt on stockera les MONITORING là et on en fera un tar pour stocker un seul fichier sur STOREDIR
    • Les fichiers de type Analyse et SE resteront en l'état. A noter ils sont également visible depuis dods. Il y aura donc 2 serveurs dods.
    • Les fichiers de type Restart seront gardés une fois par an au lieu de une fois par mois de simulation.
    • Les fichiers de type Output seront regroupés (commande nccat) par an dans un répertoire Packed (au lieu de Output).
    • Les fichiers de type texte seront regroupés par an ou plus (cat).
  • Le travail de développement nécessaire est important et un soutien ingénieur spécifique est demandé. Besoins déjà répertoriés :
    • script de Package/Verification/Ménage, modification des scripts de TS pour tenir compte de la nouvelle arborescence, diffusion de cette pratique à tous, ...
    • mise en place d'un cache dans la chaine pour stocker les fichiers produits par les simus, les accéder depuis les jobs de post-traitements et stocker in fine sur SCRATCHDIR des fichiers qui ne seront plus utilisés par la chaine de production.


Mise à jour le 15 octobre 2010

TITANE

Configuration Chimie Real time temps à  demander Simulation Nb CPU Memory size used (GB) Resolution
LMDZORINCA NMHC_AER 40min 1250 min 1mois 32 ?? 96x95x19
LMDZINCA  GES 7 min 179 min 1 mois 24 ?? 96x72x19


Mise à jour le 27 septembre 2010

MERCURE SX8

Configuration Chimie Real time temps à  demander Simulation Nb CPU Memory size used (GB) Resolution
LMDZORINCA AER 30h 120h 10 ans 4 9 96x95x19
LMDZORINCA CH4_AER 51h  210h 10 ans 4 11 96x95x19
LMDZORINCA NMHC_AER 94h 380h 10 ans 4 14 96x95x19
LMDZOR none 7min 28min 1 mois 4 5 96x95x19
LMDZOR none 19min 67min 1 mois 4 5 96x95x39

Les performances pour le modèle couplé IPSLCM5A sont disponibles ici


Mise à jour le 11 février 2009

MERCURE SX8

Configuration Chimie Real time temps à demander Simulation Nb CPU Memory size used (GB) Resolution
LMDZINCA_v3 AER cple 44h 177h 10 ans 4 7 96x72x19


Mise à jour le 29 octobre 2008

MERCURE SX8

Configuration Chimie Real time temps à demander Simulation Nb CPU Memory size used (GB) Resolution
LMDZINCA_v3 CH4 35h 140h 10 ans 4 7 96x72x19
LMDZINCA_v3 AER 31h 124h 10 ans 4 7 96x72x19
LMDZINCA_v3 NMHC 69h 276h 10 ans 4 10 96x72x19
LMDZINCA_v3 CH4_AER 50h 200h 10 ans 4 9 96x72x19
LMDZINCA_v3 GES 21h 84h 10 ans 4 5 96x72x19
LMDZINCA_v3 NMHC_AER 86h 344h 10 ans 4 12 96x72x19
LMDZINCA_v3 NMHC_AER 46h 368h 10 ans 8 18 96x72x19
IPSL_ESM_v1 AER 31h 248h 10 ans 8 14 96x71x19


Mise à jour le 10 octobre 2007

MERCURE SX8

Configuration Chimie Real time (s) Simulation Nb CPU Memory size used (GB) Resolution
LMDZINCA_v2 CH4 1199.858 1 mois 4 6.042 96x72x19
LMDZINCA_v2 AER 1098.559 1 mois 4 5.82 96x72x19
LMDZINCA_v2 CH4_AER 1738.195 1 mois 4 7.86 96x72x19
LMDZINCA_v2 NMHC 2167 1 mois 4 8.26 96x72x19
LMDZINCA_v2 NMHC_AER 2954.475 1 mois 4 9.86 96x72x19
LMDZINCA_v2 GES 502.575 1 mois 6 6.92 96x72x19
LMDZORINCA AER 1246.531 1 mois 6 8.091 96x71x19
IPSL_ESM_V1 AER 1621.695 1 mois 4 6.50 96x71x19