= INCA performances on ccrt = [[PageOutline]] [[BR]] == Mise à jour spetembre 2020 == '''IRENE SKL''' ||Configuration ||Resolution ||Real time (s) || Nb CPU utilisés || Nb CPU facturés || '''temps facturé pour 10 ans''' || SYPD || || LOI AER || 144x142x79 || 15165 / an || 569 || 576 || 24264 h || 5.5 || || LOI NA-S || 96x95x39 || 550 /mois || 577 || 600 || 11000 h || 13 || || CM6 AER || 144x142x79 || 590 / mois || 929 || 936 || 18408 h || 12 || || CM5 NA-S || 96x95x39 || 7340 / an || 621 || 624 || 12723 h || 12 || estimation pour passer de 96x95x39 ancienne physique en 144x142x79 nouvelle physique = x2 (résolution horiz) x2 (résolution vert) x2 (changement physique) ''' IRENE AMD''' Avec le modèle Inca le passage à irène Rome est quasi transparent avec des perfs équivalentes à irène SKL || chimie || SKL (s/mois) || AMD (s/mois) || nb coeurs || || NMHC_AER || 524 || 515 || 577 || || NMHC_AER_S || 594 || 592 || 577 || || NMHC || 295 || 322 || 577 || || AER VLR || 222 || 263 || 577 || || AER LR || 1522 || 1551 || 569 || || GES || 160 || 137 || 577 || || DUSS || 172 || 190 || 577 || == Mise à jour juillet 2018 == ''' IRENE ''' Les performances sur irène sont fluctuantes depuis l'ouverture de la machine - à moins de refaire les tests de nombreuses fois il est difficile d'avoir une bonne évaluation du temps. J'ai donc mis les meilleurs temps que j'ai eu à un instant donné ce qui ne veut pas dire que ce ne sera pas meilleur dans les jours qui viennent ou pire. ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU utilisés || Nb CPU facturés ||Resolution || || LMDZORINCA_v6 || NMHC_AER || AP || || ''' ''' || 10 ans || || || 96x95x39 || || LMDZORINCA_v6 || NMHC || AP || 9.8h || ''' 5 645 h''' || 10 ans || 47*12+1 = 565 || 576 || 96x95x39 || || LMDZORINCA_v6 || NMHC_AER_S || AP || 19h || ''' 11 856 h''' || 10 ans ||48*12+1 = 577 || 624 || 96x95x39 || || LMDZORINCA_v6 || AER || AP || || ''' ''' || 10 ans || || || 96x95x39 || || LMDZORINCA_v6 || AER || NP || 53h || ''' 30 528 h ''' || 10 ans || 71*8+1 = 569 || 576 || 144x142x79 || || ''LMDZORINCA_v6'' || ''GES'' || ''AP'' || ''7h'' || '' 4 368 h '' || ''10 ans'' || ''48*12+1 = 577'' || ''624'' || ''96x95x39'' || || LMDZORINCA_v6 || GES || AP || 9 h || ''' 1296 h''' || 10 ans || 32*4+1 = 129 || 144 || 96x95x39 || || LMDZORINCA_v6 || DUSS || AP || || ''' ''' || 10 ans || || || 96x95x39 || || IPSLCM5A2CHT.1 || NMHC_AER || AP || || ''' ''' || 10 ans || || || 96x95x39 || || IPSLCM5A2CHT.1 || NMHC_AER_S || AP || h || ''' ''' || 10 ans || || || 96x95x39 || || IPSLESM6 || AER || NP || 48 h || '''46 080h ''' || 10 ans || 71*8+360+1= 929 || 960 || 144x142x79 || || LMDZINCAREPR || NMHC || AP || 30 h || '''11 520h ''' || 10 ans || 47x8+1=377 || 384 || 96x95x39 || ''' Comparaison Curie -Irène coeurs à coeurs (mise à jour 5 sept 2018) ''' ||Configuration || Chimie || Physique de LMDZ ||Real time pour 1 mois curie || Real time pour 1 mois irène || Nb CPU || || LMDZORINCA_v6 || NMHC_AER_S || AP || 1875 s || 1230 s || 129 || || LMDZORINCA_v6 || GES || AP || 270 s || 204 s || 129 || || LMDZORINCA_v6 || NMHC || AP || 1290 s || 687 s || 129 || || LMDZORINCA_v6 || NMHC_AER || AP || 1530 s || 950 s || 129 || || IPSLCM5A2CHT || NMHC_AER_S || AP || 1260 s || 750s || 302 ||  == Mise à jour le 22 février 2018 == ''' CURIE ''' '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU utilisés || Nb CPU facturés ||Resolution || || LMDZORINCA_v6 || NMHC_AER || AP || 51 h || '''7 344 h''' || 10 ans || 129 || 144 || 96x95x39 || || IPSLCM5A2CHT.1 || NMHC_AER || AP || 37 h || '''11 248 h''' || 10 ans || 302 || 304 || 96x95x39 || || IPSLCM5A2CHT.1 || NMHC_AER_S || AP || 42 h || '''12 768 h''' || 10 ans || 302 || 304 || 96x95x39 || == Mise à jour le 2 aout 2017 == ''' CURIE ''' '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU utilisés || Nb CPU facturés ||Resolution || clim/Nudge || || LMDZORINCA_v6 || NMHC_AER (nitrate) || AP || 51 h || '''7 500 h ''' || 10 ans || 129 || 144 || 96x95x39 || clim || || LMDZORINCA_v6 || AER || NP || 87 h || '''34 000 h ''' || 10 ans || 377 || 384 || 144x142x79 || clim || || LMDZORINCA_v6 || AER || AP || 22 h || '''3 100 h ''' || 10 ans || 129 || 144 || 96x95x39 || clim || || LMDZORINCA_v6 || NMHC || AP || 43 h || '''6 200 h ''' || 10 ans || 129 || 144 || 96x95x39 || clim || || LMDZORINCA_v6 || GES ||  AP ||  9 h || ''' 1296 h''' || 10 ans || 129 || 144 || 96x95x39 || clim || || LMDZORINCA_v6 || GES || NP || 60 h || ''' 24 000 h''' || 10 ans || 377 || 384 || 144x142x79 || clim || == Mise à jour le 13 octobre 2016 == ''' CURIE ''' '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Resolution || clim/Nudge || || LMDZORINCA_v6 || NMHC_AER (nitrate) || AP || 25 min || '''55h''' || 1 mois || 128 || 96x95x39 || clim || || LMDZORINCA_v6 || AER || NP || 66 min || '''418h''' || 1 mois || 377 || 144x142x79 || clim || || LMDZORINCA_v6 || AER || AP || 10 min || '''21h''' || 1 mois || 128 || 96x95x39 || clim || || LMDZORINCA_v6 || NMHC || AP || 17 min || '''37h''' || 1 mois || 128 || 96x95x39 || clim || == Mise à jour le 30 janvier 2015 == ''' CURIE ''' '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Resolution || clim/Nudge || || LMDZORINCA_v6 || NMHC_AER (nitrate) || AP || 55 min || '''118h''' || 1 mois || 32*4+1 || 96x95x39 || clim || || LMDZORINCA_v6 || AER || AP || 10 min || '''21h''' || 1 mois || 32*4+1 || 96x95x39 || clim || || LMDZORINCA_v6 || NMHC || AP || 17 min || '''37h''' || 1 mois || 32*4+1 || 96x95x39 || clim || == Mise à jour le 3 septembre 2014 == ''' CURIE ''' '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Resolution || clim/Nudge || || LMDZORINCA_v5 || NMHC_AER || AP || 90 min || '''2880 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA_v5 || AER || AP || 25 min || '''821 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA_v5 || AER || AP || || || 1 mois || 40 || 144x142x39 || clim || || IPSCLCM5_CHT || AER || AP || 36 min ||''' 1152 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA_v5.2 / RRTM || AER || NPv3.2 || 47 min || '''1504 min''' || 1 mois || 32 || 96x95x39 || clim || == Mise à jour le 11 octobre 2013 == ''' CURIE ''' '''__noeuds larges : post-traitement__''' * Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. On conseille de demander 10 % du nombre d'heures demandées sur noeuds fins. * '''Production''' : Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés. '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Resolution || clim/Nudge || || LMDZORINCA || NMHC_AER|| AP || 90 min || '''2880 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA || AER|| AP || 25 min || '''821 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA || AER|| AP || 48 min || '''1940 min''' || 1 mois || 40 || 144x142x39 || clim || || IPSCLCM5_CHT || AER || AP || 36 min || ''' 1152 min''' || 1 mois || 32 || 96x95x39 || clim || == Mise à jour le 12 octobre 2012 == ''' CURIE ''' '''__noeuds larges : post-traitement__''' * Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. * Il faut bien préciser les besoins, en particulier en production : * '''quota scratch sur curie''' : demander 20 To pour faire de la production. Il s'agit de l'espace nécessaire pour faire tourner les jobs ($TMPDIR mimé) et stocker les fichiers temporairement avant pack. * '''nombre d'inodes (fichiers) et espace sur CCCSTOREDIR''', justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers. * '''nombre de jobs simultanés de post-traitement en mono'''. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux * pour faire de la '''production''', il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser '''le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés'''. '''__noeuds fins : calculs__''' ||Configuration || Chimie || Physique de LMDZ ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Resolution || clim/Nudge || || LMDZORINCA || NMHC_AER|| AP || 90 min || '''2880 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA || AER|| AP || 25 min || '''821 min''' || 1 mois || 32 || 96x95x39 || clim || || LMDZORINCA || AER|| AP || 48 min || '''1940 min''' || 1 mois || 40 || 144x142x39 || clim || [[BR]] == Mise à jour le 12 septembre 2011 == '''TITANE''' ||Configuration || Chimie ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Resolution || ||LMDZORINCA || NMHC_AER|| 40 min || '''1250 min''' || 1 mois || 32 || 96x95x19 || ||LMDZORINCA || AER || 15 min || '''480 min ''' || 1 mois || 32 || 96x95x19 || ||LMDZORINCA || GES || 10 min || '''320 min''' || 1 mois || 32 || 96x95x19 || ||LMDZORINCA || NMHC_AER|| 1h40 || '''3168 min''' || 1 mois || 32 || 96x95x39 || ||LMDZORINCA || GES || 17 min || '''448 min''' || 1 mois || 32 || 96x95x39 || ||LMDZORINCA || AER || 25 min || '''1000 min''' || 1 mois || 40 || 144x142x19 || 2 difficultés majeurs sur titane : * Les post-traitements des simulations faites sur titane se font actuellement sur cesium. Nous rencontrons des difficultés car cesium est trop petite pour absorber toute la charge des post-traitements. * Une première action a été de faire les rebuild sur la frontale de titane. Utiliser libIGCM_v1_11 pour cela. * Pour pouvoir faire tous les post-traitements sur titane il faudrait : * disposer des outils nco et C° nécessaires (rappeler la liste svp) * avoir la possibilités de lancer jusque 150 jobs à la fois, en classe scalaire sur titane. C'est ce que peut soumettre le script !TimeSeriesChecker de vérification des TS * avoir la possibilité de tourner une vingtaine de jobs de type scalaire simultanément par utilisateur * disposer de l'espace TMPDIR nécessaire à ces jobs de post-traitements qui tourneraient simultanément. * Le nombre d'inodes sur /dmnfs * Les répertoires MONITORING sont sur /dmnfs pour être accessibles par dods. * Au TGCC, il est prévu d'avoir un 2ème espace visible depuis dods. Quand ce sera prêt on stockera les MONITORING là et on en fera un tar pour stocker un seul fichier sur STOREDIR * Les fichiers de type Analyse et SE resteront en l'état. A noter ils sont également visible depuis dods. Il y aura donc 2 serveurs dods. * Les fichiers de type Restart seront gardés une fois par an au lieu de une fois par mois de simulation. * Les fichiers de type Output seront regroupés (commande nccat) par an dans un répertoire Packed (au lieu de Output). * Les fichiers de type texte seront regroupés par an ou plus (cat). * Le travail de développement nécessaire est important et un soutien ingénieur spécifique est demandé. Besoins déjà répertoriés : * script de !Package/Verification/Ménage, modification des scripts de TS pour tenir compte de la nouvelle arborescence, diffusion de cette pratique à tous, ... * mise en place d'un cache dans la chaine pour stocker les fichiers produits par les simus, les accéder depuis les jobs de post-traitements et stocker in fine sur SCRATCHDIR des fichiers qui ne seront plus utilisés par la chaine de production. [[BR]] == Mise à jour le 15 octobre 2010 == '''TITANE''' ||Configuration || Chimie ||Real time ||'''temps à  demander''' ||Simulation || Nb CPU || Memory size used (GB) || Resolution || ||LMDZORINCA || NMHC_AER || 40min || '''1250 min''' || 1mois || 32 || ?? || 96x95x19 || ||LMDZINCA ||  GES || 7 min || '''179 min''' || 1 mois || 24 || ?? || 96x72x19 || [[BR]] == Mise à jour le 27 septembre 2010 == '''MERCURE SX8''' ||Configuration || Chimie ||Real time ||'''temps à  demander''' ||Simulation || Nb CPU || Memory size used (GB) || Resolution || ||LMDZORINCA || AER || 30h || '''120h''' || 10 ans || 4 || 9 || 96x95x19 || ||LMDZORINCA || CH4_AER || 51h || '''210h''' || 10 ans || 4 || 11 || 96x95x19 || ||LMDZORINCA || NMHC_AER || 94h || '''380h''' || 10 ans || 4 || 14 || 96x95x19 || ||LMDZOR || none || 7min || '''28min''' || 1 mois || 4 || 5 || 96x95x19 || ||LMDZOR || none || 19min || '''67min''' || 1 mois || 4 || 5 || '''96x95x39 ''' || Les performances pour le modèle couplé IPSLCM5A sont disponibles [https://forge.ipsl.jussieu.fr/igcmg/wiki/PerformancesIPSLCM5A ici] [[BR]] == Mise à jour le 11 février 2009 == '''MERCURE SX8''' ||Configuration || Chimie ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Memory size used (GB) || Resolution || || LMDZINCA_v3 || AER cple|| 44h ||'''177h''' ||10 ans || 4 || 7 || 96x72x19 || [[BR]] == Mise à jour le 29 octobre 2008 == '''MERCURE SX8''' ||Configuration || Chimie ||Real time ||'''temps à demander''' ||Simulation || Nb CPU || Memory size used (GB) || Resolution || || LMDZINCA_v3 || CH4 || 35h ||'''140h''' ||10 ans || 4 || 7 ||96x72x19 || || LMDZINCA_v3 || AER || 31h ||'''124h''' ||10 ans || 4 || 7 ||96x72x19 || || LMDZINCA_v3 || NMHC || 69h ||'''276h''' ||10 ans || 4 || 10 ||96x72x19 || || LMDZINCA_v3 || CH4_AER || 50h ||'''200h''' ||10 ans || 4 || 9 ||96x72x19 || || LMDZINCA_v3 || GES || 21h ||'''84h''' ||10 ans || 4 || 5 ||96x72x19 || || LMDZINCA_v3 || NMHC_AER|| 86h ||'''344h''' ||10 ans || 4 || 12 ||96x72x19 || || LMDZINCA_v3 || NMHC_AER|| 46h ||'''368h''' ||10 ans || 8 || 18 ||96x72x19 || || IPSL_ESM_v1 || AER || 31h ||'''248h''' ||10 ans || 8 || 14 ||96x71x19 || [[BR]] == Mise à jour le 10 octobre 2007 == '''MERCURE SX8''' ||Configuration || Chimie ||Real time (s) || Simulation || Nb CPU || Memory size used (GB) || Resolution || || LMDZINCA_v2 || CH4 || 1199.858 || 1 mois || 4 || 6.042 ||96x72x19 || || LMDZINCA_v2 || AER || 1098.559 || 1 mois || 4 || 5.82 ||96x72x19 || || LMDZINCA_v2 || CH4_AER || 1738.195 || 1 mois || 4 || 7.86 ||96x72x19 || || LMDZINCA_v2 || NMHC || 2167 || 1 mois || 4 || 8.26 ||96x72x19 || || LMDZINCA_v2 || NMHC_AER|| 2954.475 || 1 mois || 4 || 9.86 ||96x72x19 || || LMDZINCA_v2 || GES || 502.575 || 1 mois || 6 || 6.92 ||96x72x19 || || LMDZORINCA || AER || 1246.531 || 1 mois || 6 || 8.091 ||96x71x19 || || IPSL_ESM_V1 || AER || 1621.695 || 1 mois || 4 || 6.50 ||96x71x19 ||