Changes between Version 80 and Version 81 of PerformancesIPSLCM5A


Ignore:
Timestamp:
09/13/13 16:47:35 (10 years ago)
Author:
mafoipsl
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • PerformancesIPSLCM5A

    v80 v81  
    55[[PageOutline]] 
    66 
    7 = 2013 = 
    8  
    9 Mise à jour en septembre 2012.  
     7= 2014 = 
     8 
     9Mise à jour en septembre 2013.  
    1010 
    1111== Ressources disponibles == 
     
    1616 
    1717|| '''Centre''' || '''Supercalculateurs'''  || '''Estimation des  ressources disponibles DARI 2013''' (tier 1) ||  Prace (tier 0)  || 
    18 || '''CINES'''  || IBM Power7 - Yoda  || 1 227 000 || - || 
    19 || || SGI ICE - Jade  || 114 123 000 || - || 
    20 || '''IDRIS''' || IBM Noeuds larges - Ada  || 55 450 000 || - || 
    21 || || IBM BG/Q - Turing  || 342 000 000 || - || 
    22 || '''CCRT'''  || Bull Xéon – Titane  || 20 148 000 - jusqu'au 30 juin 2013 || - || 
    23 || || Bull Xéon – Titane  noeuds hybrides GPU  || 600 000 || - || 
    24 || '''TGCC''' || Bull - Curie nœuds  larges  || 9 000 000  || 28 000 000 || 
    25 || || Bull - Curie nœuds fins  || 63 600 000 || 201 000 000 || 
    26 || || Bull - Curie nœuds hybrides GPU || 284 000 || 600 000 || 
     18|| '''CINES'''  || IBM Power7 - Yoda  || 1 150 000 || - || 
     19|| || SGI ICE - Jade  || 95 920 000 || - || 
     20|| '''IDRIS''' || IBM Noeuds larges - Ada  || 53 100 000 || - || 
     21|| || IBM BG/Q - Turing  || 345 560 000 || - || 
     22|| '''TGCC''' || Bull - Curie nœuds  larges  || 9 930 000  || 28 000 000 || 
     23|| || Bull - Curie nœuds fins  || 62 100 000|| 201 000 000 || 
     24|| || Bull - Curie nœuds hybrides GPU || 270 000 || 600 000 || 
    2725 
    2826== Dossier technique == 
    2927 
    30 Dossier technique pour les demandes d'heures 2013. En cours. Le dossier de l'an dernier est là : [attachment:DossierTechnique_2012.doc dossier technique IPSL] 
    31  
    32 Important : recenser toutes les demandes de quotas inodes des logins du TGCC qui dépassent 100 000.  
    33  
    34 16/10/2012 : Les documents (doc et pdf) de la demande rpsl -0826 : Développement du système couplé IPSL et partage de données sont en attaché de cette page. Voir en bas. 
     28Dossier technique pour les demandes d'heures 2014. En cours. Le dossier de l'an dernier est là : [attachment:DossierTechnique_2012.doc dossier technique IPSL] 
     29 
    3530 
    3631=== Comparaison entre machines sur une simulation de type piControl avec IPSLCM5A-LR === 
     
    4843=== IDRIS IBM Noeuds larges - Ada  === 
    4944 
    50  
    51  * En première approche, les performances sont identiques à celles de vargas. 
    52  * Les post-traitements se feront sur des noeuds dédiés et non plus sur ulam. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul. 
    53  * Il faut bien préciser les besoins : 
    54     * accès depuis ada par NFS aux fichiers gaya. En lecture seule seulement. Si besoin en écriture, le préciser car ce n'est pas envisagé à ce jour par l'IDRIS. 
    55     * outils nécessaires de type nco, cdo, ... sur ada  
    56     * préciser le nombre de jobs de post-traitements mono simultanés : 300 
    57     * nombre de fichiers sur gaya et espace : 120 000 si on ne packe pas pour une simulation de type historical. 7 000 si on packe. L'option pack n' a pas encore testé sur ada. Son bon fonctionnement dépendra de la dimension de l'espace temporaire WORKDIR utilisé par les fichiers à packer. 
    58  
    59 ---- 
    60 === Rappel des performances vargas === 
     45 * La machine va un peu moins vite que curie. 
     46 * Les post-traitements se feront sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est pas nécessaire de demander des ressources pour les post-traitements. 
     47 * Rappel : il faut de l'ordre de 20 To sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.  
     48 
     49---- 
     50=== Performances ada === 
    6151 
    6252==== IPSLCM5A ==== 
    6353'''Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2''' 
    6454|| machine || Nb CPU || Temps réel/mois || Temps réel || '''Temps à demander''' || 
    65 || vargas (IDRIS) || 32 (5 océan + 26 atmosphère) || 1200 s || 40 h  ||  40x32 = '''1 300h''' || 
     55|| ada (IDRIS) || 32 (5 océan + 26 atmosphère) || 1200 s || 40 h  ||  40x32 = '''1 300h''' || 
    6656 
    6757'''Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2''' 
    6858|| machine || Nb CPU || Temps réel/mois ||Temps réel || '''Temps à demander''' || 
    69 || vargas || 64 (16 océan + 1 oasis + 47 atm || 1500 s || 70 h    || 70x64 = '''4 500h''' || 
     59|| ada || 64 (16 océan + 1 oasis + 47 atm || 1500 s || 70 h    || 70x64 = '''4 500h''' || 
    7060 
    7161==== LMDZOR ==== 
    7262'''Ancienne physique résolution 96x95x39''', estimation consommation 10 ans 
    7363|| machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 
    74 || vargas (IDRIS) || 32 || 15 min|| 30 h  ||  30x32 = '''960h''' || 
     64|| ada (IDRIS) || 32 || 15 min|| 30 h  ||  30x32 = '''960h''' || 
    7565 
    7666'''Nouvelle physique NPv3 résolution 96x95x39''', estimation consommation 10 ans 
    7767|| machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 
    78 || vargas (IDRIS) || 32 || 35 min || 70 h  ||  70x32 = '''2240h''' || 
     68|| ada (IDRIS) || 32 || 35 min || 70 h  ||  70x32 = '''2240h''' || 
    7969 
    8070'''Ancienne physique résolution 144x142x39''', estimation consommation 10 ans 
    8171|| machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 
    82 || vargas (IDRIS) || 32 || 30 min || 62 h  ||  62x32 = '''2000h''' || 
     72|| ada (IDRIS) || 32 || 30 min || 62 h  ||  62x32 = '''2000h''' || 
    8373 
    8474'''Nouvelle physique NPv3 résolution 144x142x39''', estimation consommation 10 ans, NB: temps avec iphysiq=5  
    8575|| machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 
    86 || vargas (IDRIS) || 32 || 100 min || 210 h  ||  210x32 = '''6700h''' || 
     76|| ada (IDRIS) || 32 || 100 min || 210 h  ||  210x32 = '''6700h''' || 
    8777 
    8878==== NEMO  ==== 
    8979'''ORCA2_LIM''', estimation consommation 10 ans 
    9080|| machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    91 || vargas (IDRIS) || 1 || 3h || 30h  ||  30x1 = '''30h''' || 
     81|| ada (IDRIS) || 1 || 3h || 30h  ||  30x1 = '''30h''' || 
    9282 
    9383'''ORCA2_LIM_PISCES''', estimation consommation 10 ans 
    9484|| machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    95 || vargas (IDRIS) || 32 || 1h  || 10h  ||  10x32 = '''320h''' || 
     85|| ada (IDRIS) || 32 || 1h  || 10h  ||  10x32 = '''320h''' || 
    9686 
    9787'''ORCA2_OFF_PISCES''', estimation consommation 10 ans 
    9888|| machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    99 || vargas (IDRIS) || 32 || 16 mn  || 2h40mn  ||  2h40mnx32 = '''85h''' || 
     89|| ada (IDRIS) || 32 || 16 mn  || 2h40mn  ||  2h40mnx32 = '''85h''' || 
    10090 
    10191'''ORCA025_LIM2''', estimation consommation 10 ans 
    10292|| machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    103 || vargas (IDRIS) || 186 || 6h || 60h  ||  60x186 ~ '''11200h''' || 
    104  
    105  
    106 ---- 
    107 === CCRT  Bull titane === 
    108  * cette machine sera arrêtée le 30 juin 2013. 
    109  * Les post-traitements se font sur titane. Il faut donc demander aussi les heures nécessaires pour les post-traitements. Estimation : 20%-25% du calcul. 
    110  * Le bug faisant compter 8 fois les temps mono a été corrigé.  
    111  * Il faut bien préciser les besoins : 
    112     * quota scratch sur titane : demander 3 To pour faire de la production 
    113     * nombre d'inodes et espace sur CCCSTOREDIR, justifier '''précisément''' si plus de 100 000 fichiers 
    114  
    115  
    116 ==== IPSLCM5A ====  
    117  
    118 '''Mesure consommation 10 ans Résolution 96x95x39 - ORCA2 (sorties "légères")''' 
    119 || machine || Nb CPU || Temps réel/mois || Temps réel/10 ans || Temps calcul || '''Temps à demander incluant les post-traitements''' || 
    120 || titane || 32 || 1400 s || 50 h  || 1600 h ||  '''2000 h''' || 
    121  
    122  
    123 '''Mesure consommation 10 ans Résolution 144x142x39 - ORCA2 ''' 
    124 || machine || Nb CPU || Temps réel/mois || Temps réel/10 ans || Temps calcul || '''Temps à demander incluant les post-traitements''' || 
    125 || titane || 52 || 1500 s || 70 h  || 3640 h || '''4500 h''' || 
    126  
    127 ==== Configuration Forcée : LMDZOR ====  
    128  
    129 '''Ancienne physique résolution 96x95x39''', estimation consommation 10 ans 
    130 || machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 
    131 || titane (CCRT) || 32 || 16 min|| 32 h  ||  32x32 = '''1024h''' || 
    132  
    133  
    134 '''Ancienne physique résolution 144x142x39''', estimation consommation 10 ans 
    135 || machine || Nb CPU || Temps réel / mois || Temps réel total || '''Temps à demander''' || 
    136 || titane(CCRT) || 32 || 40 min || 80 h  ||  80x32 = '''2560h''' || 
    137  
    138  
    139 ==== Configuration Forcée : LMDZORINCA ====  
    140 Vous trouverez les renseignements sur cette [http://forge.ipsl.jussieu.fr/inca/wiki/INCAperformances page] 
    141  
    142 ==== NEMO  ==== 
    143 '''ORCA2_LIM''', estimation consommation 10 ans 
    144 || machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    145 || titane (CCRT) || 1 || 2h || 20h  ||  20x1 = '''20h''' || 
    146  
    147 '''ORCA2_LIM_PISCES''', estimation consommation 10 ans 
    148 || machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    149 || titane (CCRT) || 32 || 1h  || 10h  ||  10x32 = '''320h''' || 
    150  
    151 '''ORCA2_OFF_PISCES''', estimation consommation 10 ans 
    152 || machine || Nb CPU || Temps réel / an || Temps réel total || '''Temps à demander''' || 
    153 || titane (CCRT) || 32 || 16 mn  || 2h40mn  ||  2h40mnx32 = '''85h''' || 
    154  
     93|| ada (IDRIS) || 186 || 6h || 60h  ||  60x186 ~ '''11200h''' || 
    15594 
    15695---- 
     
    16099==== noeuds larges  : post-traitement ==== 
    161100 
    162  * Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 
     101 * Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. 10 à 20% du nombre d'heures demandées sur noeuds fins. 
    163102 * Il faut bien préciser les besoins, en particulier en production : 
    164     * '''quota scratch sur curie''' : vérifier que vous avez bien 20 To pour faire de la production (ccc_quota). Il s'agit de l'espace nécessaire pour faire tourner les jobs ($TMPDIR mimé) et stocker les fichiers temporairement avant pack.  
    165     * '''nombre d'inodes (fichiers) et espace sur CCCSTOREDIR''', justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers. 
    166     * '''nombre de jobs simultanés de post-traitement en mono'''. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux 
    167     * pour faire de la '''production''', il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser '''le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés'''. 
     103    * ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes. 
     104{{{ > ccc_quota 
     105Disk quotas for user p86maf (uid 9920): 
     106 
     107             ------------------- SPACE --------------------  ------------------- INODE -------------------- 
     108 Filesystem       usage        soft        hard       grace     entries        soft        hard       grace 
     109 ----------       -----        ----        ----       -----     -------        ----        ----       ----- 
     110       home     543.34M          3G          3G           -           -           -           -           -  
     111    scratch       1.56T         20T         20T           -      76.03k          2M          2M           -  
     112       work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           -  
     113      store           -           -           -           -     512.61k        550k        551k           -  
     114 
     115Account scoring: 
     116---------------- 
     117Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail 
     118store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4 
     119 
     120Detailed inode count: 
     121Filesystem      type    cnt 
     122store           file    500099 
     123store           dir     11212 
     124store           symlink 1301 
     125}}} 
     126    * Demander plus de quotas si besoin, mais sur STOREDIR, il faut avoir un bon score pour les obtenir. 
     127    * Pour faire de la '''production''', il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser '''le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés'''. 
    168128 
    169129 
     
    197157 
    198158Estimation basée sur 3mois de simulation pour LMDZOR MR Ancien physique Choisnel  donne : "1500H curie noeud fin / 10 ans de simulation". 
    199 Pour nouvelle physique, prendre le même rapport que sur vargas, disons fois 2.5.  
     159Pour nouvelle physique, prendre le même rapport que sur ada, disons fois 2.5.  
    200160 
    201161==== NEMO  ==== 
     
    273233=== IDRIS !BlueGene Turing === 
    274234 
    275 Pas encore de test sur cette nouvelle machine. Sur l'ancienne (babel) : utilisation non conseillée. Tests avec NEMO seulement. 
     235Pas encore de test sur cette nouvelle machine. Il seait utile d'avoir des heures pour faire des tests avec LMDZ 
    276236 
    277237=== CCRT Bull titane GPUs === 
     
    279239Pas d'utilisation recensée à ce jour. 
    280240 
    281 == Décompte des fichiers pour le TGCC/CCRT == 
    282  
    283 En résumé, pour les logins de production de simulations lourdes, besoin de : 
    284  * sur /ccc/store :  500 000 en plus de ce qui existera après le déménagement. 
    285  * sur /ccc/work : 3 millions de fichiers. 
    286  
    287 Sur la SX9, on peut faire par ans l'équivalent de 180 simus de type historical et on arrivait à 20 millions de fichiers. x2 avec titane.  Progression annuelle 2011, 2012 : + 40 millions de fichiers par an. 
    288  
    289  * Avant :  Pour un historical IPSLCM5A-LR complet, sorties CMIP5, on avait 120 000 fichiers dont 1 700 fichiers de TS. 
    290  * Après pack :  
    291   * Avec le pack par an : 
    292    * 7 300 fichiers sur store et 28 000 fichiers sur work pour accès dods 
    293   * packe par 5 ans : 
    294    * 3 100 fichiers sur store et 28 000 fichiers sur work pour accès dods 
    295   * pack par 10 ans : 
    296    * 2 500 fichiers sur store et 28 000 fichiers sur work pour accès dods 
    297  
    298 Les quotas à demander sur les différents espaces. 
    299  
    300  * /store  
    301 Avec ce rapport de 16 (120 000/ 7 300) on arrive à  + 1 millions de fichiers pour la production annuelle SX9 sur /store. + 2 millions de fichiers avec titane 
    302 Aujourd'hui on a 4 à 5 millions de fichiers quand on fait de la prod, soit le 1/4 de la production annuelle SX9. On garde ce rapport 4. 
    303 Cela veut dire quota de 500 000 fichiers sur /store pour les logins de production. 500 000 en plus de ce qui existera après le déménagement. 
    304  
    305  * /work 
    306 Avec ce rapport de 4 (120 000/28 000) on arrive à + 5 millions de fichiers pour la production annuelle SX9 sur /work, + 10 millions de fichiers avec titane 
    307 Par login de production, il faut 2 millions de fichiers pour distribution dods et 1 million de fichiers pour travailler. 3 millions de fichiers. 
     241= 2013 = 
     242 
     243Informations supprimées. Voir l'historique des changements pour les retrouver si besoin. 
     244 
    308245 
    309246= 2012 =