Changes between Version 16 and Version 17 of PerformancesIPSLCM5A


Ignore:
Timestamp:
09/20/11 17:47:02 (13 years ago)
Author:
mafoipsl
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • PerformancesIPSLCM5A

    v16 v17  
    7676 * Les post-traitements des simulations faites sur titane (et sur le SX9) se font actuellement sur cesium. Nous rencontrons des difficultés car cesium est trop petite pour absorber toute la charge des post-traitements.  
    7777   * Une première action a été de faire les rebuild sur la frontale de titane. Utiliser libIGCM_v1_11 pour cela. 
    78    * Pour pouvoir faire tous les post-traitements dur cesium il faudrait : 
     78   * Pour pouvoir faire tous les post-traitements sur cesium il faudrait : 
    7979      * disposer des outils nco et C° nécessaires (rappeler la liste svp) 
    8080      * avoir la possibilités de lancer jusque 150 jobs à la fois, en classe scalaire sur vargas. C'est ce que peut soumettre le script !TimeSeriesChecker de vérification des TS 
    81       * avoir la possibilité de tourner une vingtaine de jobs de type scalaire simultanément 
     81      * avoir la possibilité de tourner une vingtaine de jobs de type scalaire simultanément par utilisateur 
    8282      * disposer de l'espace TMPDIR nécessaire à ces jobs de post-traitements qui tourneraient simultanément. 
    8383 * Le nombre d'inodes sur /dmnfs 
    8484   * Une simulation de type historical produit plus de 120 000 fichiers. 
    85      * Les répertoires ATLAS et MONITORING sont sur /dmnfs pour être accessibles par dods.  Au TGCC, il est prévu d'avoir un autre espace visible depuis dods. Quand ce sera prêt on stockera les ATLAS et MONITORING là et on en fera un tar pour stocker un seul fichier sur STOREDIR 
    86  
     85     * Les répertoires ATLAS et MONITORING sont sur /dmnfs pour être accessibles par dods.  Au TGCC, il est prévu d'avoir un autre espace visible depuis dods. Quand ce sera prêt on stockera les ATLAS (20 000) et MONITORING (400 fichiers) là et on en fera un tar pour stocker un seul fichier sur STOREDIR 
     86     * Les fichiers de type Analyse et SE (2000 fichiers) resteront en l'état 
     87     * Les fichiers de type Restart (22 000 fichiers) seront gardés une fois par an au lieu de une fois par mois de simulation. (2 000 fichiers au final) 
     88     * Les fichiers de type Output seront regroupés (commande nccat) par an dans un répertoire Packed (au lieu de Output). 
     89     * Les fichiers de type texte seront regroupés par an.  
     90  * Le travail de développement nécessaire est important : script de Package/Verification/Ménage, modification des scripts de TS pour tenir compte de la nouvelle arborescence, ... et un soutien ingénieur est demandé. 
     91  * Dans un 2ème temps, un cache sera mis en place dans la chaine pour stocker les fichiers et minimiser les transferts. 
    8792 
    8893==== Résolution 96x95x39 - ORCA2 ====