Changes between Version 18 and Version 19 of PerformancesIPSLCM5A

Timestamp:

09/20/11 17:56:05 (13 years ago)

Author:

mafoipsl

Comment:

--

PerformancesIPSLCM5A

@@ -37 +37 @@
 || jade || 32 || 60h  || '''1920 h''' ||
 
+==== Résolution 144x142x39 - ORCA2 ====
+
+'''Mesure consommation 10 ans'''
+|| machine || Nb CPU || Temps réel || '''Temps à demander''' ||
+|| titane || 64 || ??  || '''??''' ||
+
+Test en cours (20/9/2011)
 
 === IDRIS IBM vargas ===
@@ -75 +82 @@
  * Les post-traitements des simulations faites sur titane (et sur le SX9) se font actuellement sur cesium. Nous rencontrons des difficultés car cesium est trop petite pour absorber toute la charge des post-traitements. 
    * Une première action a été de faire les rebuild sur la frontale de titane. Utiliser libIGCM_v1_11 pour cela.
-   * Pour pouvoir faire tous les post-traitements sur cesium il faudrait :
+   * Pour pouvoir faire tous les post-traitements sur titane il faudrait :
       * disposer des outils nco et C° nécessaires (rappeler la liste svp)
       * avoir la possibilités de lancer jusque 150 jobs à la fois, en classe scalaire sur vargas. C'est ce que peut soumettre le script !TimeSeriesChecker de vérification des TS
@@ -82 +89 @@
  * Le nombre d'inodes sur /dmnfs
    * Une simulation de type historical produit plus de 120 000 fichiers.
-     * Les répertoires ATLAS et MONITORING sont sur /dmnfs pour être accessibles par dods.  Au TGCC, il est prévu d'avoir un autre espace visible depuis dods. Quand ce sera prêt on stockera les ATLAS (20 000) et MONITORING (400 fichiers) là et on en fera un tar pour stocker un seul fichier sur STOREDIR
-     * Les fichiers de type Analyse et SE (2000 fichiers) resteront en l'état
+     * Les répertoires ATLAS et MONITORING sont sur /dmnfs pour être accessibles par dods.  
+         * Au TGCC, il est prévu d'avoir un 2ème espace visible depuis dods. Quand ce sera prêt on stockera les ATLAS (20 000) et MONITORING (400 fichiers) là et on en fera un tar pour stocker un seul fichier sur STOREDIR
+     * Les fichiers de type Analyse et SE (2000 fichiers) resteront en l'état. A noter ils sont également visible depuis dods. Il y aura donc 2 serveurs dods.
      * Les fichiers de type Restart (22 000 fichiers) seront gardés une fois par an au lieu de une fois par mois de simulation. (2 000 fichiers au final)
-     * Les fichiers de type Output seront regroupés (commande nccat) par an dans un répertoire Packed (au lieu de Output).
-     * Les fichiers de type texte seront regroupés par an. 
-  * Le travail de développement nécessaire est important : script de Package/Verification/Ménage, modification des scripts de TS pour tenir compte de la nouvelle arborescence, ... et un soutien ingénieur est demandé.
-  * Dans un 2ème temps, un cache sera mis en place dans la chaine pour stocker les fichiers et minimiser les transferts.
+     * Les fichiers de type Output seront regroupés (commande nccat) par an dans un répertoire Packed (au lieu de Output). Regroupement par 10 ans pou IPSLCM5A-LR et par 5 ans pour IPSLCM5A-MR.
+     * Les fichiers de type texte seront regroupés par an ou plus (cat).
+  * Le travail de développement nécessaire est important et un soutien ingénieur spécifique est demandé. Besoins déjà répertoriés  : 
+     * script de !Package/Verification/Ménage, modification des scripts de TS pour tenir compte de la nouvelle arborescence, diffusion de cette pratique à tous, ...
+     * mise en place d'un cache dans la chaine pour stocker les fichiers produits par les simus, les accéder depuis les jobs de post-traitements et stocker in fine sur SCRATCHDIR des fichiers qui ne seront plus utilisés par la chaine de production.
 
 ==== Résolution 96x95x39 - ORCA2 ====
@@ -95 +104 @@
 || machine || Nb CPU || Temps réel || '''Temps à demander''' ||
 || titane || 32 || 35 h  || '''1120 h''' ||
+
+Attention aux ressources pour le post-traitement. 
+
+Attention au nombre de fichiers sur le stockage.
+
+==== Résolution 144x142x39 - ORCA2 ====
+
+'''Mesure consommation 10 ans'''
+|| machine || Nb CPU || Temps réel || '''Temps à demander''' ||
+|| titane || 64 || ??  || '''??''' ||
+
+Test en cours (20/9/2011)
 
 Attention aux ressources pour le post-traitement.