Changes between Version 15 and Version 16 of PerformancesIPSLCM5A

Timestamp:

09/20/11 17:36:27 (13 years ago)

Author:

mafoipsl

Comment:

--

PerformancesIPSLCM5A

@@ -46 +46 @@
  * disposer de l'espace TMPDIR nécessaire à ces jobs de post-traitements qui tourneraient simultanément.
 
-Une simulation de type historical (1850-2006, 157 ans) tourne en lançant 40 jobs enchainés sur vargas. Chiffres issus de la simu v3.historicalV52 qui a tourné entre mai et juin 2001. L'execution s'est étalée sur une période de 1 mois environ. Elle a lancé au fur et à mesure les jobs de post-traitements sur ulam puis le rattrapage des TS.
-  * 157 jobs de rebuilds, (<10h)
+Chiffres issus de la simu v3.historicalV52 qui a tourné entre mai et juin 2011 :
+
+Une simulation de type historical (1850-2006, 157 ans) tourne en lançant 40 jobs enchainés sur vargas (<10h).  L'execution s'est étalée sur une période de 1 mois environ. Elle a lancé au fur et à mesure les jobs de post-traitements sur ulam puis le rattrapage des TS a été lancé à la main. En tout : 
+  * 156 jobs de rebuilds, (<10h) 9 à refaire à la main à cause de souci d'accès aux fichiers gaya
   * 15 jobs de SE (moyennes saisonnières), (<10h)  
   * 30 jobs de monitoring (<1h)
-  * 56 jobs d'atlas (<1h)
+  * 45 jobs d'atlas (<1h)
   * 464 jobs de !TimeSeries (TS) en direct (<20h)
-  * 174 jobs de TS (<20h) de rattrapage (via le script !TimeSeriesChecker)
+  * 166 jobs de TS (<20h) de rattrapage (via le script !TimeSeriesChecker)
 
 Les jobs de TS peuvent partir en time limit exceeded. Le max de temps réel étant actuellement de 20h.
@@ -69 +71 @@
 
 === CCRT  Bull titane ===
+
+2 difficultés majeurs sur titane :
+
+ * Les post-traitements des simulations faites sur titane (et sur le SX9) se font actuellement sur cesium. Nous rencontrons des difficultés car cesium est trop petite pour absorber toute la charge des post-traitements. 
+   * Une première action a été de faire les rebuild sur la frontale de titane. Utiliser libIGCM_v1_11 pour cela.
+   * Pour pouvoir faire tous les post-traitements dur cesium il faudrait :
+      * disposer des outils nco et C° nécessaires (rappeler la liste svp)
+      * avoir la possibilités de lancer jusque 150 jobs à la fois, en classe scalaire sur vargas. C'est ce que peut soumettre le script !TimeSeriesChecker de vérification des TS
+      * avoir la possibilité de tourner une vingtaine de jobs de type scalaire simultanément
+      * disposer de l'espace TMPDIR nécessaire à ces jobs de post-traitements qui tourneraient simultanément.
+ * Le nombre d'inodes sur /dmnfs
+   * Une simulation de type historical produit plus de 120 000 fichiers.
+     * Les répertoires ATLAS et MONITORING sont sur /dmnfs pour être accessibles par dods.  Au TGCC, il est prévu d'avoir un autre espace visible depuis dods. Quand ce sera prêt on stockera les ATLAS et MONITORING là et on en fera un tar pour stocker un seul fichier sur STOREDIR
+
 
 ==== Résolution 96x95x39 - ORCA2 ====