Changes between Version 68 and Version 69 of PerformancesIPSLCM5A

Timestamp:

09/25/12 14:58:34 (12 years ago)

Author:

mafoipsl

Comment:

--

PerformancesIPSLCM5A

@@ -144 +144 @@
  * Il faut bien préciser les besoins, en particulier en production :
     * quota scratch sur curie : demander 20 To pour faire de la production
-    * nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go.
+    * nombre de fichiers et espace sur CCCSTOREDIR, justifier précisément si plus de 100 000 fichiers. Donner les tailles de fichiers, idéalement entre 1 et 100 Go. Voir plus loin le décompte des fichiers.
     * nombre de jobs simultanés de post-traitement en mono. Préciser que la limite à 128 jobs est pénalisante. 300 serait mieux
     * pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en execution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.
@@ -227 +227 @@
 Pas d'utilisation recensée à ce jour.
 
+== Décompte des fichiers ==
+
+En résumé, pour les logins de production de simulations lourdes, nous avons besoin de :
+ * sur /ccc/store :  500 000 en plus de ce qui existera après le déménagement.
+ * sur /ccc/work : 3 millions de fichiers.
+
+Pour ce point, nous avons vérifié les chiffrages sur les premières simulations de production avec la nouvelle chaine et extrapolé. 
+
+Sur la SX9, on peut faire par ans l'équivalent de 180 simus de type historical et on arrivait à 20 millions de fichiers. x2 avec titane.  Progression annuelle 2011, 2012 : + 40 millions de fichiers par an.
+
+ * Avant :  Pour un historical complet, sorties CMIP5, on avait 120 000 fichiers dont 1 700 fichiers de TS.
+ * Après pack : 
+  * Avec le pack par an :
+   * 7 300 fichiers sur store et 28 000 fichiers sur work pour accès dods
+  * packe par 5 ans :
+   * 3 100 fichiers sur store et 28 000 fichiers sur work pour accès dods
+  * pack par 10 ans :
+   * 2 500 fichiers sur store et 28 000 fichiers sur work pour accès dods
+
+Les quotas à demander sur les différents espaces.
+
+ * /store 
+Avec ce rapport de 16 (120 000/ 7 300) on arrive à  + 1 millions de fichiers pour la production annuelle SX9 sur /store. + 2 millions de fichiers avec titane
+Aujourd'hui on a 4 à 5 millions de fichiers quand on fait de la prod, soit le 1/4 de la production annuelle SX9. On garde ce rapport 4.
+Cela veut dire quota de 500 000 fichiers sur /store pour les logins de production. 500 000 en plus de ce qui existera après le déménagement.
+
+ * /work
+Avec ce rapport de 4 (120 000/28 000) on arrive à + 5 millions de fichiers pour la production annuelle SX9 sur /work, + 10 millions de fichiers avec titane
+Par login de production, il faut 2 millions de fichiers pour distribution dods et 1 million de fichiers pour travailler. 3 millions de fichiers.
+
 = 2012 =