Changes between Version 82 and Version 83 of ModipslBeginner

Timestamp:

12/08/09 17:58:04 (14 years ago)

Author:

mafoipsl

Comment:

--

ModipslBeginner

@@ -764 +764 @@
 ----
 
+=== Les post-traitements avec libIGCM ===
+
+Cette page donne quelques informations sur les post-traitements du couplé IPSLCM5.
+
+Les post-traitements sont des opérations systématiquement lancées en fin de simulation sur les frontales. Il s'agit des rebuild ou assemblage des fichiers créés par sous-domaines par les applications parallèles (LMDZ et ORCHIDEE dans le cas du couplé IPSLCM5. Ils concernent également les fichiers concernés par des Patchs ou modifications systématiques avant stockage (axe des temps, masque terre/océan, ...). Il s'agit des séries temporelles (qui lancent les monitoring) et des moyennes saisonnières (qui lancent les atlas).
+
+==== Quels sont les paramètres de lancement des post-traitement? ====
+
+Dans le fichier [http://forge.ipsl.jussieu.fr/igcmg/browser/CONFIG/IPSLCM/IPSLCM5/branches/IPSLCM5_v2/EXP00/config.card config.card], les variables qui gèrent les post-traitements sont dans la section Post ::
+{{{
+82      #D-- Post -
+83      [Post]
+84      #D- Do we rebuild parallel output, this flag determines
+85      #D- frequency of rebuild submission (use NONE for DRYRUN=3)
+86      RebuildFrequency=1Y
+87      #D- Do we rebuild parallel output from archive
+88      RebuildFromArchive=true
+89      #D- If you want to produce time series, this flag determines
+90      #D- frequency of post-processing submission
+91      TimeSeriesFrequency=10Y
+92      #D- If you want to produce seasonal average, this flag determines
+93      #D- the period of this average
+94      SeasonalFrequency=10Y
+95      #D- Offset for seasonal average first start dates ; same unit as SeasonalFrequency
+96      #D- Usefull if you do not want to consider the first X simulation's years
+97      SeasonalFrequencyOffset=0
+}}}
+
+ * !RebuildFrequency=1Y indique la fréquence de lancement des travaux REBUILDA. A noter: si !JobType=DEV, le paramètre est forcé la valeur de !PeriodLength
+ * !RebuildFromArchive=true indique que les fichiers seront stockés dans leur état initial (par sous-domaine), sur la machine de stockage. Le job REBUILDA commencera par aller les chercher sur le serveur de fichier, avant de les assembler (rebuild), de leur appliquer les Patchs demandés puis de les stocker dans le répertoire usuel COMP/Output/MO ou COMP/Output/DA pour les fichiers mensuels ou journaliers de la composante COMP (OCE, ICE, ATM, SRF, ...).
+ * !TimeSeriesFrequency=10Y Les séries temporelles seront lancées tous les 10 ans.
+ * !SeasonalFrequency=10Y Les moyennes saisonnières (des mois de janvier, février,...) seront lancées tous les 10 ans.
+ * !SeasonalFrequencyOffset=0 Les premières années seront sautées avant de commencer à calculer les moyennes saisonnières.
+
+==== Où tournent les post-traitements? ====
+Les post-traitements tournent généralement sur les frontales des calculateurs. Il s'agit de travaux systématiques de traitement de fichiers qui n'ont pas leur place sur les calculateurs. Peu d'optimisation, peu de parallélisation massive, ...
+Sur chaque centre, les machines de calcul ont leur frontale privilégiée.
+|| Centre || Calculateur || Frontale ||
+||  CCRT || mercure SX8 || frontale TX7 mercure ||
+|| CCRT || mercure SX9 || cesium ||
+|| CCRT || platine || frontale platine ||
+|| IDRIS || brodie || ulam ||
+|| IDRIS || vargas || ulam ||
+
+==== Comment vérifier que les post-traitements sont bien passés? ====
+
+ * sur ulam, les sorties des post-traitements sont là : $WORKDIR/IGCM_OUT/IPSLCM5/Ma_simulation
+ * sur la frontale TX7, ils sont là : $SCRATCHDIR/IGCM_OUT/IPSLCM5/Ma_simulation
+ * sur cesium, ils sont là : $SCRATCHDIR/IGCM_OUT/IPSLCM5/Ma_simulation
+ * sur la frontale de platine, ils sont là : SCRATCHDIR/IGCM_OUT/IPSLCM5/Ma_simulation
+ 
+A noter :  Les commandes de mise sur dods sont faites à la fin du job de monitoring ou à la fin de chaque atlas.
+
+==== Comment relancer les post-traitements? ====
+
+Il existe 2 méthodes pour relancer les post-traitements : relancer le job de rebuild ou relancer le dernier mois de la simu avec DRYRUN=3.
+
+Comment faire est déjà décrit là : [http://forge.ipsl.jussieu.fr/libigcm/wiki/libIGCM/DocUtilisateur/FAQ#Commentrelancerlespost-traitementsàpartirdelafrontale depuis la frontale] et [http://forge.ipsl.jussieu.fr/libigcm/wiki/libIGCM/DocUtilisateur/FAQ#Commentrelancerlespost-traitementsàpartirdelamachinedecalcul depuis le calculateur]
+
+==== Qu'est-ce que rebuild? ====
+
+ * rebuild est un utilitaire qui permet de recombiner plusieurs fichiers créés par un programme parallèle (sous-domaines) en un seul. 
+ * rebuild est disponible avec IOIPSL. Voir http://forge.ipsl.jussieu.fr/igcmg/browser/IOIPSL/trunk/tools
+ * rebuild est installé sur les frontales de l'IDRIS et du CCRT dans les comptes communs. Il est appelé automatiquement à la fréquence  !RebuildFrequency et représente la toute première étape des post-traitements.
+
+==== Qu'est-ce qu'une Time Series? ====
+
+Une Time Serie est un nouveau fichier, qui contient une seule variable sur toute la longueur d'une simulation (!ChunckJob2D = NONE) . Elles sont décrites dans les fichiers COMP/*.card derrière les paramètres !TimeSeriesVars2D et !TimeSeriesVars3D. Les 3D étant très volumineuses, peuvent être produites par période de !ChunckJob3D = 50Y années. 
+
+Exemple pour lmdz :
+
+{{{
+45      [OutputFiles]
+46      List=   (histmth.nc,      ${R_OUT_ATM_O_M}/${PREFIX}_1M_histmth.nc,      Post_1M_histmth), \
+...
+53      [Post_1M_histmth]
+54      Patches= (Patch_20091030_histcom_time_axis)
+55      GatherWithInternal = (lon, lat, presnivs, time_counter, aire)
+56      TimeSeriesVars2D = (bils, cldh, ... )
+57      ChunckJob2D = NONE
+58      TimeSeriesVars3D = ()
+59      ChunckJob3D = NONE
+}}}
+
+ * Chaque fichier de sortie (section [!OutputFiles]) est associé à un post-traitement : Post_1M_histmth dans l'exemple. 
+ * post_1M_histmth est une section (débutant par "[Post_1M_histmth]")
+ * Cette section contient les variables : Patches= , !GatherWithInternal = , !TimeSeriesVars2D = , !ChunckJob2D , !TimeSeriesVars3D et !ChunckJob3D
+ * Patches= (Patch_20091030_histcom_time_axis) Il s'agit du Patch qui sera appliqué sur le fichier avant son stockage sur le serveur de fichiers. Ils sont visibles au niveau de : [http://forge.ipsl.jussieu.fr/libigcm/browser/trunk/libIGCM/libIGCM_post libIGCM_post] On peut avoir plusieurs Patch appliqués l'un après l'autre. 
+ * !GatherWithInternal = (lon, lat, presnivs, time_counter, aire) Il s'agit des variables qui sont extraites du fichier initial et rangées avec la variable de la Time Serie.
+
+Les Time Series sont rangées sur le serveur de fichiers dans les répertoires IGCM_OUT/IPSLCM5/ATM/Analyse/TS_MO pour celles qui sont issues des fichiers mensuelles. TS_DA pour celles qui sont issues des fichiers journaliers.
+
+A noter : Il y a un job de Time Series 2D et un job par Time Series 3D sur les frontales. Pour le couplé, il y en donc 5 actuellement.
+
+==== Comment ajouter une variable dans les Time Series? ====
+
+Pour ajouter une nouvelle Time Serie il suffit d'ajouter son nom à la série de variables existantes, en prenant soin de la mettre avec les variables similaires : 2D ou 3D.
+
+==== Qu'est-ce qu'un monitoring? ====
+
+Voici un exemple de Monitoring du couplé IPSLCM5 : [http://dodsp.idris.fr/rpsl003/IPSLCM5/BM539PDN/MONITORING/ 3 ans]
+
+Le monitoring d'une simulation est composé de plusieurs courbes produites à partir de variables des Time Series. Il contient également une première page détaillant les dates de passage en machine de la simulation. Cette page permet de suivre la progression d'une simulation en machine. 
+
+Le monitoring est lancé automatiquement à la fin des Time Series.
+
+==== Comment ajouter une figure dans les monitoring? ====
+
+Les monitoring sont paramétrés là: ~compte_commun/atlas/ Par exemple pour LMDZ : monitoring01_lmdz_LMD9695.cfg
+
+Il est possible de modifier un monitoring en créant un répertoire POST locale à la configuration, en recopiant un fichier .cfg et en le modifant à sa convenance. Il y a 2 exemples dans le couplé. Voir [http://forge.ipsl.jussieu.fr/igcmg/browser/CONFIG/IPSLCM/IPSLCM5/branches/IPSLCM5_v2/EXP00/POST post-traitements spécifiques]
+
+
+==== Qu'est-ce qu'un moyenne saisonnière? ====
+
+Les fichiers SE ou moyennes saisonnières sont lancées automatiquement à la fréquence !SeasonalFrequency=10Y (en faisant attention à !SeasonalFrequencyOffset=0) lorsqu'il y a autre choses que NONE dans le dernier paramètre du fichier dans la section '[!OutputFiles]'.
+Tous les fichiers avec un Post demandé sont alors moyennés avec la commande ncra avant d'être stockés dans le répertoire : IGCM_OUT/IPSLCM5/ATM/Analyse/SE 1 fichier par !SeasonalFrequency=10Y
+
+
+==== Où voir les atlas? ====
+
+Voici un exemple d'atlas du couplé IPSLCM5 : [http://dodsp.idris.fr/rpsl003/IPSLCM5/BM539PDN/ATLAS/SE_1860_1862/ATM/ATM.html ATM]
+
+Il y a au moins 8 répertoires avec les atlas pour le couplé. 
+
+Les atlas sont des outils mis à disposition sous les comptes communs. Voir ~compte_commun/atlas/ Ils sont basés sur des fichiers atlas_composante.cfg. utilisant les outils fast/atlas. Voir : http://dods.ipsl.jussieu.fr/fast/
+
+
+
 == Questions/Réponses des autres documentations ==
   * [http://forge.ipsl.jussieu.fr/libigcm/wiki/DocUtilisateur/InstallationIPSLCM4v2#RedémarragedepuisdesrésultatsIPSLCM4_v1_OASIS3anciensscripts Redémarrage depuis des fichiers créés par un couplé IPSLCM4_v1]