Les post-traitements avec libIGCM

​Retour au sommaire du mode d'emploi

Les post-traitements dans config.card

Dans config.card on indique les types de post-traitements que l'on souhaite et à quelle fréquence on va les réaliser.

#========================================================================
#D-- Post -
[Post]
#D- Do we rebuild parallel output, this flag determines
#D- frequency of rebuild submission (use NONE for DRYRUN=3)
RebuildFrequency=1Y
#D- Do we rebuild parallel output from archive (use NONE to use SCRATCHDIR as buffer)
RebuildFromArchive=NONE
#D- If you want to produce time series, this flag determines
#D- frequency of post-processing submission (NONE if you don't want)
TimeSeriesFrequency=10Y
#D- If you want to produce seasonal average, this flag determines
#D- the period of this average (NONE if you don't want)
SeasonalFrequency=10Y
#D- Offset for seasonal average first start dates ; same unit as SeasonalFrequency
#D- Usefull if you do not want to consider the first X simulation's years
SeasonalFrequencyOffset=0
#========================================================================

Si l'on ne veut pas de post-traitement il faut indiquer NONE pour les fréquences TimeSeriesFrequency et SeasonalFrequency.

Rebuilds

• rebuild est un utilitaire qui permet de recombiner plusieurs fichiers créés par un programme parallèle (sous-domaines) en un seul.
• rebuild est disponible avec IOIPSL. Voir ​http://forge.ipsl.jussieu.fr/igcmg/browser/IOIPSL/trunk/tools (il est donc distribué avec les différentes configuration via modipsl)
• rebuild est installé sur les frontales de l'IDRIS et du CCRT dans les comptes communs. Il est appelé automatiquement à la fréquence RebuildFrequency et représente la toute première étape des post-traitements.
• Il est impossible d'annuler les rebuilds, si l'on indique NONE pour RebuildFrequency cela lancera la reconstruction des fichiers sur la machine vectorielle (pour mercure) au lieu de la frontale. Pour titane ????

Time Series

Une Time Serie est un nouveau fichier, qui contient une seule variable sur toute la longueur d'une simulation (!ChunckJob2D = NONE) ou sur une période plus courte pour les variables 3D (!ChunckJob3D = 50Y) . Elles sont décrites dans les fichiers COMP/*.card derrière les paramètres !TimeSeriesVars2D et !TimeSeriesVars3D.

Exemple pour lmdz :

45	[OutputFiles]
46	List=   (histmth.nc,      ${R_OUT_ATM_O_M}/${PREFIX}_1M_histmth.nc,      Post_1M_histmth), \
...
53	[Post_1M_histmth]
54	Patches= (Patch_20091030_histcom_time_axis)
55	GatherWithInternal = (lon, lat, presnivs, time_counter, aire)
56	TimeSeriesVars2D = (bils, cldh, ... )
57	ChunckJob2D = NONE
58	TimeSeriesVars3D = ()
59	ChunckJob3D = NONE

• Chaque fichier de sortie (section [OutputFiles]) est associé à un post-traitement : Post_1M_histmth dans l'exemple.
• post_1M_histmth est une section (débutant par "[Post_1M_histmth]")
• Cette section contient les variables : Patches= , GatherWithInternal = , !TimeSeriesVars2D = , !ChunckJob2D , !TimeSeriesVars3D et !ChunckJob3D
• Patches= (Patch_20091030_histcom_time_axis) Il s'agit du Patch qui sera appliqué sur le fichier avant son stockage sur le serveur de fichiers. Ils sont visibles au niveau de : ​libIGCM_post On peut avoir plusieurs Patch appliqués l'un après l'autre.
• GatherWithInternal = (lon, lat, presnivs, time_counter, aire) Il s'agit des variables qui sont extraites du fichier initial et rangées avec la variable de la Time Serie.

Les Time Series sont rangées sur le serveur de fichiers dans les répertoires IGCM_OUT/IPSLCM5A/DEVT/pdControl/MyExp/ATM/Analyse/TS_MO pour celles qui sont issues des fichiers mensuelles. TS_DA pour celles qui sont issues des fichiers journaliers.

A noter : Il y a un job de Time Series 2D et un job par Time Series 3D sur les frontales. Pour le couplé IPSLCM5A , il y en donc 5 actuellement.

Monitoring

Voici un exemple de Monitoring du couplé IPSLCM5A : ​10 ans

On peut les voir directement sur les serveurs de fichiers dans le répertoire : IGCM_OUT/IPSLCM5A/DEVT/pdControl/MyExp/MONITORING.

Le monitoring d'une simulation est composé de plusieurs courbes produites à partir de variables des Time Series. Il contient également une première page détaillant les dates de passage en machine de la simulation. Cette page permet de suivre la progression d'une simulation en machine.

Le monitoring est lancé automatiquement à la fin des Time Series.

Moyennes Saisonnières

Les fichiers SE ou moyennes saisonnières sont lancées automatiquement à la fréquence SeasonalFrequency=10Y (en faisant attention à SeasonalFrequencyOffset=0) lorsqu'il y a autre choses que NONE dans le dernier paramètre du fichier dans la section '[OutputFiles]'. Tous les fichiers avec un Post demandé sont alors moyennés avec la commande ncra avant d'être stockés dans le répertoire : IGCM_OUT/IPSLCM5A/DEVT/pdControl/MyExp/ATM/Analyse/SE 1 fichier par SeasonalFrequency=10Y

Les Atlas

Voici un exemple d'atlas du couplé IPSLCM5A disponible sur dods : ​ATM

Il y a au moins 8 répertoires avec les atlas pour le couplé. On peut les voir directement sur les serveurs de fichiers dans le répertoire : IGCM_OUT/IPSLCM5A/DEVT/pdControl/MyExp/ATLAS.

Les atlas sont des outils mis à disposition sous les comptes communs. Voir ~compte_commun/atlas/ Ils sont basés sur des fichiers atlas_composante.cfg. utilisant les outils fast/atlas. Voir : ​http://dods.ipsl.jussieu.fr/fast/

Post-traitements sur Cesium

La soumission des post-traitements de la SX9 et de Titane se fait vers cesium. Pour que cela marche il faut avoir créé une passphrase vide pour ssh et s'être connecté sur cesium au moins une fois.

Mémo :

mercure : pwd
~/.ssh
mercure : ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/cont003/xxxxxx/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): (RETURN)
Enter same passphrase again: (RETURN)
Your identification has been saved in ...../.ssh/id_rsa.
Your public key has been saved in ...../.ssh/id_rsa.pub.
The key fingerprint is:
af:....
mercure  : cat id_rsa.pub >>authorized_keys

Commandes à passer pour vérifier que les post-traitements se feront bien sur ceisum :

cesium : ssh mercure pwd
mercure : ssh mercure01 pwd
mercure : ssh mercure01 ssh cesium pwd

Plus d'informations sur la compilation SX9/SX8 : ​là (Intranet)