Changes between Version 27 and Version 28 of Modipsl_exec

Timestamp:

09/13/11 16:59:15 (13 years ago)

Author:

acosce

Comment:

--

Modipsl_exec

@@ -395 +395 @@
 
 [[BR]][[BR]]
+== Comment repérer qu'il manque un fichier dans les sorties, ou que l'un des fichiers est incomplet ? ==
+Depuis le 19 janvier 2011, le script check_expe_files_size.sh disponible dans le répertoire libIGCM/libIGCM_post ou là : [http://forge.ipsl.jussieu.fr/libigcm/browser/trunk/libIGCM/libIGCM_post/check_expe_files_size.sh  check_expe_files_size.sh] permet de repérer les trous dans des séries de fichiers rangés selon la nomenclature IPSL.
+
+ Options : 
+ * L'option -Z permet d'étudier les tailles des fichiers et de repérer si les tailles des mois de janvier (février, ...) sont différentes entre les années. Fonctionne aussi avec les années bissextiles. Attention au temps d'execution qui dépasse largement 10 mn dans ce cas.
+ * L'option -I xxxx, permet d'arrêter la vérification des noms à cette année là. Utile dans le cas d'une simulation en route avec des rebuild non faits.
+ * L'option -R permet de parcourir l'arborescence.
+
+ Machines testées : CCRT (répertoire $DMFDIR) et IDRIS (gaya directement)
+
+Exemples d'utilisation :
+{{{
+check_expe_files_size.sh SRF/Output/MO # verification des noms du repertoire SRF/Output/MO
+check_expe_files_size.sh -Z SRF/Output/MO # verification des noms et des tailles des fichiers du repertoire
+check_expe_files_size.sh -R -S "*/Output" # verification des noms des fichiers pour toute une simulation IPSL
+check_expe_files_size.sh -Z -R -S "*/Output" # verification des noms et des tailles des fichiers pour toute une simulation IPSL
+check_expe_files_size.sh -I 1949 -R -S "*/Output" # verification jusuque a l annee 1949 incluse des noms des fichiers pour une simulation IPSL
+}}}
+
+Exemple avec erreur. A noter le code retour non nul :
+ {{{
+Example (with errors) :
+> pwd
+IGCM_OUT/IPSLCM5A/DEVT/pdControl/SX81210 
+> check_expe_files_size.sh  -Z -R ATM/Output
+quiet : 0 recursion : 1 - examsize : 1 - dir - ATM/Output -- subdir -- maxyearp1 : 9999
+48 files proceeded.
+Years occurring : 2000
+Years tested : 2000
+File name patterns and holes (if any) :
+                                       ./DA/SX81210_YYmmdd_YYmmdd_1D_histday.nc : 
+                                        ./HF/SX81210_YYmmdd_YYmmdd_HF_histhf.nc : 
+                                       ./MO/SX81210_YYmmdd_YYmmdd_1M_histmth.nc : 200011
+                                    ./MO/SX81210_YYmmdd_YYmmdd_1M_histmthNMC.nc : 
+
+Size verification per month (if different) :
+                                       ./DA/SX81210_YYmmdd_YYmmdd_1D_histday.nc : 
+                                        ./HF/SX81210_YYmmdd_YYmmdd_HF_histhf.nc : 
+                                       ./MO/SX81210_YYmmdd_YYmmdd_1M_histmth.nc : [11]
+                                    ./MO/SX81210_YYmmdd_YYmmdd_1M_histmthNMC.nc : 
+> echo $?
+1
+}}}
+
+
+[[BR]][[BR]]
+== Comment boucher un trou cad relancer une simulation pour refaire les fichiers d'un mois complet? ==
+
+Saperlipopette, j'ai perdu un fichier! Il s'agit du mois d'octobre 1932 de la simulation ARGENT. Que dois-je faire pour le recréer?
+
+Pour boucher un trou, il faut refaire exactement la même simulation, c'est à dire :
+ * sur le serveur de fichiers : 
+  * supprimer (ou mettre de côté) les autres fichiers du même mois. Utiliser le suffixe 19321031 (ou bien 19321030 si vous êtes en calendrier 360d) pour avoir aussi les fichiers de type Restart.
+{{{
+cd IGCM_OUT/IPSLCM5A/DEVT/pdControl/ARGENT
+find . -name '*19321031*' -exec rm -f {} \;
+}}}
+ * sur la machine de calcul :
+   * créer un repertoire dédié spécial : {{{ cp -pr ARGENT ARGENTREDO }}}
+   * dans ce nouveau répertoire, modifier le fichier run.card pour avoir les bonnes valeurs des paramètres suivants :
+{{{
+OldPrefix= ARGENT_19320930
+PeriodDateBegin= 1932-10-01
+PeriodDateEnd= 1932-10-31
+CumulPeriod= xxx # Attention mettre la bonne valeur cad la valeur associé au même mois dans le fichier run.card témoin (ARGENT)
+PeriodState= OnQueue
+}}}
+   * modifier le fichier config.card pour ne faire qu'un seul mois ie qu'une seule Period :
+{{{
+DateEnd= 1932-10-31
+}}}
+   * vérifier que l'on prendra exactement le même fichier Bands. 
+      * Si c'est au delà de la 3ème itération pas de problème, c'est fait automatiquement.
+      * Sinon, dans le fichier COMP/lmdz.card, modifier les paramètres LMDZ_NbPeriod_adjust et LMDZ_Bands_file_name ainsi :
+{{{
+LMDZ_NbPeriod_adjust=0
+# To force usage of this Bands file, put LMDZ_NbPeriod_adjust=0 and replace XXXXXXX by Restart Job Name
+LMDZ_Bands_file_name=${ARCHIVE}/IGCM_OUT/IPSLCM5/CEPRO0/ATM/Debug/CEPRO0_Bands_96x95x39_3prc.dat_3
+}}}
+   * relancer la simulation :
+{{{
+vi run.card # vérifier encore une fois
+vi Job_ARGENT # vérifier les parametres de temps et les noms des Scripts de sortie
+qsub Job_ARGENT 
+}}}
+
+
+[[BR]][[BR]]
+== Comment relancer une simulation à l'identique pour récupérer quelques fichiers de sortie disparus ?  ====
+
+Ceci est une variante de la question précédente. Elle permet de faire une autre simulation à l'identique mais à côté. Pas besoin de détruire les fichiers sur le serveur de fichiers, on recrée tous les fichiers du mois en question.
+
+Exemple : refaire tourner v3.historicalAnt1 car 3 fichiers ont disparu pour 19640930.
+
+Actions :
+ * Sur le serveur de fichiers : créer les fichiers Restart, mesh_mask et Bands.
+{{{
+## Directory
+mkdir ....IGCM_OUT/IPSLCM5A/REDO/historicalAnt/v3.historicalAnt1REDO
+cd ....IGCM_OUT/IPSLCM5A/REDO/historicalAnt/v3.historicalAnt1REDO
+mkdir -p ATM/Restart CPL/Restart ICE/Restart MBG/Restart OCE/Restart SBG/Restart SRF/Restart
+# Restart
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/ATM/Restart/v3.historicalAnt1_19640831_restart.nc ATM/Restart/v3.historicalAnt1REDO_19640831_restart.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/ATM/Restart/v3.historicalAnt1_19640831_restartphy.nc      ATM/Restart/v3.historicalAnt1REDO_19640831_restartphy.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/CPL/Restart/v3.historicalAnt1_19640831_flxat.nc   CPL/Restart/v3.historicalAnt1REDO_19640831_flxat.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/CPL/Restart/v3.historicalAnt1_19640831_sstoc.nc   CPL/Restart/v3.historicalAnt1REDO_19640831_sstoc.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/ICE/Restart/v3.historicalAnt1_19640831_restart_icemod.nc ICE/Restart/v3.historicalAnt1REDO_19640831_restart_icemod.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/MBG/Restart/v3.historicalAnt1_19640831_restart_trc.nc     MBG/Restart/v3.historicalAnt1REDO_19640831_restart_trc.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/OCE/Restart/v3.historicalAnt1_19640831_restart.nc OCE/Restart/v3.historicalAnt1REDO_19640831_restart.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/SBG/Restart/v3.historicalAnt1_19640831_stomate_rest.nc    SBG/Restart/v3.historicalAnt1REDO_19640831_stomate_rest.nc
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/SRF/Restart/v3.historicalAnt1_19640831_sechiba_rest.nc    SRF/Restart/v3.historicalAnt1REDO_19640831_sechiba_rest.nc
+# mesh_mask
+mkdir -p OCE/Output
+cd OCE/Output
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/OCE/Output/v3.historicalAnt1_mesh_mask.nc v3.historicalAnt1REDO_mesh_mask.nc
+cd ../..
+# Bands
+mkdir -p ATM/Debug
+cd ATM/Debug
+ln -s ../../../../../PROD/historicalAnt/v3.historicalAnt1/ATM/Debug/v3.historicalAnt1_Bands_96x95x39_3prc.dat_3 v3.historicalAnt1REDO_Bands_96x95x39_3prc.dat_3
+cd ../..
+}}}
+ * Sur la machine de calcul:
+   * créer un repertoire dédié spécial :
+{{{
+cp -pr  v3.historicalAnt1 v3.historicalAnt1REDO
+}}}
+   * dans ce nouveau répertoire, modifier le fichier run.card pour avoir les bonnes valeurs des paramètres suivants :
+{{{
+OldPrefix= v3.historicalAnt1REDO_19640831
+PeriodDateBegin= 1964-09-01
+PeriodDateEnd= 1964-09-30
+CumulPeriod= xxx # Attention mettre la bonne valeur cad la valeur associé au même mois dans le fichier run.card témoin (ARGENT)
+PeriodState= OnQueue
+}}}
+   * modifier le fichier config.card pour ne faire qu'un seul mois (ie qu'une seule Period), ne pas faire les Post-traitements et lancer rebuild à la fin du mois refait.
+{{{
+JobName=v3.historicalAnt1REDO
+...
+SpaceName=REDO
+...
+DateEnd= 1964-09-30
+...
+RebuildFrequency=1M
+...
+TimeSeriesFrequency=NONE
+...
+SeasonalFrequency=NONE
+}}}
+   * relancer la simulation :
+{{{
+vi run.card # vérifier encore une fois
+mv Job_v3.historicalAnt1 Job_v3.historicalAnt1REDO
+vi Job_v3.historicalAnt1REDO # vérifier les parametres de temps et les noms des Scripts de sortie
+qsub Job_v3.historicalAnt1REDO 
+}}}
+  * une fois le job fini, vérifier que les solver.stat sont bien identiques :
+ {{{
+sdiff  OCE/Debug/v3.historicalAnt1REDO_19640901_19640930_solver.stat /dmnfs11/cont003/p86maf/IGCM_OUT/IPSLCM5A/PROD/historicalAnt/v3.historicalAnt1/OCE/Debug/v3.historicalAnt1_19640901_19640930_solver.stat
+}}}