= Tests IPSLCM4_v2 à différentes résolutions =


Cette page prend la suite de la page : [wiki:Climatology Climatology].

Il s'agit d'effectuer un jeu de simulations à différentes résolutions horizontales avec exactement le même modèle couplé : IPSLCM4_v2, figé le 11 juillet 2008. Voir : [wiki:IPSLCM4_v2_PAR].

Cette version a été utilisée pour le stream2 d'Ensembles. Voir atlas/monitoring là : [http://mc2.ipsl.jussieu.fr/PHP/ensembles.php?exp=prologue&resolution=true Prologue et C°]

== Tableau récapitulatif des différences entre résolutions ==

|| || R97 || R99 || R149 || R1414 || R1914 ||
|| ||  ||  ||  ||  ||  ||
||  '''Résolutions''' ||  ||  ||  ||  ||  ||
|| atmosphère || 96x71x19 || 96x95x19 (*)  || 144x96x19 || 144x142x19 || 192x142x19 (*) ||
|| océan || ORCA2 || ORCA2 || ORCA2 || ORCA2 || ORCA2 ||
|| ||  ||  ||  ||  ||  ||
|| '''Etat initial''' ||  ||  ||  ||  ||  ||
|| océan || 2L20 - 20 ans 31 12 1859 || 2L20 -31 12 1859 || 2L20 - 31 12 1859 || 2L20 - 31 12 1859 || 2L20 - 31 12 1859 || 
|| atmosphère || 10 ans forcé [http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F97A/ F97A] || 10 ans forcé [http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F99A/ F99A] || 10 ans forcé [http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F149A/ F149A] || 10 ans forcé [http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F1414A/ F1414A] || 10 ans forcé [http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F1914A/ F1914A] ||
|| coupleur || défaut || défaut || défaut || défaut || défaut ||
|| ||  ||  ||  ||  ||  ||
|| '''Paramètres''' ||  ||  ||  ||  ||  ||
|| day_step || 480 || 480 (**) || 720 || 720 || 960 (**) ||
|| iphysiq || 10 || 10 (**) || 15 || 15 || 20 (**) ||
|| tetagdiv || 5400. (**) || 5400. (**) || 5400. (**) || 3600. || 3600. (**) ||
|| tetagrot || 7200. (**) || 7200. (**) || 7200. (**) || 5400. || 5400. (**) ||
|| tetatemp || 7200. (**) || 7200. (**) || 7200. (**) || 5400. || 5400. (**) ||
|| cvl_corr || 1.0 || 1.0 (**) || 1.0 (**) || 1.0 (**) || 1.0 (**) ||
|| pmagic || 0.02 (**) || 0.02 (**) || 0.02 (**) || 0.02 || 0.02 (**) ||
|| ||  ||  ||  ||  ||  ||
|| Oasis-nb points mozaic || <> || (**) || <> || <> || (**) ||
|| Nombre de processeurs|| 4 || 4 (**) || 6 (**) || 8 (**) || 8 (**) ||
|| Mémoire || 4GB || 5G (**) || 9G (**) || 12GB (**) || 15GB (**) ||
|| Temps CPU/mois || 30 mn || 40 mn (**) || 1h (**) || 2h (**) || 3h (**) ||
|| ||  ||  ||  ||  ||  ||
|| '''ATLAS''' || [http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97E/ R97E] || [http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R99A/ R99A] || [http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R149A/ R149A] || [http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R1414A/ R1414A] || [http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R1914E/ R1914E] ||
|| ||  ||  ||  ||  ||  ||

'''Légendes''' :

(*) résolution ajoutée dans le couplé de référence :

(**) valeur à changer par rapport au défaut du couplé de référence

'''Memo''' :
  * Aérosols : actuel
  * Simulation comparable 2L20 : actuel 
  * Niveau des sorties : standard type_run=CLIM, lev_histday=2, lev_histmth=2
  * ok_dynzon de temps en temps

== Résolution 96x71x19 ==

=== R97 ===
 * IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
 * Brodie - rhou035 : $WORKDIR/RESOLUTION/R97
 * Attention à la compilation MPI : {{{ module load sxmpi/7.2.0 }}}
 * Attention à prendre les poids _v7
 * Attention à prendre les bons paramêtres physique. Voir le [wiki:ResolutionIPSLCM4_v2#Tableaur%C3%A9capitulatifdesdiff%C3%A9rencesentrer%C3%A9solutions tableau récapitulatif]
 * Démarrage :
   * Atmosphère : 10 ans forcé (fait, même binaire et o2a du couplé)
     * Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
     * Fait. Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F97A/
   * Océan : 2L20 - 20 ans 31 12 1859 
 * Couplé : lancé, 40 ans fait. Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97D/
   * Zut! mauvais teta (ceux par défaut) et pas de pmagic. Règle numéro 1 : vérifier une fois de plus! 
 * Couplé avec teta modifiés pour être comme R99 et R149.
   * Lancé. Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97E/

=== Estimation consommation 10 ans ===
|| machine || Nb CPU || Temps CPU || Mémoire || Temps réel || || !PeriodNb || Temps CPU Job || Temps réel Job ||
|| brodie (IDRIS) || 4 || 57 h || 4 GB || 19 h  || || 24 mois || <12h || <4h  ||

== Résolution 96x95x19 ==

=== R99 ===
 * IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
 * Ajout résolution dans IPSLCM4_v2/AA_make, faire {{{ sxgmake ORCA2xLMD9695 }}}
  * ajout dans Makefile
  * ajout dans lmdz.driver (Bands)
  * ajout de gcm.def_RESOL : idem 96x71
  * ajout de namecouple_RESOL
  * ajout de Bands
  * poids créés par Olivier Marti (pas vesoin de _v7)
  * Sulfates interpolés par Sébastien Denvil. Attention mauvais répertoire (supprimer /HISTORIQUE).
  * Grille et monitoring préparés par Patrick Brockmann
 * Brodie : $WORKDIR/RESOLUTION/R99
 * Attention à la compilation MPI : {{{ module load sxmpi/7.2.0 }}}
 * Attention à prendre les bons paramêtres physique. Voir le [wiki:ResolutionIPSLCM4_v2#Tableaur%C3%A9capitulatifdesdiff%C3%A9rencesentrer%C3%A9solutions tableau récapitulatif]
 * Démarrage :
   * Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
     * Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
     * Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F99A/
   * Océan : 2L20 - 20 ans 31 12 1859 
 * Couplé : lancé.
   * Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R99A/

=== Estimation consommation 10 ans ===
|| machine || Nb CPU || Temps CPU || Mémoire || Temps réel || || !PeriodNb || Temps CPU Job || Temps réel Job ||
|| brodie (IDRIS) || 4 || 65 h || 5 GB || 20 h  || || 24 mois || <15h || <5h  ||

== Résolution 144x96x19 ==

=== R149 ===
 * IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
 * Brodie - rhou035 : $WORKDIR/RESOLUTION/R149
 * Attention à la compilation MPI : {{{ module load sxmpi/7.2.0 }}}
 * Attention à prendre les poids _v7
 * Attention à prendre les bons paramêtres physique. Voir le [wiki:ResolutionIPSLCM4_v2#Tableaur%C3%A9capitulatifdesdiff%C3%A9rencesentrer%C3%A9solutions tableau récapitulatif]
 * Démarrage :
   * Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
     * Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
     * Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F149A/
   * Océan : 2L20 - 20 ans 31 12 1859 
 * Couplé : lancé.
   * Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R149A/

=== Estimation consommation 10 ans ===
|| machine || Nb CPU || Temps CPU || Mémoire || Temps réel || || !PeriodNb ||  Temps CPU Job || Temps réel Job ||
|| brodie (IDRIS) || 6 || 130 h || 9 GB || 24 h  || || 12 mois || <15h || <3h  ||

== Résolution 144x142x19 ==

=== R1414 ===
 * IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
 * Brodie - rhou035 : $WORKDIR/RESOLUTION/R1414
 * Attention à la compilation MPI : {{{ module load sxmpi/7.2.0 }}}
 * Attention à prendre les poids _v7
 * Attention à prendre les bons paramêtres physique. Voir le [wiki:ResolutionIPSLCM4_v2#Tableaur%C3%A9capitulatifdesdiff%C3%A9rencesentrer%C3%A9solutions tableau récapitulatif]
 * Démarrage :
   * Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
     * Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
     * Fait. Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F1414A/
   * Océan : 2L20 - 20 ans 31 12 1859 
 * Couplé : lancé. 
   * Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R1414A/

=== Estimation consommation 10 ans ===
|| machine || Nb CPU || Temps CPU || Mémoire || Temps réel || || !PeriodNb ||  Temps CPU Job || Temps réel Job ||
|| brodie (IDRIS) || 8 || 200 h || 12 GB || 35 h  || || 24 mois || <45h || <7h  ||

== Résolution 192x142x19 ==

 * IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
 * Brodie - rhou035 : $WORKDIR/RESOLUTION/R1914
 * Ajout résolution dans IPSLCM4_v2/AA_make, faire {{{ sxgmake ORCA2xLMD192142 }}}
  * ajout dans Makefile
  * ajout dans lmdz.driver (Bands)
  * ajout de gcm.def_RESOL. idem 144x142 avec modif day_step et uphusiq
  * ajout de namecouple_RESOL
  * ajout de Bands
  * poids créés par Olivier Marti
  * Sulfates interpolés par Sébastien Denvil. 
  * Grille et monitoring préparés par Patrick Brockmann
 * Attention à la compilation MPI : {{{ module load sxmpi/7.2.0 }}}
 * Attention à prendre les poids _v7
 * Attention à prendre les bons paramêtres physique. Voir le [wiki:ResolutionIPSLCM4_v2#Tableaur%C3%A9capitulatifdesdiff%C3%A9rencesentrer%C3%A9solutions tableau récapitulatif]
 * Démarrage :
   * Atmosphère : 10 ans (en cours, même binaire et o2a du couplé)
     * Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
     * Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F1914A/
   * Océan : 2L20 - 20 ans 31 12 1859 
 * Couplé : préparé.
   * Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R1914E/

=== Estimation consommation 10 ans ===
|| machine || Nb CPU || Temps CPU || Mémoire || Temps réel || || !PeriodNb || Temps CPU Job || Temps réel Job ||
|| brodie (IDRIS) || 8 || 300 h || 15 GB || 66 h  || || 12 mois || <40h || <7h  ||

=== Estimation consommation 10 ans (sur mercure et brodie) ===
|| machine || Temps CPU || Mémoire || Temps réel ||
|| mercure (CCRT) || 250 h || 15 GB || 36 h ||
|| brodie (IDRIS) || 300 h || 15 GB || 48 h (pas de noeud réservé) ||

Pour 200 ans, il faut 5 000 h/6 000 h CPU NEC. Demande de rallonge de 10 000 h à l'IDRIS sur le projet 0826 (rpsl) pour réaliser un ensemble de simulations cohérentes sur une seule machine en ajoutant cette résolution là. Allocation refusée sur projet rpsl  mais 10000h ajoutée au projet rhou. Nouveau login rhou035.

=== R1914 premiers essais à l'IDRIS puis au CCRT ===

 * IPSLCM4_v2 figé le 18 avril
 * Brodie : $WORKDIR(rpsl003)/RESOLUTION/R1914
 * Ajout résolution 192x142x19 :
   * ajout dans Makefile
   * ajout dans lmdz.driver (Bands)
   * ajout de gcm.def_RESOL
   * ajout de namecouple_RESOL
   * ajout de Bands
   * poids créés par Olivier Marti
   * Sulfates interpolés par Sébastien Denvil
   * Grille et monitoring préparés par Patrick Brockmann
   * Compilation :
     * Ajout des cibles ORCA2xLMD192142 et lmdz192142 dans IPSLCM4_v2/AA_make avant de lancer la commande ins_make.
 {{{
ORCA2xLMD192142 : libioipsl oasis3 liborchidee orca2 lmdz192142 verif
        echo "ORCA2xLMD192142" >.resol
        echo "$(LIB_MPI)" >.libmpi
...
lmdz192142:
        (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -m $(FCM_ARCH) create_etat0_limit ; cp bin/create_etat0_limit_192x142x19_t4_phylmd_seq.e ../../bin/create_etat0_limit.e ; )
        (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -psmile true -v true -parallel true -c $(LIB_MPI) -m $(FCM_ARCH) gcm ; cp bin/gcm_192x142x19_t4_phylmd_para_orch_couple.e ../../bin/gcm.e ; )
}}}
     * Attention! Compiler après avoir lancé {{{ module load sxmpi/7.2.0 }}}. A mettre dans le Job aussi.
     * compiler en lançant : {{{ sxgmake ORCA2xLMD192142 }}}
   * Exécution sur brodie:
     * 8 procs, 20 GB, 2h45 CPU pour la 1ère année, 2h30 CPU par an au delà. 22 mn de temps réel par mois, + 2mn pour rebuild. 48h pour 10 ans (estimation).
     * Poids : 
       * 10 ans lancé avec première version des poids (R1914A)
       * 200 ans avec version des poids _v7 (R1914B). Voir aussi [wiki:BugMask2008-06].
     * Fichier aérosols : RAS. Gardé 1980 et .nat seulement dans COMP/lmdz.card
     * Etat initial : WW202K, recopié depuis mercure, OCE, ICE et CPL en Restart. Depuis etat0 pour LMDZ et ORCHIDEE.
     * Fichier Bands : 
       * Bands_192x142x19_7prc.dat recopié depuis mercure (EXP00/PARAM)
       * ajout résolution dans COMP/lmdz.driver {{{ LMD192142) BandsResol=192x142x19 ;; }}}
     * Physique (idem 144x142) sauf :
       * day_step = 960 (au lieu de 720 dans le 144x142 de Sébastien)
       * iphysiq = 20 (au lieu de 15)
       * tetagdiv = 1800. (au lieu de 3600.)
       * tetagrot = 2700. (au lieu de 5400.)
       * tetatemp = 2700. (au lieu de 5400.)
       * cvl_corr = 1.0 (au lieu de 1.002)
       * Différences entre R1914A et R1914B :
         * pmagic = 0.00 dans R1914A  
         * pmagic = 0.02 dans R1914B (comme le 144x142 de Sébastien)
         * ok_dynzon = y dans R1914B (n dans R1914A)
       * R1914A arrêté à 10 ans.
       * R1914B poursuivi 70 ans (2020-2089), puis changement des teta et poursuite au delà :
         * tetagdiv = 3600. 
         * tetagrot = 5400. 
         * tetatemp = 5400. 
       * Arrêt au 31-12-2109 car plus d'heures IDRIS sur rpsl.   
       * Bascule sur mercure (R1914C), pour poursuite avec teta=5400,7200. Voir plus loin.  
  * ATLAS IDRIS : [http://dods.idris.fr/rpsl003/IPSLCM4_v2/R1914A R1914A]
  * ATLAS IDRIS : [http://dods.idris.fr/rpsl003/IPSLCM4_v2/R1914B R1914B]

=== R1914C sur mercure ===

 * Installation sur mercure pour avoir des heures
 * Compte genci : gen0826 (5000h dispo)
 * Essai avec tetagdiv=5400 tetagrot=tetatemp=7200
 * Déménagement Restart R1914B 30-12-2109 IDRIS --> CCRT
 * Poursuite de la simulation au dela de 2109
   * Plantage après 53 ans, en 08-2163.
   * Poursuite en repassant à 3600,5400 à partir de 08-2163 
   * ATLAS CCRT [http://dods.extra.cea.fr/data/p86maf/IPSLCM4_v2/R1914C/ R1914C]

== Protocole à suivre pour chaque résolution ==

 * Installer le couplé, compiler. 
   * Nomenclature : R97 pour 96x71x19 en couplé. 
   * Installation dans $WORKDIR/RESOLUTION/R97, R99, R149, R1414 et R1914
   * Pour 99x95x19 et 192x142x19 ajouter la cible supplémentaire avant.
   * Attention au piège MPI sur brodie. Taper module load .... avant TOUTE compilation.
 * Installer le forcé dans le même répertoire config. Voir [wiki:LMDZ4OR_v2#CommenttournerlecoupléIPSLCM4_v2enmodeforcé]
   * 2 modifications supplémentaires pour que le forcé tourne là :
     * dans libIGCM/AA_create_se LMDZ4OR_v2 et pas LMDz4OR_v2 (minuscule/majuscule)
     * dans COMP/orchidee.driver de LMDZ4OR_v2, ajouter dans SRF_Initialize :     RESOL_SRF=${RESOL}
   * vérifier lmdz.card : 
     * ajouter sulfate : décommenter les lignes dans COMP/lmdz.card
     * ajouter o2a.nc dans COMP/lmdz.card. Attention au répertoire. Mis en dur : IPSLCM4_v2/ORCA2LMD9671
   * vérifier paramètres physique (teta, pmagic, cvl_corr)
   * vérifier dates. 10 ans AMIP CLIM avec o2a (appelé ELO) soit 1980-1989
   * Nomenclature : F97 pour le forcé en 96x71x19 (R97 pour le couplé)
 * Faire tourner CREATE pour les états initiaux. ELO 
 * Créer une expérience BANDS et faire tourner 1 an d'un coup ou 1 mois (3 fois) pour avoir le fichier BANDS sur 1 an (ou sur le 3ème mois) pour le forcé cad avec le nombre de processeurs demandés (et pas -1 comme en couplé)
   * Attention au piège MPI
 * Faire tourner LMDZOR 10 ans
   * Attention au piège MPI. Ajouter dans le Job module load
 * Préparer config.card du couplé :
   * Démarrage atmosphère au delà des 10 ans
   * Démarrage Océan rces452 !OldName 2L20 18591230
   * Démarrage coupleur n
 * Vérifier paramètre couplé : teta, pmagic, cvl_corr  dans PARAM/gcm.def_RESOL
 * Vérifier poids _v7 dans COMP/oasis.card
 * Vérifier mémoire, CPU, nombre de processeurs dans Job_RXXXX
 * Attention au piège MPI. Ajouter dans le Job module load ...
 * Créer si besoin fichier BANDS dans PARAM. Pour les résolutions nouvelles, je l'ai pris dans les répertoires de soumission des tests (R1914 et R99) sur brodie.
 * Lancer le couplé