wiki:ResolutionIPSLCM4_v2

Version 25 (modified by mafoipsl, 16 years ago) (diff)

--

Tests IPSLCM4_v2 à différentes résolutions

Cette page prend la suite de la page : Climatology.

Il s'agit d'effectuer un jeu de simulations à différentes résolutions horizontales avec exactement le même modèle couplé : IPSLCM4_v2, figé le 11 juillet 2008. Voir : IPSLCM4_v2_PAR.

Cette version a été utilisée pour le stream2 d'Ensembles. Voir atlas/monitoring là : Prologue et C°

Tableau récapitulatif des différences entre résolutions

R97 R99 R149 R1414 R1914
Résolutions
atmosphère 96x71x19 96x95x19 (*) 144x96x19 144x142x19 192x142x19 (*)
océan ORCA2 ORCA2 ORCA2 ORCA2 ORCA2
Etat initial
océan 2L20 - 20 ans 31 12 1859 2L20 -31 12 1859 2L20 - 31 12 1859 2L20 - 31 12 1859 2L20 - 31 12 1859
atmosphère 10 ans forcé F97A 10 ans forcé F99A 10 ans forcé F149A 10 ans forcé F1414A 10 ans forcé F1914A
coupleur défaut défaut défaut défaut défaut
Paramètres
day_step 480 480 () 720 720 960 ()
iphysiq 10 10 () 15 15 20 ()
tetagdiv 5400. () 5400. () 5400. () 3600. 3600. ()
tetagrot 7200. () 7200. () 7200. () 5400. 5400. ()
tetatemp 7200. () 7200. () 7200. () 5400. 5400. ()
cvl_corr 1.0 1.0 () 1.0 () 1.0 () 1.0 ()
pmagic 0.02 () 0.02 () 0.02 () 0.02 0.02 ()
Oasis-nb points mozaic <> () <> <> ()
Nombre de processeurs 4 4 () 6 () 8 () 8 ()
Mémoire 4GB 5G () 9G () 12GB () 15GB ()
Temps CPU/mois 30 mn 40 mn () 1h () 2h () 3h ()
ATLAS R97E R99A R149A R1414A R1914E

Légendes :

(*) résolution ajoutée dans le couplé de référence :

() valeur à changer par rapport au défaut du couplé de référence

Memo :

  • Aérosols : actuel
  • Simulation comparable 2L20 : actuel
  • Niveau des sorties : standard type_run=CLIM, lev_histday=2, lev_histmth=2
  • ok_dynzon de temps en temps

Résolution 96x71x19

R97

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R97
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans forcé (fait, même binaire et o2a du couplé)
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : lancé, 40 ans fait. Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97D/
    • Zut! mauvais teta (ceux par défaut) et pas de pmagic. Règle numéro 1 : vérifier une fois de plus!
  • Couplé avec teta modifiés pour être comme R99 et R149.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 4 57 h 4 GB 19 h 24 mois <12h <4h

Résolution 96x95x19

R99

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
  • Ajout résolution dans IPSLCM4_v2/AA_make, faire sxgmake ORCA2xLMD9695
    • ajout dans Makefile
    • ajout dans lmdz.driver (Bands)
    • ajout de gcm.def_RESOL : idem 96x71
    • ajout de namecouple_RESOL
    • ajout de Bands
    • poids créés par Olivier Marti (pas vesoin de _v7)
    • Sulfates interpolés par Sébastien Denvil. Attention mauvais répertoire (supprimer /HISTORIQUE).
    • Grille et monitoring préparés par Patrick Brockmann
  • Brodie : $WORKDIR/RESOLUTION/R99
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Attention à prendre les bons paramêtres physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : lancé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 4 65 h 5 GB 20 h 24 mois <15h <5h

Résolution 144x96x19

R149

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R149
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres physique. Voir le tableau récapitulatif
  • Démarrage :
  • Couplé : lancé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 6 130 h 9 GB 24 h 12 mois <15h <3h

Résolution 144x142x19

R1414

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R1414
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres physique. Voir le tableau récapitulatif
  • Démarrage :
  • Couplé : lancé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 8 200 h 12 GB 35 h 24 mois <45h <7h

Résolution 192x142x19

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync)
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R1914
  • Ajout résolution dans IPSLCM4_v2/AA_make, faire sxgmake ORCA2xLMD192142
    • ajout dans Makefile
    • ajout dans lmdz.driver (Bands)
    • ajout de gcm.def_RESOL. idem 144x142 avec modif day_step et uphusiq
    • ajout de namecouple_RESOL
    • ajout de Bands
    • poids créés par Olivier Marti
    • Sulfates interpolés par Sébastien Denvil.
    • Grille et monitoring préparés par Patrick Brockmann
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres physique. Voir le tableau récapitulatif
  • Démarrage :
  • Couplé : préparé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 8 300 h 15 GB 66 h 12 mois <40h <7h

Estimation consommation 10 ans (sur mercure et brodie)

machine Temps CPU Mémoire Temps réel
mercure (CCRT) 250 h 15 GB 36 h
brodie (IDRIS) 300 h 15 GB 48 h (pas de noeud réservé)

Pour 200 ans, il faut 5 000 h/6 000 h CPU NEC. Demande de rallonge de 10 000 h à l'IDRIS sur le projet 0826 (rpsl) pour réaliser un ensemble de simulations cohérentes sur une seule machine en ajoutant cette résolution là. Allocation refusée sur projet rpsl mais 10000h ajoutée au projet rhou. Nouveau login rhou035.

R1914 premiers essais à l'IDRIS puis au CCRT

  • IPSLCM4_v2 figé le 18 avril
  • Brodie : $WORKDIR(rpsl003)/RESOLUTION/R1914
  • Ajout résolution 192x142x19 :
    • ajout dans Makefile
    • ajout dans lmdz.driver (Bands)
    • ajout de gcm.def_RESOL
    • ajout de namecouple_RESOL
    • ajout de Bands
    • poids créés par Olivier Marti
    • Sulfates interpolés par Sébastien Denvil
    • Grille et monitoring préparés par Patrick Brockmann
    • Compilation :
      • Ajout des cibles ORCA2xLMD192142 et lmdz192142 dans IPSLCM4_v2/AA_make avant de lancer la commande ins_make.
        ORCA2xLMD192142 : libioipsl oasis3 liborchidee orca2 lmdz192142 verif
                echo "ORCA2xLMD192142" >.resol
                echo "$(LIB_MPI)" >.libmpi
        ...
        lmdz192142:
                (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -m $(FCM_ARCH) create_etat0_limit ; cp bin/create_etat0_limit_192x142x19_t4_phylmd_seq.e ../../bin/create_etat0_limit.e ; )
                (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -psmile true -v true -parallel true -c $(LIB_MPI) -m $(FCM_ARCH) gcm ; cp bin/gcm_192x142x19_t4_phylmd_para_orch_couple.e ../../bin/gcm.e ; )
        
      • Attention! Compiler après avoir lancé module load sxmpi/7.2.0 . A mettre dans le Job aussi.
      • compiler en lançant : sxgmake ORCA2xLMD192142
    • Exécution sur brodie:
      • 8 procs, 20 GB, 2h45 CPU pour la 1ère année, 2h30 CPU par an au delà. 22 mn de temps réel par mois, + 2mn pour rebuild. 48h pour 10 ans (estimation).
      • Poids :
        • 10 ans lancé avec première version des poids (R1914A)
        • 200 ans avec version des poids _v7 (R1914B). Voir aussi BugMask2008-06.
      • Fichier aérosols : RAS. Gardé 1980 et .nat seulement dans COMP/lmdz.card
      • Etat initial : WW202K, recopié depuis mercure, OCE, ICE et CPL en Restart. Depuis etat0 pour LMDZ et ORCHIDEE.
      • Fichier Bands :
        • Bands_192x142x19_7prc.dat recopié depuis mercure (EXP00/PARAM)
        • ajout résolution dans COMP/lmdz.driver LMD192142) BandsResol=192x142x19 ;;
      • Physique (idem 144x142) sauf :
        • day_step = 960 (au lieu de 720 dans le 144x142 de Sébastien)
        • iphysiq = 20 (au lieu de 15)
        • tetagdiv = 1800. (au lieu de 3600.)
        • tetagrot = 2700. (au lieu de 5400.)
        • tetatemp = 2700. (au lieu de 5400.)
        • cvl_corr = 1.0 (au lieu de 1.002)
        • Différences entre R1914A et R1914B :
          • pmagic = 0.00 dans R1914A
          • pmagic = 0.02 dans R1914B (comme le 144x142 de Sébastien)
          • ok_dynzon = y dans R1914B (n dans R1914A)
        • R1914A arrêté à 10 ans.
        • R1914B poursuivi 70 ans (2020-2089), puis changement des teta et poursuite au delà :
          • tetagdiv = 3600.
          • tetagrot = 5400.
          • tetatemp = 5400.
        • Arrêt au 31-12-2109 car plus d'heures IDRIS sur rpsl.
        • Bascule sur mercure (R1914C), pour poursuite avec teta=5400,7200. Voir plus loin.
  • ATLAS IDRIS : R1914A
  • ATLAS IDRIS : R1914B

R1914C sur mercure

  • Installation sur mercure pour avoir des heures
  • Compte genci : gen0826 (5000h dispo)
  • Essai avec tetagdiv=5400 tetagrot=tetatemp=7200
  • Déménagement Restart R1914B 30-12-2109 IDRIS --> CCRT
  • Poursuite de la simulation au dela de 2109
    • Plantage après 53 ans, en 08-2163.
    • Poursuite en repassant à 3600,5400 à partir de 08-2163
    • ATLAS CCRT R1914C

Protocole à suivre pour chaque résolution

  • Installer le couplé, compiler.
    • Nomenclature : R97 pour 96x71x19 en couplé.
    • Installation dans $WORKDIR/RESOLUTION/R97, R99, R149, R1414 et R1914
    • Pour 99x95x19 et 192x142x19 ajouter la cible supplémentaire avant.
    • Attention au piège MPI sur brodie. Taper module load .... avant TOUTE compilation.
  • Installer le forcé dans le même répertoire config. Voir LMDZ4OR_v2
    • 2 modifications supplémentaires pour que le forcé tourne là :
      • dans libIGCM/AA_create_se LMDZ4OR_v2 et pas LMDz4OR_v2 (minuscule/majuscule)
      • dans COMP/orchidee.driver de LMDZ4OR_v2, ajouter dans SRF_Initialize : RESOL_SRF=${RESOL}
    • vérifier lmdz.card :
      • ajouter sulfate : décommenter les lignes dans COMP/lmdz.card
      • ajouter o2a.nc dans COMP/lmdz.card. Attention au répertoire. Mis en dur : IPSLCM4_v2/ORCA2LMD9671
    • vérifier paramètres physique (teta, pmagic, cvl_corr)
    • vérifier dates. 10 ans AMIP CLIM avec o2a (appelé ELO) soit 1980-1989
    • Nomenclature : F97 pour le forcé en 96x71x19 (R97 pour le couplé)
  • Faire tourner CREATE pour les états initiaux. ELO
  • Créer une expérience BANDS et faire tourner 1 an d'un coup ou 1 mois (3 fois) pour avoir le fichier BANDS sur 1 an (ou sur le 3ème mois) pour le forcé cad avec le nombre de processeurs demandés (et pas -1 comme en couplé)
    • Attention au piège MPI
  • Faire tourner LMDZOR 10 ans
    • Attention au piège MPI. Ajouter dans le Job module load
  • Préparer config.card du couplé :
    • Démarrage atmosphère au delà des 10 ans
    • Démarrage Océan rces452 OldName 2L20 18591230
    • Démarrage coupleur n
  • Vérifier paramètre couplé : teta, pmagic, cvl_corr dans PARAM/gcm.def_RESOL
  • Vérifier poids _v7 dans COMP/oasis.card
  • Vérifier mémoire, CPU, nombre de processeurs dans Job_RXXXX
  • Attention au piège MPI. Ajouter dans le Job module load ...
  • Créer si besoin fichier BANDS dans PARAM. Pour les résolutions nouvelles, je l'ai pris dans les répertoires de soumission des tests (R1914 et R99) sur brodie.
  • Lancer le couplé