wiki:ResolutionIPSLCM4_v2

Version 50 (modified by mafoipsl, 16 years ago) (diff)

--

Tests IPSLCM4_v2 à différentes résolutions


Mon Oct 7 22:38:49 2024

Cette page prend la suite de la page : Climatology.

Il s'agit d'effectuer un jeu de simulations à différentes résolutions horizontales avec exactement le même modèle couplé : IPSLCM4_v2, figé le 25 juillet 2008. Voir : IPSLCM4_v2_PAR.

Cette version a été utilisée pour le stream2 d'Ensembles. Voir atlas/monitoring là : Prologue et C°

Tableau récapitulatif des différences entre résolutions et avec le couplé standard

R44 R97 R99 R149 R1414 R1914
Résolutions
atmosphère 44x43x19 96x71x19 96x95x19 (*) 144x96x19 144x142x19 192x142x19 (*)
océan ORCA2 ORCA2 ORCA2 ORCA2 ORCA2 ORCA2
Etat initial
océan 2L20 - 20 ans 31 12 1859 2L20 -31 12 1859 2L20 -31 12 1859 2L20 - 31 12 1859 2L20 - 31 12 1859 2L20 - 31 12 1859
atmosphère 10 ans forcé AMIP 1980-1989 F44A 10 ans forcé AMIP 1980-1989 F97A 10 ans forcé AMIP 1980-1989 F99A 10 ans forcé AMIP 1980-1989 F149A 10 ans forcé AMIP 1980-1989 F1414A 10 ans forcé AMIP 1980-1989 F1914A
coupleur défaut défaut défaut défaut défaut défaut
Paramètres
day_step 240 480 480 (=96x71) 720 720 960 ()
idissip 15
nitergdiv 1
iphysiq 5 10 10 (=) 15 15 20 ()
tetagdiv 36000. 5400. () 5400. (=) 5400. () 3600. 3600. (=144x142)
tetagrot 18000. 7200. () 7200. (=) 7200. () 5400. 5400. (=)
tetatemp 18000. 7200. () 7200. (=) 7200. () 5400. 5400. (=)
cvl_corr 1.0 1.0 1.0 (=) 1.0 1.0 () 1.0 (=)
pmagic 0.02() 0.02 () 0.02 (=) 0.02 () 0.02 0.02 (=)
Oasis-nb points mozaic existe existe (v7) () existe (v7) existe (v7) (v7) ()
Nombre de processeurs 4 (2/1/1) 4 4 (=) 6 () 8 () 8 (=)
Mémoire 4GB (3.2GB) 4GB 5GB () 9GB () 12GB () 15GB ()
Temps CPU/mois 8 mn 30 mn 40 mn () 1h () 2h () 3h ()
Bands inutile (2 procs) existe () existe existe ()
ATLAS et fichiers SE R44A R97E R99A R149A R1414A R1914E
Fichiers résultats CCRT IDRIS IDRIS IDRIS IDRIS IDRIS
Etat au 9 septembre 10 décennies - 1959 10 décennies - 1959 10 décennies - 1959 10 décennies - 1959 10 décennies - 1959 10 décennies - 1959
Fichier dynzon prévu depuis 1910-1919 OK depuis 1910-1919 OK depuis 1910-1919 OK depuis 1910-1919 OK depuis 1910-1919 OK depuis 1910-1919

Légendes :

(*) résolution ajoutée dans le couplé de référence :

() valeur à changer par rapport au défaut du couplé de référence

(=) comme le 96x71 ou le 144x142

Memo :

  • Aérosols : actuel (par défaut avec le couplé standard)
  • Simulation comparable 2L20 : actuel
  • Niveau des sorties : standard type_run=CLIM, lev_histday=2, lev_histmth=2
  • ok_dynzon à partir de la 6ème décennie

Illustration

Cette figure montre les différences de SST avec Levitus, en moyenne zonale, pour les 6 résolutions.

Temps d'execution

Cette figure montre les temps d'exécution réels et les temps estimés initialement.

  • Temps d'exécution réels : pdf
  • Temps d'exécution prévus : pdf

Ces 2 figures montrent pour R149A et R1414 les 1200 temps écoulés et CPU des simulations, sur 6 et 8 processeurs NEC. Sur 6 processeurs, le temps est plus fluctuant.

Résolution 44x43x19

R44

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
mercure (CCRT) 4 16 h 4 GB (3.2 GB) <7h30 120 mois <8h <4h

Résolution 96x71x19

R97

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R97
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Compilation : faire sxgmake
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans forcé (fait, même binaire et o2a du couplé)
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : lancé, 40 ans fait. Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97D/
    • Zut! mauvais teta (ceux par défaut) et pas de pmagic. Règle numéro 1 : vérifier une fois de plus!
  • Couplé avec teta modifiés pour être comme R99 et R149.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 4 57 h 4 GB 19 h 24 mois <12h <4h

Résolution 96x95x19

R99

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
  • Ajout résolution dans IPSLCM4_v2/AA_make
    • ajout dans Makefile
    • ajout dans lmdz.driver (Bands)
    • ajout de gcm.def_RESOL : idem 96x71
    • ajout de namecouple_RESOL
    • ajout de Bands
    • poids créés par Olivier Marti (pas besoin de _v7)
    • Sulfates interpolés par Sébastien Denvil. Attention mauvais répertoire (supprimer /HISTORIQUE).
    • Grille et monitoring préparés par Patrick Brockmann
  • Brodie : $WORKDIR/RESOLUTION/R99
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Compilation : faire sxgmake ORCA2xLMD9695
  • Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : lancé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 4 65 h 5 GB 20 h 24 mois <15h <5h

Résolution 144x96x19

R149

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R149
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Compilation : faire sxgmake ORCA2xLMD14496
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
      • Erreur : oublié de prendre _v7 pour le fichier o2a.nc
      • Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
      • Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F149A/
      • Pour avoir le monitoring, création des fichiers monitoring01 et grid pour cette résolution le 14 août dans les comptes communs. Voir ~comptecommun/atlas.
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : lancé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 6 160 h à 190 h 9 GB 30 h 12 mois <16h-19h (très fluctuant) <4h-7h

Résolution 144x142x19

R1414

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R1414
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Compilation : faire sxgmake ORCA2xLMD144142
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : lancé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 8 210 h 12 GB 28 h 24 mois <45h <7h

Résolution 192x142x19

  • IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
  • Brodie - rhou035 : $WORKDIR/RESOLUTION/R1914
  • Ajout résolution dans IPSLCM4_v2/AA_make
    • ajout dans Makefile
    • ajout dans lmdz.driver (Bands)
    • ajout de gcm.def_RESOL. idem 144x142 avec modif day_step et uphusiq
    • ajout de namecouple_RESOL
    • ajout de Bands
    • poids créés par Olivier Marti
    • Sulfates interpolés par Sébastien Denvil.
    • Grille et monitoring préparés par Patrick Brockmann
  • Attention à la compilation MPI : module load sxmpi/7.2.0
  • Compilation : faire sxgmake ORCA2xLMD192142
  • Attention à prendre les poids _v7
  • Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
  • Démarrage :
    • Atmosphère : 10 ans (en cours, même binaire et o2a du couplé)
    • Océan : 2L20 - 20 ans 31 12 1859
  • Couplé : préparé.

Estimation consommation 10 ans

machine Nb CPU Temps CPU Mémoire Temps réel PeriodNb Temps CPU Job Temps réel Job
brodie (IDRIS) 8 300 h 15 GB 60 h 12 mois 30h <5h

Estimation consommation 10 ans (sur mercure et brodie)

machine Temps CPU Mémoire Temps réel
mercure (CCRT) 250 h 15 GB 36 h
brodie (IDRIS) 300 h 15 GB 48 h (pas de noeud réservé)

Pour 200 ans, il faut 5 000 h/6 000 h CPU NEC. Demande de rallonge de 10 000 h à l'IDRIS sur le projet 0826 (rpsl) pour réaliser un ensemble de simulations cohérentes sur une seule machine en ajoutant cette résolution là. Allocation refusée sur projet rpsl mais 10000h ajoutées au projet rhou. Nouveau login rhou035.

R1914 premiers essais à l'IDRIS puis au CCRT

  • IPSLCM4_v2 figé le 18 avril
  • Brodie : $WORKDIR(rpsl003)/RESOLUTION/R1914
  • Ajout résolution 192x142x19 :
    • ajout dans Makefile
    • ajout dans lmdz.driver (Bands)
    • ajout de gcm.def_RESOL
    • ajout de namecouple_RESOL
    • ajout de Bands
    • poids créés par Olivier Marti
    • Sulfates interpolés par Sébastien Denvil
    • Grille et monitoring préparés par Patrick Brockmann
    • Compilation :
      • Ajout des cibles ORCA2xLMD192142 et lmdz192142 dans IPSLCM4_v2/AA_make avant de lancer la commande ins_make.
        ORCA2xLMD192142 : libioipsl oasis3 liborchidee orca2 lmdz192142 verif
                echo "ORCA2xLMD192142" >.resol
                echo "$(LIB_MPI)" >.libmpi
        ...
        lmdz192142:
                (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -m $(FCM_ARCH) create_etat0_limit ; cp bin/create_etat0_limit_192x142x19_t4_phylmd_seq.e ../../bin/create_etat0_limit.e ; )
                (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -psmile true -v true -parallel true -c $(LIB_MPI) -m $(FCM_ARCH) gcm ; cp bin/gcm_192x142x19_t4_phylmd_para_orch_couple.e ../../bin/gcm.e ; )
        
      • Attention! Compiler après avoir lancé module load sxmpi/7.2.0 . A mettre dans le Job aussi.
      • compiler en lançant : sxgmake ORCA2xLMD192142
    • Exécution sur brodie:
      • 8 procs, 20 GB, 2h45 CPU pour la 1ère année, 2h30 CPU par an au delà. 22 mn de temps réel par mois, + 2mn pour rebuild. 48h pour 10 ans (estimation).
      • Poids :
        • 10 ans lancé avec première version des poids (R1914A)
        • 200 ans avec version des poids _v7 (R1914B). Voir aussi BugMask2008-06.
      • Fichier aérosols : RAS. Gardé 1980 et .nat seulement dans COMP/lmdz.card
      • Etat initial : WW202K, recopié depuis mercure, OCE, ICE et CPL en Restart. Depuis etat0 pour LMDZ et ORCHIDEE.
      • Fichier Bands :
        • Bands_192x142x19_7prc.dat recopié depuis mercure (EXP00/PARAM)
        • ajout résolution dans COMP/lmdz.driver LMD192142) BandsResol=192x142x19 ;;
      • Physique (idem 144x142) sauf :
        • day_step = 960 (au lieu de 720 dans le 144x142 de Sébastien)
        • iphysiq = 20 (au lieu de 15)
        • tetagdiv = 1800. (au lieu de 3600.)
        • tetagrot = 2700. (au lieu de 5400.)
        • tetatemp = 2700. (au lieu de 5400.)
        • cvl_corr = 1.0 (au lieu de 1.002)
        • Différences entre R1914A et R1914B :
          • pmagic = 0.00 dans R1914A
          • pmagic = 0.02 dans R1914B (comme le 144x142 de Sébastien)
          • ok_dynzon = y dans R1914B (n dans R1914A)
        • R1914A arrêté à 10 ans.
        • R1914B poursuivi 70 ans (2020-2089), puis changement des teta et poursuite au delà :
          • tetagdiv = 3600.
          • tetagrot = 5400.
          • tetatemp = 5400.
        • Arrêt au 31-12-2109 car plus d'heures IDRIS sur rpsl.
        • Bascule sur mercure (R1914C), pour poursuite avec teta=5400,7200. Voir plus loin.
  • ATLAS IDRIS : R1914A
  • ATLAS IDRIS : R1914B

R1914C sur mercure

  • Installation sur mercure pour avoir des heures
  • Compte genci : gen0826 (5000h dispo)
  • Essai avec tetagdiv=5400 tetagrot=tetatemp=7200
  • Déménagement Restart R1914B 30-12-2109 IDRIS --> CCRT
  • Poursuite de la simulation au dela de 2109
    • Plantage après 53 ans, en 08-2163.
    • Poursuite en repassant à 3600,5400 à partir de 08-2163
    • ATLAS CCRT R1914C

Protocole à suivre pour chaque résolution

  • Installer le couplé, compiler.
    • Nomenclature : R97 pour 96x71x19 en couplé.
    • Installation dans $WORKDIR/RESOLUTION/R97, R99, R149, R1414 et R1914
    • Pour 99x95x19 et 192x142x19 ajouter la cible supplémentaire avant.
    • Attention au piège MPI sur brodie. Taper module load sxmpi/7.2.0 avant TOUTE compilation.
  • Installer le forcé dans le même répertoire config. Voir LMDZ4OR_v2
    • 2 modifications supplémentaires pour que le forcé tourne en faisant ses atlas et son monitoring :
      • dans libIGCM/AA_create_se LMDZ4OR_v2 et pas LMDz4OR_v2 (minuscule/majuscule)
      • dans COMP/orchidee.driver de LMDZ4OR_v2, ajouter dans SRF_Initialize : RESOL_SRF=${RESOL}
    • vérifier lmdz.card :
      • ajouter sulfate : décommenter les lignes dans COMP/lmdz.card
      • ajouter o2a.nc dans COMP/lmdz.card. Attention au répertoire. Mis en dur : IPSLCM4_v2/ORCA2LMD9671
    • vérifier paramètres physique (teta, pmagic, cvl_corr, ok_aie et ok_ade)
    • vérifier dates. 10 ans AMIP CLIM avec o2a (appelé ELO) soit 1980-1989
    • Nomenclature : F97 pour le forcé en 96x71x19 (R97 pour le couplé)
  • Faire tourner CREATE pour les états initiaux. ELO
  • Créer une expérience BANDS et faire tourner 1 an d'un coup ou 1 mois (3 fois) pour avoir le fichier BANDS sur 1 an (ou sur le 3ème mois) pour le forcé cad avec le nombre de processeurs demandés (et pas -1 comme en couplé)
    • Attention au piège MPI
  • Faire tourner LMDZOR 10 ans
    • Attention au piège MPI. Ajouter dans le Job module load sxmpi/7.2.0
  • Préparer config.card du couplé :
    • Démarrage atmosphère au delà des 10 ans
    • Démarrage Océan rces452 OldName 2L20 18591230
    • Démarrage coupleur n
  • Vérifier paramètre couplé : teta, pmagic, cvl_corr dans PARAM/gcm.def_RESOL
  • Vérifier poids _v7 dans COMP/oasis.card sauf R99
  • Vérifier mémoire, CPU, nombre de processeurs dans Job_RXXXX
  • Attention au piège MPI. Ajouter dans le Job module load ...
  • Créer si besoin fichier BANDS dans PARAM. Pour les résolutions nouvelles, je l'ai pris dans les répertoires de soumission des tests (R1914 et R99) sur brodie.
  • Lancer le couplé pour 50 ans
  • Poursuivre en activant ok_dynzon=y à partir de la 6ème décennie. (run.def)