Version 50 (modified by mafoipsl, 16 years ago) (diff) |
---|
Tests IPSLCM4_v2 à différentes résolutions
Mon Oct 7 22:38:49 2024
- Tests IPSLCM4_v2 à différentes résolutions
Cette page prend la suite de la page : Climatology.
Il s'agit d'effectuer un jeu de simulations à différentes résolutions horizontales avec exactement le même modèle couplé : IPSLCM4_v2, figé le 25 juillet 2008. Voir : IPSLCM4_v2_PAR.
Cette version a été utilisée pour le stream2 d'Ensembles. Voir atlas/monitoring là : Prologue et C°
Tableau récapitulatif des différences entre résolutions et avec le couplé standard
R44 | R97 | R99 | R149 | R1414 | R1914 | |
Résolutions | ||||||
atmosphère | 44x43x19 | 96x71x19 | 96x95x19 (*) | 144x96x19 | 144x142x19 | 192x142x19 (*) |
océan | ORCA2 | ORCA2 | ORCA2 | ORCA2 | ORCA2 | ORCA2 |
Etat initial | ||||||
océan | 2L20 - 20 ans 31 12 1859 | 2L20 -31 12 1859 | 2L20 -31 12 1859 | 2L20 - 31 12 1859 | 2L20 - 31 12 1859 | 2L20 - 31 12 1859 |
atmosphère | 10 ans forcé AMIP 1980-1989 F44A | 10 ans forcé AMIP 1980-1989 F97A | 10 ans forcé AMIP 1980-1989 F99A | 10 ans forcé AMIP 1980-1989 F149A | 10 ans forcé AMIP 1980-1989 F1414A | 10 ans forcé AMIP 1980-1989 F1914A |
coupleur | défaut | défaut | défaut | défaut | défaut | défaut |
Paramètres | ||||||
day_step | 240 | 480 | 480 (=96x71) | 720 | 720 | 960 () |
idissip | 15 | |||||
nitergdiv | 1 | |||||
iphysiq | 5 | 10 | 10 (=) | 15 | 15 | 20 () |
tetagdiv | 36000. | 5400. () | 5400. (=) | 5400. () | 3600. | 3600. (=144x142) |
tetagrot | 18000. | 7200. () | 7200. (=) | 7200. () | 5400. | 5400. (=) |
tetatemp | 18000. | 7200. () | 7200. (=) | 7200. () | 5400. | 5400. (=) |
cvl_corr | 1.0 | 1.0 | 1.0 (=) | 1.0 | 1.0 () | 1.0 (=) |
pmagic | 0.02() | 0.02 () | 0.02 (=) | 0.02 () | 0.02 | 0.02 (=) |
Oasis-nb points mozaic | existe | existe (v7) | () | existe (v7) | existe (v7) | (v7) () |
Nombre de processeurs | 4 (2/1/1) | 4 | 4 (=) | 6 () | 8 () | 8 (=) |
Mémoire | 4GB (3.2GB) | 4GB | 5GB () | 9GB () | 12GB () | 15GB () |
Temps CPU/mois | 8 mn | 30 mn | 40 mn () | 1h () | 2h () | 3h () |
Bands | inutile (2 procs) | existe | () | existe | existe | () |
ATLAS et fichiers SE | R44A | R97E | R99A | R149A | R1414A | R1914E |
Fichiers résultats | CCRT | IDRIS | IDRIS | IDRIS | IDRIS | IDRIS |
Etat au 9 septembre | 10 décennies - 1959 | 10 décennies - 1959 | 10 décennies - 1959 | 10 décennies - 1959 | 10 décennies - 1959 | 10 décennies - 1959 |
Fichier dynzon | prévu depuis 1910-1919 | OK depuis 1910-1919 | OK depuis 1910-1919 | OK depuis 1910-1919 | OK depuis 1910-1919 | OK depuis 1910-1919 |
Légendes :
(*) résolution ajoutée dans le couplé de référence :
() valeur à changer par rapport au défaut du couplé de référence
(=) comme le 96x71 ou le 144x142
Memo :
- Aérosols : actuel (par défaut avec le couplé standard)
- Simulation comparable 2L20 : actuel
- Niveau des sorties : standard type_run=CLIM, lev_histday=2, lev_histmth=2
- ok_dynzon à partir de la 6ème décennie
Illustration
Cette figure montre les différences de SST avec Levitus, en moyenne zonale, pour les 6 résolutions.
- Figure : SST en pdf
- Script ferret : sst.jnl
Temps d'execution
Cette figure montre les temps d'exécution réels et les temps estimés initialement.
Ces 2 figures montrent pour R149A et R1414 les 1200 temps écoulés et CPU des simulations, sur 6 et 8 processeurs NEC. Sur 6 processeurs, le temps est plus fluctuant.
Résolution 44x43x19
R44
- IPSLCM4_v2 25 juillet 2008
- Mercure - p25luc : $WORKDIR/IPSLCM4_v2_20080818/modipsl/config/IPSLCM4_v2/R44A
- Poids _v7 (modifications de lmdz.card, oasis.card et namcouple_ORCA2xLMD4443)
- Démarrage :
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
- Fait. Voir : http://dods.extra.cea.fr/data/p25luc/LMDZ4OR_v2/F44A/
- Océan : 2L20 - 20 ans 31 12 1859
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Couplé : lancé.
Estimation consommation 10 ans
machine | Nb CPU | Temps CPU | Mémoire | Temps réel | PeriodNb | Temps CPU Job | Temps réel Job | |
mercure (CCRT) | 4 | 16 h | 4 GB (3.2 GB) | <7h30 | 120 mois | <8h | <4h |
Résolution 96x71x19
R97
- IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
- Brodie - rhou035 : $WORKDIR/RESOLUTION/R97
- Attention à la compilation MPI : module load sxmpi/7.2.0
- Compilation : faire sxgmake
- Attention à prendre les poids _v7
- Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
- Démarrage :
- Atmosphère : 10 ans forcé (fait, même binaire et o2a du couplé)
- Erreur : oublié de prendre _v7 pour le fichier o2a.nc
- Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
- Fait. Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F97A/
- Océan : 2L20 - 20 ans 31 12 1859
- Atmosphère : 10 ans forcé (fait, même binaire et o2a du couplé)
- Couplé : lancé, 40 ans fait. Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97D/
- Zut! mauvais teta (ceux par défaut) et pas de pmagic. Règle numéro 1 : vérifier une fois de plus!
- Couplé avec teta modifiés pour être comme R99 et R149.
- Lancé. Voir : http://dodsp.idris.fr/rhou035/IPSLCM4_v2/R97E/
Estimation consommation 10 ans
machine | Nb CPU | Temps CPU | Mémoire | Temps réel | PeriodNb | Temps CPU Job | Temps réel Job | |
brodie (IDRIS) | 4 | 57 h | 4 GB | 19 h | 24 mois | <12h | <4h |
Résolution 96x95x19
R99
- IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
- Ajout résolution dans IPSLCM4_v2/AA_make
- ajout dans Makefile
- ajout dans lmdz.driver (Bands)
- ajout de gcm.def_RESOL : idem 96x71
- ajout de namecouple_RESOL
- ajout de Bands
- poids créés par Olivier Marti (pas besoin de _v7)
- Sulfates interpolés par Sébastien Denvil. Attention mauvais répertoire (supprimer /HISTORIQUE).
- Grille et monitoring préparés par Patrick Brockmann
- Brodie : $WORKDIR/RESOLUTION/R99
- Attention à la compilation MPI : module load sxmpi/7.2.0
- Compilation : faire sxgmake ORCA2xLMD9695
- Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
- Démarrage :
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
- Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F99A/
- Océan : 2L20 - 20 ans 31 12 1859
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Couplé : lancé.
Estimation consommation 10 ans
machine | Nb CPU | Temps CPU | Mémoire | Temps réel | PeriodNb | Temps CPU Job | Temps réel Job | |
brodie (IDRIS) | 4 | 65 h | 5 GB | 20 h | 24 mois | <15h | <5h |
Résolution 144x96x19
R149
- IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
- Brodie - rhou035 : $WORKDIR/RESOLUTION/R149
- Attention à la compilation MPI : module load sxmpi/7.2.0
- Compilation : faire sxgmake ORCA2xLMD14496
- Attention à prendre les poids _v7
- Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
- Démarrage :
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Erreur : oublié de prendre _v7 pour le fichier o2a.nc
- Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
- Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F149A/
- Pour avoir le monitoring, création des fichiers monitoring01 et grid pour cette résolution le 14 août dans les comptes communs. Voir ~comptecommun/atlas.
- Océan : 2L20 - 20 ans 31 12 1859
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Couplé : lancé.
Estimation consommation 10 ans
machine | Nb CPU | Temps CPU | Mémoire | Temps réel | PeriodNb | Temps CPU Job | Temps réel Job | |
brodie (IDRIS) | 6 | 160 h à 190 h | 9 GB | 30 h | 12 mois | <16h-19h (très fluctuant) | <4h-7h |
Résolution 144x142x19
R1414
- IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
- Brodie - rhou035 : $WORKDIR/RESOLUTION/R1414
- Attention à la compilation MPI : module load sxmpi/7.2.0
- Compilation : faire sxgmake ORCA2xLMD144142
- Attention à prendre les poids _v7
- Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
- Démarrage :
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Erreur : oublié de prendre _v7 pour le fichier o2a.nc
- Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
- Fait. Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F1414A/
- Océan : 2L20 - 20 ans 31 12 1859
- Atmosphère : 10 ans (fait, même binaire et o2a du couplé)
- Couplé : lancé.
Estimation consommation 10 ans
machine | Nb CPU | Temps CPU | Mémoire | Temps réel | PeriodNb | Temps CPU Job | Temps réel Job | |
brodie (IDRIS) | 8 | 210 h | 12 GB | 28 h | 24 mois | <45h | <7h |
Résolution 192x142x19
- IPSLCM4_v2 figé le 11 juillet 2008 + modif libIGCM rhodes (sleep) et brodie (rsync) = version 25 juillet
- Brodie - rhou035 : $WORKDIR/RESOLUTION/R1914
- Ajout résolution dans IPSLCM4_v2/AA_make
- ajout dans Makefile
- ajout dans lmdz.driver (Bands)
- ajout de gcm.def_RESOL. idem 144x142 avec modif day_step et uphusiq
- ajout de namecouple_RESOL
- ajout de Bands
- poids créés par Olivier Marti
- Sulfates interpolés par Sébastien Denvil.
- Grille et monitoring préparés par Patrick Brockmann
- Attention à la compilation MPI : module load sxmpi/7.2.0
- Compilation : faire sxgmake ORCA2xLMD192142
- Attention à prendre les poids _v7
- Attention à prendre les bons paramêtres de la physique. Voir le tableau récapitulatif
- Démarrage :
- Atmosphère : 10 ans (en cours, même binaire et o2a du couplé)
- Erreur : oublié de prendre _v7 pour le fichier o2a.nc
- Pour avoir le monitoring et les atlas. libIGCM/AA_create_se et COMP/orchidee.driver modifiés
- Voir : http://dodsp.idris.fr/rhou035/LMDZ4OR_v2/F1914A/
- Océan : 2L20 - 20 ans 31 12 1859
- Atmosphère : 10 ans (en cours, même binaire et o2a du couplé)
- Couplé : préparé.
Estimation consommation 10 ans
machine | Nb CPU | Temps CPU | Mémoire | Temps réel | PeriodNb | Temps CPU Job | Temps réel Job | |
brodie (IDRIS) | 8 | 300 h | 15 GB | 60 h | 12 mois | 30h | <5h |
Estimation consommation 10 ans (sur mercure et brodie)
machine | Temps CPU | Mémoire | Temps réel |
mercure (CCRT) | 250 h | 15 GB | 36 h |
brodie (IDRIS) | 300 h | 15 GB | 48 h (pas de noeud réservé) |
Pour 200 ans, il faut 5 000 h/6 000 h CPU NEC. Demande de rallonge de 10 000 h à l'IDRIS sur le projet 0826 (rpsl) pour réaliser un ensemble de simulations cohérentes sur une seule machine en ajoutant cette résolution là. Allocation refusée sur projet rpsl mais 10000h ajoutées au projet rhou. Nouveau login rhou035.
R1914 premiers essais à l'IDRIS puis au CCRT
- IPSLCM4_v2 figé le 18 avril
- Brodie : $WORKDIR(rpsl003)/RESOLUTION/R1914
- Ajout résolution 192x142x19 :
- ajout dans Makefile
- ajout dans lmdz.driver (Bands)
- ajout de gcm.def_RESOL
- ajout de namecouple_RESOL
- ajout de Bands
- poids créés par Olivier Marti
- Sulfates interpolés par Sébastien Denvil
- Grille et monitoring préparés par Patrick Brockmann
- Compilation :
- Ajout des cibles ORCA2xLMD192142 et lmdz192142 dans IPSLCM4_v2/AA_make avant de lancer la commande ins_make.
ORCA2xLMD192142 : libioipsl oasis3 liborchidee orca2 lmdz192142 verif echo "ORCA2xLMD192142" >.resol echo "$(LIB_MPI)" >.libmpi ... lmdz192142: (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -m $(FCM_ARCH) create_etat0_limit ; cp bin/create_etat0_limit_192x142x19_t4_phylmd_seq.e ../../bin/create_etat0_limit.e ; ) (cd ../../modeles/LMDZ4; ./makegcm_fcm -d 192x142x19 -psmile true -v true -parallel true -c $(LIB_MPI) -m $(FCM_ARCH) gcm ; cp bin/gcm_192x142x19_t4_phylmd_para_orch_couple.e ../../bin/gcm.e ; )
- Attention! Compiler après avoir lancé module load sxmpi/7.2.0 . A mettre dans le Job aussi.
- compiler en lançant : sxgmake ORCA2xLMD192142
- Ajout des cibles ORCA2xLMD192142 et lmdz192142 dans IPSLCM4_v2/AA_make avant de lancer la commande ins_make.
- Exécution sur brodie:
- 8 procs, 20 GB, 2h45 CPU pour la 1ère année, 2h30 CPU par an au delà. 22 mn de temps réel par mois, + 2mn pour rebuild. 48h pour 10 ans (estimation).
- Poids :
- 10 ans lancé avec première version des poids (R1914A)
- 200 ans avec version des poids _v7 (R1914B). Voir aussi BugMask2008-06.
- Fichier aérosols : RAS. Gardé 1980 et .nat seulement dans COMP/lmdz.card
- Etat initial : WW202K, recopié depuis mercure, OCE, ICE et CPL en Restart. Depuis etat0 pour LMDZ et ORCHIDEE.
- Fichier Bands :
- Bands_192x142x19_7prc.dat recopié depuis mercure (EXP00/PARAM)
- ajout résolution dans COMP/lmdz.driver LMD192142) BandsResol=192x142x19 ;;
- Physique (idem 144x142) sauf :
- day_step = 960 (au lieu de 720 dans le 144x142 de Sébastien)
- iphysiq = 20 (au lieu de 15)
- tetagdiv = 1800. (au lieu de 3600.)
- tetagrot = 2700. (au lieu de 5400.)
- tetatemp = 2700. (au lieu de 5400.)
- cvl_corr = 1.0 (au lieu de 1.002)
- Différences entre R1914A et R1914B :
- pmagic = 0.00 dans R1914A
- pmagic = 0.02 dans R1914B (comme le 144x142 de Sébastien)
- ok_dynzon = y dans R1914B (n dans R1914A)
- R1914A arrêté à 10 ans.
- R1914B poursuivi 70 ans (2020-2089), puis changement des teta et poursuite au delà :
- tetagdiv = 3600.
- tetagrot = 5400.
- tetatemp = 5400.
- Arrêt au 31-12-2109 car plus d'heures IDRIS sur rpsl.
- Bascule sur mercure (R1914C), pour poursuite avec teta=5400,7200. Voir plus loin.
- ATLAS IDRIS : R1914A
- ATLAS IDRIS : R1914B
R1914C sur mercure
- Installation sur mercure pour avoir des heures
- Compte genci : gen0826 (5000h dispo)
- Essai avec tetagdiv=5400 tetagrot=tetatemp=7200
- Déménagement Restart R1914B 30-12-2109 IDRIS --> CCRT
- Poursuite de la simulation au dela de 2109
- Plantage après 53 ans, en 08-2163.
- Poursuite en repassant à 3600,5400 à partir de 08-2163
- ATLAS CCRT R1914C
Protocole à suivre pour chaque résolution
- Installer le couplé, compiler.
- Nomenclature : R97 pour 96x71x19 en couplé.
- Installation dans $WORKDIR/RESOLUTION/R97, R99, R149, R1414 et R1914
- Pour 99x95x19 et 192x142x19 ajouter la cible supplémentaire avant.
- Attention au piège MPI sur brodie. Taper module load sxmpi/7.2.0 avant TOUTE compilation.
- Installer le forcé dans le même répertoire config. Voir LMDZ4OR_v2
- 2 modifications supplémentaires pour que le forcé tourne en faisant ses atlas et son monitoring :
- dans libIGCM/AA_create_se LMDZ4OR_v2 et pas LMDz4OR_v2 (minuscule/majuscule)
- dans COMP/orchidee.driver de LMDZ4OR_v2, ajouter dans SRF_Initialize : RESOL_SRF=${RESOL}
- vérifier lmdz.card :
- ajouter sulfate : décommenter les lignes dans COMP/lmdz.card
- ajouter o2a.nc dans COMP/lmdz.card. Attention au répertoire. Mis en dur : IPSLCM4_v2/ORCA2LMD9671
- vérifier paramètres physique (teta, pmagic, cvl_corr, ok_aie et ok_ade)
- vérifier dates. 10 ans AMIP CLIM avec o2a (appelé ELO) soit 1980-1989
- Nomenclature : F97 pour le forcé en 96x71x19 (R97 pour le couplé)
- 2 modifications supplémentaires pour que le forcé tourne en faisant ses atlas et son monitoring :
- Faire tourner CREATE pour les états initiaux. ELO
- Créer une expérience BANDS et faire tourner 1 an d'un coup ou 1 mois (3 fois) pour avoir le fichier BANDS sur 1 an (ou sur le 3ème mois) pour le forcé cad avec le nombre de processeurs demandés (et pas -1 comme en couplé)
- Attention au piège MPI
- Faire tourner LMDZOR 10 ans
- Attention au piège MPI. Ajouter dans le Job module load sxmpi/7.2.0
- Préparer config.card du couplé :
- Démarrage atmosphère au delà des 10 ans
- Démarrage Océan rces452 OldName 2L20 18591230
- Démarrage coupleur n
- Vérifier paramètre couplé : teta, pmagic, cvl_corr dans PARAM/gcm.def_RESOL
- Vérifier poids _v7 dans COMP/oasis.card sauf R99
- Vérifier mémoire, CPU, nombre de processeurs dans Job_RXXXX
- Attention au piège MPI. Ajouter dans le Job module load ...
- Créer si besoin fichier BANDS dans PARAM. Pour les résolutions nouvelles, je l'ai pris dans les répertoires de soumission des tests (R1914 et R99) sur brodie.
- Lancer le couplé pour 50 ans
- Poursuivre en activant ok_dynzon=y à partir de la 6ème décennie. (run.def)