wiki:INCACMIP6

Dev pour LMDZORINCA_v6

(Auteur : Anne Cozic)


Existant : LMDZORINCA_v5

  • LMDZ 2076
  • ORCHIDEE tags/ORCHIDEE_1_9_5
  • INCA tags/INCA4.1.2 ---> INCA4.1.3 (le 9 septembre 2014)

Simulations 1 an

Chimie nom simu SpaceName ExperimentName Remarque
AER LOI5.01 PROD 2076 Buggé - il manque humgrowth et bug dans dustecmwf
AER LOIv5.03 PROD 2076 correction des bugs précédents + version INCA4.1.3
NMHC_AER LOI5.04 PROD 2076 avec INCA4.1.3



A Faire

techniques

  • vérifier la parallélisation mpi_omp du code --> ok voir paragraphe MPI_OMP plus bas
  • inclure xios --> ok
  • vérifier que lmdzorinca compilé avec rrtm donne les mêmes résultats que sans rrtm si on n'active rien --> OK apres modification de iniradia dans lmdz
  • faire le même travail avec nmhc_aer et ges --> ok

Question : Quelle version de LMDZ pour le couplé CM6 ? Avec RRTM ? Avec NP ? Avec 79 niveaux ?

scientifiques

  • couplage inca / nouvelle physique
  • couplage inca / rrtm
  • couplage inca / nouvelle physique soulèvement
  • mise à jour inca aer nitrate



configuration LMDZORINCA_v5.2

  • LMDZ 2076
  • ORCHIDEE trunk/2247
  • INCA tags/INCA4.1.2 ---> INCA4.1.3 (le 9 septembre 2014)
  • Dans cette configuration on supprime les résolutions 19 niveaux
  • Dans cette configuration on compile systématiquement les config AER avec rrtm

Simulations 1 an

Chimie nom simu SpaceName ExperimentName paramètres Remarque
AER LOIv5.2.04 PROD RRTM iflag_rrtm=1, NSW=6, NPv3.2
AER LOIv5.2.05 PROD RRTM iflag_rrtm=1, NSW=6, NPv3.2 avec INCA4.1.3



Parallélisation

ATTENTION : La parallélisation est vérifiable avec -fp-model strict. Cependant comme cela double quasiment le temps de calcul on ne garde cette option que pour les vérifications

MPI_OMP dans INCA

Parallélisation vérifiée dans la rev 334 du trunk/INCA4 et 335 du tags/INCA4.1.3.

  • Attention en mode dev il faut remplacer les appels à scopy dans aerosol_meteo_calc par une égalité de vecteur.
  • il faut bien mettre à jour le fichier arch-X64_CURIE.fcm de lmdz si l'on travaille avec la rev 2076
#MSUB -n 24 # reservation des processeurs pour le job
#MSUB -c 2
BATCH_NUM_PROC_TOT=48


et dans config.card
ATM= (gcm.e, gcm.e, 24MPI, 2OMP)

Comparaison AP vs NP + RRTM

Plusieurs simulations ont été réalisé :

* LOI5.2.01 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar) [effacée par erreur]

  • LOINP5.2.01 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar)
    • rev LMDZ : 2076
    • /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
    • iflag_rrtm = 1
    • config_inca = aeNP
    • NSW = 6
    • iflag_thermals=17
    • iflag_pbl = 11
    • LMDZ_Physics=NPv3.2
  • LOI5.2.03 : code modifié par Olivier B. (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2076_save.tar)
    • /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
    • rev LMDZ : 2076
    • iflag_rrtm=0
    • config_inca = aero
    • NSW = 2
    • iflag_thermals=0
    • iflag_pbl = 1
    • LMDZ_Physics=AP
  • LOIv5.03 : LMDZ 2076 / INCA4.1.3 (sources dans /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/LMDZORINCA/AER/PROD/2076/LOIv5.03/modipsl_save.tar)
    • /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/LMDZORINCA/AER/PROD/2076
    • rev LMDZ : 2076
    • iflag_rrtm=0
    • config_inca = aero
    • NSW = 2
    • iflag_thermals=0
    • iflag_pbl = 1
    • LMDZ_Physics=AP
  • LOINP5.2.02 : test avant commit dans lmdz des modifs de Olivier B. A comparer avec LOINP5.2.01 (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2136_save.tar)
    • rev LMDZ : 2136
    • /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
    • iflag_rrtm = 1
    • config_inca = aeNP
    • NSW = 6
    • iflag_thermals=17
    • iflag_pbl = 11
    • LMDZ_Physics=NPv3.2
  • LOINP5.2.03 : test avant commit dans lmdz des modifs de Olivier B. / correction du mail du 3/11/2014 / A comparer avec LOINP5.2.02 (sources dans /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP/modipsl_2136_2_save.tar)
    • rev LMDZ : 2136
    • /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/AER/PROD/COMP_APNP
    • iflag_rrtm = 1
    • config_inca = aeNP
    • NSW = 6
    • iflag_thermals=17
    • iflag_pbl = 11
    • LMDZ_Physics=NPv3.2

Version INCA4

INCA4.1.3 rev 355 correspond à LMDZ 2076 INCA4.1.3 rev 370 correspond à LMDZ 2170

Version INCA5

Une nouvelle version de INCA est créée : trunk/INCA5. Elle contient les modifications de Didier H. pour l'inclusion des nitrates dans le code avec chimie_aérosols (NMHC_AER). Cette version n'est actuellement pas validée pour les versions AER et GES.

INCA5 rev 363 correspond à LMDZ 2097 + nqo dans infotrac INCA5 rev 373 correspond à LMDZ 2170

tag INCA5.1.0

ce tag est une copie du trunk le 24 novembre 2014 avant l'inclusion dans la trunk des modifs pour xios.

branches INCA_XIOS

branche de travail pour Xios - copie du trunk 357

branche INCA_NP

branche du travail pour NP - copie du trunk 357

Merge dans INCA5

Merge de INCA_NP, INCA_XIOS et INCA5 lors des révisions 372 et 373

  • Test de vérification sur les nitrates :
    • run 1 : 1 mois LMDZ(2097) + INCA5(363) /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/NMHC_AER/PROD/NITRATE/L5OI4run01/
    • run 2 : 1 mois LMDZ(2180) + INCA5(377) /ccc/store/cont003/dsm/p24cozic/IGCM_OUT/LMDZORINCA/NMHC_AER/PROD/NITRATE/L5OI5run01/

---> comparaison rapide avec ferret == résultats identiques.

  • Technique:
    • run1 = 32MPI sans xios / 1 mois = 8361s (* 32)
    • run2 = 32MPIx4OMP + 1 serveur XIOS / 1 mois = 2170s (*129)

branche INCA5_DUST

Nouvelle branche pour ajouter une configuration à INCA - copie du trunk 388

  • Elle ajoute une clef CPP (#DUST) et un fichier INP/inca_DUST.def. Les parties de codes prises en compte par cette configuration sont sous la jonction des clefs DUST - AER et AERONLY.
  • Elle inclue les modifications de Yves et Olivier B. sur l'utilisation des vents à 10m du gcm. Deux méthodes sont proposées weibull et threshold. Il y a un nouveau flag dans inca.def pour les départagées. Si climatological=true dans ce cas là on peut avoir wind_method=weibull10 ou wind_method=threshold
  • les méthodes weibull et threshold dépendent chacune d'un paramètre (kref pour weibull, et tref pour threshold) qui sont drivés depuis inca.def (en dur et non gérés depuis inca.card)

Config de travail : LMDZ(2200) et INCA5_DUST(394)

  • Tests de vérifications (en désactivant xios dans INCA)
    • 32MPIx4OMP = 24MPIx8OMP sur 1 mois de simu

Pour l'extraire et travailler avec :

#-H- LMDZORINCA_v6  LMDZ, ORCHIDEE and INCA working version : under developements towards IPSLCM6
#-H- LMDZORINCA_v6  Configuration in developement and test phase
#-M- LMDZORINCA_v6  Anne.Cozic@lsce.ipsl.fr
#-C- LMDZORINCA_v6  IOIPSL/trunk/src			2350	8	IOIPSL/src	modeles
#-C- LMDZORINCA_v6  trunk/ORCHIDEE			2305	14	ORCHIDEE	modeles
#-C- LMDZORINCA_v6  LMDZ5/trunk		                2200	11	LMDZ		modeles
#-C- LMDZORINCA_v6  branches/INCA5_DUST			394	9	INCA		modeles
#-C- LMDZORINCA_v6  XIOS/branchs/xios-1.0		519	12	XIOS		modeles
#-C- LMDZORINCA_v6  CONFIG/UNIFORM/v6/LMDZORINCA_v6	HEAD	8	LMDZORINCA_v6	config
#-C- LMDZORINCA_v6  tags/libIGCM_v2.5                   HEAD    10	libIGCM		.

Dans la config LMDZORINCA_v6 une expérience LMDZORINCA/DUST a été ajoutée.

tag INCA5.1.1

Posé le 3 juin. Il permet de travailler avec les nitrates dans nmhc_aer et des versions classiques de nmhc, aer, et ges. Les sorties sont gérées avec xios

tag INCA5.1.2

même version que INCA5.1.1 mais compatible avec un lmdz plus récent (séparation de la physique et de la dynamique dans lmdz)

tag INCA5.1.3

version incluant les DUSS et le couplage entre INCA et ORCHIDEE

tag INCA5.2.0

version incluant les nitrates dans les aérosols

LMDZORINCA_v6 mode d'emploi

(27 janvier 2015)

version du modèle

  • LMDZ5/trunk rev 2200
  • INCA5/trunk rev 387
  • ORCHIDEE/trunk rev 2305
  • XIOS/branche/xios-1.0 rev 519
  • LMDZORINCA_v6 rev 2401

Cette configuration permet :

  • les nitrates sont inclus dans la version nmhc_aer mais pas dans aer
  • on peut activer la nouvelle physique et utiliser les modifications sur le schéma radiatif de Olivier B.
  • on peut utiliser xios en mode attaché ou en mode serveur (mode serveur par défaut = un process mpi dédié aux sorties et plus de rebuild)
  • on peut travailler avec une parallélisation mpi_omp (compilé par défaut en mpi_omp)

Premiers pas

  • extract modipsl and LMDZORINCA_v6
  • compile for your chemistry (NMHC_AERxLMD969539, AERxLMD969539 or GESxLMD969539) --> this compilation allow to use omp parallelisation and xios library
  • create your experiment directory (the same way than for v5 configuration)
    • in config.card modify variables JobName, SpaceName, ExperimentName (documentation here)
    • in config.card check the number of mpi process (32 by default), of omp task (1 by default) and xios server (1 by default). And then modify the Job header :
      by default in config.card : 
      -------------------------------
      ATM= (gcm.e, gcm.e, 32MPI, 1OMP)
      SRF= ("", "")
      SBG= ("", "")
      CHM= ("", "")
      IOS= (xios_server.exe, xios.x, 1MPI)
      
      the Job header corresponding is  : 
      -----------------------------
      #!/bin/ksh
      ######################
      ## CURIE   TGCC/CEA ##
      ######################
      #MSUB -r JobName        # Job Name
      #MSUB -o Script_Output_JobName.000001    # standard output
      #MSUB -e Script_Output_JobName.000001    # error output
      #MSUB -eo
      #MSUB -n 33  # Number of cores        (= 32 MPI *1 OMP + 1 XIOS)
      (...)
      #MSUB -x                   # exclusive node
      #MSUB -E '--cpu_bind=none'
      
      BATCH_NUM_PROC_TOT=$BRIDGE_MSUB_NPROC
      set +x
      
      
    • Choose in COMP/inca.card if we want to manage inca output with xios of ioipsl (xios by default) (note : this doesn't desactivate xios for lmdz and orchidee)
    • Check that all COMP/*.card and PARAM/*.def fit with your simulation
    • submit your job
Last modified 11 months ago Last modified on 06/15/16 15:11:15