Travailler sur Vargas

Index/Environnement de Calcul/Vargas

Environnement minimum sur vargas

Il faut avoir accès à :

• subversion :

  module load svn 
  

• fcm :

  export PATH=/homegpfs/rech/psl/rpsl035/FCM/bin:$PATH 
  

Commandes de gestion de Jobs sur vargas et sur ulam

• llsubmit --> soumissions de job
• llcancel --> suppression de job
• llq -u login --> indique tous les jobs en queue ou running pour login
• Astuce : paramétrer l'affichage de llq pour avoir les noms de jobs : llq -u $(whoami) -f %jn %id %st %c %dq

Compilation

N'oubliez pas de verifier que votre PATH contient bien le path pour l'outil FCM : /homegpfs/rech/psl/rpsl035/FCM/bin .
Plus d'infos ​là.

Comment choisir le nombre de processus demandés ?

La méthode de parallélisation de LMDZ impose la règle suivante : il faut au moins 3 bandes de latitude par processus Si vous avez choisi un trop grand nombre de processus la simulation s'arrête avec le message suivant :

Arret : le nombre de bande de lattitude par process est trop faible (<2).
  ---> diminuez le nombre de CPU ou augmentez la taille en lattitude

Pour modifier le nombre de processus il faut changer la valeur de la variable JobNumProcTot dans config.card avant de lancer la commande ins_job.

Les post-traitement

Les post-traitements se font sur la machine de l'IDRIS : Ulam

Compiler IPSLCM5A

• il faut supprimer les 2 clés : "key_vectopt_loop key_vectopt_memory" dans config/IPSLCM5A/AA_make. Dans IPSLCM5A/AA_make.gdef (à faire avant ins_make)
• il faut explicitement demander l'utilisation de 5 processeurs pour NEMO. Fait pour l'execution mais à faire dans les sources de NEMO.

  vi modipsl/modeles/NEMO/WORK/par_oce.F90 (lignes 29-31)
        jpni   = 1,                   &  !: number of processors following i
        jpnj   = 5,                   &  !: number of processors following j
        jpnij  = 5                       !: nb of local domain = nb of processors
  

Faire une simulation avec le modèle IPSLCM5A

• Repérer un état initial à utiliser.
• Attention : create_etat0_limit ne fonctionne pas actuellement sur vargas. Il est compilé en parallèle (pour gagner du temps) et l'executable tourne sur le nombre de procs demandé par le job : 32 (ou 16). Comme ce n'est pas prévu dans ce0l, il s'arrête. Il faut donc partir d'un état initial créé autrement : autre simulation, ce0l executé ailleurs, par exemple sur brodie.
• Il faut également utiliser la commande adéquate de lancement. Décommenter la ligne suivante et supprimer l'ancienne valeur de JobRunOptions dans config.card :

  JobRunOptions='"-pgmmodel MPMD -cmdfile"'
  

• Attention : Il faut préciser dans PARAM/run.def

  use_filtre_fft=n 
  

Spécificités libIGCM sur vargas

Qu'est-ce que c'est que ce répertoire POSTPONE?

Qu'est-ce que c'est que ce répertoire POSTPONE qui est apparu dans mon répertoire de soumission sur vargas?
La machine ulam peut être arrêtée alors que votre job tourne sur vargas. Dans ces cas-là, les jobs de post-traitement ne peuvent pas être soumis. Le répertoire POSTPONE est là pour les garder au chaud ; lors de la prochaine soumission de jobs de post-traitement, les anciens travaux de post-traitements seront soumis en les prenant dans ce répertoire.