Utiliser Modipsl sur curie

Index/Environnement de Calcul/Curie

Documentation en ligne

Vous trouverez la documentation fournie par le TGCC ​ICI (dans l'onglet TGCC)

Environnement minimum

• Vérifiez que votre PATH contient bien le path pour l'outil FCM. Plus d'infos ​là.

Commandes de gestion de job

• ccc_msub mon_job -> soumet un job
• ccc_mdel ID -> tue un job de n° ID
• ccc_mstat -u login -> permet de voir tous les jobs soumis par login
• ccc_mpp -> permet de voir tous les jobs soumis sur la machine. ccc_mpp -n pour ne pas avoir les couleurs.
• ccc_mpp -u $(whoami) ->permet de voir ses jobs.
• ccc_mpeek ID -> permet de voir le listing de sortie d'un job. A savoir les sorties des jobs sont visibles au fur et à mesure de leur avancement.
• ccc_mpinfo pour connaitre l'état des classes et l'occupation des processeurs associés. Exemple :

  /usr/bin/ccc_mpinfo  
                        --------------CPUS------------  -------------NODES------------
  PARTITION    STATUS   TOTAL   DOWN    USED    FREE    TOTAL   DOWN    USED    FREE     MpC  CpN SpN CpS TpC
  ---------    ------   ------  ------  ------  ------  ------  ------  ------  ------   ---- --- --- --- ---
  standard     up        79920       0   64251   15669    4995       0    4016     979   4000  16   2   8   1
  large        up         9600       0    8002    1598     300       0     251      49   4000  32   4   8   1
  hybrid       up         1144       0    1056      88     143       0     132      11   2900   8   2   4   1
  

• détail sur un job en train de tourner. Une ligne par commande ccc_mprun :

  ccc_mstat -H 375309
    JobID    JobName Partitio ReqCPU            Account               Start  Timelimit    Elapsed      State ExitCode 
  ------- ---------- -------- ------ ------------------ ------------------- ---------- ---------- ---------- -------- 
   375309 v3.histor+ standard      0   gen0826@standard 2012-05-11T16:27:53 1-00:00:00   01:49:03    RUNNING      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T16:28:16              00:14:19  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T16:42:47              00:12:54  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T16:55:59              00:13:30  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T17:09:31              00:13:22  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T17:24:06              00:13:36  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T17:37:54              00:13:31  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T17:51:28              00:14:19  COMPLETED      0:0 
  375309+ p86maf_ru+              32   gen0826@standard 2012-05-11T18:05:57              00:10:59    RUNNING      0:0 
  

Noeuds fins/noeuds larges

Sur le couplé IPSLCM5A-LR, les noeuds larges vont moins vite que titane (130%). Les noeuds fins vont 2 fois plus vite que les noeuds larges.

Pour utiliser les noeuds fins , ajouter #MSUB -q standard dans l'entête des jobs.

Astuces

• export LANG=POSIX pour afficher correctement curie.info
• utiliser curie pour gérer vos répertoires CCCWORKDIR/CCCSTOREDIR

Avant de lancer un Job

Modifier la limite de temps CPU

Dans le Job n'oubliez pas de modifier la limite de temps CPU demandée

#MSUB -T 1800             # Limite temps (en secondes)

Choisir son groupe de soumission

Par défaut les entêtes de Job créés par modipsl sont positionnées pour utiliser les heures genci du groupe gen2211.
La première chose que vous devez faire c'est de vous demander sur quel compte vous avez des heures de calcul (genci ou dsm ?). Pour cela vous devez vous reporter à la demande d'heures de calcul faite en début d'année.

• Si vous appartenez au groupe gen2211 et que vous avez des heures sur ce projet vous n'avez rien à changer.
• Si vos heures sont sur un autre projet genci vous devez modifier le numéro de projet dans le fichier libIGCM/AA_job ainsi que dans libIGCM/AA_rebuild_fromWorkdir.

Note 1: si vous aviez déjà lancé la commande ./ins_job vous devez également modifier les jobs créés (libIGCM/rebuild_fromWorkdir.job et config/.../EXP.../Job...)
Note 2: pour connaître les groupes auxquels vous appartenez vous pouvez utiliser la commande groups

Soumission du Job

ccc_msub Job_nom_simul

Les post-traitements

• Les post-traitements se font sur la machine curie.
• l'équivalent du dmget sur le cccstoredire est la commande "ccc_hsm get nom_fichier"

Les messages de fin de job

Pour recevoir les messages de fin de job envoyés par le job de calcul lui-même : fin de simulation, plantage, .... il ne faut rien faire de spécial. L'adresse prise en compte est celle contenue dans le fichier $HOME/.forward.

Compiler le modèle IPSLCM5A

Marche depuis avril 2012.

Faire une simulation avec le modèle IPSLCM5A

• Il vaut mieux partir d'un restart pour l'atmosphère. Le lancement de create_eta0 doit se faire ainsi : ccc_mprun -n 1 create_etat0...
• Si vous travaillez sur 32 processus (JobNumProcTot=32) cela signifie que la composante atmosphérique tournera sur 26 CPUs alors que la composante océanique sur 5 CPUs et le coupleur oasis une seule. C'est ce qui se passe par défaut.