wiki:Modipsl_envCalc

Version 56 (modified by acosce, 11 years ago) (diff)

--

Environnements de calculs

Index?/Environnement de Calcul



IDRIS

  • http://www.idris.fr/
  • la machine de l'IDRIS garantie pour le couplé est vargas (IBM Power6).
    • Prendre le temps d'installer un environnement confortable et performant. Suggestion : prendre modèle sur l'environnement du login rpsl035 qui est en bash. Voir fichier ~rpsl035/.bash_login
    • en particulier :
      • Pour accéder à svn. : module load svn
      • ajouter l'accès à fcm :
        PATH=~rpsl035/FCM/bin:$PATH
        
    • $WORKDIR sur ulam est très vaste mais non sauvegardé. C'est là que les post-traitements tourneront in fine.
    • $WORKDIR sur vargas peut être étendu largement (50 Go pour le groupe par exemple). Le responsable de projet peut le demander sur l'extranet IDRIS. Voir : https://extranet.idris.fr/.
    • Pour vérifier l'occupation et la taille des espaces WORKDIR :
      quota_u -w 
      
    • sur ulam, il faut éviter les bavardages affichés lors de la connexion. Vérifier depuis vargas que la commande : rsh ulam pwd renvoie juste une ligne avec le HOME. Vérifier que la copie de fichier par rcp fonctionne bien et dans les 2 sens.
      vargas : rsh ulam pwd
      /home/rech/...
      vargas : date > a ; rcp a ulam:
      vargas : rlogin ulam
      ulam : date > a ; rcp a vargas:
      
    • Il faut faire marcher les transferts vargas/gaya par mfget/mfput.
    • Pour que le stockage sur le serveur dods.idris fonctionne, il faut faire marcher la commande rsh gaya pwd sur ulam. Pour cela remplir le fichier gaya:~/.rhosts (et lui donner les accès rw-------) avec :
      ulam.idris.fr
      ulam
      vargas.idris.fr
      vargas
      
    • Pour les accès dods, il faut lancer de plus une commande mfdods sur gaya. Cela crée le lien (24h après la première fois) visible là : http://dods.idris.fr .
    • Pour donner les accès à tous (755 ou drwxr-xr-x) au WORKDIR de vargas, il faut demander à l'assistance IDRIS pour le niveau /u/rech/grp.



CCRT

  • les machines du CCRT disponibles pour le couplé sont mercure (NEC SX-9) et titane (Bull Xeon). Voir information spécifique titane plus loin.


  • A savoir : le répertoire $HOME/.snapshot contient les sauvegardes par heure, par jour et par semaine de vos fichiers $HOME. On peut y retrouver les versions précédentes en cas de fausse manipulation.
  • Les commandes à connaître pour manipuler les fichiers de /dmnfs :
    dmls -ldh *  # avec OFL pour les fichiers sur bande seulement, DUL sur disque et bande, etc… voir man dmls
    
    dmfind . -state OFL | dmget # récupère la liste des fichiers sur bandes et lance le dmget. C'est ultra pratique.
    
    Mémo des choses à faire sur un nouveau login au CCRT pour pouvoir préparer et lancer une simulation :
    • PATH sur mercure/titane/curie : ajouter l'accès à fcm :
      PATH=$PATH:/home/cont003/p86ipsl/fcm/bin   
      



TGCC

  • Comment connaitre l'espace occupé dans le répertoire CCCSTOREDIR :
     cd $CCCSTOREDIR ; find . -printf "%y %s %p \n" | awk '{ SUM+=$2 } END {print "SUM " SUM/1000000 " Mo " SUM/1000000000 " Go" }'
    



Spécificités propres aux machines de calcul

ada

vargas

ulam

titane

mercure

curie



Conseil pour installer son environnement au ccrt

Nous vous conseillons de garder le bash comme shell de login, et de récupérer les fichiers suivants :

~p86ipsl/.bashrc 
~p86ipsl/.bashrc_platine 
~p86ipsl/.bashrc_mercure01 
~p86ipsl/.bashrc_cesium 
~p86ipsl/.bashrc_curie
~p86ipsl/.bashrc_titane 
~p86ipsl/.profile 

Ces fichiers sont maintenus par le groupe esci et sont adaptés aux machines de calcul du CCRT. Lorsque des modifications majeures sont apportées à l'une des machines (exemple : le changement de frontale de la machine mercure en juin 2010) vous pouvez récupérer la nouvelle version du fichier concerné (.bashrc_machine).

NOTE : si votre shell de login n'est pas bash, vous pouvez le modifier avec la commande chsh.



Logiciels nécessaires vérifiés

cesium

  • NCO/netCDF4 : 4/5/2010 - OK nco/4.0.1_netcdf4
  • CDAT5.0 4/5/2010 - OK cdat/5.2.0
  • R/2.8.1 (OK)
  • netcdf/3.6.3 + 4.0.1 (OK)
  • udunits/2.1.5 (OK)
  • ferret/6.1 (OK)
  • netpbm (OK)
  • imagemagick (OK)
  • tetex-latex (OK)
  • CDO (OK)
  • RSYNC (OK)
  • NCAR NCL (OK)
  • VTK (OK)
  • Subversion (OK)
  • Paraview (OK)
  • gnuplot (OK)
  • Firefox (OK)
  • gs/8.54 (OK)
  • NCO : version NetCDF3 OK.
  • Pouvoir envoyer des mail depuis les jobs de calcul. possible en faisant ssh mercure actuellement.

titane

  • netcdf/3.6.3 (OK)
  • nco/3.9.4 : Priorité (PRESQUE OK mais il manque ncap2)
  • netcdf/4.1.3 (à revoir avec (dépendance hdf5) + netcdf4 + dapclient)
  • nco/4.0.8 (à revoir avec (dépendance hdf5) + netcdf4 + dapclient + SMP + Optimization)
  • hdf5 (clarifier les différentes versions)
  • cdat/5.2.0 (PAS OK)
  • R (PAS OK)
  • udunits/2.1.5 (PAS OK)
  • ferret/6.7.2 (OK)
  • netpbm Priorité (PAS OK)
  • imagemagick Priorité (PAS OK)
  • tetex-latex (OK)
  • cdo/1.5.2 (PRESQUE OK, il manque dapclient : compiler avec "CFLAGS=".... -DHAVE_LIBNC_DAP")
  • RSYNC (OK)
  • ncl/6.0.0 (OK)
  • VTK (PAS OK)
  • Subversion (OK)
  • Paraview (OK)
  • gnuplot (OK)
  • Firefox (OK)
  • ghostscript (OK)
  • Pouvoir envoyer des mail depuis les jobs de calcul. réglé depuis février 2012.

Attention: il faut avoir un environnement de calcul ou de post-traitement sur titane et basculer sur l'un ou l'autre en fonction de ce qu'on fait : calcul ou post-traitement.

frontale mercure

curie

Avril 2012 :

  • production sur curie noeuds fins recommandée sur curie.
  • tests IPSLCM5A avec libIGCM v 2 beta OK
  • avoir fcm dans son PATH. PATH=$PATH:/home/cont003/p86ipsl/fcm/bin

Astuces

  • utiliser curie-genci.ccc.cea.fr, curie-ccrt.ccc.cea.fr ou curie.ccc.cea.fr
  • export LANG=POSIX pour afficher correctement curie.info

Logiciels installés par le TGCC :

  • evince (remplace acroread ou xpdf )
  • cdo
  • netcdf
  • ferret
  • firefox
  • ghostscript
  • imagemagick
  • nco - Yann signale des soucis (7/7/2011)
  • netpbm - Installation en cours (7/7/2011)
  • python - 2.6.2, netCDF4 et numpy
  • subversion avec accès forge et lmdz
  • tetex-latex - En cours d'installation (7/7/2011)
  • A installer :
    • CDAT
    • R
    • udunits
    • RSYNC
    • NCAR NCL
    • VTK
    • Paraview
    • gnuplot
    • envoi de mail depuis les jobs de calcul.

ulam

vargas

ada

  • 7/1/13 : rebuild installé là : ~rpsl035/bin
  • nco/3.9.4
  • netcdf/4.1.3 (avec (dépendance hdf5) + netcdf4 + dapclient)
  • nco/4.0.8 ( avec (dépendance hdf5) + netcdf4 + dapclient + SMP + Optimization)
  • hdf5 (clarifier les différentes versions, hdf, phdf)
  • cdat/5.2.0
  • R
  • udunits/2.1.5
  • ferret/6.7.2
  • netpbm
  • imagemagick
  • tetex-latex
  • cdo/1.5.2 (avec dapclient : compiler avec "CFLAGS=".... -DHAVE_LIBNC_DAP")
  • RSYNC
  • ncl/6.0.0
  • VTK
  • Subversion
  • Paraview
  • gnuplot
  • Firefox
  • ghostscript
  • Pouvoir envoyer des mail depuis les jobs de calcul.