= __Environnements de calculs__ = '''[wiki:platform/documentation_2012 Index]/[wiki:Modipsl_envCalc Environnement de Calcul]''' [[PageOutline]] [[BR]][[BR]] == IDRIS == * http://www.idris.fr/ * la machine de l'IDRIS garantie pour le couplé est vargas (IBM Power6). * Prendre le temps d'installer un environnement confortable et performant. Suggestion : prendre modèle sur l'environnement du login rpsl035 qui est en bash. Voir fichier ~rpsl035/.bash_login * en particulier : * Pour accéder à svn. : {{{ module load svn}}} * ajouter l'accès à fcm : {{{ PATH=~rpsl035/FCM/bin:$PATH }}} * $WORKDIR sur ulam est très vaste mais non sauvegardé. C'est là que les post-traitements tourneront in fine. * $WORKDIR sur vargas peut être étendu largement (50 Go pour le groupe par exemple). Le responsable de projet peut le demander sur l'extranet IDRIS. Voir : https://extranet.idris.fr/. * Pour vérifier l'occupation et la taille des espaces WORKDIR : {{{ quota_u -w }}} * sur ulam, il faut éviter les bavardages affichés lors de la connexion. Vérifier depuis vargas que la commande : rsh ulam pwd renvoie juste une ligne avec le HOME. Vérifier que la copie de fichier par rcp fonctionne bien et dans les 2 sens. {{{ vargas : rsh ulam pwd /home/rech/... vargas : date > a ; rcp a ulam: vargas : rlogin ulam ulam : date > a ; rcp a vargas: }}} * Il faut faire marcher les transferts vargas/gaya par mfget/mfput. * Pour que le stockage sur le serveur dods.idris fonctionne, il faut faire marcher la commande '''rsh gaya pwd''' sur ulam. Pour cela remplir le fichier gaya:~/.rhosts (et lui donner les accès rw-------) avec : {{{ ulam.idris.fr ulam vargas.idris.fr vargas }}} * Pour les accès dods, il faut lancer de plus une commande mfdods sur gaya. Cela crée le lien (24h après la première fois) visible là : http://dods.idris.fr . * Pour donner les accès à tous (755 ou drwxr-xr-x) au WORKDIR de vargas, il faut demander à l'assistance IDRIS pour le niveau /u/rech/grp. [[BR]][[BR]] == CCRT == * accès ouvert : http://www-ccrt.cea.fr/ * accès protégé (authentification à l'aide de votre login et de votre mot de passe CCRT): https://www-tgcc.ccc.cea.fr/ * [https://www-ccrt.ccc.cea.fr/intranetccrt/fr/ccrt/environnement_des_codes.htm Environnement des codes] * les machines du CCRT disponibles pour le couplé sont mercure (NEC SX-9) et titane (Bull Xeon). Voir information spécifique titane plus loin. [[BR]] * A savoir : le répertoire '''$HOME/.snapshot''' contient les sauvegardes par heure, par jour et par semaine de vos fichiers $HOME. On peut y retrouver les versions précédentes en cas de fausse manipulation. * Les commandes à connaître pour manipuler les fichiers de /dmnfs : {{{ dmls -ldh * # avec OFL pour les fichiers sur bande seulement, DUL sur disque et bande, etc… voir man dmls }}} {{{ dmfind . -state OFL | dmget # récupère la liste des fichiers sur bandes et lance le dmget. C'est ultra pratique. }}} __Mémo des choses à faire sur un nouveau login au CCRT pour pouvoir préparer et lancer une simulation :__ * PATH sur mercure/titane/curie : ajouter l'accès à fcm : {{{ PATH=$PATH:/home/cont003/p86ipsl/fcm/bin }}} [[BR]][[BR]] == TGCC == * accès au site d'information ouvert : http://www-hpc.cea.fr/fr/complexe/tgcc.htm * accès à la documentation en ligne de la machine : https://www-tgcc.ccc.cea.fr (onglet TGCC) * Comment connaitre l'espace occupé dans le répertoire CCCSTOREDIR : {{{ cd $CCCSTOREDIR ; find . -printf "%y %s %p \n" | awk '{ SUM+=$2 } END {print "SUM " SUM/1000000 " Mo " SUM/1000000000 " Go" }' }}} [[BR]][[BR]] == Spécificités propres aux machines de calcul == ==== ada ==== * Pour [wiki:Modipsl_ada ada] ==== vargas ==== * Pour [wiki:Modipsl_vargas Vargas] ==== ulam ==== * Pour [wiki:Modipsl_ulam Ulam] ==== titane ==== * Pour [wiki:Modipsl_titane Titane] ==== mercure ==== * Pour [wiki:Modipsl_mercure Mercure] ==== curie ==== * Pour [wiki:Modipsl_curie Curie] [[BR]][[BR]] == Conseil pour installer son environnement au ccrt == Nous vous conseillons de garder le bash comme shell de login, et de récupérer les fichiers suivants : {{{ ~p86ipsl/.bashrc ~p86ipsl/.bashrc_platine ~p86ipsl/.bashrc_mercure01 ~p86ipsl/.bashrc_cesium ~p86ipsl/.bashrc_curie ~p86ipsl/.bashrc_titane ~p86ipsl/.profile }}} Ces fichiers sont maintenus par le groupe esci et sont adaptés aux machines de calcul du CCRT. Lorsque des modifications majeures sont apportées à l'une des machines (exemple : le changement de frontale de la machine mercure en juin 2010) vous pouvez récupérer la nouvelle version du fichier concerné (.bashrc_machine). '''NOTE ''' : si votre shell de login n'est pas bash, vous pouvez le modifier avec la commande chsh. [[BR]][[BR]] == Logiciels nécessaires vérifiés == === cesium === * NCO/netCDF4 : 4/5/2010 - OK nco/4.0.1_netcdf4 * CDAT5.0 4/5/2010 - OK cdat/5.2.0 * R/2.8.1 (OK) * netcdf/3.6.3 + 4.0.1 (OK) * udunits/2.1.5 (OK) * ferret/6.1 (OK) * netpbm (OK) * imagemagick (OK) * tetex-latex (OK) * CDO (OK) * RSYNC (OK) * NCAR NCL (OK) * VTK (OK) * Subversion (OK) * Paraview (OK) * gnuplot (OK) * Firefox (OK) * gs/8.54 (OK) * NCO : version NetCDF3 OK. * Pouvoir envoyer des mail depuis les jobs de calcul. possible en faisant ssh mercure actuellement. === titane === * netcdf/3.6.3 (OK) * nco/3.9.4 : '''Priorité''' ('''PRESQUE OK''' mais il manque ncap2) * netcdf/4.1.3 ('''à revoir''' avec (dépendance hdf5) + netcdf4 + dapclient) * nco/4.0.8 ('''à revoir''' avec (dépendance hdf5) + netcdf4 + dapclient + SMP + Optimization) * hdf5 ('''clarifier les différentes versions''') * cdat/5.2.0 ('''PAS OK''') * R ('''PAS OK''') * udunits/2.1.5 ('''PAS OK''') * ferret/6.7.2 (OK) * netpbm '''Priorité''' ('''PAS OK''') * imagemagick '''Priorité''' ('''PAS OK''') * tetex-latex (OK) * cdo/1.5.2 ('''PRESQUE OK''', il manque dapclient : compiler avec "CFLAGS=".... -DHAVE_LIBNC_DAP") * RSYNC (OK) * ncl/6.0.0 (OK) * VTK ('''PAS OK''') * Subversion (OK) * Paraview (OK) * gnuplot (OK) * Firefox (OK) * ghostscript (OK) * Pouvoir envoyer des mail depuis les jobs de calcul. réglé depuis février 2012. Attention: il faut avoir un environnement de calcul ou de post-traitement sur titane et basculer sur l'un ou l'autre en fonction de ce qu'on fait : calcul ou post-traitement. === frontale mercure === === curie === Avril 2012 : * production sur curie noeuds fins recommandée sur curie. * tests IPSLCM5A avec libIGCM v 2 beta OK * avoir fcm dans son PATH. PATH=$PATH:/home/cont003/p86ipsl/fcm/bin Astuces * utiliser curie-genci.ccc.cea.fr, curie-ccrt.ccc.cea.fr ou curie.ccc.cea.fr * export LANG=POSIX pour afficher correctement curie.info Logiciels installés par le TGCC : * evince (remplace acroread ou xpdf ) * cdo * netcdf * ferret * firefox * ghostscript * imagemagick * nco - Yann signale des soucis (7/7/2011) * netpbm - Installation en cours (7/7/2011) * python - 2.6.2, netCDF4 et numpy * subversion avec accès forge et lmdz * tetex-latex - En cours d'installation (7/7/2011) * A installer : * CDAT * R * udunits * RSYNC * NCAR NCL * VTK * Paraview * gnuplot * envoi de mail depuis les jobs de calcul. === ulam === === vargas === === ada === * 7/1/13 : rebuild installé là : ~rpsl035/bin * nco/3.9.4 * netcdf/4.1.3 (avec (dépendance hdf5) + netcdf4 + dapclient) * nco/4.0.8 ( avec (dépendance hdf5) + netcdf4 + dapclient + SMP + Optimization) * hdf5 (clarifier les différentes versions, hdf, phdf) * cdat/5.2.0 * R * udunits/2.1.5 * ferret/6.7.2 * netpbm * imagemagick * tetex-latex * cdo/1.5.2 (avec dapclient : compiler avec "CFLAGS=".... -DHAVE_LIBNC_DAP") * RSYNC * ncl/6.0.0 * VTK * Subversion * Paraview * gnuplot * Firefox * ghostscript * Pouvoir envoyer des mail depuis les jobs de calcul.