= __Environnements de calculs__ = '''[wiki:ModipslBeginner1 Index]/[wiki:Modipsl_envCalc Environnement de Calcul]''' [[PageOutline]] [[BR]][[BR]] == IDRIS == * http://www.idris.fr/ * la machine de l'IDRIS garantie pour le couplé est vargas (IBM Power6). * Prendre le temps d'installer un environnement confortable et performant. Suggestion : prendre modèle sur l'environnement du login rpsl035 qui est en bash. Voir fichier ~rpsl035/.bash_login * en particulier : * Pour accéder à svn. : {{{ module load svn}}} * ajouter l'accès à fcm : {{{ PATH=~rpsl035/fcm/bin:$PATH }}} * $WORKDIR sur ulam est très vaste mais non sauvegardé. C'est là que les post-traitements tourneront in fine. * $WORKDIR sur vargas peut être étendu largement (50 Go pour le groupe par exemple). Le responsable de projet peut le demander sur l'extranet IDRIS. Voir : https://extranet.idris.fr/. * Pour vérifier l'occupation et la taille des espaces WORKDIR : {{{ quota_u -w }}} * sur ulam, il faut éviter les bavardages affichés lors de la connexion. Vérifier depuis vargas que la commande : rsh ulam pwd renvoie juste une ligne avec le HOME. Vérifier que la copie de fichier par rcp fonctionne bien et dans les 2 sens. {{{ vargas : rsh ulam pwd /home/rech/... vargas : date > a ; rcp a ulam: vargas : rlogin ulam ulam : date > a ; rcp a vargas: }}} * Il faut faire marcher les transferts vargas/gaya par mfget/mfput. * Pour que le stockage sur le serveur dods.idris fonctionne, il faut faire marcher la commande '''rsh gaya pwd''' sur ulam. Pour cela remplir le fichier gaya:~/.rhosts (et lui donner les accès rw-------) avec : {{{ ulam.idris.fr ulam vargas.idris.fr vargas }}} * Pour les accès dods, il faut lancer de plus une commande mfdods sur gaya. Cela crée le lien (24h après la première fois) visible là : http://dods.idris.fr . * Pour donner les accès à tous (755 ou drwxr-xr-x) au WORKDIR de vargas, il faut demander à l'assistance IDRIS pour le niveau /u/rech/grp. [[BR]][[BR]] == CCRT == * accès ouvert : http://www-ccrt.cea.fr/ * accès protégé (authentification à l'aide de votre login et de votre mot de passe CCRT): https://www-ccrt.ccc.cea.fr * [https://www-ccrt.ccc.cea.fr/intranetccrt/fr/ccrt/environnement_des_codes.htm Environnement des codes] * les machines du CCRT disponibles pour le couplé sont mercure (NEC SX-8 et NEC SX-9) et platine (Bull Itanium) et titane (Bull Xeon). Voir information spécifique titane plus loin. [[BR]] * A savoir : le répertoire '''$HOME/.snapshot''' contient les sauvegardes par heure, par jour et par semaine de vos fichiers $HOME. On peut y retrouver les versions précédentes en cas de fausse manipulation. __Mémo des choses à faire sur un nouveau login au CCRT pour pouvoir préparer et lancer une simulation :__ * PATH sur mercure/platine/titane : ajouter l'accès à fcm : {{{ PATH=$PATH:/home/cont003/p86ipsl/fcm/bin # MERCURE only }}} [[BR]][[BR]] == Spécificités propres aux machines de calcul == * Pour [wiki:Modipsl_vargas Vargas] * Pour [wiki:Modipsl_ulam Ulam] * Pour [wiki:Modipsl_brodie Brodie] * Pour [wiki:Modipsl_titane Titane] * Pour [wiki:Modipsl_mercure Mercure] [[BR]][[BR]] == Conseil pour installer son environnement au ccrt == Nous vous conseillons de garder le bash comme shell de login, et de récupérer les fichiers suivants : {{{ ~p86ipsl/.bashrc ~p86ipsl/.bashrc_platine ~p86ipsl/.bashrc_mercure01 ~p86ipsl/.bashrc_cesium ~p86ipsl/.bashrc_titane ~p86ipsl/.profile }}} Ces fichiers sont maintenus par le groupe esci et sont adaptés aux machines de calcul du CCRT. Lorsque des modifications majeures sont apportées à l'une des machines (exemple : le changement de frontale de la machine mercure en juin 2010) vous pouvez récupérer la nouvelle version du fichier concerné (.bashrc_machine). '''NOTE ''' : si votre shell de login n'est pas bash, vous pouvez le modifier avec la commande chsh. [[BR]][[BR]] == TGCC == * accès au site d'information ouvert : http://www-hpc.cea.fr/fr/complexe/tgcc.htm == Logiciels nécessaires vérifiés == === cesium === * NCO/netCDF4 : 4/5/2010 - OK nco/4.0.1_netcdf4 * CDAT5.0 4/5/2010 - OK cdat/5.2.0 * R/2.8.1 (OK) * netcdf/3.6.3 + 4.0.1 (OK) * udunits/2.1.5 (OK) * ferret/6.1 (OK) * netpbm (OK) * imagemagick (OK) * tetex-latex (OK) * CDO (OK) * RSYNC (OK) * NCAR NCL (OK) * VTK (OK) * Subversion (OK) * Paraview (OK) * gnuplot (OK) * Firefox (OK) * gs/8.54 (OK) * NCO : version NetCDF3 OK. * Pouvoir envoyer des mail depuis les jobs de calcul. possible en faisant ssh mercure actuellement. === titane === * netcdf/3.6.3 (OK) * nco/3.9.4 : '''Priorité''' ('''PRESQUE OK''' mais il manque ncap2) * netcdf/4.1.3 ('''à revoir''' avec (dépendance hdf5) + netcdf4 + dapclient) * nco/4.0.8 ('''à revoir''' avec (dépendance hdf5) + netcdf4 + dapclient + SMP + Optimization) * hdf5 ('''clarifier les différentes versions''') * cdat/5.2.0 ('''PAS OK''') * R ('''PAS OK''') * udunits/2.1.5 ('''PAS OK''') * ferret/6.7.2 (OK) * netpbm '''Priorité''' ('''PAS OK''') * imagemagick '''Priorité''' ('''PAS OK''') * tetex-latex (OK) * cdo/1.5.2 ('''PRESQUE OK''', il manque dapclient : compiler avec "CFLAGS=".... -DHAVE_LIBNC_DAP") * RSYNC (OK) * ncl/6.0.0 (OK) * VTK ('''PAS OK''') * Subversion (OK) * Paraview (OK) * gnuplot (OK) * Firefox (OK) * ghostscript (OK) * Pouvoir envoyer des mail depuis les jobs de calcul. possible en faisant ssh platine actuellement. === frontale mercure === === curie === Passage en production sur curie: * avoir des logins * OK pour projets Preparatory access ouverts * attendre janvier 2012 pour projets GENCI (comptes communs en particuliers) * faire tourner un cas court en direct (fait) * installer dans la référence de quoi compiler (fait) * installer svn et les accès aux serveurs svn de l'IPSL (fait) et du LMD (demandé) * installer les comptes communs : * fichiers IGCM sur CCCSTOREDIR et CCCWORKDIR * fichiers d'initialisation de shell * installer fcm * installer les outils IPSL nécessaires : * fast, atlas * rebuild * rebuild est disponible au path suivant {{{ /ccc/store/cont005/pa0369/meurdesy/REBUILD }}} * installer/vérifier les outils nécessaires à la chaine et leur version: * Logiciels installés par le TGCC : * evince (remplace acroread ou xpdf ) * cdo * netcdf * ferret * firefox * ghostscript * imagemagick * nco - Yann signale des soucis (7/7/2011) * netpbm - Installation en cours (7/7/2011) * python - 2.6.2, netCDF4 et numpy * subversion * tetex-latex - En cours d'installation (7/7/2011) * A installer : * CDAT * R * udunits * RSYNC * NCAR NCL * VTK * Paraview * gnuplot * Pouvoir envoyer des mail depuis les jobs de calcul. * repérer les espaces de stockage et arrêter une stratégie * pack : tous les 10 ans, en fin de simu * compter les espaces et nombres de fichiers nécessaires pour un login de production (décadal, centennal, millenium) * installer libIGCM_curie * tester 10 ans de couplé * mesurer et optimiser 10 ans de couplé, post-traitements inclus === ulam === === vargas ===