wiki:Modipsl_envCalc

Context Navigation

Version 36 (modified by mafoipsl, 13 years ago) (diff)
--

Environnements de calculs

Index/Environnement de Calcul

Environnements de calculs

IDRIS

http://www.idris.fr/
la machine de l'IDRIS garantie pour le couplé est vargas (IBM Power6).
- Prendre le temps d'installer un environnement confortable et performant. Suggestion : prendre modèle sur l'environnement du login rpsl035 qui est en bash. Voir fichier ~rpsl035/.bash_login
- en particulier :
  - Pour accéder à svn. : module load svn
  - ajouter l'accès à fcm :
```
PATH=~rpsl035/fcm/bin:$PATH
```
- $WORKDIR sur ulam est très vaste mais non sauvegardé. C'est là que les post-traitements tourneront in fine.
- $WORKDIR sur vargas peut être étendu largement (50 Go pour le groupe par exemple). Le responsable de projet peut le demander sur l'extranet IDRIS. Voir : https://extranet.idris.fr/.
- Pour vérifier l'occupation et la taille des espaces WORKDIR :
```
quota_u -w 
```
- sur ulam, il faut éviter les bavardages affichés lors de la connexion. Vérifier depuis vargas que la commande : rsh ulam pwd renvoie juste une ligne avec le HOME. Vérifier que la copie de fichier par rcp fonctionne bien et dans les 2 sens.
```
vargas : rsh ulam pwd
/home/rech/...
vargas : date > a ; rcp a ulam:
vargas : rlogin ulam
ulam : date > a ; rcp a vargas:
```
- Il faut faire marcher les transferts vargas/gaya par mfget/mfput.
- Pour que le stockage sur le serveur dods.idris fonctionne, il faut faire marcher la commande rsh gaya pwd sur ulam. Pour cela remplir le fichier gaya:~/.rhosts (et lui donner les accès rw-------) avec :
```
ulam.idris.fr
ulam
vargas.idris.fr
vargas
```
- Pour les accès dods, il faut lancer de plus une commande mfdods sur gaya. Cela crée le lien (24h après la première fois) visible là : http://dods.idris.fr .
- Pour donner les accès à tous (755 ou drwxr-xr-x) au WORKDIR de vargas, il faut demander à l'assistance IDRIS pour le niveau /u/rech/grp.

CCRT

accès ouvert : http://www-ccrt.cea.fr/
accès protégé (authentification à l'aide de votre login et de votre mot de passe CCRT): https://www-ccrt.ccc.cea.fr
- Environnement des codes

les machines du CCRT disponibles pour le couplé sont mercure (NEC SX-8 et NEC SX-9) et platine (Bull Itanium) et titane (Bull Xeon). Voir information spécifique titane plus loin.

A savoir : le répertoire $HOME/.snapshot contient les sauvegardes par heure, par jour et par semaine de vos fichiers $HOME. On peut y retrouver les versions précédentes en cas de fausse manipulation. Mémo des choses à faire sur un nouveau login au CCRT pour pouvoir préparer et lancer une simulation :
- PATH sur mercure/platine/titane : ajouter l'accès à fcm :
```
PATH=$PATH:/home/cont003/p86ipsl/fcm/bin  # MERCURE only 
```

Spécificités propres aux machines de calcul

Pour Vargas
Pour Ulam
Pour Brodie
Pour Titane
Pour Mercure

Conseil pour installer son environnement au ccrt

Nous vous conseillons de garder le bash comme shell de login, et de récupérer les fichiers suivants :

~p86ipsl/.bashrc 
~p86ipsl/.bashrc_platine 
~p86ipsl/.bashrc_mercure01 
~p86ipsl/.bashrc_cesium 
~p86ipsl/.bashrc_titane 
~p86ipsl/.profile

Ces fichiers sont maintenus par le groupe esci et sont adaptés aux machines de calcul du CCRT. Lorsque des modifications majeures sont apportées à l'une des machines (exemple : le changement de frontale de la machine mercure en juin 2010) vous pouvez récupérer la nouvelle version du fichier concerné (.bashrc_machine).

NOTE : si votre shell de login n'est pas bash, vous pouvez le modifier avec la commande chsh.

TGCC

accès au site d'information ouvert : http://www-hpc.cea.fr/fr/complexe/tgcc.htm

Logiciels nécessaires vérifiés

cesium

NCO/netCDF4 : 4/5/2010 - OK nco/4.0.1_netcdf4
CDAT5.0 4/5/2010 - OK cdat/5.2.0
R/2.8.1 (OK)
netcdf/3.6.3 + 4.0.1 (OK)
udunits/2.1.5 (OK)
ferret/6.1 (OK)
netpbm (OK)
imagemagick (OK)
tetex-latex (OK)
CDO (OK)
RSYNC (OK)
NCAR NCL (OK)
VTK (OK)
Subversion (OK)
Paraview (OK)
gnuplot (OK)
Firefox (OK)
gs/8.54 (OK)
NCO : version NetCDF3 OK.
Pouvoir envoyer des mail depuis les jobs de calcul. possible en faisant ssh mercure actuellement.

titane

netcdf/3.6.3 (OK)
nco/3.9.4 : Priorité (PRESQUE OK mais il manque ncap2)
netcdf/4.1.3 (à revoir avec (dépendance hdf5) + netcdf4 + dapclient)
nco/4.0.8 (à revoir avec (dépendance hdf5) + netcdf4 + dapclient + SMP + Optimization)
hdf5 (clarifier les différentes versions)
cdat/5.2.0 (PAS OK)
R (PAS OK)
udunits/2.1.5 (PAS OK)
ferret/6.7.2 (OK)
netpbm Priorité (PAS OK)
imagemagick Priorité (PAS OK)
tetex-latex (OK)
cdo/1.5.2 (PRESQUE OK, il manque dapclient : compiler avec "CFLAGS=".... -DHAVE_LIBNC_DAP")
RSYNC (OK)
ncl/6.0.0 (OK)
VTK (PAS OK)
Subversion (OK)
Paraview (OK)
gnuplot (OK)
Firefox (OK)
ghostscript (OK)
Pouvoir envoyer des mail depuis les jobs de calcul. possible en faisant ssh platine actuellement.

frontale mercure

curie

Passage en production sur curie:

avoir des logins
- OK pour projets Preparatory access ouverts
- attendre janvier 2012 pour projets GENCI (comptes communs en particuliers)
faire tourner un cas court en direct (fait)
installer dans la référence de quoi compiler (fait)
- installer svn et les accès aux serveurs svn de l'IPSL (fait) et du LMD (demandé)
installer les comptes communs :
- fichiers IGCM sur CCCSTOREDIR et CCCWORKDIR
- fichiers d'initialisation de shell
- installer fcm
- installer les outils IPSL nécessaires :
  - fast, atlas
  - rebuild
    - rebuild est disponible au path suivant
```
/ccc/store/cont005/pa0369/meurdesy/REBUILD
```
installer/vérifier les outils nécessaires à la chaine et leur version:
- Logiciels installés par le TGCC :
  - evince (remplace acroread ou xpdf )
  - cdo
  - netcdf
  - ferret
  - firefox
  - ghostscript
  - imagemagick
  - nco - Yann signale des soucis (7/7/2011)
  - netpbm - Installation en cours (7/7/2011)
  - python - 2.6.2, netCDF4 et numpy
  - subversion
  - tetex-latex - En cours d'installation (7/7/2011)
- A installer :
  - CDAT
  - R
  - udunits
  - RSYNC
  - NCAR NCL
  - VTK
  - Paraview
  - gnuplot
Pouvoir envoyer des mail depuis les jobs de calcul.
repérer les espaces de stockage et arrêter une stratégie
- pack : tous les 10 ans, en fin de simu
- compter les espaces et nombres de fichiers nécessaires pour un login de production (décadal, centennal, millenium)
installer libIGCM_curie
- tester 10 ans de couplé
- mesurer et optimiser 10 ans de couplé, post-traitements inclus

ulam

vargas

Download in other formats:

Plain Text