Notes sur la discussion du 22 novembre

​Agenda des journées de brainstorming
​Compte rendu des journées de brainstorming

• Possibilité de garder les fichiers p86ipsl sur la partie lustre du storedir
• Il y aura une plus grande marge de manoeuvre pour le posttraitement sur le nouveau calculateur
• Le TGCC demande à avoir la main sur le même bench que celui de l'IDRIS. Dimitri Lecas est en train de rajouter des commandes times dans le bench pour mieux évaluer le temps passé dans chaque partie

• Possibilité de paramétrer les fichiers devant rester sur le lustre sans copie sur bande en fonction du nom du fichier ou du répertoire (utilisable pour la gestion des fichiers dans la chaine sur SX9 et Titane)
• Possibilité de création d'un espace tampon supplémentaire pour facilité le déménagement. Cet espace regrouperait les 4PB encore non utilisés (lustre + cccworkdir).
• Le déménagement se fera par dmnfs – un dmnfs est stocké entièrement sur les mêmes bandes.
• Il n'y aura plus d'administrateur cesium à partir de septembre 2012
• Discussion sur les workflow / question du demon par login ou groupe / question des crontab / python / actuellement installation de unicorn sur le centre de calcul
• Faire attention pour le déménagement de prendre la bonne version de netcdf
• Problème du bug ncrcat/netcdf -> comment éviter ce genre de bug à l'avenir ? Pour les admin problème de connaissance des logiciels installés sur les centres. Il faut donc continuer la veille
• Quel niveau de certitude veut-on pour la fiabilité du déménagement ?
• Machine déménagement : à l'origine deux noeuds spécifiques y été dédié, mais cela serait compliqué de les transformer en noeuds de calcul. --> le déménagement sera donc intégré directement sur une machine (Curie certainement)
• Actuellement 8 lecteurs de bandes + 4 obsolètes. Vraisemblablement 2 ou 3 lecteurs seront dédiés au déménagement
• Temps pour décharger une bande ? Ne savent pas
• 1 bande = 500 G ou 1T en fonction des bandes. En format compressé.
• Possibilité de queue infinie pour le déménagement. /!\ Attention aux pannes machines. Il faut donc gérer la relance du job de pack
• possibilité de souplesse sur les petits fichiers. Il faut trouver un compromis
• Titane s'arrête mi 2013
• Discussion sur les tests --> cela implique beaucoup de petits fichiers à conserver. Il faut peut être utiliser la partie lustre sans copie sur bande
• Gestion des bandes cassées ???? pas clair cette histoire
• Question de la double copie : à faire au moment du pack / il faut l'accord genci

PACK

• On enlève l'étape de check préalable (sans toucher les fichiers) pour l'inclure dans le pack après déportation des fichiers sur l'espace tampon
• Avant déménagement chaque utilisateur doit décider si sa simul sera
  • tar par défaut
  • tar ccc_archive
  • pack : (si l'on veut continuer cette simul ou encore exploiter ses sorties)
    • missing value
    • tar (pour redo ultérieur)
• Le pack se fera d'un seul tenant sans intervention humaine en cours
• Tous les comptes seront déménagés même les utilisateurs ne travaillant plus au ccrt
• Si on n'arrive pas à packer on réessaie une fois et sinon on tar
• Question : que faire des fichiers pour lesquels le pack et le tar ne fonctionne pas (cas très peu probable) ?
  • On les laisse sur l'espace tampon et chaque utilisateur fait son ménage