| 447 | | |
| 448 | | |
| 449 | | |
| | 447 | == Notes Réunion CCRT-TGCC le 3 mai == |
| | 448 | |
| | 449 | '''Objet de la réunion''' : Migration DMF pour la communauté des utilisateurs |
| | 450 | de l'IPSL vers l'espace de stockage mutualisé du CCRT |
| | 451 | |
| | 452 | '''Date''' : jeudi 3 mai de 9h30 à 14h |
| | 453 | |
| | 454 | '''Lieu''' : TGCC, salle Berlin |
| | 455 | |
| | 456 | '''Présents IPSL''' : Arnaud Caubel, Sebastien Denvil, Olivier Marti, Anne Cozic, Marie-Alice Foujols |
| | 457 | |
| | 458 | '''Présents CEA''' : Thomas Leibovici, Killian Cavalotti, Gilles Wiber, Véronique Roos, Patrice Lucas |
| | 459 | |
| | 460 | * '''''Mise en place de la nouvelle chaîne de production'''''[[BR]] |
| | 461 | |
| | 462 | * Rappel : De la part des calculs de l'IPSL, cette nouvelle chaîne de production vise à optimiser l'utilisation des espaces de données disponibles au CCRT et au TGCC. Cette chaîne vise notamment à améliorer les points suivants : utilisation des systèmes de fichiers locaux comme support des calculs et des espaces globaux d'archivage, archivage des fichiers sous un format limitant le nombre d'inodes et augmentant la taille moyenne des fichiers entreposés. |
| | 463 | * La présentation de cette nouvelle chaîne, développée par Sébastien Denvil, a été réalisée aux utilisateurs de l'IPSL les 3 et 4 avril. Les utilisateurs basculent depuis progressivement. Les premiers tests de cette chaîne datent de Décembre 2012. |
| | 464 | * Une baisse de charge a effectivement pu être constatée sur DMF attestant l'utilisation de cette nouvelle version de la chaîne par les utilisateurs. |
| | 465 | * Mise en place sur SX9 |
| | 466 | * Des tests de nouveaux paramètres visant à optimiser les débits des accès SX9 aux systèmes d'archivage globalisés ont provoqué un blocage lors de la dernière semaine d'avril. Il est décidé d'un commun accord de revenir à des paramètres stables mais moins performants. |
| | 467 | * L'architecture de la nouvelle chaîne de calcul entraîne à partir des noeuds vectoriels SX9 plutôt des accès à $CCCWORKDIR qu'à $CCCSTOREDIR. |
| | 468 | * L'IPSL demande la mise en place d'un monitoring plus fin des blocages que peuvent rencontrer les codes de calculs sur SX9 lorsqu'ils font des IOs sur les espaces de stockages mutualisés. |
| | 469 | * L'IPSL demande la mise en place d'une file prioritaire de soumission sur les noeuds scalaires. |
| | 470 | * Mise en place sur Titane |
| | 471 | * Des lenteurs ont été constatées ponctuellement sur scratch. |
| | 472 | * Une demande de quota à 3TO sur le scratch de titane est formulée par Marie-Alice Foujols. |
| | 473 | * La simulation millénaire menée par Myriam Khodri, login p25khod, sur titane doit pouvoir se terminer avant la bascule complète des DMF en read-only. Jusqu'au 22 mai si besoin est, l'exploitation positionnera une priorité maximale aux tâches de cette utilisatrice afin qu'elle puisse terminer dans les temps sa simulation. |
| | 474 | * Une réflexion de modification de la comptabilité est en cours sur titane afin de ne facturer qu'un CPU les tâches de post-traitement qui sont effectivement mono-cpu. |
| | 475 | * Olivier Marti signale un bug sur le fonctionnement du code couplé sur titane où l'échec d'une partie des processus ne se répercuterait pas correctement sur les autres processus laissant des tâches portant inactives bloquées en machine. |
| | 476 | * Mise en place sur curie |
| | 477 | * Un bon comportement global est constaté mis à part quelques blocages au démarrage. |
| | 478 | * Une documentation explicitant les différentes méthodes de connexion à curie est demandée par l'IPSL. |
| | 479 | * L'IPSL demande également un meilleur fléchage de la documentation "advanced usage" de curie qui existe et contient beaucoup d'informations importantes mais n'est pas très bien indiquée. |
| | 480 | * Quotas sur les espaces partagés |
| | 481 | * La nouvelle chaîne IPSL nécessiterait les quotas suivants pour les 20 utilisateurs intensifs : 500 000 inodes par utilisateur sur $CCCSTOREDIR, 3 000 000 inodes par utilisateur sur $CCCWORKDIR. |
| | 482 | * Bascule des productions de titane à curie |
| | 483 | * O. Marti confirme que ses utilisateurs sont prêts à basculer sur curie à partir de titane.[[BR]] |
| | 484 | |
| | 485 | * '''''Point sur la migration des données''''' [[BR]] |
| | 486 | |
| | 487 | * Les premières estimations concernant la première vague de migration positionne une fin de migration des comptes pilotes pour la mi-juin. L'IPSl rapelle les priorités sur la migration des comptes pilotes : p24data pas urgent ok pour mi-juin, p86cmip5 urgent pour traitement et organisation des données au sein des nouveaux espaces, p25luc urgent en tant que support des tests de migration et la chaine IPSL-PACK. |
| | 488 | * La migration du login p25luc n'est pas effectuée jusqu'au bout afin de pouvoir tester les outils IPSL_PACK dans le tampon. |
| | 489 | * Les détails de l'ensemble de la chaîne de traitement IPSL_PACK ont été abordés en séance. Les questions concernant les interfaces ont été résumé dans l'e-mail de Thomas Leibovici ("Interface avec pack_ipsl", 03 mai 2012). La présentation de l'IPSL est disponible là. |
| | 490 | * L'IPSL demande la fourniture d'un outil de tar adapté. |
| | 491 | * L'accès aux espaces tampons doit être mise en place sur curie pour réaliser les actions de tar qui seront effectuées au nom des utilisateurs. |
| | 492 | * Le dimensionnement des heures nécessaires sur curie pour la migration reste faible : 8 CPUs en moyenne sur la période de migration. |
| | 493 | * Lors de la migration il est décidé d'appliquer les actions de packaging des données selon l'ordre suivant : 1) ccc_archive, 2)IPSL_PACK, 3)tar "mécanique" |
| | 494 | * L'IPSL doit fournir la liste exhaustive de l'ensemble des logins pour lesquels l'étape "IPSL_PACK" devra être appliquée. |
