Changes between Version 25 and Version 26 of BasculeCCRTTGCC


Ignore:
Timestamp:
01/19/12 17:49:19 (10 years ago)
Author:
mafoipsl
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • BasculeCCRTTGCC

    v25 v26  
    55Page débutée en Août 2011 
    66 
    7 Prochaine telco :  décembre 2011. Jour à confirmer. Numéro d'appel : 0821 230 749 
     7Prochaine telco :  février 2012. Jour à confirmer. Numéro d'appel : 0821 230 749 
    88 
    99Cette page contient les résultats des journées de [wiki:BasculeCCRTTGCC/brainstorming brainstorming sur la migration CCRT-TGCC] 
     
    202202    * 3 mois pour migrer la production et préparation d’archive (ccc_archive). 
    203203    * Passage read-only : 
    204      * 7 fevrier : comptes dormants + utilisateurs volontauires 
     204     * 7 fevrier : comptes dormants + utilisateurs volontaires 
    205205     * Mars : dmnfs 1,2,3 et 13 
    206206     * Avril : dmnfs 4 à 12 
     
    215215     * Titane : scratchdir, devrait être suffisant. Projection IPSL à affiner. Dernier recours : STOREDIR 
    216216     * Curie : scratchdir, quota à affiner, nombre de power-user 
    217    * Trouver une variable d’ajustement avec toutes ces contraintes :en fonction de la taille des fichiers requises,du nombre de fichiers limité sur le Storedir, de la tailles de scratch nécessaire et disponible sur mercure et titane,… 
     217   * Trouver une variable d’ajustement avec toutes ces contraintes :en fonction de la taille des fichiers requises, du nombre de fichiers limité sur le Storedir, de la tailles de scratch nécessaire et disponible sur mercure et titane,… 
    218218  * Le passage de titane vers curie pour l’IPSL sera progressif mais le début d’année 2012 se fera sur titane car la production sur curie nécessite :  
    219219   * l’utilisation du pack dans la chaîne 
     
    224224   * Recommander d’utiliser le fichier « à plat » du cscratchdir avant l’utilisation du ccc_archive 
    225225   * Pas de limite (en nombre) d’archives demandées 
    226   * Paiement des heures Curie : IPSL pas d’accord. A estimer précisément les ressources nécessaires (8 CPUs sur 2/3 mois ?). A rediscuter. 
     226  * Affectation des ressources calcul (heures) Curie. Estimer les ressources nécessaires et les affecter clairement à cette migration. Estimation : (8 CPUs sur 3 mois). Voir [http://wiki.ipsl.jussieu.fr/Pole/ESCI/MigrationTGCC/Concat%C3%A9nation informations complètes sur la concaténation] ipsl/vivaipsl 
    227227  * Cahier des charges :  
    228228   * Calendrier : dépôt fin janvier pour début de prestation début mars.  
     
    232232  * Dods : pas abordé. 
    233233 
    234 Prochaine telco début janvier : doodle à lancer. 
     234== Notes telco jeudi 19 janvier 2012 == 
     235 
     236Participants : Gilles Wiber, Patrice Lucas, Thomas Leibovici, Anne Cozic, Sébastien Denvil, Olivier Marti, Marie-Alice Foujols 
     237 
     238 * datanode ou dods1 :  
     239   * filtres nécessaires, ouverts,  
     240   * François X recruté au CEA suit cette installation 
     241   * installation à refaire à partir de scratch 
     242   * aide IPSL attendue si souci. OK puisque installation complète à l'IPSL en cours avec rédaction d'un mode d'emploi 
     243   * datanode CCRT/TGCC nécessaire pour publier les données depuis le CCRT 
     244     * pour le moment publication depuis l'IPSL et accès des demandeurs aux fichiers IPSL 
     245     * besoin de ce datanode CCRT pour publier les données les plus volumineuses (HF 6H et 3H) 
     246     * la publication depuis l'IPSL correspond à un palliatif temporaire. Ce datanode reste l'action CCRT/TGCC la plus prioritaire. 
     247   * Attention : tout changement de nom (path complet inclus dans database) d'un fichier publié impose de le dépublier puis de le republier 
     248 * bascule fichiers /dmnfs sur espace CCC_STOREDIR pour login prêt : p86cmip5 
     249   * OK pour inclure ce compte dans la liste des migrations du 7 février. A priori pas de compactage. < 200 000 fichiers et 150 TO 
     250   * Une fois les fichiers sur SCRATCHDIR, on pourra les publier de là sur le datanode TGCC/CCRT dods1. 
     251   * Si la migration dépasse 4 (OK?) semaines, on publiera depuis DMNFS avant de dépublier/republier depuis STOREDIR mais ce serait mieux d'éviter cela. 
     252   * Une fois /dmnfs en lecture seule, faire la CMORISATION directement sur CCCSTOREDIR 
     253 * bascule fichiers /dmnfs sur espace CCC_WORKDIR pour login prêt : p24data (TGCC/CCRT) 
     254   * OK pour inclure ce login dans la liste du 7 février. Compactage souhaité. 
     255   * Migration avec compactage sur CCCSTOREDIR par le CCRT. 
     256   * Anne fera les tar xvf en WORKDIR 
     257 * ouverture serveurs dods pour mise à disposition petits fichiers de type Atlas et Trusting et ouverture serveur dods pour mise à disposition gros fichiers de type Analyse stockés sur CCC_STOREDIR  
     258   * donner accès depuis le serveur dods.extra existant à un répertoire dods sur CCCSTOREDIR et à un autre répertoire dods sur CCCWORKDIR, accès en lecture seule 
     259   * ajouter les commandes permettant de faire les liens hard pour les fichiers sur CCCSTOREDIR et CCCWORKDIR que l'on veut rendre visible : dods_cp à compmléter 
     260 * p86ipsl : bascule fichiers /dmnfs sur espace CCC_STOREDIR pour login prêt une fois la distinction fichiers pour dods faites 
     261    * bascule en mars 
     262    * migrer auparavant les pages du trusting sur le répertoire CCCWORKDIR et rendre ce qu'il faut visible sur dods. Voir http://webservices.ipsl.jussieu.fr/trusting/ 
     263    * Cible souhaitable : WORKDIR, donc compactage puis tar comme p24data 
     264 * liste des comptes dormants susceptibles de migration précoce : le CCRTest en train de la préparer et l'envoie très vite. 
     265 * installation des logiciels utiles sur titane (CCRT OK),  
     266    * OK pour la liste, reste à valider les options. 
     267    * utilisation de titane pour post-traitements au lieu de cesium,  
     268      * test en production en cours, avec libIGCM revu (1ère étape aucun transfert de fichier direct sur DMNFS) 
     269      * attention à la facturation des noeuds complets (*8!) 
     270 *  installation des logiciels utiles sur curie. A faire une fois la vérification sur titane OK. 
     271 * point sur le développement de ipsl_pack, 
     272 * commande ccc_archive :  
     273  *  réponse à la demande de correspondant dédié, hotline pour infos sur la commande, telco pour les internes. 500 Go visé. 
     274  * ccc_archive en pleine action en ce moment pour p24previ 
     275  * un lecteur monopolisé pour les lectures de bandes. Travail bande par bande. 
     276  *  discussion pour ajout option ipsl_pack avec Thomas Leibovici :  passer à Thomas le prototype d'appel 
     277 * point sur la rédaction du cahier des charges, attente retour Arnaud, discussion sur tests systématiques sur IDRIS, besoin à garder dans le cahier des charges 
     278 * autres points : 
     279  * facturation noeud titane complet (8 procs) pour les jobs mono donc les jobs de post-traitement 
     280  * process fantômes sur les noeuds de calcul. Déséquilibre le parallélisme, fait partir les jobs en time limit, .... 
     281   * code à l'origine de ces soucis repéré, actions en cours pour corriger le code et limiter les impacts. 
     282 
     283Prochaine telco début février : doodle à lancer. 
    235284