| Version 10 (modified by aclsce, 12 years ago) (diff) |
|---|
Prestation CCRT TGCC
Contexte
L'IPSL produit sur les machines de calcul du CCRT vectorielles et scalaires ainsi que sur les machines scalaires de l'IDRIS des simulations climatiques. Les données produites jusqu'alors par ces simulations étaient stockées sur le système de stockage du CCRT et /ou de l'IDRIS. L'écosystème du CCRT, qui va être intégré au TGCC, évolue et en particulier son système de stockage. C'est dans le contexte de changement de système de stockage que prend place la prestation " Evolution des outils de traitement et de synchronisation des données et audit de la chaîne de calcul de l’IPSL".
Réunion de lancement - 13/06/2012
La réunion de lancement a eu lieu au LSCE. Les présentations faites lors de la réunion :
- Présentation générale : Presentation_generale.pdf
- Outil de traitement des données de l'IPSL : Presentation_Outil.pdf
- Organisation de la prestation : Réunion_de_lancement.pdf
Etat d'avancement (au 03/08/2012)
Fait :
- gestion des erreurs pour les 2 scripts (listes et pack)
- tests si "nco" est chargé et si c'est la version 4.1.0.
- procédure de redémarrage pour le script de listes.
- visualisation de l'état d'avancement des 2 scripts (listes et pack).
- option "force" -f ajoutée dans les 2 scripts pour repartir de 0.
- information sur le temps pris par le traitement de chaque liste dans le script de pack.
- timing global depuis le lancement du pack
- traitement propre du cas "pas de répertoire Restart" ou "pas de fichiers Restart"
- possibilité d'avoir des données d'entrée sur un login et des données résultats sur un autre login (avec droits d'écriture)
En cours :
- soumission parallèle du traitement (concaténation, tar ou cp) des listes.
A faire :
- traitement du cas particulier "pas de répertoire Debug" (voir si c'est nécessaire)
- option d'activation (ou désactivation) des check (-md5_sum ou -W) à ajouter.
- création d'un script de check global des données avant-après : 1ère méthode envisagée : le double check.
- tests "grandeur nature"
- extrapolation et estimation du temps pour les données globales
- documentation
- mise en forme (accès web ?) des informations sur l'état d'avancement du traitement des données (voir avec Patrick)
- portage IDRIS
Documentation
Une documentation de l'outil de traitement des données développé par l'IPSL est disponible là : Doc_outil_pack.pdf
Attachments (8)
- Doc_outil_pack.pdf (122.8 KB) - added by aclsce 12 years ago.
- Réunion_de_lancement.pdf (90.2 KB) - added by aclsce 12 years ago.
- Presentation_Outil.pdf (123.7 KB) - added by aclsce 12 years ago.
- Presentation_generale.pdf (1.8 MB) - added by aclsce 12 years ago.
- Doc_outil_pack_IPSL_v2.pdf (206.4 KB) - added by aclsce 12 years ago.
- Réunion_de_lancement_Lot3.pdf (185.8 KB) - added by aclsce 12 years ago.
- Audit.pdf (388.0 KB) - added by aclsce 12 years ago.
- Audit_chaine_calcul_IPSL.pdf (1.5 MB) - added by aclsce 11 years ago.
