Prestation CCRT TGCC

Contexte

L'IPSL produit sur les machines de calcul du CCRT vectorielles et scalaires ainsi que sur les machines scalaires de l'IDRIS des simulations climatiques. Les données produites jusqu'alors par ces simulations étaient stockées sur le système de stockage du CCRT et /ou de l'IDRIS. L'écosystème du CCRT, qui va être intégré au TGCC, évolue et en particulier son système de stockage. C'est dans le contexte de changement de système de stockage que prend place la prestation " Evolution des outils de traitement et de synchronisation des données et audit de la chaîne de calcul de l’IPSL".

Réunion de lancement - 13/06/2012

La réunion de lancement a eu lieu au LSCE. Les présentations faites lors de la réunion :

• Présentation générale : Presentation_generale.pdf​
• Outil de traitement des données de l'IPSL : Presentation_Outil.pdf​
• Organisation de la prestation : Réunion_de_lancement.pdf​

Etat d'avancement (au 03/08/2012)

Fait :

• gestion des erreurs pour les 2 scripts (listes et pack)
• tests si "nco" est chargé et si c'est la version 4.1.0.
• procédure de redémarrage pour le script de listes.
• visualisation de l'état d'avancement des 2 scripts (listes et pack).
• option "force" -f ajoutée dans les 2 scripts pour repartir de 0.
• information sur le temps pris par le traitement de chaque liste dans le script de pack + état d'avancement. Exemple :

curie70 - /ccc/cont003/home/dsm/p86caub/SCRIPTS_DEM/TEST_01082012 : ./showPackProgress.sh 
*******************************************
simulation : R55A
*******************************************
   output_ncrcat :
       R55A_18600101_19041230_1D_histday : COMPLETED at try #1 | time : 209.231
       R55A_18600101_19041230_1M_histmth : COMPLETED at try #1 | time : 38.378
       R55A_18600101_19041230_1M_histrac : COMPLETED at try #1 | time : 27.994
       R55A_18600101_19041230_1M_sechiba_history : COMPLETED at try #1 | time : 2.311
       R55A_18600101_19051230_1M_diaptr : DELEGATE | time : ???
       R55A_18600101_19051230_1M_grid_T : DELEGATE | time : ???
       R55A_18600101_19051230_1M_grid_U : DELEGATE | time : ???
       R55A_18600101_19051230_1M_grid_V : DELEGATE | time : ???
       R55A_18600101_19051230_1M_grid_W : DELEGATE | time : ???
       R55A_18600101_19051230_1M_icemod : DELEGATE | time : ???
   output_tar :
       R55A_18600101_19051230_1M_diaptr : COMPLETED at try #3 | time : 2.053
       R55A_18600101_19051230_1M_grid_T : COMPLETED at try #3 | time : 67.661
       R55A_18600101_19051230_1M_grid_U : COMPLETED at try #3 | time : 47.23
       R55A_18600101_19051230_1M_grid_V : COMPLETED at try #3 | time : 118.514
       R55A_18600101_19051230_1M_grid_W : COMPLETED at try #3 | time : 147.201
       R55A_18600101_19051230_1M_icemod : FAILED at try #3 | time : ???
   restart_tar :
       R55A_restart_18600101_19051230 : COMPLETED at try #1 | time : 150.825
   debug_tar :
       R55A_debug_18600101_19050101 : COMPLETED at try #1 | time : 111.323
   store_cp :
       cp_files : COMPLETED at try #1 | time : 0.052
   work_cp :
       cp_files : COMPLETED at try #1 | time : 72.46

##################
#####  BILAN #####
##################
nb of Lists packed with success : 13 / 20
nb of fails : 7

• timing global depuis le lancement du pack
• traitement propre du cas "pas de répertoire Restart" ou "pas de fichiers Restart"
• possibilité d'avoir des données d'entrée sur un login et des données résultats sur un autre login (avec droits d'écriture)
• exemple d'utilisation

En cours :

• soumission du traitement (concaténation, tar ou cp) des listes : deux possibilités.
  • version "ancienne" séquentielle qui est sous svn. Cette version ne tourne pas en batch sur curie (pb compatibilité bash-batch curie).
  • version "nouvelle" séquentielle ou parallèle. Cette version tourne en batch sur curie. A finaliser (option au lancement du choix seq ou para + nb de procs) + commit + tests.

A faire :

• traitement du cas particulier "pas de répertoire Debug" (voir si c'est nécessaire)
• option d'activation (ou désactivation) des check (-md5_sum ou -W) à ajouter.
• création d'un script de check global des données avant-après : 1ère méthode envisagée : le double check.
• tests "grandeur nature"
• extrapolation et estimation du temps pour les données globales
• documentation
• mise en forme (accès web ?) des informations sur l'état d'avancement du traitement des données (voir avec Patrick)
• portage IDRIS

Documentation

Une documentation de l'outil de traitement des données développé par l'IPSL est disponible là : Doc_outil_pack.pdf​