| | 49 | |
| | 50 | |
| | 51 | === Remarques / Questions === |
| | 52 | * Ces fichiers de liste contiennent actuellement l'arborescence sur le dmnfs. Et elles sont créées à partir du fichier information_dmnfs. |
| | 53 | * Est-il possible pour une même simulation d'avoir des fichiers annuels et mensuels ? Ce cas pour l'instant n'est pas traité |
| | 54 | * 4 points sur ncrcat : |
| | 55 | * gestion du grand nombre d'entrée. Possible en utilisant le pipe ou xargs Lire : http://nco.sourceforge.net/nco.html#Large-Numbers-of-Files. On pourra plutôt utiliser le pipe via un :$ cat filelist.txt | ncrcat |
| | 56 | * sorties hétérogènes sur le nombre de variables présentes Soit 2 fichiers à concaténer. |
| | 57 | * a) si f1.nc a plus de variables que f2.nc alors ncrcat détecte une erreur. |
| | 58 | * b) si inverse f1.nc a moins de variables que f2.nc alors ncrcat f1.nc f2.nc fait le travail mais uniquement sur la liste des variables du premier fichier. |
| | 59 | * vérification du ncrcat en interne Relance aujourd'hui: Lire http://sourceforge.net/projects/nco/forums/forum/9829/topic/4824185 |
| | 60 | * ncrcat ou cdo -cat d'ailleurs pour faire le boulot ? Il me semble qu'on ne peut utiliser cdo qui ne conserve pas les metadata initiale. Mais il faut conserver cette justification. |
| | 61 | |
| | 62 | == Consolidation (A faire) == |
| | 63 | * Vérifier qu'un tar est bien complet |
| | 64 | * Vérifier qu'un pack est bien complet |
| | 65 | * Si le pack s'arrête pendant la phase de pack et tar, comment savoir d'où repartir (Idée : création d'un listing sur ce qui doit être fait au final et voir ce qui est déjà fait) |
| | 66 | * Si le pack s'arrête pendant la phase de calcul de la fréquence ou d'écriture des listes ? Repartons à zéro ? |
| | 67 | |
| | 68 | == Fonctionnement du pack == |
| | 69 | * le CCRT copie un dmnfs sur l'espace tampon |
| | 70 | * si l'on décide de traiter avec le pack toutes les simulations sous IGCM_OUT, pas besoin de faire de commande ccc_archive avec ipsl_pack comme option |
| | 71 | * On passe l'ipsl_pack sur le répertoire IGCM_OUT d'un utilisateur : il packe ce qu'il peut et efface au fur et à mesure les données de l'espace tampon |
| | 72 | * on conserve une trace des listes ncrcat et tar pour indiquer à l'utilisateur comment son compte est packé |
| | 73 | * si certaines simulations sont trop petites (test sur quelques jours par exemple) elles ne sont pas packées et on les laisse sur l'espace tampon |
| | 74 | * le ccrt passe ensuite ses propres chaînes (ccc_archive et tar par défaut) sur toutes les données restantes sur l'espace tampon |
