Outil de Surpack

---

Table of contents

1. 1. Extraction
2. 2. Modifier load_ipslPack_env.sh
3. 3. Lancement de launch_ipsl_pack.sh
   1. 3.1. en interactif
   2. 3.2. En Batch
4. 4. Modifier load_batch_directives.sh
5. 5. modifier loadParameters.sh
6. 6. lancement de parallelPack.sh
7. 7. Vérification de l'étape de pack
8. 8. lancement de SaveNewSimuPack?.sh

---

Le but de cet outil est de trouver une fréquence de pack plus adaptée pour une simulation donnée. Et ensuite de re-packer cette simulation avec cette nouvelle fréquence

1. Extraction

svn co ​http://forge.ipsl.jussieu.fr/igcmg/svn/TOOLS/SURPACK_IPSL

2. Modifier load_ipslPack_env.sh

• TMP_MIGR_DATA = répertoire temporaire de travail
• INPUT_DMF_DATA = répertoire contenant la simulation à repacker. Attention il ne faut pas de « / » en fin de path
• OUTPUT_STORE et OUPUT_WORK = doivent être cohérent avec TMP_MIGR_DATA

3. Lancement de launch_ipsl_pack.sh

Ce script permet de déterminer si il y a une fréquence de pack plus adaptée à votre simulation. Les différentes options sont :

• -f : pour redémarrer cette étape à zéro
• -v : pour forcer à s'arrêter après le calcul de la fréquence et demander à l'utilisateur si il veut continuer
• -h : mode d'emploi

Deux méthodes existent pour lancer ce script :

3.1. en interactif

--> Pour des simulations courtes (une vingtaine d'années)

Avant de lancer ce script vous devez vous créer un fichier texte (ex : param.txt) contenant le path de la simulation à repacker.
Exemple de path :

 /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/IPSLCM5A/PROD/historical/CM51989.2

ATTENTION il faut travailler avec une seule simulation à la fois

lancement :

./launch_ipsl_pack.sh param.txt

3.2. En Batch

--> Pour les simulations plus longues (au delà de la vingtaine d'années) Il faut utiliser le script my_surpack.job

• modifier le path du répertoire SURPACK_IPSL
• modifier le path de la simulation que vous souhaitez sur-packer

ATTENTION il faut travailler avec une seule simulation à la fois

Lancement :

ccc_msub my_surpack.job 

4. Modifier load_batch_directives.sh

Ce sont les paramètres de lancement du script « parallelPack.sh ». Les valeurs par défaut sont les valeurs max acceptables.

• nbProcs --> 4 (maximum)
• computationTime --> 86400 (max)
• timeLimitBeforeEnd --> 3600 (max)
• projectName --> votre groupe genci
• queueType --> xlarge (à ne pas modifier)
• QosType? --> normal (à ne pas modifier)
• corePerProc --> (à ne pas modifier)

5. modifier loadParameters.sh

vous pouvez demander au pack de double checker un certain nombre de pack de listes en utilisant une seconde méthode de concaténation. Pour cela renseignez les paramètres nbListsTocheck et doYouWantCheck

6. lancement de parallelPack.sh

• Positionnez votre environnement :
  • module load nco/4.1.0
  • module load libccc_user
  • module load cdo
• compilez l'outil :

  make 
  

• Dans load_batch_directives.sh modifiez les options de lancement (groupe genci, nombre de processeurs …. )

Lancement :

./parallelPack.sh 

7. Vérification de l'étape de pack

Une fois le pack fini (vérifier avec la commande ccc_mstat -u login) vous devez lancer le script showPackProgress.sh pour vérifier que tout s'est passé correctement. Et dans ce cas là vous pouvez lancer le script SaveNewSimuPack.sh (voir point suivant)

8. lancement de SaveNewSimuPack?.sh

./SaveNewSimuPack.sh 

Ce script permet de faire la liste de tous les fichiers qui ont été sur-packés correctement.
Avec l'option « -rmv », il change le nom du répertoire de la simulation d'origine ${SIMU}.BP (BP=before pack), copie sur le store la simulation re-packée, et efface du répertoire ${SIMU}.BP tous les fichiers listés précédemment.
Dans ${TMP_MIGR_DATA}/PSEUDO_DMNFS_PROGRESS/../../../JobName/? vous trouverez deux listes de fichiers :

• La liste des fichiers à effacer rmv_afterSurPack.txt
• La liste des fichiers restant après le surpack (et donc non effacés) lastFiles_afterSurPack.txt