{{{
#!html
<h1>Outil de Surpack</h1>
}}}
----
[[TOC(heading=Table of contents,depth=1,inline)]]
[[PageOutline(1,Table of contents,pullout)]]
----


Le but de cet outil est de trouver une fréquence de pack plus adaptée pour une simulation donnée. Et ensuite de re-packer cette simulation avec cette nouvelle fréquence



# Extraction #

svn co http://forge.ipsl.jussieu.fr/igcmg/svn/TOOLS/SURPACK_IPSL


# Modifier load_ipslPack_env.sh #
 * TMP_MIGR_DATA = répertoire temporaire de travail
 * INPUT_DMF_DATA = répertoire contenant la simulation à repacker. Attention il ne faut pas de « / » en fin de path 
 * OUTPUT_STORE et OUPUT_WORK = doivent être cohérent avec TMP_MIGR_DATA


# Lancement de launch_ipsl_pack.sh #
Ce script permet de déterminer si il y a une fréquence de pack plus adaptée à votre simulation. Les différentes options sont :
 * -f : pour redémarrer cette étape à zéro 
 * -v : pour forcer à s'arrêter après le calcul de la fréquence et demander à l'utilisateur si il veut continuer
 * -h : mode d'emploi 

Deux méthodes existent pour lancer ce script : 
## en interactif  ## 
--> Pour des simulations courtes (une vingtaine d'années) 

Avant de lancer ce script vous devez vous créer un fichier texte (ex : param.txt)  contenant le path de la simulation à repacker. [[BR]]
Exemple de path :
{{{
 /ccc/store/cont003/dsm/p86cozic/IGCM_OUT/IPSLCM5A/PROD/historical/CM51989.2
}}}

'''ATTENTION''' il faut travailler avec une seule simulation à la fois 

lancement : 
{{{
./launch_ipsl_pack.sh param.txt
}}}

## En Batch ##
--> Pour les simulations plus longues (au delà de la vingtaine d'années)
Il faut utiliser le script '''my_surpack.job'''
 * modifier le path du répertoire SURPACK_IPSL
 * modifier le path de la simulation que vous souhaitez sur-packer

'''ATTENTION''' il faut travailler avec une seule simulation à la fois 

Lancement : 
{{{
ccc_msub my_surpack.job 
}}}
# Modifier load_batch_directives.sh  #
Ce sont les paramètres de lancement du script « parallelPack.sh ». Les valeurs par défaut sont les valeurs max acceptables. 
 * nbProcs -->  4 (maximum) 
 * computationTime --> 86400 (max)
 * timeLimitBeforeEnd --> 3600 (max) 
 * projectName --> votre groupe genci 
 * queueType --> xlarge (à ne pas modifier)
 * QosType --> normal (à ne pas modifier) 
 * corePerProc --> (à ne pas modifier) 
# modifier loadParameters.sh #
vous pouvez demander au pack de double checker un certain nombre de pack de listes en utilisant une seconde méthode de concaténation. Pour cela renseignez les paramètres nbListsTocheck et doYouWantCheck

# lancement de parallelPack.sh # 
 * Positionnez votre environnement : 
  * module load nco/4.1.0 
  * module load libccc_user 
  * module load cdo 
 * compilez l'outil : 
{{{
make 
}}}
 * Dans load_batch_directives.sh modifiez les options de lancement (groupe genci, nombre de processeurs …. )

Lancement : 
{{{
./parallelPack.sh 
}}}

# Vérification de l'étape de pack #
Une fois le pack fini (vérifier avec la commande ccc_mstat -u login) vous devez lancer le script showPackProgress.sh pour vérifier que tout s'est passé correctement. Et dans ce cas là vous pouvez lancer le script !SaveNewSimuPack.sh (voir point suivant) 

# lancement de SaveNewSimuPack.sh #
{{{
./SaveNewSimuPack.sh 
}}}

Ce script permet de faire la liste de tous les fichiers qui ont été sur-packés correctement. [[BR]]
Avec l'option « -rmv », il change le nom du répertoire de la simulation d'origine ${SIMU}.BP (BP=before pack), copie sur le store la simulation re-packée, et efface du répertoire ${SIMU}.BP tous les fichiers listés précédemment. [[BR]]
Dans ${TMP_MIGR_DATA}/PSEUDO_DMNFS_PROGRESS/../../../JobName/ vous trouverez deux listes de fichiers : 
 * La liste des fichiers à effacer rmv_afterSurPack.txt
 * La liste des fichiers restant après le surpack (et donc non effacés) lastFiles_afterSurPack.txt