#!/bin/bash ###################### ## TITANE CEA ## ###################### #MSUB -r ipsl_pack # Nom du job #MSUB -eo #MSUB -n 1 # Reservation du processus #MSUB -T 86400 # Limite de temps elapsed du job #MSUB -p gen2211 #MSUB -q mono # ex : ./launch_ipsl_pack.sh fichier_param_test1.txt # ex : ./launch_ipsl_pack.sh param_SL.txt # ex : ./launch_ipsl_pack.sh param_OM.txt # Est-on sur ulam (machine de l'IDRIS) ? is_idris_machine=`hostname | grep "ulam" | wc -l ` ON_IDRIS="no" if [ "x${is_idris_machine}" != "x0" ] then ON_IDRIS="yes" fi export ON_IDRIS=${ON_IDRIS} ##### gpdebug : addition ################################## # Boucle qui gere les parametres du script (permet l'introduction d'une option -f # qui force l'execution de toute les etapes du script de listes) execEveryStep=0 LISTE_SIMUL_ARG= while [ $# -gt 0 ] do echo "boucle sur les arguments du script ..." echo "@=$@" case $1 in -f) execEveryStep=1 echo "force..." ;; *) LISTE_SIMUL_ARG=${1} echo "autres..." ;; esac shift done export execEveryStep=${execEveryStep} SCRIPT_NAME=$(basename ${0} ) # On renseigne les variables d'environnement export scriptCallingLoad=$SCRIPT_NAME # sert a renseigner "load_ipslPack_env.sh" sur le script l'appelant . load_ipslPack_env.sh if [ "x${LISTE_SIMUL_ARG}" == "x" ] then if [ -f /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt ] then echo "The file used is /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt" LISTE_SIMUL="/ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt" else echo "Vous devez passer un fichier en parametre" exit 1 fi else LISTE_SIMUL=${LISTE_SIMUL_ARG} fi LISTE_SIMUL_NAME=$(basename ${LISTE_SIMUL} ) # fichier de progression d'execution ficParam=$( basename ${LISTE_SIMUL} ) # gpdebug : modif ici et ligne d'apres extSuiviListes=`echo ${ficParam} | sed 's;\.[[:alnum:]]*$;;' ` # echo "extSuiviListes=$extSuiviListes" # gpdebug : a virer #export MonitoringDir="${TMP_MIGR_DATA}/SuiviListes_${extSuiviListes}" # echo "MonitoringDir=$MonitoringDir" # gpdebug : a virer # exit 0 # gpdebug : a virer #export generalMonitorFile=${MonitoringDir}/general.txt #export nbSimuFile=${MonitoringDir}/nbSimu.txt ##### gpdebug : fin ##################################### # LISTE_SIMUL=${1} # gpdebug : suppr --> cette affectation est maintenant faite dans la boucle while des arg du script ################ #LISTE_SIMUL=${JOB_DIR}/param_SL.txt #LISTE_DMNFS=${JOB_DIR}/SL_information_dmnfs_2012-03-21 # LISTE_SIMUL=${JOB_DIR}/param_OM.txt # LISTE_DMNFS=${JOB_DIR}/OM_information_dmnfs_2012-03-21 #LISTE_SIMUL_NAME=$(basename ${LISTE_SIMUL} ) #SCRIPT_NAME=$(basename ${0} ) # On renseigne les variables d'environnement #export scriptCallingLoad=$SCRIPT_NAME # sert a renseigner "load_ipslPack_env.sh" sur le script l'appelant #. load_ipslPack_env.sh export JOB_DIR=${TMP_MIGR_DATA} export EXE_DIR=${LS_SUBCWD:-${PWD}} # echo "extSuiviListes=$extSuiviListes" # gpdebug : a virer export MonitoringDir="${TMP_MIGR_DATA}/SuiviListes_${extSuiviListes}" # echo "MonitoringDir=$MonitoringDir" # gpdebug : a virer # exit 0 # gpdebug : a virer export generalMonitorFile=${MonitoringDir}/general.txt export nbSimuFile=${MonitoringDir}/nbSimu.txt if [ "x${IGCM_DEM}" == "x" ] then echo "variable IGCM_DEM non renseignee. STOP." exit 1 fi # rm -f ${IGCM_DEM}/Listing.txt # gpdebug : en cas de reprise, on ne peut pas laisser ca en l'etat --> suppr # gpdebug : Donc on rajoute le if qui suit if [ "x${execEveryStep}" == "x1" ] then echo "Destruction du repertoire :" echo "${IGCM_DEM}" rm -rf ${IGCM_DEM} fi export IGCM_TMP="${IGCM_DEM}/tmp" # gpdebug : added # INPUT_DMF_DATA, positionnee par le load_ipslPack_env.sh, sert pour pour PATH_SIMUL_SHORT dans create_config_card.sh export clean_tmp=${clean_tmp:-yes} export DEM_LOG=${JOB_DIR}/dem_${LSB_JOBID:-${$}}.log export LOG_LEV=0 export FileParam=${LISTE_SIMUL} # gpdebug : pour appel (dans DEM_utilities.sh) a showListsProgress.sh export FatherPID=$$ # gpdebug : pour appel (dans DEM_utilities.sh) a showListsProgress.sh source ${EXE_DIR}/DEM_utilities.sh # gpdebug : prepare le fichier de suivi de la progression prepareMonitoringDir # gpdebug : Execute la function errorReceive() si reception d'un signal TERM trap 'DEM_errorReceive' TERM ######## # gpdebug : liste des processus à détruire en cas d'erreur bloquante export listPID=$$ ######## # gpdebug : fichier pour la transmission des messages d'erreur d'un fils au prog principal export errorMsgFile="${TMP_MIGR_DATA}/errorMsg.txt" ######## DEM_log -0 "Demarrage de ${SCRIPT_NAME}" mkdir -p ${IGCM_DEM} mkdir -p ${IGCM_TMP} rm -rf ${IGCM_TMP}/tmp/* rm -f ${DEM_LOG} # 0- on cree le listing correspondant au fichier param # on efface les tests precedents for DIR in $( awk '{print $0}' ${LISTE_SIMUL} ) ; do eval DIR_FINAL=$DIR ./create_listing.sh $DIR_FINAL done LISTE_DMNFS=${IGCM_DEM}/Listing.txt # 1- A partir de param_list - on recherche l'ensemble des simulations a packer # la liste creee (liste_simul_$1) est stockee dans $SCRATCHDIR/IGCM_DEM ${EXE_DIR}/find_directory_simul.sh ${LISTE_SIMUL} ${LISTE_DMNFS} # sleep 2 # gpdebug : a virer # echo "Le script principal continue..." # gpdebug : a virer # exit 0 # gpdebug : a virer #################################################################### # gpdebug : partie vidée pour simplifier. Voir le fichier original. # 2- Pour chacune des simulations listees on cree un fichier config.card correspondant # ces fichiers seront stockes dans ${IGCM_DEM}/arborescence/ # un fichier recapitulatif des fichiers config.card (config_card.liste) crees sera stocke dans ${IGCM_DEM} ${EXE_DIR}/create_config_card.sh ${IGCM_DEM}/liste_simul_${LISTE_SIMUL_NAME} ${LISTE_DMNFS} # exit 0 # gpdebug : a virer ######### #3- recherche de la taille ideale de pack pour chacune des simulations - puis creation des listes for CONFIG in $( awk '{print $1}' ${IGCM_DEM}/config_card.liste ) ; do DEM_log -2 ${CONFIG} eval $(grep IGCM_DEM_SIMU ${CONFIG}) ${EXE_DIR}/calcul_size_simul.sh ${CONFIG} ${LISTE_DMNFS} # exit 0 # gpdebug : a virer ######### DEM_state=$( DEM_read_state ${IGCM_DEM}/config_card.liste ${CONFIG} ) if [[ "${DEM_state}" != "WriteListTarDone" ]] ; then DEM_log -3 "la simulation est superieur a 1Go alors on pack" ${EXE_DIR}/find_size_pack.sh ${CONFIG} ${LISTE_DMNFS} ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS} ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS} # DEM_errorSend "${SCRIPT_NAME}:${LINENO}:On arrete expres !" # gpdebug : a virer ######## ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS} fi done #################################################################### DEM_log -0 "Fin de ${SCRIPT_NAME}"