source: TOOLS/launch_ipsl_pack.sh @ 2133

Last change on this file since 2133 was 2133, checked in by acosce, 11 years ago

New tools allows packing simulation already pack (so pack with a bigger frequency)

File size: 5.1 KB
Line 
1#!/bin/bash
2######################
3## TITANE   CEA ##
4######################
5#MSUB -r ipsl_pack      # Nom du job               
6#MSUB -eo
7#MSUB -n 1              # Reservation du processus
8#MSUB -T 86400          # Limite de temps elapsed du job
9#MSUB -p gen2211
10#MSUB -q mono
11
12# ex : ./launch_ipsl_pack.sh fichier_param_test1.txt
13# ex : ./launch_ipsl_pack.sh param_SL.txt
14# ex : ./launch_ipsl_pack.sh param_OM.txt
15
16# Est-on sur ulam (machine de l'IDRIS) ?
17is_idris_machine=`hostname | grep "ulam" | wc -l `
18ON_IDRIS="no"
19if [ "x${is_idris_machine}" != "x0" ]
20then
21    ON_IDRIS="yes"
22fi
23export ON_IDRIS=${ON_IDRIS}
24
25##### gpdebug : addition ##################################
26# Boucle qui gere les parametres du script (permet l'introduction d'une option -f
27# qui force l'execution de toute les etapes du script de listes)
28execEveryStep=0
29LISTE_SIMUL_ARG=
30while [ $# -gt 0 ]
31do
32   echo "boucle sur les arguments du script ..."
33   echo "@=$@"
34   case $1 in
35   -f)  execEveryStep=1
36        echo "force..."
37        ;;
38   *)  LISTE_SIMUL_ARG=${1} 
39       echo "autres..."
40       ;;
41   esac
42   shift
43done
44export execEveryStep=${execEveryStep}
45
46SCRIPT_NAME=$(basename ${0} )
47
48# On renseigne les variables d'environnement
49export scriptCallingLoad=$SCRIPT_NAME # sert a renseigner "load_ipslPack_env.sh" sur le script l'appelant
50. load_ipslPack_env.sh
51
52if [ "x${LISTE_SIMUL_ARG}" == "x" ]
53then
54    if [ -f /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt ]
55    then
56        echo "The file used is /ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt" 
57        LISTE_SIMUL="/ccc/work/cont003/dsm/p86ipsl/PARAM_USER_IPSL/$USER.txt" 
58    else       
59        echo "Vous devez passer un fichier en parametre"
60        exit 1
61    fi
62else
63    LISTE_SIMUL=${LISTE_SIMUL_ARG}
64fi
65
66LISTE_SIMUL_NAME=$(basename ${LISTE_SIMUL} )
67# fichier de progression d'execution
68ficParam=$( basename ${LISTE_SIMUL} ) # gpdebug : modif ici et ligne d'apres
69extSuiviListes=`echo ${ficParam} | sed 's;\.[[:alnum:]]*$;;' `
70
71##### gpdebug : fin #####################################
72
73export JOB_DIR=${TMP_MIGR_DATA}
74export EXE_DIR=${LS_SUBCWD:-${PWD}}
75
76export MonitoringDir="${TMP_MIGR_DATA}/SuiviListes_${extSuiviListes}"
77
78export generalMonitorFile=${MonitoringDir}/general.txt
79export nbSimuFile=${MonitoringDir}/nbSimu.txt
80
81
82if [ "x${IGCM_DEM}" == "x" ]
83then
84    echo "variable IGCM_DEM non renseignee. STOP."
85    exit 1
86fi
87if [ "x${execEveryStep}" == "x1" ]
88then
89    echo "Destruction du repertoire :"
90    echo "${IGCM_DEM}"
91    rm -rf ${IGCM_DEM}
92fi
93
94export IGCM_TMP="${IGCM_DEM}/tmp" 
95# INPUT_DMF_DATA, positionnee par le load_ipslPack_env.sh, sert pour pour PATH_SIMUL_SHORT dans create_config_card.sh
96
97export clean_tmp=${clean_tmp:-yes}
98export DEM_LOG=${JOB_DIR}/dem_${LSB_JOBID:-${$}}.log
99export LOG_LEV=0
100export FileParam=${LISTE_SIMUL} # gpdebug : pour appel (dans DEM_utilities.sh) a showListsProgress.sh
101export FatherPID=$$ # gpdebug : pour appel (dans DEM_utilities.sh) a showListsProgress.sh
102
103source ${EXE_DIR}/DEM_utilities.sh
104
105# gpdebug : prepare le fichier de suivi de la progression
106prepareMonitoringDir
107
108# gpdebug : Execute la function errorReceive() si reception d'un signal TERM
109trap 'DEM_errorReceive' TERM ########
110
111# gpdebug : liste des processus à détruire en cas d'erreur bloquante
112export listPID=$$ ########
113
114# gpdebug : fichier pour la transmission des messages d'erreur d'un fils au prog principal
115export errorMsgFile="${TMP_MIGR_DATA}/errorMsg.txt" ########
116
117DEM_log -0 "Demarrage de ${SCRIPT_NAME}"
118
119mkdir -p ${IGCM_DEM}
120mkdir -p ${IGCM_TMP}
121
122rm -rf ${IGCM_TMP}/tmp/*
123rm -f ${DEM_LOG}
124
125# 0- on cree le listing correspondant au fichier param
126# on efface les tests precedents
127
128for DIR in $( awk '{print $0}' ${LISTE_SIMUL} ) ; do
129    eval DIR_FINAL=$DIR
130    ./create_listing.sh $DIR_FINAL
131done
132
133LISTE_DMNFS=${IGCM_DEM}/Listing.txt
134
135
136# 1- A partir de param_list - on recherche l'ensemble des simulations a packer
137# la liste creee (liste_simul_$1) est stockee dans $SCRATCHDIR/IGCM_DEM
138
139${EXE_DIR}/find_directory_simul.sh ${LISTE_SIMUL} ${LISTE_DMNFS}
140
141
142# 2- Pour chacune des simulations listees on cree un fichier config.card correspondant
143# ces fichiers seront stockes dans ${IGCM_DEM}/arborescence/
144# un fichier recapitulatif des fichiers config.card (config_card.liste) crees sera stocke dans ${IGCM_DEM}
145
146${EXE_DIR}/create_config_card.sh ${IGCM_DEM}/liste_simul_${LISTE_SIMUL_NAME}  ${LISTE_DMNFS}
147
148#3- recherche de la taille ideale de pack pour chacune des simulations - puis creation des listes
149
150for CONFIG in $( awk '{print $1}' ${IGCM_DEM}/config_card.liste ) ; do
151    DEM_log -2 ${CONFIG}
152
153    eval $(grep IGCM_DEM_SIMU ${CONFIG})
154    ${EXE_DIR}/calcul_size_simul.sh ${CONFIG} ${LISTE_DMNFS}
155
156    DEM_state=$( DEM_read_state ${IGCM_DEM}/config_card.liste ${CONFIG} )
157    if [[ "${DEM_state}" != "WriteListTarDone" ]] ; then
158
159        DEM_log -3  "la simulation est superieur a 1Go alors on pack"
160        ${EXE_DIR}/find_size_pack.sh   ${CONFIG} ${LISTE_DMNFS}
161        ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS}
162        ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS}
163        ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS}
164
165    fi
166done
167####################################################################
168
169DEM_log -0 "Fin de ${SCRIPT_NAME}"
Note: See TracBrowser for help on using the repository browser.