source: TOOLS/PACK_IPSL/parallelPack.sh @ 1900

Last change on this file since 1900 was 1900, checked in by aclsce, 11 years ago

Modified to write log files in TMP_MIGR_DATA directory (instead of current directory)

  • Property svn:executable set to *
File size: 9.0 KB
Line 
1#!/bin/bash
2
3function insertDirectives
4{
5   
6    local batchFile="launch_and_measureTime.sh"
7    local lineBeginMutableDrves=`grep -n "batch directives : begin" $batchFile | awk -F":" '{print $1}' `
8    local lineHeaderMutableDrves=`grep -n "mutable directives" $batchFile | awk -F":" '{print $1}' `
9    local lineEndMutableDrves=`grep -n "batch directives : end" $batchFile | awk -F":" '{print $1}' `
10    if [ "x${lineBeginMutableDrves}" == "x" ] || [ "x${lineHeaderMutableDrves}" == "x" ] || [ "x${lineEndMutableDrves}" == "x" ]
11    then
12        echo "Examen du fichier $batchFile :"
13        echo "Il manque les balises commentees 'mutable directives' et 'batch directives : end' "
14        exit 1
15    fi
16   
17    # echo "lineHeaderMutableDrves=$lineHeaderMutableDrves"
18    # echo "lineEndMutableDrves=$lineEndMutableDrves"
19   
20    if [ $lineHeaderMutableDrves -ge $lineEndMutableDrves ]
21    then
22       echo "Examen du fichier $batchFile :"
23       echo "les lignes 'mutable directives' et 'batch directives : end' n'existent pas ou ne sont"
24       echo "pas bien placees l'une par rapport a l'autre ==> STOP."
25       exit 1
26    fi
27   
28    # Suppression des anciennes directives
29    local firstLineToMove=$(( $lineHeaderMutableDrves + 1 ))
30    local lastLineToMove=$(( $lineEndMutableDrves - 1 ))
31    if [ $firstLineToMove -lt $lineEndMutableDrves ]
32    then
33        sed -i "${firstLineToMove},${lastLineToMove}d" $batchFile
34    fi
35       
36    # insertion des directives chargees a partir de "load_batch_directives.sh"
37    local lineEndMutableDrves=`grep -n "batch directives : end" $batchFile | awk -F":" '{print $1}' `
38    sed -i "${lineEndMutableDrves}i\#MSUB -Qos $QosType" $batchFile
39    sed -i "${lineEndMutableDrves}i\#MSUB -q $queueType" $batchFile
40    sed -i "${lineEndMutableDrves}i\#MSUB -A $projectName" $batchFile
41    sed -i "${lineEndMutableDrves}i\#MSUB -T $computationTime" $batchFile
42    sed -i "${lineEndMutableDrves}i\#MSUB -n $nbProcs" $batchFile
43   
44    # insertion des directives specifiant les sorties des operations de pack
45    sed -i "${lineEndMutableDrves}i\#MSUB -e ${DETAILLED_OUTPUT}/pack_ipsl_%I.e" $batchFile
46    sed -i "${lineEndMutableDrves}i\#MSUB -o ${DETAILLED_OUTPUT}/pack_ipsl_%I.o" $batchFile
47
48}
49
50function check_machine
51{
52    local host_name=`hostname `
53    local isMachineTitane=`echo $host_name | grep "titane" | wc -l `
54    local isMachineCurie=`echo $host_name | grep "curie" | wc -l `
55   
56    if [ "x${isMachineTitane}" == "x0" ] && [ "x${isMachineCurie}" == "x0" ]
57    then
58        echo "Ce programme doit etre lance a partir 'curie' ou 'titane'. STOP."
59        exit 1
60    fi
61
62}
63
64function check_glost_launch
65{
66    local file_exec='glost_launch'
67    if [ ! -e $file_exec ]
68    then
69        echo "Il n'y a pas l'executable glost_launch."
70        echo "Vous devez compiler l'outil via make. "
71        exit 1
72    fi
73}
74
75function checkParameters
76{
77    isCheckVarOK=`echo $doYouWantCheck | grep -E '^(yes|no)$' | wc -l `
78    if [ "x${isCheckVarOK}" == "x0" ]
79    then
80        echo "La variable 'doYouWantCheck' doit etre yes ou no"
81        exit 1
82    fi
83   
84    isRestartVarOK=`echo $forceRestartFromBegin | grep -E '^(yes|no)$' | wc -l `
85    if [ "x${isRestartVarOK}" == "x0" ]
86    then
87        echo "La variable 'forceRestartFromBegin' doit etre yes ou no"
88        exit 1
89    fi
90}
91
92
93function getNumeroOfPreviousTry
94{
95   local num_try="0"
96   ici=$PWD
97   cd $USER_OUTPUT_PROGRESS
98   
99   tryDirs=`ls | grep -e 'TRY__[[:digit:]]\{1,2\}$' `
100   for dir in $tryDirs
101   do
102      num=`echo $dir | awk -F"__" '{print $NF}' `
103      if [ $num -gt $num_try ]
104      then
105          num_try=$num 
106      fi
107   done 
108   cd $ici
109   echo $num_try
110   
111}
112
113# indique si l'on recommence les traitement depuis le debut ou non
114restartExecFromZero=0
115
116# indique si l'on veut effacer les fichiers d'entrée ou non
117deleteFiles=0
118
119# On charge les variables d'environnement
120. load_ipslPack_env.sh
121
122# On charge les directives batch
123. load_batch_directives.sh
124
125# On charge les parametres
126. loadParameters.sh
127
128checkParameters
129
130if [ "x${forceRestartFromBegin}" == "xyes" ]
131then
132     restartExecFromZero=1
133fi
134
135
136# on verifie que la machine est 'curie' ou 'titane'
137check_machine
138
139
140
141# on verifie que l outil glost a bien ete compile
142check_glost_launch
143
144
145########  pour option -f #############
146while [ $# -gt 0 ]
147do
148   echo "boucle sur les arguments du script ..."
149   echo "@=$@"
150   case $1 in
151   -f)  restartExecFromZero=1
152        echo "force restart from the beginning ..."
153        ;;
154   -d)  deleteFiles=1
155        echo "force to delete input files ..."
156        ;;
157   -h|--help|-help)
158        echo "---------------------------------------------------"
159        echo "Usage: parallelPack.sh [-f]"
160        echo "Description:"
161        echo "   Launches the simultaneous treatments (ncrcat, tar, cap) of"
162        echo "   file lists contained in the IGCM_DEM directory."
163        echo "   In case of machine crash, this script handle restarts from the point"
164        echo "   the machine crashed."
165        echo
166        echo "Options:"
167        echo "   -h, --help, -help"
168        echo "        Print this manual"
169        echo "   -f"
170        echo "        Force to restart the treatments from the beginning"
171        echo "   -d"
172        echo "       force to delete input files ... "
173        echo "---------------------------------------------------"
174        exit
175        ;;
176   esac
177   shift
178done
179export restartExecFromZero=${restartExecFromZero}
180export deleteFiles=${deleteFiles}
181######################################
182
183#########  On insert les directives batch en en-tete du script "launch_and_measureTime.sh"         ##########
184#########  lance plus loin. Seules les directives de nom du job et de sorties restent inchangees   ##########
185
186insertDirectives
187
188# exit 0 # gpdebug : a virer
189
190# export inputCmd="${USER_OUTPUT_PROGRESS}/inputCmd.list"
191# export nextInputCmd="${USER_OUTPUT_PROGRESS}/nextInputCmd.list"
192# export output="${USER_OUTPUT_PROGRESS}/packOutput.log"
193# export reportFile="${USER_OUTPUT_PROGRESS}/report.log"
194
195########## Si l'option -f est activee, on detruit tous les fichiers status  ##########
196if [ "x$restartExecFromZero" == "x1" ]
197then
198    echo "Deleting  all status files ..."
199    for CONFIG in $( awk '{print $1}' ${IGCM_DEM}/config_card.liste )
200    do
201       PATH_SIMU=$( dirname $CONFIG )
202       ListStatFileInSimu=`find $PATH_SIMU -type f -name "*status" `
203       if [ "x$ListStatFileInSimu" != "x" ]
204       then
205           for file in $ListStatFileInSimu
206           do
207              if [ -e $file ]
208              then
209                 rm -f $file
210              fi
211       
212           done     
213       fi   
214    done
215    echo "Deletion done."
216fi
217
218
219# Par ailleurs, on vide les fichiers de cmds, d'output et de rapport si option -f activee
220if [ "x${restartExecFromZero}" == "x1" ]
221then
222    rm -rf ${USER_OUTPUT_PROGRESS}/TRY__*
223fi
224
225# exit 0 # a virer
226
227#####################################################################################
228
229export JOB_DIR=${TMP_MIGR_DATA}
230export EXE_DIR=${LS_SUBCWD:-${PWD}}
231source ${EXE_DIR}/DEM_utilities.sh
232
233############## gpdebug : Pour gestion des erreurs #########################################
234# Execute la function errorReceive() si reception d'un signal TERM
235trap 'DEM_errorReceive' TERM
236# liste des processus à détruire en cas d'erreur bloquante
237export listPID=$$
238# fichier pour la transmission des messages d'erreur d'un fils au prog principal
239export errorMsgFile="${TMP_MIGR_DATA}/errorMsg.txt"
240############## gpdebug : fin ##############################################################
241
242check_nco_version # verification de la version de nco #######################
243check_libccc_user # verif que le module libccc_user est charge ##############
244check_cdo         # verif que le module cdo est charge ######################
245
246# exit 0 # a virer
247
248export badFailureFile=${USER_OUTPUT_PROGRESS}/badFailure.txt
249> $badFailureFile # nouvel essai, on vide le fichier d'erreur
250tryNumFile=${USER_OUTPUT_PROGRESS}/numero_current_try.txt
251numPreviousTry=$( getNumeroOfPreviousTry )
252# echo "numPreviousTry=$numPreviousTry"
253numNewTry=$(( $numPreviousTry + 1 ))
254
255
256# Pas de 4eme essai permis
257# ----------------------------
258if [ $numNewTry -ge 3 ]
259then
260    echo "Pas de 3eme essai permis"
261    exit 1
262fi
263
264# echo "numNewTry=$numNewTry"
265mkdir -p ${USER_OUTPUT_PROGRESS}/TRY__${numNewTry}
266echo $numNewTry > $tryNumFile
267
268# exit 0 # a virer
269
270
271
272export timeLaunchStartFile="${USER_OUTPUT_PROGRESS}/timeLaunchStartFile.txt"
273> $timeLaunchStartFile
274startTime=$( getDateMilliSeconds )
275echo "launch time:$startTime" > $timeLaunchStartFile
276
277export timeEndFile="${USER_OUTPUT_PROGRESS}/timeEndFile.txt"
278> $timeEndFile
279
280SCRIPT_NAME=$(basename ${0} )
281
282DEM_log -0 "Demarrage de ${SCRIPT_NAME}"
283
284# ccc_msub -A tgcc0013 launch_and_measureTime.sh
285ccc_msub launch_and_measureTime.sh
286
287tpsAvantRendreLaMain=15
288
289elapsedTime=0
290while [ $elapsedTime -lt $tpsAvantRendreLaMain ]
291do
292    sleep 5
293    elapsedTime=$(( $elapsedTime + 5 ))
294    isFailureFileEmpty=`cat $badFailureFile | wc -l `
295    if [ "x${isFailureFileEmpty}" != "x0" ]
296    then
297       sleep 2 # on attend que le fichier soit correctement rempli
298       cat $badFailureFile
299       exit 0
300    fi
301done
302
303if [ ${elapsedTime} -ge $tpsAvantRendreLaMain ]
304then
305    echo "Les $tpsAvantRendreLaMain sec sont ecoulees, les traitements continuent..."
306fi
307
308
309DEM_log -0 "Fin de ${SCRIPT_NAME}"
310
Note: See TracBrowser for help on using the repository browser.