source: trunk/libIGCM/libIGCM_sys/libIGCM_sys_mercurex9.ksh @ 437

Last change on this file since 437 was 437, checked in by sdipsl, 13 years ago

Send mail notification when computing job stops
It could be that we send a notification if a post-processing job stops in PROD mode ---> need some refactoring and caution...
  • Property svn:keywords set to Revision Author Date
File size: 35.2 KB
Line 
1#!/bin/ksh
2
3#**************************************************************
4# Author: Sebastien Denvil, Martial Mancip
5# Contact: Sebastien.Denvil__at__ipsl.jussieu.fr
6# $Revision::                                          $ Revision of last commit
7# $Author::                                            $ Author of last commit
8# $Date::                                              $ Date of last commit
9# IPSL (2006)
10#  This software is governed by the CeCILL licence see libIGCM/libIGCM_CeCILL.LIC
11# History:
12# Modification:
13#
14#**************************************************************
15
16#=========================================================
17# The documentation of this file can be automatically generated
18# if you use the prefix #D- for comments to be extracted.
19# Extract with command: cat lib* | grep "^#D-" | cut -c "4-"
20#=========================================================
21
22#D-#==================================================
23#D-LibIGCM_sys for Mercure SX9
24#D-#==================================================
25#D-
26#D- This ksh library if a layer under some usefull
27#D-environment variables and shell commands.
28#D-All those definitions depend on host particularities.
29#D-It manages a stack mechanism and test validity of operations.
30#D-All function described bellow must be prefixed by IGCM_sys.
31
32#====================================================
33# libIGCM_sys PARAMETERS
34#====================================================
35
36# gawk specific location on SX9
37export PATH=/applications/gawk-3.0.4/bin:${PATH}
38
39#====================================================
40# set DEBUG_sys to true to output calls of function
41typeset -r DEBUG_sys=${DEBUG_sys:=true}
42
43#====================================================
44# Turn in dry run mode ? (sys_Put_Rest, sys_Put_Out, sys_Get)
45typeset -r DRYRUN=${DRYRUN:=0}
46
47# YOU MUST COMPILE YOUR EXE FILES FOR DRYRUN MODE !
48# -------------------------------------------------------------------------------------
49# | DRYRUN=  |  Date computations, | sys_Get    |  Exe    | sys_Put_Out; sys_Put_Rest |
50# |          |  Cp/Exe param files |            |  Chmod  |                           |
51# |          |      Qsub           |            |         |                           |
52# -------------------------------------------------------------------------------------
53# |    0     |       yes           |    yes     |  yes    |      yes                  |
54# -------------------------------------------------------------------------------------
55# |    1     |       yes           |    yes     |  yes    |      no                   |
56# -------------------------------------------------------------------------------------
57# |    2     |       yes           |    yes     |  no     |      no                   |
58# -------------------------------------------------------------------------------------
59# |    3     |       yes           |    no      |  no     |      no                   |
60# -------------------------------------------------------------------------------------
61
62#=====================================================
63# Global Variables :
64#=====================================================
65# Language : "fr" or "en"
66typeset -r MYLANG="fr"
67
68#=====================================================
69# Host and user names
70# $hostname ou hostname
71typeset  HOST=${HOST:=$( hostname )}
72# $username ou whoami
73typeset  LOGIN=${LOGIN:=$( whoami )}
74# $hostname of the MASTER job
75typeset -r MASTER=mercure
76
77#D-
78#D-#==================================================
79#D-Program used in libIGCM
80#D-#==================================================
81
82# rsync with path
83typeset -r RSYNC=/home/cont003/p86denv/SX_RSYNC/bin/rsync
84# RSYNC_opt args to rsync
85typeset -r RSYNC_opt="-va"
86# ie storage filesystem
87typeset -r RHOST=mercure
88
89#====================================================
90# Host specific DIRECTORIES
91#====================================================
92
93#====================================================
94#- R_EXE   (==> BIN_DIR = ${MODIPSL}/bin )
95typeset -r R_EXE="${MODIPSL}/bin"
96
97#====================================================
98#- SUBMIT_DIR : submission dir
99typeset SUBMIT_DIR=${SUBMIT_DIR:=${PBS_O_WORKDIR}}
100
101#====================================================
102#- ARCHIVE
103typeset -r ARCHIVE=${DMFDIR}
104
105# ============ CESIUM START ============ #
106
107#====================================================
108#- Mirror libIGCM from mercure to cesium if needed
109ROOTSYS=$( echo ${libIGCM} | gawk -F"/" '{print $2}' )
110if [ ! ${ROOTSYS} = "home" ] ; then
111    typeset -r MirrorlibIGCM=${MirrorlibIGCM:=true}
112else
113    typeset -r MirrorlibIGCM=${MirrorlibIGCM:=false}
114fi
115
116#====================================================
117#- libIGCM_POST
118if ( ${MirrorlibIGCM} ) ; then
119    PATHlibIGCM=$( echo ${libIGCM} | gawk -F"${LOGIN}/" '{print $2}' | sed -e "s&/libIGCM&&" )
120    typeset -r libIGCM_POST=${HOME}/MIRROR/${PATHlibIGCM}/libIGCM
121else
122    typeset -r libIGCM_POST=${libIGCM}
123fi
124
125# ============ CESIUM  END  ============ #
126
127#====================================================
128#- MirrorlibIGCM uncomment for frontend
129#typeset -r MirrorlibIGCM=${MirrorlibIGCM:=false}
130
131#====================================================
132#- libIGCM_POST uncomment for frontend
133#typeset -r libIGCM_POST=${libIGCM}
134
135#====================================================
136#- IN
137typeset -r R_IN=${R_IN:=/dmnfs/cont003/p86ipsl/IGCM}
138typeset -r R_IN_ECMWF=${R_IN:=/dmnfs/cont003/p24data}
139
140#====================================================
141#- OUT
142typeset -r R_OUT=${ARCHIVE}/IGCM_OUT
143
144#====================================================
145#- OUT_POST
146typeset -r R_OUT_POST=${SCRATCHDIR}/IGCM_OUT
147
148#====================================================
149#- RUN_DIR_PATH : Temporary working directory (=> TMP)
150typeset -r RUN_DIR_PATH=${RUN_DIR_PATH:=${LOCALTMPDIR}}
151
152#====================================================
153#- BIG_DIR : BIG_DIR to store files waiting for rebuild
154typeset -r BIG_DIR=${BIG_DIR:=${SCRATCHDIR}/REBUILD}
155
156#====================================================
157#- HOST_MPIRUN_COMMAND
158typeset -r HOST_MPIRUN_COMMAND=${HOST_MPIRUN_COMMAND:="mpirun"}
159
160#====================================================
161#- Max number of arguments passed to nco operator or demigration command
162UNIX_MAX_LIMIT=360
163
164#D-#==================================================
165#D-function IGCM_sys_RshArchive
166#D-* Purpose: Archive rsh command
167#D-* Examples:
168#D-
169function IGCM_sys_RshArchive {
170    IGCM_debug_PushStack "IGCM_sys_RshArchive" $@
171    /bin/ksh <<-EOF
172${@}
173EOF
174    if [ $? -gt 0 ] ; then
175        echo "IGCM_sys_RshArchive : erreur."
176        IGCM_debug_Exit "IGCM_sys_RshArchive"
177    fi
178    IGCM_debug_PopStack "IGCM_sys_RshArchive"
179}
180
181#D-#==================================================
182#D-function IGCM_sys_RshPost
183#D-* Purpose: Post-process rsh command
184#D-* Examples:
185#D-
186function IGCM_sys_RshPost {
187    IGCM_debug_PushStack "IGCM_sys_RshPost" $@
188    if ( $DEBUG_sys ) ; then
189        echo "IGCM_sys_RshPost :" $@
190    fi
191
192# ============ CESIUM START ============ #
193    typeset NB_ESSAI DELAI status i
194    # keep standard input for the loop onto temporary file
195    cat >tmp_IGCM_sys_RshPost_$$
196    # number of tentative
197    NB_ESSAI=10
198    # time delay between tentative
199    DELAI=10
200    (( i = 0 ))
201    while [ $i -lt $NB_ESSAI ] ; do
202        ssh -t mercure01 ssh cesium /bin/ksh <tmp_IGCM_sys_RshPost_$$
203        status=$?
204        if [ ${status} -gt 0 ]; then
205            IGCM_debug_Print 2 "IGCM_sys_RshPost : ssh failed ${i}/${NB_ESSAI}"
206            IGCM_debug_Print 2 "IGCM_sys_RshPost : sleep ${DELAI} seconds and try again."
207            sleep $DELAI
208        else
209            break
210        fi
211        (( i = i + 1 ))
212    done 
213    # delete temporary file
214    /bin/rm tmp_IGCM_sys_RshPost_$$
215# ============ CESIUM  END  ============ #
216
217# Uncomment for frontend
218#    /bin/ksh ${@}
219#    if [ $? -gt 0 ] ; then
220#       echo "IGCM_sys_RshPost : erreur."
221#       IGCM_debug_Exit "IGCM_sys_RshPost"
222#    fi
223
224    IGCM_debug_PopStack "IGCM_sys_RshPost"
225}
226
227#D-#==================================================
228#D-function IGCM_sys_SendMail
229#D-* Purpose: Send mail when simulation is over
230#D-* Examples:
231#D-
232function IGCM_sys_SendMail {
233    IGCM_debug_PushStack "IGCM_sys_SendMail" $@
234    if ( $DEBUG_sys ) ; then
235        echo "IGCM_sys_SendMail :" $@
236    fi
237
238    if ( ${ExitFlag} ) ; then
239        status=FAILED
240        cat  << END_MAIL > job_end.mail
241Dear ${LOGIN},
242
243  Simulation ${config_UserChoices_JobName} failed on supercomputer `hostname`.
244  Job started : ${PeriodDateBegin}
245  Job ended   : ${PeriodDateEnd}
246  Output files are available in ${R_SAVE}
247  Script files, Script Outputs and Debug files are available in ${SUBMIT_DIR}
248END_MAIL
249    else
250        status=COMPLETED
251        cat  << END_MAIL > job_end.mail
252Dear ${LOGIN},
253
254  Simulation ${config_UserChoices_JobName} is finished on supercomputer `hostname`.
255  Job started : ${DateBegin}
256  Job ended   : ${DateEnd}
257  Output files are available in ${R_SAVE}
258  Script files and Script Outputs are available in ${SUBMIT_DIR}
259END_MAIL
260    fi
261
262    if  [ X"${config_UserChoices_MailName}" != X ] ; then
263       mailx -s "${config_UserChoices_JobName} ${status}" ${config_UserChoices_MailName} <  job_end.mail
264    elif [ -f ~/.forward ] ; then
265       mailx -s "${config_UserChoices_JobName} ${status}" $( cat ~/.forward ) < job_end.mail
266    else
267       mailx -s "${config_UserChoices_JobName} ${status}" ${LOGIN} < job_end.mail
268    fi
269
270    if [ $? -gt 0 ] ; then
271        echo "IGCM_sys_SendMail : erreur."
272        IGCM_debug_Exit "IGCM_sys_SendMail"
273    fi
274    IGCM_debug_PopStack "IGCM_sys_SendMail"
275}
276
277#D-#==================================================
278#D-function IGCM_sys_Mkdir
279#D-* Purpose: Master locale mkdir command
280#D-* Examples:
281#D-
282function IGCM_sys_Mkdir {
283    IGCM_debug_PushStack "IGCM_sys_Mkdir" $@
284    if ( $DEBUG_sys ) ; then
285        echo "IGCM_sys_Mkdir :" $@
286    fi
287    if [ ! -d ${1} ]; then
288        \mkdir -p $1
289        if [ $? -gt 0 ] ; then
290            echo "IGCM_sys_Mkdir : erreur."
291            IGCM_debug_Exit "IGCM_sys_Mkdir"
292        fi
293    fi
294    # vérification :
295    if [ ! -d ${1} ] ; then
296        echo "IGCM_sys_Mkdir : erreur."
297        IGCM_debug_Exit "IGCM_sys_Mkdir"
298    fi
299    IGCM_debug_PopStack "IGCM_sys_Mkdir"
300}
301
302#D-#==================================================
303#D-function IGCM_sys_MkdirArchive
304#D-* Purpose: Mkdir on Archive
305#D-* Examples:
306#D-
307function IGCM_sys_MkdirArchive {
308    IGCM_debug_PushStack "IGCM_sys_MkdirArchive" $@
309    if ( $DEBUG_sys ) ; then
310        echo "IGCM_sys_MkdirArchive :" $@
311    fi
312    #- creation de repertoire sur le serveur fichier
313    if [ ! -d ${1} ]; then 
314        \mkdir -p $1
315        if [ $? -gt 0 ] ; then
316            echo "IGCM_sys_MkdirArchive : erreur."
317            IGCM_debug_Exit "IGCM_sys_MkdirArchive"
318        fi
319    fi
320    IGCM_debug_PopStack "IGCM_sys_MkdirArchive"
321}
322
323#D-#==================================================
324#D-function IGCM_sys_MkdirWork
325#D-* Purpose: Mkdir on Work
326#D-* Examples:
327#D-
328function IGCM_sys_MkdirWork {
329    IGCM_debug_PushStack "IGCM_sys_MkdirWork" $@
330    if ( $DEBUG_sys ) ; then
331        echo "IGCM_sys_MkdirWork :" $@
332    fi
333    #- creation de repertoire sur le serveur fichier
334    if [ ! -d ${1} ]; then 
335        \mkdir -p $1
336        if [ $? -gt 0 ] ; then
337            echo "IGCM_sys_MkdirWork : erreur."
338            IGCM_debug_Exit "IGCM_sys_MkdirWork"
339        fi
340    fi
341    IGCM_debug_PopStack "IGCM_sys_MkdirWork"
342}
343
344#D-#==================================================
345#D-function IGCM_sys_Cd
346#D-* Purpose: master cd command
347#D-* Examples:
348#D-
349function IGCM_sys_Cd {
350    IGCM_debug_PushStack "IGCM_sys_Cd" $@
351    if ( $DEBUG_sys ) ; then
352        echo "IGCM_sys_Cd :" $@
353    fi
354    \cd $1
355    if [ $? -gt 0 ] ; then
356        echo "IGCM_sys_Cd : erreur."
357        IGCM_debug_Exit "IGCM_sys_Cd"
358    fi
359    IGCM_debug_PopStack "IGCM_sys_Cd"
360}
361
362#D-#==================================================
363#D-function IGCM_sys_Chmod
364#D-* Purpose: Chmod
365#D-* Examples:
366#D-
367function IGCM_sys_Chmod {
368    IGCM_debug_PushStack "IGCM_sys_Chmod" -- $@
369    if ( $DEBUG_sys ) ; then
370        echo "IGCM_sys_Chmod :" $@
371    fi
372    if [ $DRYRUN -le 1 ]; then
373        \chmod $@
374        if [ $? -gt 0 ] ; then
375            echo "IGCM_sys_Chmod : erreur."
376            IGCM_debug_Exit "IGCM_sys_Chmod"
377        fi
378    else
379        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
380    fi
381    IGCM_debug_PopStack "IGCM_sys_Chmod"
382}
383
384#D-#==================================================
385#D-function IGCM_sys_FileSize
386#D-* Purpose: Filesize
387#D-* Examples:
388#D-
389function IGCM_sys_FileSize {
390    IGCM_debug_PushStack "IGCM_sys_FileSize" $@
391
392    typeset sizeF
393    set +A sizeF -- $( ls -la ${1} )
394    if [ $? -gt 0 ] ; then
395        IGCM_debug_Exit "IGCM_sys_FileSize"
396    fi
397    eval ${2}=${sizeF[4]}
398
399    IGCM_debug_PopStack "IGCM_sys_FileSize"
400}
401
402#D-#==================================================
403#D-function IGCM_sys_TestDir
404#D-* Purpose: Test Directory that must exists
405#D-* Examples:
406#D-
407function IGCM_sys_TestDir {
408    IGCM_debug_PushStack "IGCM_sys_TestDir" $@
409    if ( $DEBUG_sys ) ; then
410        echo "IGCM_sys_TestDir :" $@
411    fi
412    typeset ExistFlag
413    ExistFlag=$( [ -d $1 ] && echo 0 || echo 1 )
414    IGCM_debug_PopStack "IGCM_sys_TestDir"
415
416    return ${ExistFlag}
417}
418
419#D-#==================================================
420#D-function IGCM_sys_TestDirArchive
421#D-* Purpose: Test Directory that must exists on Archive
422#D-* Examples:
423#D-
424function IGCM_sys_TestDirArchive {
425    IGCM_debug_PushStack "IGCM_sys_TestDirArchive" $@
426    if ( $DEBUG_sys ) ; then
427        echo "IGCM_sys_TestDirArchive :" $@
428    fi
429    typeset ExistFlag
430    ExistFlag=$( [ -d $1 ] && echo 0 || echo 1 )
431    IGCM_debug_PopStack "IGCM_sys_TestDirArchive"
432
433    return ${ExistFlag}
434}
435
436#D-#==================================================
437#D-function IGCM_sys_TestFileArchive
438#D-* Purpose: Test file that must NOT EXISTS on Archive
439#D-* Examples:
440#D-
441function IGCM_sys_TestFileArchive {
442    IGCM_debug_PushStack "IGCM_sys_TestFileArchive" $@
443    typeset ExistFlag
444    ExistFlag=$( [ -f $1 ] && echo 0 || echo 1 )
445    IGCM_debug_PopStack "IGCM_sys_TestFileArchive"
446
447    return ${ExistFlag}
448}
449
450#D-#==================================================
451#D-function IGCM_sys_CountFileArchive
452#D-* Purpose: Count files on Archive filesystem
453#D-* Examples:
454#D-
455function IGCM_sys_CountFileArchive {
456    IGCM_debug_PushStack "IGCM_sys_CountFileArchive" $@
457    ls ${@} 2>/dev/null | wc -l
458    if [ $? -gt 0 ] ; then
459        echo "IGCM_sys_CountFileArchive : erreur."
460    fi
461    IGCM_debug_PopStack "IGCM_sys_CountFileArchive"
462}
463
464#D-#==================================================
465#D-function IGCM_sys_Tree
466#D-* Purpose: Tree directories with files on ${ARCHIVE}
467#D-* Examples: IGCM_sys_Tree ${R_IN} ${R_OUT}
468#D-
469function IGCM_sys_Tree {
470    IGCM_debug_PushStack "IGCM_sys_Tree" $@
471    if ( $DEBUG_sys ) ; then
472        echo "IGCM_sys_Tree :" $@
473    fi
474
475    \ls -lR ${@}
476
477    IGCM_debug_PopStack "IGCM_sys_Tree"
478}
479
480#D-#==================================================
481#D-function IGCM_sys_Tar
482#D-* Purpose: master un-tar command
483#D-* Examples:
484#D-
485function IGCM_sys_Tar {
486    IGCM_debug_PushStack "IGCM_sys_Tar" $@
487    if ( $DEBUG_sys ) ; then
488        echo "IGCM_sys_Tar :" $@
489    fi
490    \tar xvf $1
491    if [ $? -gt 0 ] ; then
492        echo "IGCM_sys_Tar : erreur."
493        IGCM_debug_Exit "IGCM_sys_Tar"
494    fi
495    IGCM_debug_PopStack "IGCM_sys_Tar"
496}
497
498#D-#==================================================
499#D-function IGCM_sys_UnTar
500#D-* Purpose: master un-tar command
501#D-* Examples:
502#D-
503function IGCM_sys_UnTar {
504    IGCM_debug_PushStack "IGCM_sys_UnTar" $@
505    if ( $DEBUG_sys ) ; then
506        echo "IGCM_sys_UnTar :" $@
507    fi
508    \tar xvf $1
509    if [ $? -gt 0 ] ; then
510        echo "IGCM_sys_UnTar : erreur."
511        IGCM_debug_Exit "IGCM_sys_UnTar"
512    fi
513    IGCM_debug_PopStack "IGCM_sys_UnTar"
514}
515
516#D-#==================================================
517#D-function IGCM_sys_Qsub
518#D-* Purpose: Qsub new job
519#D-* Examples:
520#D-
521function IGCM_sys_Qsub {
522    IGCM_debug_PushStack "IGCM_sys_Qsub" $@
523    if ( $DEBUG_sys ) ; then
524        echo "IGCM_sys_Qsub :" $@
525    fi
526    /usr/bin/nqsII/qsub -o ${Script_Output} -N ${config_UserChoices_JobName}.${CumulPeriod} < $1
527    if [ $? -gt 0 ] ; then
528        echo "IGCM_sys_Qsub : erreur -o ${Script_Output} -N ${config_UserChoices_JobName}.${CumulPeriod} $@."
529        IGCM_debug_Exit "IGCM_sys_Qsub"
530    fi
531    IGCM_debug_PopStack "IGCM_sys_Qsub"
532}
533
534#D-#==================================================
535#D-function IGCM_sys_QsubPost
536#D-* Purpose: Qsub new job on scalaire
537#D-* Examples:
538#D-
539function IGCM_sys_QsubPost {
540    IGCM_debug_PushStack "IGCM_sys_QsubPost" $@
541    if ( $DEBUG_sys ) ; then
542        echo "IGCM_sys_QsubPost :" $@
543    fi
544    # ============ CESIUM START ============ #
545    typeset NB_ESSAI DELAI status i
546    # number of tentative
547    NB_ESSAI=10
548    # time delay between tentative
549    DELAI=10
550    (( i = 0 ))
551    while [ $i -lt $NB_ESSAI ] ; do
552        /usr/local/bin/ccc_msub -o ${POST_DIR}/${Script_Post_Output}.out -e ${POST_DIR}/${Script_Post_Output}.e.out -E "-v ${listVarEnv}" ${libIGCM_POST}/$1.job
553        status=$?
554        if [ ${status} -gt 0 ];
555        then
556            sleep $DELAI
557        else
558            break
559        fi
560        (( i = i + 1 ))
561    done 
562    # ============ CESIUM  END  ============ #
563    #/usr/bin/nqsII/qsub -o ${POST_DIR}/$1.${PeriodDateEnd}.out ${libIGCM}/$1.job -v ${listVarEnv}
564    if [ $? -gt 0 ] ; then
565        echo "IGCM_sys_QsubPost : erreur " $@
566        IGCM_debug_Exit "IGCM_sys_QsubPost"
567    fi
568    IGCM_debug_PopStack "IGCM_sys_QsubPost"
569}
570
571#D-*************************
572#D- File transfer functions
573#D-*************************
574#D-
575
576#D-#==================================================
577#D-function IGCM_sys_Rsync_out
578#D-* Purpose: treat return val of rsync
579#D-* Examples: IGCM_sys_Rsync_out out_RET_rsync
580#D-  Error values and explanations can depend on your system version.
581function IGCM_sys_Rsync_out {
582    RET=$1
583    if [ ! $RET ] ; then
584        echo "rsync error !"
585    fi
586
587    if [ $MYLANG = "fr" ]; then
588        case $RET in
589            0)  return ;;
590            1)  echo "Erreur de rsync ; RERR_SYNTAX : "
591                echo "Erreur de syntaxe ou d'utilisation."
592                return;;
593            2)  echo "Erreur de rsync ; RERR_PROTOCOL : "
594                echo "Incompatibilité de protocole."
595                return;;
596            3)  echo "Erreur de rsync ; RERR_FILESELECT 3"
597                echo "Erreurs  lors  de  la  sélection des fichiers d'entrée sortie et"
598                echo "répertoires"
599                return;;
600            4)  echo "Erreur de rsync ; RERR_UNSUPPORTED"
601                echo "Action demandée non supportée : une tentative de manipulation de"
602                echo "fichiers  64-bits  sur une plate-forme qui ne les supporte pas a"
603                echo "été faite ; ou une option qui est supportée par le  client  mais"
604                echo "pas par le serveur a été spécifiée."
605                return;;
606            10) echo "Erreur de rsync ; RERR_SOCKETIO"
607                echo "Erreur dans le socket d'entrée sortie"
608                return;;
609            11) echo "Erreur de rsync ; RERR_FILEIO"
610                echo "Erreur d'entrée sortie fichier"
611                return;;
612            12) echo "Erreur de rsync ; RERR_STREAMIO"
613                echo "Erreur dans flux de donnée du protocole rsync"
614                return;;
615            13) echo "Erreur de rsync ; RERR_MESSAGEIO"
616                echo "Erreur avec les diagnostics du programme"
617                return;;
618            14) echo "Erreur de rsync ; RERR_IPC"
619                echo "Erreur dans le code IPC"
620                return;;
621            20) echo "Erreur de rsync ; RERR_SIGNAL"
622                echo "SIGUSR1 ou SIGINT reçu"
623                return;;
624            21) echo "Erreur de rsync ; RERR_WAITCHILD"
625                echo "Une erreur retournée par waitpid()"
626                return;;
627            22) echo "Erreur de rsync ; RERR_MALLOC"
628                echo "Erreur lors de l'allocation des tampons de mémoire de coeur"
629                return;;
630            23) echo ""
631                echo "Erreur fichier inexistant"
632                return;;
633            30) echo "Erreur de rsync ; RERR_TIMEOUT"
634                echo "Temps d'attente écoulé dans l'envoi/réception de données"
635                return;;
636            *)  echo "Erreur de rsync : code de retour de rsync inconnu :" $RET
637                return;;
638        esac
639    elif [ $MYLANG = "en" ] ; then
640        case $RET in
641            0)  return;;               
642            1)  echo "rsync error : Syntax or usage error "
643                return;;
644            2)  echo "rsync error : Protocol incompatibility "
645                return;;
646            3)  echo "rsync error : Errors selecting input/output files, dirs"
647                return;;
648            4)  echo "rsync error : Requested action not supported: an attempt"
649                echo "was made to manipulate 64-bit files on a platform that cannot support"
650                echo "them; or an option was specified that is supported by the client and"
651                echo "not by the server."
652                return;;
653            5)  echo "rsync error : Error starting client-server protocol"
654                return;;
655            10) echo "rsync error : Error in socket I/O "
656                return;;
657            11) echo "rsync error : Error in file I/O "
658                return;;
659            12) echo "rsync error : Error in rsync protocol data stream "
660                return;;
661            13) echo "rsync error : Errors with program diagnostics "
662                return;;
663            14) echo "rsync error : Error in IPC code "
664                return;;
665            20) echo "rsync error : Received SIGUSR1 or SIGINT "
666                return;;
667            21) echo "rsync error : Some error returned by waitpid() "
668                return;;
669            22) echo "rsync error : Error allocating core memory buffers "
670                return;;
671            23) echo "rsync error : Partial transfer due to error"
672                return;;
673            24) echo "rsync error : Partial transfer due to vanished source files"
674                return;;
675            30) echo "rsync error : Timeout in data send/receive "
676                return;;
677            *)  echo "rsync error : return code of rsync unknown :" $RET
678                return;;
679        esac
680    else
681        echo "unknown language $MYLANG."
682        return
683    fi
684}
685   
686
687#D-#==================================================
688#D-function IGCM_sys_Miror_libIGCM
689#D-* Purpose: Mirror libIGCM PATH and lib to cesium
690#D-* Examples:
691#D-
692function IGCM_sys_Mirror_libIGCM {
693    IGCM_debug_PushStack "IGCM_sys_Mirror_libIGCM"
694    if ( $DEBUG_sys ) ; then
695        echo "IGCM_sys_Mirror_libIGCM"
696    fi
697
698    typeset RET DEST
699
700    mkdir -p ${HOME}/MIRROR/${PATHlibIGCM}
701
702    echo ${RSYNC} ${RSYNC_opt} ${libIGCM} ${HOME}/MIRROR/${PATHlibIGCM} > out_rsync 2>&1
703    ${RSYNC} ${RSYNC_opt} ${libIGCM} ${HOME}/MIRROR/${PATHlibIGCM} >> out_rsync 2>&1
704    RET=$?
705
706    if [ ${RET} -gt 0 ] ; then
707        echo "IGCM_sys_Mirror_libIGCM Warning : no libIGCM on cesium."
708        cat out_rsync
709    fi
710    IGCM_debug_PopStack "IGCM_sys_Mirror_libIGCM"
711}
712
713#====================================================
714#- Call IGCM_sys_Mirror_libIGCM now !
715if ( $MirrorlibIGCM ) ; then
716    IGCM_sys_Mirror_libIGCM
717fi
718
719#D-#==================================================
720#D-function IGCM_sys_Cp
721#D-* Purpose: generic cp
722#D-* Examples:
723#D-
724function IGCM_sys_Cp {
725    IGCM_debug_PushStack "IGCM_sys_Cp" $@
726    if ( $DEBUG_sys ) ; then
727        echo "IGCM_sys_Cp :" $@
728    fi
729
730    typeset RET
731
732    echo cp $@ > out_rsync 2>&1
733    \cp $@ >> out_rsync 2>&1
734    RET=$?
735
736    if [ ${RET} -gt 0 ] ; then
737        echo "IGCM_sys_Cp : error."
738        cat out_rsync
739        IGCM_debug_Exit "IGCM_sys_Cp"
740     else
741         \rm out_rsync
742    fi
743    IGCM_debug_PopStack "IGCM_sys_Cp"
744}
745
746#D-#==================================================
747#D-function IGCM_sys_Rm
748#D-* Purpose: generic rm
749#D-* Examples:
750#D-
751function IGCM_sys_Rm {
752    IGCM_debug_PushStack "IGCM_sys_Rm" -- $@
753    if ( $DEBUG_sys ) ; then
754        echo "IGCM_sys_Rm :" $@
755    fi
756
757    typeset RET
758
759    echo rm $@ > out_rsync 2>&1
760    \rm $@ >> out_rsync 2>&1
761    RET=$?
762
763    if [ ${RET} -gt 0 ] ; then
764        echo "IGCM_sys_Rm : error."
765        cat out_rsync
766        IGCM_debug_Exit "IGCM_sys_Rm"
767    else
768        \rm out_rsync
769    fi
770    IGCM_debug_PopStack "IGCM_sys_Rm"
771}
772
773#D-#==================================================
774#D-function IGCM_sys_Mv
775#D-* Purpose: generic move
776#D-* Examples:
777#D-
778function IGCM_sys_Mv {
779    IGCM_debug_PushStack "IGCM_sys_Mv" $@
780    if ( $DEBUG_sys ) ; then
781        echo "IGCM_sys_Mv :" $@
782    fi
783
784    if [ $DRYRUN = 0 ]; then
785
786        typeset RET
787           
788        echo mv $@ > out_rsync 2>&1
789        \mv $@ >> out_rsync 2>&1
790        RET=$?
791   
792        if [ ${RET} -gt 0 ] ; then
793            echo "IGCM_sys_Mv : error in mv."
794            cat out_rsync
795            IGCM_debug_Exit "IGCM_sys_Mv"
796        else
797            \rm out_rsync
798        fi
799    else
800        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
801    fi
802
803    IGCM_debug_PopStack "IGCM_sys_Mv"
804}
805
806#D-#==================================================
807#D-function IGCM_sys_Put_Dir
808#D-* Purpose: Copy a complete directory on $(ARCHIVE)
809#D-* Examples:
810#D-
811function IGCM_sys_Put_Dir {
812    IGCM_debug_PushStack "IGCM_sys_Put_Dir" $@
813    if ( $DEBUG_sys ) ; then
814        echo "IGCM_sys_Put_Dir :" $@
815    fi
816    if [ $DRYRUN = 0 ]; then
817        if [ ! -d ${1} ] ; then
818            echo "WARNING : IGCM_sys_Put_Dir ${1} DOES NOT EXIST ."
819            IGCM_debug_PopStack "IGCM_sys_Put_Dir"
820            return
821        fi
822
823        typeset RET
824
825        # Only if we use rsync
826        #IGCM_sys_TestDirArchive $( dirname $2 )
827        #
828        #USUAL WAY
829        \cp -r $1 $2 > out_rsync 2>&1
830        RET=$?
831
832        if [ ${RET} -gt 0 ] ; then
833            echo "IGCM_sys_Put_Dir : error."
834            cat out_rsync
835            IGCM_debug_Exit "IGCM_sys_Put_Dir"
836        else
837            \rm out_rsync
838        fi
839    else
840        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
841    fi
842    IGCM_debug_PopStack "IGCM_sys_Put_Dir"
843}
844
845#D-#==================================================
846#D-function IGCM_sys_Get_Dir
847#D-* Purpose: Copy a complete directory from $(ARCHIVE)
848#D-* Examples:
849#D-
850function IGCM_sys_Get_Dir {
851    IGCM_debug_PushStack "IGCM_sys_Get_Dir" $@
852    if ( $DEBUG_sys ) ; then
853        echo "IGCM_sys_Get_Dir :" $@
854    fi
855    if [ $DRYRUN = 0 ]; then
856        if [ ! -d ${1} ] ; then
857            echo "WARNING : IGCM_sys_Get_Dir ${1} DOES NOT EXIST ."
858            IGCM_debug_PopStack "IGCM_sys_Get_Dir"
859            return
860        fi
861
862        typeset RET
863
864        # Only if we use rsync
865        #IGCM_sys_TestDirArchive $( dirname $2 )
866        #
867        #USUAL WAY
868        \cp -r $1 $2 > out_rsync 2>&1
869        RET=$?
870
871        if [ ${RET} -gt 0 ] ; then
872            echo "IGCM_sys_Get_Dir : error."
873            cat out_rsync
874            IGCM_debug_Exit "IGCM_sys_Get_Dir"
875        else
876            \rm out_rsync
877        fi
878    else
879        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
880    fi
881    IGCM_debug_PopStack "IGCM_sys_Get_Dir"
882}
883
884#D-#==================================================
885#D-function IGCM_sys_Put_Rest
886#D-* Purpose: Put computied restarts on $(ARCHIVE).
887#D-           File and target directory must exist.
888#D-* Examples:
889#D-
890function IGCM_sys_Put_Rest {
891    IGCM_debug_PushStack "IGCM_sys_Put_Rest" $@
892    if ( $DEBUG_sys ) ; then
893        echo "IGCM_sys_Put_Rest :" $@
894    fi
895    if [ $DRYRUN = 0 ]; then
896        if [ ! -f ${1} ] ; then
897            echo "ERROR : IGCM_sys_Put_Rest ${1} DOES NOT EXIST ."
898            IGCM_debug_Exit "IGCM_sys_Put_Rest"
899        fi
900
901        typeset RET
902        #
903        if [ X${JobType} = XRUN ] ; then
904            IGCM_sys_Chmod 444 ${1}
905        fi
906        #
907        IGCM_sys_TestDirArchive $( dirname $2 )
908        #
909        # USUAL WAY
910        putfer $1 $2 > out_rsync 2>&1
911        RET=$?
912
913#       #RSYNC WITH NETWORK SSH CALL
914#       echo ${RSYNC} ${RSYNC_opt} -e ssh ${RUN_DIR}/$1 ${RHOST}:${2} > out_rsync 2>&1
915#       ${RSYNC} ${RSYNC_opt} -e ssh ${RUN_DIR}/$1 ${RHOST}:${2} >> out_rsync 2>&1
916
917#       #RSYNC WITH NFS USE
918#       echo ${RSYNC} ${RSYNC_opt} ${RUN_DIR}/$1 ${2} > out_rsync 2>&1
919#       ${RSYNC} ${RSYNC_opt} ${RUN_DIR}/$1 ${2} >> out_rsync 2>&1
920
921#       RET=$?
922#       IGCM_sys_Rsync_out $RET
923
924#       ${libIGCM}/libIGCM_sys/IGCM_analyse_rsync_out.awk out_rsync
925#       (( RET=RET+$? ))
926
927        if [ ${RET} -gt 0 ] ; then
928            echo "IGCM_sys_Put_Rest : error."
929            cat out_rsync
930            IGCM_debug_Exit "IGCM_sys_Put_Rest"
931        else
932            \rm out_rsync
933        fi
934    else
935        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
936    fi
937    IGCM_debug_PopStack "IGCM_sys_Put_Rest"
938}
939
940#D-#==================================================
941#D-function IGCM_sys_Put_Out
942#D-* Purpose: Copy a file on $(ARCHIVE) after have chmod it in readonly
943#D-* Examples:
944#D-
945function IGCM_sys_Put_Out {
946    IGCM_debug_PushStack "IGCM_sys_Put_Out" $@
947    if ( $DEBUG_sys ) ; then
948        echo "IGCM_sys_Put_Out :" $@
949    fi
950    if [ $DRYRUN = 0 ]; then
951        if [ ! -f ${1} ] ; then
952            echo "WARNING : IGCM_sys_Put_Out ${1} DOES NOT EXIST ."
953            IGCM_debug_PopStack "IGCM_sys_Put_Out"
954            return 1
955        fi
956        #
957        IGCM_sys_MkdirArchive $( dirname $2 )
958        #
959        typeset RET
960
961        #=====================================================
962        #         COMMENT OUT DOUBLE COPY ON SCRATCHDIR
963        #=====================================================
964
965        #echo ${2} | grep "${R_OUT}" > /dev/null 2>&1
966        #if [ $? -eq 0 ] ; then
967        #    typeset WORKPATH FILEPATH
968        #    WORKPATH=$( dirname $2 | sed -e "s|${R_OUT}|${R_OUT_SCR}|" )
969        #    IGCM_sys_MkdirWork ${WORKPATH}
970        #    FILEPATH=${WORKPATH}/$( basename $2 )
971        #    #
972        #    IGCM_sys_Cp ${1} ${FILEPATH}
973        #fi
974
975        if [ X${JobType} = XRUN ] ; then
976            if [ X${3} = X ] ; then
977                IGCM_sys_Chmod 444 ${1}
978            fi
979        fi
980        #
981        # USUAL WAY
982        putfer $1 $2 > out_rsync 2>&1
983        RET=$?
984
985#       #RSYNC WITH NETWORK SSH CALL
986#       echo ${RSYNC} ${RSYNC_opt} -e ssh ${RUN_DIR}/$1 ${RHOST}:${2} > out_rsync 2>&1
987#       ${RSYNC} ${RSYNC_opt} -e ssh ${RUN_DIR}/$1 ${RHOST}:${2} >> out_rsync 2>&1
988
989#       #RSYNC WITH NFS USE
990#       echo ${RSYNC} ${RSYNC_opt} ${RUN_DIR}/$1 ${2} > out_rsync 2>&1
991#       ${RSYNC} ${RSYNC_opt} ${RUN_DIR}/$1 ${2} >> out_rsync 2>&1
992
993#       RET=$?
994#       IGCM_sys_Rsync_out $RET
995
996#       ${libIGCM}/libIGCM_sys/IGCM_analyse_rsync_out.awk out_rsync
997#       (( RET=RET+$? ))
998
999        if [ ${RET} -gt 0 ] ; then
1000            echo "IGCM_sys_Put_Out : error."
1001            cat out_rsync
1002            IGCM_debug_Exit "IGCM_sys_Put_Out"
1003        else
1004            \rm out_rsync
1005        fi
1006    else
1007        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
1008    fi
1009    IGCM_debug_PopStack "IGCM_sys_Put_Out"
1010    return 0
1011}
1012
1013#D-#==================================================
1014#D-function IGCM_sys_Get
1015#D-* Purpose: Get a file from ${ARCHIVE}
1016#D-* Examples: IGCM_sys_Get myfile /destpath/myfile_with_PREFIX
1017#D-            IGCM_sys_Get /l Array_contain_myfiles /destpath/
1018function IGCM_sys_Get {
1019    IGCM_debug_PushStack "IGCM_sys_Get" $@
1020
1021    typeset DEST RET dm_liste ifile target file_work
1022
1023    if ( $DEBUG_sys ) ; then
1024        echo "IGCM_sys_Get :" $@
1025    fi
1026    if [ $DRYRUN -le 2 ]; then
1027        if [ X${1} = X'/l' ] ; then
1028            # test if the first file is present in the old computation :
1029            eval set +A dm_liste \${${2}}
1030        else
1031            eval set +A dm_liste ${1}
1032        fi
1033        eval DEST=\${${#}}
1034
1035        #=====================================================
1036        #         COMMENT OUT DOUBLE COPY ON SCRATCHDIR
1037        #=====================================================
1038
1039        # Is it an R_OUT file (not R_IN) ?
1040        #echo ${dm_liste[0]} | grep "${R_OUT}" > /dev/null 2>&1
1041        #if [ $? -eq 0 ] ; then
1042        #    # Yes  ? then we try to get it in SCRATCHDIR
1043        #    set +A file_work $( echo ${dm_liste[*]} | sed -e "s|${R_OUT}|${R_OUT_SCR}|" )
1044        #    if [ -f ${file_work[0]} ] ; then
1045        #       IGCM_sys_Cp ${file_work[*]} ${DEST}
1046        #       IGCM_debug_PopStack "IGCM_sys_Get"
1047        #       return
1048        #    fi
1049        #fi
1050
1051        # test if the (first) file is present in the old computation :
1052        IGCM_sys_TestFileArchive ${dm_liste[0]}
1053        RET=$?
1054        if [ ${RET} -gt 0 ] ; then
1055            echo "IGCM_sys_Get, ERROR : regular file ${dm_liste[0]} DOES NOT EXIST ."
1056            IGCM_debug_Exit "IGCM_sys_Get"
1057            IGCM_debug_PopStack "IGCM_sys_Get"
1058            return
1059        fi
1060
1061        dmget ${dm_liste[*]} > out_rsync 2>&1
1062        RET=$?
1063        if [ ${RET} -gt 0 ] ; then
1064            echo "IGCM_sys_Get : demigration error."
1065            cat out_rsync
1066            IGCM_debug_Exit "IGCM_sys_Get"
1067        fi
1068
1069        #USUAL WAY
1070        if [ X${1} = X'/l' ] ; then
1071            (( RET=0 ))
1072            for target in ${dm_liste[*]} ; do
1073                local_file=$( basename ${target} )
1074                \cp ${target} ${DEST}/${local_file} >> out_rsync 2>&1
1075                (( RET = RET + $? ))
1076            done
1077        else
1078            \cp ${dm_liste} ${DEST} >> out_rsync 2>&1
1079            RET=$?
1080        fi
1081
1082#       #RSYNC WITH NETWORK SSH CALL
1083#       echo ${RSYNC} ${RSYNC_opt} -e ssh ${RHOST}:"${dm_liste}" ${RHOST}:${RUN_DIR}/${DEST} > out_rsync 2>&1
1084#       ${RSYNC} ${RSYNC_opt} -e ssh ${RHOST}:"${dm_liste}" ${RHOST}:${RUN_DIR}/${DEST} >> out_rsync 2>&1
1085
1086#       #RSYNC WITH NFS USE
1087#       echo ${RSYNC} ${RSYNC_opt} ${dm_liste} ${RUN_DIR}/${DEST} > out_rsync 2>&1
1088#       ${RSYNC} ${RSYNC_opt} ${dm_liste} ${RUN_DIR}/${DEST} >> out_rsync 2>&1
1089
1090#       RET=$?
1091#       IGCM_sys_Rsync_out $RET
1092
1093#       ${libIGCM}/libIGCM_sys/IGCM_analyse_rsync_out.awk out_rsync
1094#       (( RET=RET+$? ))
1095
1096        if [ ${RET} -gt 0 ] ; then
1097            echo "IGCM_sys_Get : copy error."
1098            cat out_rsync
1099            IGCM_debug_Exit "IGCM_sys_Get"
1100        else
1101            \rm out_rsync
1102        fi
1103    else
1104        ( ${DEBUG_debug} ) && echo "DRYRUN mode = " $DRYRUN >> stack
1105    fi
1106    IGCM_debug_PopStack "IGCM_sys_Get"
1107}
1108
1109############################################################## A FINIR !!
1110
1111#D-#==================================================
1112#D-function IGCM_sys_GetDate_FichWork
1113#D-* Purpose: donne la date filesys d'un fichier sur le filesystem WORK
1114#D-* Examples:
1115#D-
1116function IGCM_sys_GetDate_FichWork {
1117    IGCM_debug_PushStack "IGCM_sys_FichWork" $@
1118    if ( $DEBUG_sys ) ; then
1119        echo "IGCM_sys_GetDate_FichWork :" $@
1120    fi
1121    # donne la date filesys d'un fichier sur la machine work
1122    IGCM_debug_PopStack "IGCM_sys_FichWork"
1123}
1124
1125#D-#==================================================
1126#D-function IGCM_sys_GetDate_FichArchive
1127#D-* Purpose: donne la date filesys d'un fichier sur le filesystem ARCHIVE
1128#D-* Examples:
1129#D-
1130function IGCM_sys_GetDate_FichArchive {
1131    IGCM_debug_PushStack "IGCM_sys_FichArchive" $@
1132    if ( $DEBUG_sys ) ; then
1133        echo "IGCM_sys_GetDate_FichArchive :" $@
1134    fi
1135    IGCM_debug_PopStack "IGCM_sys_FichArchive"
1136}
1137
1138##############################################################
1139# REBUILD OPERATOR
1140
1141function IGCM_sys_rebuild {
1142    IGCM_debug_PushStack "IGCM_sys_rebuild" -- $@
1143    if ( $DEBUG_sys ) ; then
1144        echo "IGCM_sys_rebuild :" $@
1145    fi
1146    /home/cont003/p86ipsl/SX8/bin/rebuild -f -o $@
1147    if [ $? -gt 0 ] ; then
1148       echo "IGCM_sys_rebuild : erreur ${@}."
1149       IGCM_debug_Exit "rebuild"
1150    fi
1151
1152    IGCM_debug_PopStack "IGCM_sys_rebuild"
1153}
1154
1155############################################################
1156# Activate Running Environnment Variables
1157
1158function IGCM_sys_activ_variables {
1159    IGCM_debug_PushStack "IGCM_sys_activ_variables"
1160    if ( $DEBUG_sys ) ; then
1161        echo "IGCM_sys_activ_variables"
1162    fi
1163
1164# --------------------------------------------------------------------
1165#D- MPI specifications
1166# --------------------------------------------------------------------
1167
1168#D-- MPISUSPEND
1169    export MPISUSPEND=${MPISUSPEND:=OFF}
1170
1171#D-- MPIPROGINF #other choices : ALL_DETAIL2
1172    export MPIPROGINF=ALL
1173#D- activate ftrace (with -ftrace)
1174    export F_FTRACE=YES
1175#D- communication information (with -ftrace)
1176    export MPICOMMINF=DETAIL
1177
1178# --------------------------------------------------------------------
1179#D- Other specifications
1180# --------------------------------------------------------------------
1181
1182#D- max number of character/line in output job
1183    export F_SYSLEN=5000
1184#D- number of error that can be admitted on the NEC
1185    export F_ERRCNT=0
1186#D- global performance
1187    export F_PROGINF=DETAIL
1188
1189#D- I/O performance (FORTRAN I/O only not netCDF)
1190    export F_FILEINF=${F_FILEINF:=NO}
1191#D- netCDF I/O performance
1192    export NC_FILEINF=${NC_FILEINF:=NO}
1193
1194    IGCM_debug_PopStack "IGCM_sys_activ_variables"
1195}
1196
1197############################################################
1198# Desactivate Running Environnment Variables
1199
1200function IGCM_sys_desactiv_variables {
1201    IGCM_debug_PushStack "IGCM_sys_desactiv_variables"
1202    if ( $DEBUG_sys ) ; then
1203        echo "IGCM_sys_desactiv_variables"
1204    fi
1205# --------------------------------------------------------------------
1206#D- MPI specifications
1207# --------------------------------------------------------------------
1208
1209#D-- MPIPROGINF
1210    export MPIPROGINF=NO
1211
1212# --------------------------------------------------------------------
1213#D- Other specifications
1214# --------------------------------------------------------------------
1215
1216#D- global performance
1217    export F_PROGINF=NO 
1218
1219    IGCM_debug_PopStack "IGCM_sys_desactiv_variables"
1220}
1221
1222############################################################
1223# Build run file
1224
1225function IGCM_sys_build_run_file {
1226    IGCM_debug_PushStack "IGCM_sys_build_run_file" $@
1227    if ( $DEBUG_sys ) ; then
1228        echo "IGCM_sys_build_run_file " $@
1229    fi
1230    (( NUM_PROC_ATM = BATCH_NUM_PROC_TOT - 1 ))
1231    (( NUM_PROC_OASIS = BATCH_NUM_PROC_TOT - NUM_PROC_ATM ))
1232    (( NUM_PROC_OCE = BATCH_NUM_PROC_TOT - NUM_PROC_ATM ))
1233   
1234    if [ $1 = MPI2 ]; then
1235        cat <<EOF > run_file
1236-p 1 -np 1 -e ./oasis
1237EOF
1238        (( NUM_PROCESS = BATCH_NUM_PROC_TOT + 1 ))
1239        config_UserChoices_JobRunOptions='"-max_np ${NUM_PROCESS} -f"'
1240
1241    elif [ $1 = MPI1 ]; then
1242        cat <<EOF > run_file
1243-p $NUM_PROC_OASIS -e ./oasis
1244-p $NUM_PROC_ATM -e ./lmdz.x
1245-p $NUM_PROC_OCE -e ./opa.xx
1246EOF
1247 
1248    fi
1249
1250    IGCM_debug_PopStack "IGCM_sys_build_run_file"
1251 
1252}
Note: See TracBrowser for help on using the repository browser.