source: TOOLS/PACK_IPSL/archive_debug.sh @ 2010

Last change on this file since 2010 was 1979, checked in by acosce, 11 years ago

bug fixe : there was a problem in the reading of date end for debug list
  • Property svn:executable set to *
File size: 7.6 KB
Line 
1#!/bin/bash
2
3#on veut archiver les fichiers Debug.
4#Ils seront tous regroupes dans un repertoire DEBUG commun 
5# on les renommes (repertoire DEBUG) de la meme maniere que les fichiers restart
6# puis on les archive via tar par periode
7#Creation des listes dans un repertoire debug_tar
8
9config_card=${1}
10LISTE_DMNFS=${2}
11
12
13export JOB_DIR=${JOB_DIR:-${TMP_MIGR_DATA}}
14export IGCM_DEM=${IGCM_DEM:-${SCRATCHDIR}/IGCM_DEM}
15export IGCM_TMP=${IGCM_TMP:-${IGCM_DEM}/tmp}
16mkdir -p ${IGCM_DEM}
17mkdir -p ${IGCM_TMP}
18clean_tmp=${clean_tmp:-yes}
19EXE_DIR=$(dirname ${0})
20SCRIPT_NAME=$(basename ${0} )
21
22source ${EXE_DIR}/DEM_utilities.sh
23
24# gpdebug : verif si le present script a ete execute jusqu'au bout #########
25MonitoringInfo="${SCRIPT_NAME}-->OK"
26simuMonitoring_check "$MonitoringInfo" "$config_card"
27
28DEM_log -0 "Demarrage de ${SCRIPT_NAME}"
29
30#### 0- lecture de config.card
31#### on veut les renseignements suivants :
32#### JobName, PATH_SIMUL, DateBegin et DateEnd
33eval $(grep JobName ${config_card}) 
34eval $(grep PATH_SIMUL_FULL ${config_card}) 
35eval $(grep DateBegin ${config_card}) 
36eval $(grep DateEnd ${config_card}) 
37eval $(grep IGCM_DEM_SIMU ${config_card})
38
39
40#### Preparation de l'environnement
41# repertoire dans lequel seront renommes les fichiers de debug
42STORE_DEBUG=$IGCM_DEM_SIMU/DEBUG
43mkdir -p ${STORE_DEBUG}
44
45# repertoire dans lequel nous stockerons les listes de debug a archiver
46DEBUG_TAR=$IGCM_DEM_SIMU/debug_tar
47mkdir -p ${DEBUG_TAR}
48STORE_CP=$IGCM_DEM_SIMU/store_cp
49mkdir -p ${STORE_CP}
50
51# lecture de periodpack dans ${IGCM_DEM_SIMU}/period_pack.txt
52period_pack=`awk '{print $0} ' ${IGCM_DEM_SIMU}/period_pack.txt`
53
54#### 1- renommer les fichiers ######
55DEM_log -1 "Renommer les fichiers de Debug"
56
57cd ${STORE_DEBUG}
58if [ "x${STORE_DEBUG}" != "x" ]
59then
60rm -rf *
61fi
62# On copie les fichiers de Debug sur le scratchdir en changeant le nom et conservant la date
63grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep Debug | grep "f "| awk '{print $3}' | sed '/^.*Debug$/d' | sort >> ${IGCM_TMP}/${$}.liste_debug_files.txt
64
65# Test si il y a un repertoire Debug
66listDebugNbLines=`cat ${IGCM_TMP}/${$}.liste_debug_files.txt | wc -l `
67if [ "x${listDebugNbLines}" == "x0" ]
68then
69    DEM_log -0 "Pas de repertoire Debug pour cette simulation"
70else
71# cas particulier : les fichiers Bands sont conserves sans etre archives
72    grep ${JobName}_Bands ${IGCM_TMP}/${$}.liste_debug_files.txt >> ${STORE_CP}/cp_files.list
73    sed "/${JobName}_Bands/d" ${IGCM_TMP}/${$}.liste_debug_files.txt > ${IGCM_TMP}/${$}.liste_debug_files.txt_tmp
74    mv ${IGCM_TMP}/${$}.liste_debug_files.txt_tmp ${IGCM_TMP}/${$}.liste_debug_files.txt
75
76# on s assure que les fichiers restant sont bien des fichiers dans Debug et pas des fichiers dans des sous-repertoires"
77    for file in `cat ${IGCM_TMP}/${$}.liste_debug_files.txt ` ; do
78        dir=$( echo $file | sed -e "s%.*Debug/%%")
79        testdir=$(dirname ${dir})
80        if [ $testdir != "." ]; then
81            echo $( grep ${file} ${IGCM_TMP}/${$}.liste_debug_files.txt)  >> ${IGCM_TMP}/${$}.liste_no_debug_files.txt
82        fi
83    done
84    if [ -f ${IGCM_TMP}/${$}.liste_no_debug_files.txt ]; then
85        join -t % -v 1 ${IGCM_TMP}/${$}.liste_debug_files.txt ${IGCM_TMP}/${$}.liste_no_debug_files.txt > ${IGCM_TMP}/${$}.info_tmp.txt
86        mv ${IGCM_TMP}/${$}.info_tmp.txt ${IGCM_TMP}/${$}.liste_debug_files.txt
87        rm -f ${IGCM_TMP}/${$}.liste_no_debug_files.txt
88    fi
89    gawk -F/ '{dest_name=$(NF-2)("_") $(NF); system("ln -s " $0 " "dest_name)}' ${IGCM_TMP}/${$}.liste_debug_files.txt
90#on fait de meme avec les fichiers out_gcm.e stockes dans le repertoire Out/ qui seront prefixes par Out_
91    rm -f ${IGCM_TMP}/${$}.liste_debug_files.txt
92    grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep -w Out | awk '{print $3}' | sed '/^.*Out$/d' > ${IGCM_TMP}/${$}.liste_debug_files.txt
93    gawk -F/ '{dest_name=$(NF-1)("_") $(NF); system("ln -s " $0 " "dest_name)}' ${IGCM_TMP}/${$}.liste_debug_files.txt
94
95
96    ls -l ${STORE_DEBUG} > ${IGCM_TMP}/${$}.new_liste_debug_files.txt
97### 2- creer les listes de fichiers par periode ####
98    DEM_log -1 "Creation des listes de fichiers par periode"
99### 2.1- extraire l'annee et le mois de DateBegin ###
100    date_begin=${DateBegin}
101    date_end=${DateEnd}
102
103    year_begin=$(echo ${date_begin} | cut -c 1-4 )
104    month_begin=$(echo ${date_begin} | cut -c 5-6 )
105    year_end=$(echo ${date_end} | cut -c 1-4 )
106    month_end=$(echo ${date_end} | cut -c 5-6 )
107
108
109### 2.2- creation des listes ###
110    date_begin_pack=${date_begin}
111    date_end_simulation=${date_end}
112
113    month_begin_pack=${month_begin}
114    year_begin_pack=${year_begin}
115
116    number_pack=1
117
118    while [ ${date_begin_pack} -le ${date_end_simulation} ]
119    do
120
121        DEM_log -1 "On calcule la date de fin du pack "
122
123        month_end_pack=${month_begin_pack}
124        year_end_pack=`expr ${year_begin_pack} + ${period_pack}`
125
126        date_end_pack=${year_end_pack}${month_end_pack}01   
127        if [ "x${ON_IDRIS}" == "xno" ]
128        then
129            for file in `awk '{print $9}' ${IGCM_TMP}/${$}.new_liste_debug_files.txt`; do
130                extract_date_file=`echo ${file}  | sed -e "s/.*\${JobName}_//"`
131                date_file=`echo ${extract_date_file}| sed 's/\([0-9]\{8\}\)_.*$/\1/g'`
132                if [[ ! -n ${date_file//[0-9]/} ]]; then
133                    if [  ${date_file} -lt ${date_end_pack} ]
134                    then
135                        if [ ${date_file} -ge ${date_begin_pack} ]
136                        then
137                            echo ${file} >> ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt
138                        fi
139                    fi
140                fi
141            done
142        else
143            for file in `awk '{print $8}' ${IGCM_TMP}/${$}.new_liste_debug_files.txt`; do
144                extract_date_file=`echo ${file}  | sed -e "s/.*\${JobName}_//"`
145                date_file=`echo ${extract_date_file}| sed 's/\([0-9]\{8\}\)_.*$/\1/g'`
146                if [[ ! -n ${date_file//[0-9]/} ]]; then
147                    if [ ${date_file} -lt ${date_end_pack} ]
148                    then
149                        if [ ${date_file} -ge ${date_begin_pack} ]
150                        then
151                            echo ${file} >> ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt
152                        fi
153                    fi
154                fi
155            done 
156        fi
157#on archive les debug - le nom de l'archive contiendra ${yearbegin}${monthbegin}_${yearend}${monthend}
158# end etant la date du dernier fichier contenu et non pas la premiere date suivant
159DEM_log -1 "Recherche de la date de fin reel pour nommer l'archive "
160#On classe par ordre alphabetique les fichiers contenus dans liste_pack_debug
161#la date du dernier fichier donnera la date de fin du pack
162   sort ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt > ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp
163
164   first_file=$(head -n 1 ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp )
165   extract_date_file=$( echo ${first_file}  | sed -e "s/.*${JobName}_//" )
166   DateBegin_Debug=$(echo ${extract_date_file}| sed 's%\([0-9]\{8\}\)_.*$%\1%g' )
167
168   last_file=$(tail -n 1 ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp )
169   extract_date_file=$( echo ${last_file}  | sed -e "s/.*${JobName}_//" )
170   DateEnd_Debug=$(   echo ${extract_date_file}| sed 's%.*\([0-9]\{8\}\)_.*$%\1%g' )
171   mv ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp ${DEBUG_TAR}/${JobName}_debug_${DateBegin_Debug}_${DateEnd_Debug}.list
172
173
174DEM_log -1 "Passage de la commande Tar pour archiver la liste creee"
175#   tar -cf ${JobName}_${date_begin_pack}_${DateEnd_Debug}_debug.tar --dereference  --files-from ${DEBUG_TAR}/tar_debug_${date_begin_pack}_${DateEnd_Debug}.list
176#   cat  ${DEBUG_TAR}/tar_debug_${number_pack}.list | xargs rm
177
178
179DEM_log -1 "On definit le datebegin de la  prochaine periode pack"
180#on definit la periode pack suivante
181   month_begin_pack=${month_end_pack}
182   year_begin_pack=${year_end_pack}
183
184   date_begin_pack=${year_begin_pack}${month_begin_pack}01
185
186   number_pack=`expr ${number_pack} + 1`
187
188done
189
190fi
191
192cd ${EXE_DIR}
193
194# gpdebug : le script n a pas rencontre d'erreur. On l'inscrit dans le fichier de suivi
195simuMonitoring_OK "$MonitoringInfo" "$config_card"
Note: See TracBrowser for help on using the repository browser.