source: TOOLS/PACK_IPSL/archive_debug.sh @ 1736

Last change on this file since 1736 was 1736, checked in by acosce, 12 years ago

Pack_ipsl : change name of files list to copy

  • Property svn:executable set to *
File size: 5.2 KB
Line 
1#!/bin/bash
2
3
4#on veut archiver les fichiers Debug.
5#Ils seront tous regroupes dans un repertoire DEBUG commun 
6# on les renommes (repertoire DEBUG) de la meme maniere que les fichiers restart
7# puis on les archive via tar par periode
8#Creation des listes dans un repertoire debug_tar
9
10config_card=${1}
11LISTE_DMNFS=${2}
12
13
14export JOB_DIR=${JOB_DIR:-${PWD}}
15export IGCM_DEM=${IGCM_DEM:-${SCRATCHDIR}/IGCM_DEM}
16export IGCM_TMP=${IGCM_TMP:-${IGCM_DEM}/tmp}
17mkdir -p ${IGCM_DEM}
18mkdir -p ${IGCM_TMP}
19clean_tmp=${clean_tmp:-yes}
20EXE_DIR=$(dirname ${0})
21SCRIPT_NAME=$(basename ${0} )
22
23source ${EXE_DIR}/DEM_utilities.sh
24
25DEM_log -0 "Demarrage de ${SCRIPT_NAME}"
26
27
28#### 0- lecture de config.card
29#### on veut les renseignements suivants :
30#### JobName, PATH_SIMUL, DateBegin et DateEnd
31eval $(grep JobName ${config_card}) 
32eval $(grep PATH_SIMUL_FULL ${config_card}) 
33eval $(grep DateBegin ${config_card}) 
34eval $(grep DateEnd ${config_card}) 
35eval $(grep IGCM_DEM_SIMU ${config_card})
36
37
38#### Preparation de l'environnement
39# repertoire dans lequel seront renommes les fichiers de debug
40STORE_DEBUG=$IGCM_DEM_SIMU/DEBUG
41mkdir -p ${STORE_DEBUG}
42
43# repertoire dans lequel nous stockerons les listes de debug a archiver
44DEBUG_TAR=$IGCM_DEM_SIMU/debug_tar
45mkdir -p ${DEBUG_TAR}
46STORE_CP=$IGCM_DEM_SIMU/store_cp
47mkdir -p ${STORE_CP}
48
49# lecture de periodpack dans ${IGCM_DEM_SIMU}/period_pack.txt
50period_pack=`awk '{print $0} ' ${IGCM_DEM_SIMU}/period_pack.txt`
51
52#### 1- renommer les fichiers ######
53DEM_log -1 "Renommer les fichiers de Debug"
54
55cd ${STORE_DEBUG}
56rm -rf *
57
58# On les copie sur le scratchdir en changeant le nom et conservant la date
59grep ${PATH_SIMUL_FULL} ${LISTE_DMNFS} | grep Debug | awk '{print $3}' | sed '/^.*Debug$/d' >> ${IGCM_TMP}/${$}.liste_debug_files.txt
60grep ${JobName}_Bands ${IGCM_TMP}/${$}.liste_debug_files.txt >> ${STORE_CP}/cp_files.list
61sed "/${JobName}_Bands/d" ${IGCM_TMP}/${$}.liste_debug_files.txt > ${IGCM_TMP}/${$}.liste_debug_files.txt_tmp
62mv ${IGCM_TMP}/${$}.liste_debug_files.txt_tmp ${IGCM_TMP}/${$}.liste_debug_files.txt
63 
64gawk -F/ '{dest_name=$(NF-2)("_") $(NF); system("ln -s " $0 " "dest_name)}' ${IGCM_TMP}/${$}.liste_debug_files.txt
65
66ls -l ${STORE_DEBUG} > ${IGCM_TMP}/${$}.new_liste_debug_files.txt
67
68### 2- creer les listes de fichiers par periode ####
69DEM_log -1 "Creation des listes de fichiers par periode"
70### 2.1- extraire l'annee et le mois de DateBegin ###
71date_begin=${DateBegin}
72date_end=${DateEnd}
73
74year_begin=$(echo ${date_begin} | cut -c 1-4 )
75month_begin=$(echo ${date_begin} | cut -c 5-6 )
76year_end=$(echo ${date_end} | cut -c 1-4 )
77month_end=$(echo ${date_end} | cut -c 5-6 )
78
79
80### 2.2- creation des listes ###
81date_begin_pack=${date_begin}
82date_end_simulation=${date_end}
83
84month_begin_pack=${month_begin}
85year_begin_pack=${year_begin}
86
87number_pack=1
88
89while [ ${date_begin_pack} -le ${date_end_simulation} ]
90do
91
92DEM_log -1 "On calcule la date de fin du pack "
93
94   month_end_pack=${month_begin_pack}
95   year_end_pack=`expr ${year_begin_pack} + ${period_pack}`
96
97   if [ ${month_end_pack} -le 9 ]
98   then
99      date_end_pack=${year_end_pack}0${month_end_pack}01
100   fi
101   if [ ${month_end_pack} -gt 9 ]
102   then
103      date_end_pack=${year_end_pack}${month_end_pack}01   
104   fi
105
106 
107   for file in `awk '{print $9}' ${IGCM_TMP}/${$}.new_liste_debug_files.txt`; do
108   
109     extract_date_file=`echo ${file}  | sed -e "s/.*\${JobName}_//"`
110     date_file=`echo ${extract_date_file}| sed 's/\([0-9]\{8\}\)_.*$/\1/g'`
111
112
113     if [  ${date_file} -lt ${date_end_pack} ]
114     then
115        if [ ${date_file} -ge ${date_begin_pack} ]
116        then
117           echo ${file} >> ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt
118        fi
119     fi
120   
121   done
122
123#on archive les debug - le nom de l'archive contiendra ${yearbegin}${monthbegin}_${yearend}${monthend} 
124# end etant la date du dernier fichier contenu et non pas la premiere date suivant
125DEM_log -1 "Recherche de la date de fin reel pour nommer l'archive "
126#On classe par ordre alphabetique les fichiers contenus dans liste_pack_debug
127#la date du dernier fichier donnera la date de fin du pack
128   sort ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt > ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp
129   last_file=$(tail -n 1 ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp )
130   extract_date_file=$( echo ${last_file}  | sed -e "s/.*${JobName}_//" )
131   DateEnd_Debug=$(   echo ${extract_date_file}| sed 's/\([0-9]\{8\}\)_.*$/\1/g' )
132   mv ${IGCM_TMP}/${$}.liste_pack_debug_${number_pack}.txt.tmp ${DEBUG_TAR}/tar_debug_${date_begin_pack}_${DateEnd_Debug}.list
133
134
135DEM_log -1 "Passage de la commande Tar pour archiver la liste creee"
136#   tar -cf ${JobName}_${date_begin_pack}_${DateEnd_Debug}_debug.tar --dereference  --files-from ${DEBUG_TAR}/tar_debug_${date_begin_pack}_${DateEnd_Debug}.list
137#   cat  ${DEBUG_TAR}/tar_debug_${number_pack}.list | xargs rm
138
139
140DEM_log -1 "On defini le datebegin de la  prochaine periode pack"
141#on defini la periode pack suivante
142   month_begin_pack=${month_end_pack}
143   year_begin_pack=${year_end_pack}
144
145   if [ ${month_begin_pack} -le 9 ]
146   then
147      date_begin_pack=${year_begin_pack}0${month_begin_pack}01
148   fi
149   if [ ${month_begin_pack} -gt 9 ]
150   then
151      date_begin_pack=${year_begin_pack}${month_begin_pack}01
152   fi
153
154
155   number_pack=`expr ${number_pack} + 1`
156
157done
158
159
160cd ${EXE_DIR}
Note: See TracBrowser for help on using the repository browser.