Changeset 1913 for TOOLS


Ignore:
Timestamp:
11/08/12 16:00:22 (12 years ago)
Author:
aclsce
Message:
  • Fixed some bugs
Location:
TOOLS/PACK_IPSL
Files:
5 edited

Legend:

Unmodified
Added
Removed
  • TOOLS/PACK_IPSL/archive_debug.sh

    r1911 r1913  
    11#!/bin/bash 
    2  
    32 
    43#on veut archiver les fichiers Debug.  
     
    2827 
    2928DEM_log -0 "Demarrage de ${SCRIPT_NAME}" 
    30  
    3129 
    3230#### 0- lecture de config.card  
     
    6260rm -rf * 
    6361fi 
    64  
    6562# On copie les fichiers de Debug sur le scratchdir en changeant le nom et conservant la date 
    66 grep ${PATH_SIMUL_FULL} ${LISTE_DMNFS} | grep Debug | awk '{print $3}' | sed '/^.*Debug$/d' >> ${IGCM_TMP}/${$}.liste_debug_files.txt 
    67  
     63grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep Debug | awk '{print $3}' | sed '/^.*Debug$/d' >> ${IGCM_TMP}/${$}.liste_debug_files.txt 
    6864# Test si il y a un repertoire Debug 
    6965listDebugNbLines=`cat ${IGCM_TMP}/${$}.liste_debug_files.txt | wc -l ` 
     
    7268    DEM_log -0 "Pas de repertoire Debug pour cette simulation" 
    7369else 
    74  
    7570# cas particulier : les fichiers Bands sont conserves sans etre archives 
    7671    grep ${JobName}_Bands ${IGCM_TMP}/${$}.liste_debug_files.txt >> ${STORE_CP}/cp_files.list 
    7772    sed "/${JobName}_Bands/d" ${IGCM_TMP}/${$}.liste_debug_files.txt > ${IGCM_TMP}/${$}.liste_debug_files.txt_tmp 
    7873    mv ${IGCM_TMP}/${$}.liste_debug_files.txt_tmp ${IGCM_TMP}/${$}.liste_debug_files.txt 
    79      
    8074    gawk -F/ '{dest_name=$(NF-2)("_") $(NF); system("ln -s " $0 " "dest_name)}' ${IGCM_TMP}/${$}.liste_debug_files.txt 
    8175 
    8276#on fait de meme avec les fichiers out_gcm.e stockes dans le repertoire Out/ qui seront prefixes par Out_ 
    8377    rm -f ${IGCM_TMP}/${$}.liste_debug_files.txt 
    84     grep ${PATH_SIMUL_FULL} ${LISTE_DMNFS} | grep -w Out | awk '{print $3}' | sed '/^.*Out$/d' > ${IGCM_TMP}/${$}.liste_debug_files.txt 
     78    grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep -w Out | awk '{print $3}' | sed '/^.*Out$/d' > ${IGCM_TMP}/${$}.liste_debug_files.txt 
    8579    gawk -F/ '{dest_name=$(NF-1)("_") $(NF); system("ln -s " $0 " "dest_name)}' ${IGCM_TMP}/${$}.liste_debug_files.txt 
    8680 
    8781 
    8882    ls -l ${STORE_DEBUG} > ${IGCM_TMP}/${$}.new_liste_debug_files.txt 
    89  
    9083### 2- creer les listes de fichiers par periode #### 
    9184    DEM_log -1 "Creation des listes de fichiers par periode" 
  • TOOLS/PACK_IPSL/calcul_size_simul.sh

    r1900 r1913  
    11#!/bin/bash 
    2  
    32 
    43#### On veut calculer si l'ensemble des fichiers d'une simulation  
     
    3736#cree la liste de l'ensemble des fichiers de la simulation 
    3837#echo ${PATH_SIMUL_FULL} ${LISTE_DMNFS} 
    39 grep ${PATH_SIMUL_FULL} ${LISTE_DMNFS} | grep 'f ' > ${IGCM_TMP}/$$.info_tmp.txt  
     38grep ${PATH_SIMUL_FULL}/ ${LISTE_DMNFS} | grep 'f ' >> ${IGCM_TMP}/$$.info_tmp.txt  
    4039awk '{print $(NF-1) " " $(NF)}' ${IGCM_TMP}/$$.info_tmp.txt > ${IGCM_DEM_SIMU}/All_files_simul.txt 
    4140 
     
    5049     
    5150fi 
    52  
    5351# gpdebug : le script n'a pas rencontre d'erreur. On l'inscrit dans le fichier de suivi 
    5452simuMonitoring_OK "$MonitoringInfo" "$config_card" 
  • TOOLS/PACK_IPSL/create_config_card.sh

    r1900 r1913  
    1515 
    1616# ---- 
     17CURRENT_DIR=${PWD} 
    1718export JOB_DIR=${JOB_DIR:-${TMP_MIGR_DATA}} 
    1819export IGCM_DEM=${IGCM_DEM:-${SCRATCHDIR}/IGCM_DEM} 
     
    4344 
    4445#ROOT_DIR=/dmnfs05/cont003/labetoul # soit DMFDIR, soit le tampon. a ameliorer ... 
    45  
    46  
    47 cd ${JOB_DIR} 
    4846 
    4947for PATH_SIMUL_FULL in `awk  '{print $0}' ${LISTE_SIMUL}` ; do  
     
    217215    DEM_log -1 "${IGCM_DEM_SIMU}/config_card_${JobName} ListToBeDone >> ${IGCM_DEM}/config_card.liste" 
    218216 
    219  
    220217#si la liste des fichiers d'output est vide on tar la simul  
    221218if [[ !  -s ${IGCM_DEM_SIMU}/liste_output_files_config.txt ]]; then 
    222219DEM_log -2 "liste output vide" 
     220    cd ${CURRENT_DIR} 
    223221    ./write_liste_tar.sh ${IGCM_DEM_SIMU}/config_card_${JobName} 
     222    cd ${JOB_DIR} 
    224223fi  
    225224 
  • TOOLS/PACK_IPSL/showPackProgress.sh

    r1911 r1913  
    492492    rm ${JOB_DIR}/simuPrint.txt 
    493493done 
    494  
    495494NbInodeBefore=`cat ${IGCM_DEM}/Listing.txt | grep "f " | wc -l` 
    496495#NbInodeBefore=`cat ${IGCM_DEM}/Listing.txt  | wc -l` 
     496 NbInodeAfterStore=0 
    497497 if [ -d "${OUTPUT_STORE}" ] 
    498498 then 
    499499     NbInodeAfterStore=$( find $OUTPUT_STORE -type f -printf "%y %s %p \n" | wc -l ) 
    500500 fi 
     501 NbInodeAfterWork=0 
    501502 if [ -d "${OUTPUT_WORK}" ] 
    502503 then 
  • TOOLS/PACK_IPSL/write_liste_pack.sh

    r1900 r1913  
    11#!/bin/bash 
    2  
    32 
    43# Script permettant de creer les listes de fichiers pour ncrcat 
     
    235234        # On change le fichier ncrcat pour chaque date manquante en fichier tar 
    236235        if [[ -f ${IGCM_DEM_SIMU}/${type_file}_manquant.list && -s ${IGCM_DEM_SIMU}/${type_file}_manquant.list ]]; then  
    237             for date in `awk '{print $0}' ${IGCM_DEM_SIMU}/${type_file}_manquant.list` ; do  
    238                 ls -l ${OUTPUT_NCRCAT}/${JobName}_*_${type_file}.list > ${IGCM_TMP}/${$}.liste_ncrcat 
    239                 for pack in $( awk '{print $9}' ${IGCM_TMP}/${$}.liste_ncrcat ) ; do  
    240                     extract_date_file=$( echo ${pack}       | sed -e "s%.*${JobName}_%%" ) 
    241                     date_debut=$( echo ${extract_date_file} | sed 's%\([0-9]\{8\}\)_.*$%\1%g'     | cut -c 1-6  ) 
    242                     date_fin=$(   echo ${extract_date_file} | sed 's%.*_\([0-9]\{8\}\)_.*$%\1%g' | cut -c 1-6  ) 
    243                     if [[ ${date} -ge ${date_debut} && ${date} -lt ${date_fin} ]]; then 
    244                         mv ${pack} ${OUTPUT_TAR}/. 
    245                         break  
    246                     else 
    247                         rm -f ${IGCM_DEM_SIMU}/${type_file}_manquant.list 
    248                     fi 
    249                      
    250                 done 
     236            for date in `awk '{print $0}' ${IGCM_DEM_SIMU}/${type_file}_manquant.list` ; do 
     237### AC : test si le fichier de list existe dans output_ncrcat (si non ca veut dire qu'il deja ete move dans output_tar)  
     238                nb_files=$(ls ${OUTPUT_NCRCAT} | grep ${JobName} | grep "${type_file}.list" | wc -l ) 
     239                if [ "x$nb_files" != "x0" ] ; then 
     240                    ls -l ${OUTPUT_NCRCAT}/${JobName}_*_${type_file}.list > ${IGCM_TMP}/${$}.liste_ncrcat 
     241                    for pack in $( awk '{print $9}' ${IGCM_TMP}/${$}.liste_ncrcat ) ; do  
     242                        extract_date_file=$( echo ${pack}       | sed -e "s%.*${JobName}_%%" ) 
     243                        date_debut=$( echo ${extract_date_file} | sed 's%\([0-9]\{8\}\)_.*$%\1%g'     | cut -c 1-6  ) 
     244                        date_fin=$(   echo ${extract_date_file} | sed 's%.*_\([0-9]\{8\}\)_.*$%\1%g' | cut -c 1-6  ) 
     245                        if [[ ${date} -ge ${date_debut} && ${date} -lt ${date_fin} ]]; then 
     246                            mv ${pack} ${OUTPUT_TAR}/. 
     247                            break  
     248                        else 
     249                            rm -f ${IGCM_DEM_SIMU}/${type_file}_manquant.list 
     250                        fi 
     251                    done 
     252                fi 
    251253                [[ "${clean_tmp}" = "yes" ]] && rm -f ${IGCM_TMP}/${$}.liste_ncrcat 
    252254            done 
     
    255257        fi 
    256258    fi 
     259    rm -f ${IGCM_DEM_SIMU}/${type_file}_manquant.list 
    257260done 
    258261 
Note: See TracChangeset for help on using the changeset viewer.