Changeset 499 for trunk

Timestamp:

03/23/12 14:57:22 (12 years ago)

Author:

pinsard

Message:

no more file list_file for AMSU processing

Location:

trunk

Files:

• adm/guides/data_content.rst (modified) (3 diffs, 1 prop)
• src/extract_amsua.pro (modified) (19 diffs, 1 prop)
• src/search_amsufiles.pro (added)
• src/traite_amsuab.sh (modified) (8 diffs, 1 prop)

trunk/adm/guides/data_content.rst

@@ -12 +12 @@
 ..
 .. $URL$
-..
 ..
 .. - fplod 20110810T075749Z aedon.locean-ipsl.upmc.fr (Darwin)
@@ -561 +560 @@
 Outils de mise en forme : :ref:`traite_amsuab.sh`, :ref:`correct_nadir_amsu.pro`, :ref:`amsu2ncdf.pro`, :ref:`extract_zone_nc.sh`, :ref:`cresamsu_cdf.pro`, :ref:`idl_amsu_netcdf.pro`
 
+Outil de gestion de fichiers :func:`search_amsufiles`
+
 Outil de lecture : :func:`readAMSU`
 
@@ -664 +665 @@
 Outils de mise en forme : :ref:`traite_msg-prod.sh` (:ref:`create_gif.sh` :ref:`create_nc.sh`) , :ref:`concat-files.sh`, :ref:`extract_zone_nc.sh`
 
-Outil de lecture : :func:`MSGbuildfullfilename` :func:`MSGread`
+Outil de lecture : :func:`MSGbuildfullfilename` :func:`MSGread`, :func:`read_regular_grid`
 
 Outil de dessin : :func:`plotimageMSG`, :func:`evolution_msg`, :func:`hovmullerlat`, :func:`showgrid`, :func:`plot_intensityMSG`, :func:`visuMSG`

trunk/src/extract_amsua.pro

@@ -14 +14 @@
 ; generaliser pour amsub aussi)
 ;
-; decode les noms des fichiers dans la date choisie, puis
-; appelle le prgm de lecture
+; decode les noms des fichiers donnés en argument dans **files_list**
+; dans la date choisie, puis appelle le prgm de lecture
 ;
 ; appelle :ref:`interpol_correc`, qui fournit les fonctions de correction au
@@ -42 +42 @@
 ;        digraph extract_amsu {
 ;
-;           amsu_lista [shape=ellipse,fontname=Courier,label="${PROJECT_ID}/list_filea"];
 ;           amsu_t1 [shape=ellipse,fontname=Courier,label="${PROJECT_ID}/AMSU/AMSU*/L1C/yyyy/yyyy_mm_dd/*.L1C"];
 ;           amsu_t2 [shape=ellipse,fontname=Courier,label="${PROJECT_ID}/yyyy/mm/numch_yyyymmdd_geomin_geomax.dat"];
@@ -52 +51 @@
 ;           label="${PROJECT}/src/extract_amsua.pro"];
 ;
-;           {amsu_lista amsu_t1} -> {extract_amsua} -> {amsu_t2};
+;           {amsu_t1} -> {extract_amsua} -> {amsu_t2};
 ;       }
 ;
 ; :param numch:
+; :param files_list:
 ; :param yyyy:
 ; :param mm:
@@ -67 +67 @@
 ; ========
 ;
-; Creating an articial list of AMSU-A files (You may need to create 
+; Creating an articial list of AMSU-A files (You may need to create
 ; :file:`${PROJECT_ID}/AMSU/2006/08/ directory)`::
 ;
 ;   $ mkdir -p ${PROJECT_ID}/AMSU/2006/08
-;   $ echo "${PROJECT_ID}/AMSU/AMSUAN15/L1C/2006/2006_08_01/NSS.AMAX.NK.D06213.S0110.E0255.B4271112.GC.L1C" > ${PROJECT_ID}/list_filea
-;   $ echo "${PROJECT_ID}/AMSU/AMSUAN15/L1C/2006/2006_08_01/NSS.AMAX.NK.D06213.S0250.E0437.B4271213.GC.L1C" >> ${PROJECT_ID}/list_filea
+;
+;   files_list = strarr(2)
+;   files_list[0] = project_id_env + '/AMSU/AMSUAN15/L1C/2006/2006_08_01/NSS.AMAX.NK.D06213.S0110.E0255.B4271112.GC.L1C'
+;   files_list[1] = project_id_env + 'AMSU/AMSUAN15/L1C/2006/2006_08_01/NSS.AMAX.NK.D06213.S0250.E0437.B4271213.GC.L1C'
+;
+; This above tip can replace the call to :func:`search_amsufiles`.
+;
+; Pour ne garder que le dernier fichier::
+;
+;   files_list = search_amsufiles(numch, yyyy, mm, dd)
+;   help, files_list
+;   files_list_last_array = strarr(1)
+;   files_list_last_array[0] = files_list[N_ELEMENTS(files_list) - 1]
+;   help, files_list_last_array
+;   files_list = files_list_last_array
+;   help, files_list
 ;
 ; Using AMSU-A channel 5::
 ;
-;   IDL> numch = 'a5'
-;   IDL> yyyy=2006L
-;   IDL> mm=8
-;   IDL> dd=13
-;   IDL> resol=1
-;   IDL> lon_min=-20.
-;   IDL> lon_max=40.
-;   IDL> lat_min=-5.
-;   IDL> lat_max=40.
-;   IDL> extract_amsua, numch, yyyy, mm, dd, resol, lon_min, lon_max, lat_min, lat_max
+;   numch = 'a5'
+;   yyyy=2006L
+;   mm=8
+;   dd=13
+;   resol=1
+;   lon_min=-20.
+;   lon_max=40.
+;   lat_min=-5.
+;   lat_max=40.
+;   files_list = search_amsufiles(numch, yyyy, mm, dd)
+;   extract_amsua, numch, files_list, yyyy, mm, dd, resol, lon_min, lon_max, lat_min, lat_max
 ;
 ; :file:`${PROJECT_ID}/AMSU/2006/08/a5_20060801_060w30s_050e45n.dat`
 ; must have been created.
 ;
+; SEE ALSO
+; =========
+;
+; :ref:`data_amsu`
+;
+; called by :ref:`traite_amsuab.sh`
+;
+; previous step : :func:`search_amsufiles`
+;
+; use :ref:`read_amsua1c.pro`, :ref:`read_amsub1c.pro`,
+; :func:`geolocation_to_string_idl`, :func:`mem_to_file_amsu_t2`
+;
+; next step :  ++
+;
+; TODO
+; ====
+;
+; traiter les longitudes autour de 180 degres (passage de 180 a -180)
+; interpolswath ne gere pas cette situation
+;
+; comprendre les points bizarres autour de -40,30 visibles avec l'exemple
+; de 20060801
+;
+; lever le doute sur le contenu du fichier écrit par le printf (je (fplod)
+; crains des zeros louches!!).louche
+;
+; vérifier que pas NaN dans les lignes écrites
+;
+; faire un test avec un zone géographique dans le pacifique pour voir comment
+; le système réagi (devrait dire : rien à faire !)
+;
+; ajouter MHS
+;
+; eviter la creation d'un fichier vide (si pas de points dans la zone)
+;
+; tester la cohérence entre les fichiers présents dans files_list
+; en terme de date avec yyyy, mm et dd donnés en paramètre
+;
+; improve log
+;
+; get rid of uppercase
+;
+; check args
+;
+; decrire la limitation avec les seuils
+;
 ; EVOLUTIONS
 ; ==========
-; lelod 20120223
-; modif lecture du fichier bathy (ETOPO) pour limiter le temps
-; necessaire. Introduction de coordonnees limite dans initncdf, puis
-; domdef
-; Attention, si on change la zone, il faut changer les coordonnees!!!
-;
-; lelod 20111215
-; tests de fonctionnement effectues: la correction nadir est
-;correctement implementee
-; l'interpolation de la fauchee fonctionne
-; mais attention test sur la longitude code en dur:
-; pbs avec les fauchees qui traversent le meridien 180deg!!!!
-; l'interpolation ajoute des points parasites dans la zone...
+;
 ; $Id$
 ;
-; $URL: svn+ssh://lelod@forge.ipsl.jussieu.fr/ipsl/forge/projets/varamma/svn/trunk/src/extract_amsua.pro $
+; $URL$
+;
+; - fplod 20120323
+;
+;   * add a paramater files_list to remplace usage of :file:`list_file`
+;   * replace usage of :file:`list_file` by the usage of the string array
+;     files_list
+;   * add a test if files_list no empty (see nofile label)
+;   * reorder SEE ALSO and TODO
+;
+; - lelod 20120223
+;
+;   * modif lecture du fichier bathy (ETOPO) pour limiter le temps
+;     necessaire. Introduction de coordonnees limite dans initncdf, puis
+;     domdef
+;
+;     Attention, si on change la zone, il faut changer les coordonnees!!!
+;
+; - lelod 20111215
+;
+;   * tests de fonctionnement effectues: la correction nadir est
+;     correctement implementee
+;
+;     l'interpolation de la fauchee fonctionne
+;     mais attention test sur la longitude code en dur:
+;     pbs avec les fauchees qui traversent le meridien 180deg!!!!
+;     l'interpolation ajoute des points parasites dans la zone...
+;
 ;
 ; - fplod 20111214T082300Z aedon.locean-ipsl.upmc.fr (Darwin)
@@ -190 +266 @@
 ;     test sur skylla: fonctionne au moins pour un fichier!
 ;
-; SEE ALSO
-; =========
-;
-; :ref:`data_amsu`
-;
-; called by :ref:`traite_amsuab.sh`
-;
-; use :ref:`read_amsua1c.pro`, :ref:`read_amsub1c.pro`,
-; :func:`geolocation_to_string_idl`, :func:`mem_to_file_amsu_t2`
-;
-; next step :  ++
-;
-; TODO
-; ====
-;
-; traiter les longitudes autour de 180 degres (passage de 180 a -180)
-; interpolswath ne gere pas cette situation
-;
-; comprendre les points bizarres autour de -40,30 visibles avec l'exemple
-; de 20060801
-;
-; lever le doute sur le contenu du fichier écrit par le printf (je (fplod)
-; crains des zesors louches!!).louche
-;
-; vérifier que pas NaN dans les lignes écrites
-;
-; faire un test avec un zone géographique dans le pacifique pour voir comment
-; le système réagi (devrait dire : rien à faire !)
-;
-; changer le nom des fichiers de listes pour éviter des conflits lors de runs
-; simultanés
-;
-; ajouter MHS
-;
-; eviter la creation d'un fichier vide (si pas de points dans la zone)
-;
-; tester la cohérence entre les fichiers présents dans list_filea
-; en terme de date avec yyyy, mm et dd donnés en paramètre
-;
-; improve log
-;
-; get rid of uppercase
-;
-; check args
-;
-; decrire la limitation avec les seuils
-;
 ;-
-PRO extract_amsua, numch, yyyy, mm, dd, resol $
+PRO extract_amsua, numch, files_list, yyyy, mm, dd, resol $
                  , lon_min, lon_max, lat_min, lat_max
 ;
@@ -245 +274 @@
 @cm_project
 @common
+
+; test if some files to read
+CASE size(files_list,/DIMENSION) OF
+   0L : BEGIN
+     print, 'pas de fichiers'
+     goto, nofile
+        END
+   ELSE: BEGIN
+       print, 'nb de fichers', size(files_list,/DIMENSION)
+        END
+ENDCASE
+nb_file_array = size(files_list,/DIMENSION)
+nb_file = (nb_file_array)[0]
+;
 nomcanal=strmid(numch,0,1)
 nocanal=0
@@ -251 +294 @@
 tbmin=100
 tbmax=350
-PRINT, 'www, debut programme extract_amsu',SYSTIME() 
+PRINT, 'www : debut programme extract_amsu',SYSTIME()
 ; lecture fichier land - sea (S. Masson)
 file=project_id_env+'/MASK/ETOPO1_Ice_g_gmt4.nc'
@@ -258 +301 @@
 ;lon_max=40 & lat_min=-5 & lat_max=40
 
-initncdf,file, zaxisname='toto',xaxisname='lon',yaxisname='lat',XMINMESH=8000,XMAXMESH=15000, YMINMESH=4500,YMAXMESH=8500 
+initncdf,file, zaxisname='toto',xaxisname='lon',yaxisname='lat',XMINMESH=8000,XMAXMESH=15000, YMINMESH=4500,YMAXMESH=8500
 domdef,lon_min-15, lon_max+15, lat_min-15, lat_max+15
 bathy=read_ncdf('z',file=file)
@@ -271 +314 @@
 jpje = n_elements(yye)
 ;print,jpie,jpje,size(bate)
-;PRINT, 'lecture bathy terminee',SYSTIME() 
+;PRINT, 'lecture bathy terminee',SYSTIME()
 ; appel au ssprgm qui interpole les fonctions de correction (inutile
 ; de l'appeler a chaque fichier....)
@@ -279 +322 @@
 ; boucle sur les elements de la liste
 
-; lecture de la liste des fichiers AMSU-A
-list_file = project_id_env+'list_file'
-;list_filea='list_file'
-    ;index_filea= 0
-nb_file = file_lines(list_file)
+print, 'iii : traitement du jour ',yyyy,mm,dd
 a = STRARR(nb_file)
-   ; filea = STRARR(nb_filea)
-;print, 'www ouverture pour lecture de ', list_file
-print, 'www traitement du jour ',yyyy,mm,dd
-
-openr, lun_a, list_file, /get_lun
-filea=''
-nlist=0
-ilist=0
-;PRINT,'demarrage boucle sur lichiers', SYSTIME() 
-while (not eof(lun_a)) do begin
-   ilist=ilist+1
-   onefile = ''
-   readf, lun_a, filea
-       ; filea[index_filea] = onefile
-        ; isolate string independant from satellite
-       ; a[index_filea]=strmid(file_basename(filea[index_filea]),7)
-       ; index_filea = index_filea + 1
-    ;endwhile
+;PRINT,'demarrage boucle sur lichiers', SYSTIME()
+FOR ifile = 0, nb_file - 1 do begin
+   filea = files_list[ifile]
 
    COMMON amsua_header,ama_head
    COMMON amsua_data  ,ama_scan
-   ;print, 'ouverture et lecture du fichier ', filea, SYSTIME() 
+   print, 'ouverture et lecture du fichier ', filea, SYSTIME()
    openr,lu1,filea,Error=erra,/get_lun
    read_amsua1c,filea, flag1
@@ -341 +365 @@
    ttt=REFORM(ama_scan.scnlintime/3600000.)
    jnd=where(amalong[midpix,*] gt lon_min-15 and amalong[midpix,*] lt lon_max+15 and amalati[midpix,*] gt lat_min-15 and amalati[midpix,*] lt lat_max+15 ,nzon)
-   print,"www nb de points du fichier dans le domaine geographique +15deg ",nzon, SYSTIME()
+   print,"iii : nb de points du fichier dans le domaine geographique +15deg ",nzon, SYSTIME()
    if nzon ne 0 then begin
       amalat=amalati[*,jnd]
@@ -351 +375 @@
      ; print,'dimension tableaux extraits',dims
       n_scan=dims[1]
-     ; PRINT,'il y a des donnees dans la region ' 
+     ; PRINT,'il y a des donnees dans la region '
       amaday=REFORM(ama_scan.scnlindy)
       amafov= fovy_1
@@ -363 +387 @@
          desc=0
       endelse
- 
+;
 ; correction nadir des donnees
          ch_nadir=fltarr(nbpix,nzon)
          landseamask=intarr(nbpix,nzon)+2 ; valeur hors zone selectionnee
-        ; PRINT,'boucle sur les points du fichier, correction nadir', SYSTIME() 
+        ; PRINT,'boucle sur les points du fichier, correction nadir', SYSTIME()
 
          for isc=0L,nzon-1L do begin
@@ -403 +427 @@
 
          endfor
-        ; PRINT, 'fin boucle',SYSTIME() 
+        ; PRINT, 'fin boucle',SYSTIME()
          moych=fltarr(nbpix)
 
@@ -420 +444 @@
             lat=amalat[*,i]
             mask=landseamask[*,i]
-            ind=where(tb gt tbmin,nbon) 
+            ind=where(tb gt tbmin,nbon)
 ; test pour eviter pb d'interpolation de longitude (meridien 180)
             if nbon eq nbpix then begin
@@ -446 +470 @@
                      lonint=[lonint,longrid[zone]]
                      fovint=[fovint,fovgrid[zone]]
-                     maskint=[maskint,maskgrid[zone]]               
+                     maskint=[maskint,maskgrid[zone]]
                      timeint=[timeint,replicate(tt[i],npt)]
                   endelse
@@ -454 +478 @@
             endif
          endfor
-     ; PRINT,'fin interpolation et selection des points de la zone', SYSTIME() 
+     ; PRINT,'fin interpolation et selection des points de la zone', SYSTIME()
 
          nn=n_elements(chint)
@@ -482 +506 @@
             endfor
          endif
-           
+;
 ; fin boucle sur les fichiers lus
    endif
-   PRINT,'www : passage au fichier suivant ', SYSTIME() 
-endwhile
+   PRINT,'www : passage au fichier suivant ', SYSTIME()
+endfor
 labfile:
 if (n_elements(data) NE 0) then begin
@@ -510 +534 @@
 endif else begin
     print, 'www : no data to write'
+    goto, realend
 endelse
 
+nofile:
+    print, 'www : no data to read'
+
+realend:
+    PRINT, 'www : fin programme extract_amsua',SYSTIME()
 end

trunk/src/traite_amsuab.sh

@@ -79 +79 @@
 # during [20060801, 20060802[ and you want to produce NetCDF files::
 #
-#   $ traite_amsuab.sh -b 20060801 -e 20060802 -lonmin -25 -lonmax 25 -latmin -5 -latmax 20 -numch a5
+#   traite_amsuab.sh -b 20060801 -e 20060802 -lonmin -25 -lonmax 25 -latmin -5 -latmax 20 -numch a5
 #
 # And look at log file with ::
 #
-#  $ tlogd.sh traite_amsuab
+#   tlogd.sh traite_amsuab
 #
 # and of course on files in ${PROJECT_ID}.
@@ -89 +89 @@
 # If you want to work on channel b5 of AMSU::
 #
-#   $ traite_amsuab.sh -b 20060813 -e 20060814 -lonmin -25 -lonmax 25 -latmin -5 -latmax 20 -numch b5
+#   traite_amsuab.sh -b 20060813 -e 20060814 -lonmin -25 -lonmax 25 -latmin -5 -latmax 20 -numch b5
 #
 # SEE ALSO
@@ -108 +108 @@
 # :ref:`extract_amsua.pro`
 # :ref:`amsu2ncdf.pro`
+# :func:`search_amsufiles`
 #
 # :ref:`geolocation_to_string_sh.sh`
@@ -115 +116 @@
 # TODO
 # ====
-#
-# tri chrono dans les list_file ou apres la production du fichier .dat
-# par extract_amsua.pro avec sort -n : on a besoin de connaitre la
-# convention de terminologie utilisée.
-#
-# changer le nom des fichiers de listes pour éviter des conflits lors de runs
-# simultanés
 #
 # se bloque sur
@@ -150 +144 @@
 # $URL$
 #
-# 
+# - pinsard 20120323
+#
+#   * replace creation of :file:`${PROJECT_ID}/list_file` by a call to 
+#     :func:`search_amsufiles`
+#   * transform the IDL snippet to a function to be abble to use ``CASE``
+#
 # - pinsard 20120106 
 #
@@ -471 +470 @@
     prefix=$(printf  "%1c" ${numch} | tr [:lower:] [:upper:])
 
-    # write the file ${PROJECT_ID}/list_file containing AMSU filenames on the current date
-    ls ${PROJECT_ID}/AMSU/AMSU${prefix}*/L1C/${yyyy}/${yyyy}_${mm}_${dd}/*.L1C > ${PROJECT_ID}/list_file
-    #
-    # qqes recettes de cuisine en commentaires pour court-circuiter la vraie liste de fichier
-    # 1) pour forcer le contenu de la liste avec des noms de fichiers précis
-    # echo "/homedata/eymard/varamma_d//AMSU/AMSUAN16/L1C/2006/2006_08_13/NSS.AMAX.NL.D06225.S1300.E1446.B3036869.GC.L1C" > ${PROJECT_ID}/list_file
-    # echo "/homedata/eymard/varamma_d//AMSU/AMSUAN16/L1C/2006/2006_08_13/NSS.AMAX.NL.D06225.S1440.E1451.B3036969.GC.L1C" >> ${PROJECT_ID}/list_file
-    #
-    # 2)pour ne garder que les n derniers fichiers
-    # cp ${PROJECT_ID}/list_file ${PROJECT_ID}/list_file_full
-    # tail -n 2 ${PROJECT_ID}/list_file_full > ${PROJECT_ID}/list_file
-    # echo "WWWWWWWWWWw : 2 files only"  >> ${log} 2>&1
-    #
-    if [ ! -s ${PROJECT_ID}/list_file ]
-    then
-       echo "${command} : eee : no file found" >> ${log} 2>&1
-       exit 1
-    fi
     cat >> ${PROJECT}/src/traite_amsu_${$}.pro << EOF
-.compile interpol_correc
-.compile extract_amsua
-resol=1
-extract_amsua, '${numch}',  ${yyyy},${mm}, ${dd}, resol, ${lonmin}, ${lonmax}, ${latmin}, ${latmax}
+function traite_amsu_${$}
+;
+compile_opt idl2, strictarrsubs
+;
+result = -1
+;
+files_list = search_amsufiles('${numch}', ${yyyy},${mm}, ${dd})
+;
+; uncomment the following lines to test with the last file of the list
+; files_list_new_array = strarr(1)
+; files_list_new_array[0] = files_list[N_ELEMENTS(files_list) - 1]
+; files_list = files_list_new_array
+;
+; uncomment the following lines to test with the two last files of the list
+; files_list_new_array = strarr(2)
+; files_list_new_array[0] = files_list[N_ELEMENTS(files_list) - 2]
+; files_list_new_array[1] = files_list[N_ELEMENTS(files_list) - 1]
+; files_list = files_list_new_array
+;
+; uncomment the following lines to test with the first file of the list
+; files_list_new_array = strarr(1)
+; files_list_new_array[0] = files_list[1]
+; files_list = files_list_new_array
+;
+CASE size(files_list,/DIMENSION) OF
+   0L : BEGIN
+            print, 'www : no file found'
+        END
+   ELSE: BEGIN
+            print, 'iii : nb de fichers', size(files_list,/DIMENSION)
+            resol=1
+            extract_amsua, '${numch}', files_list, ${yyyy}, ${mm}, ${dd}, resol, ${lonmin}, ${lonmax}, ${latmin}, ${latmax}
+        END
+ENDCASE
 EOF
     if [ ${netcdf_build} -eq 1 ]
@@ -502 +513 @@
      fi
      cat >> ${PROJECT}/src/traite_amsu_${$}.pro << EOF
-exit
+return, result 
+end
 EOF
     ${IDL_CMD} << EOF >> ${log} 2>&1
-     @traite_amsu_${$}
+.compile interpol_correc
+.compile extract_amsua
+     result = traite_amsu_${$}()
 EOF
     status=${?}
@@ -515 +529 @@
     fi
     rm ${PROJECT}/src/traite_amsu_${$}.pro
-    rm  ${PROJECT_ID}/list_file 2> /dev/null
     unset status
     if [ ${netcdf_build} -eq 1 ]