source:
trunk/docs/docs_dev/source/guides/data_content.rst
@
640
Last change on this file since 640 was 640, checked in by pinsard, 10 years ago | |
---|---|
|
|
File size: 21.7 KB |
Data
contenu terminologie granulométrie organisation etc.
Leaf area index (LAI)
- résolution temporelle
- hebdomadaire
- couverture temporelle
- 200002118 (doy=49) 20081226 (doy=361)
- résolution spatiale
- 1 km
- couverture spatiale
- Sénégal (de 13,5 à 17N, 13 à 17,5W)
Reference files
MODIS Terra-Aqua format HDF4 fournis par Catherine Ottlé +todo+ URL déposés dans par Laurence Eymard in :file:`/net/zeus/usr/zeus/incas/mousson/LAI/LAI_{yyyy}/`
exemple de terminologie :
Derived files
format texte produits en utilisant :ref:`LectureLAIHDF.pro` déposés dans par Laurence Eymard in :file:`/net/zeus/usr/zeus/incas/mousson/LAI/`
terminologie : :file:`laisen{yyyy}_float.txt`
taille : 50 Mo/an
caution: | year value is not written in the file, only present in filename. can't be added at first line because of readability with QGIS |
---|
Here is a recipe to isolate latitude(y), longitude (x) and attribute an unique ID for each point for QGIS:
for filetxt in /net/zeus/usr/zeus/incas/mousson/LAI/laisen????_float.txt do bfile=$(basename ${filetxt}) yyyy=$(echo ${bfile} | sed -e "s/laisen//" -e "s/_float.txt//") filecsv=laisen_id${yyyy}.txt echo "Y,X,ID" > ${VARAMMA_ID}/LAI/${filecsv} awk -F, 'NR > 2 {printf "%f,%f,%d\n", $1, $2, NR - 1}' ${filetxt} >> ${VARAMMA_ID}/LAI/${filecsv} done
caution: | Missing values are not handled here +todo+ |
---|
Annexes
Outil primaire de simulation : :func:`simul_lai_2d` et :func:`write_lai_2d`
Outil de lecture : :func:`read_lai_2d`
Micro-Wave Precipitation Data
Introduction
We have been informed by Jean-Claude Berges (Jean-Claude.Berges@univ-paris1.fr) that micro-wave precipitation data every 3 hours are provided by GSFC in a collection of binary files.
References of documentations and available softwares (C, Fortran, IDL) can be read in ftp://trmmopen.gsfc.nasa.gov/pub/merged/3B4XRT_index.
see ftp://meso.gsfc.nasa.gov/pub/trmmdocs/rt/3B4XRT_README.pdf
- résolution temporelle
- 3 hours
- couverture temporelle
- 2005++++ -
- résolution spatiale
- 0.25°x0.25°
- couverture spatiale
- global
Reference files
Directories
Terminology
Size
++ Mo/an 400Ko * 24/3 * 365
Derived files
++directory :file:`climserv://bdd/TRMM/3B40/NCDF/{yyyy}/`
- terminologie
:file:`${PROJECT_ID}/TRMM/{yyyy}/{mm}/{dd}/{product}RT.{yyyymmddhh}{v}.nc` :file:`${PROJECT_ID}/TRMM/{yyyy}/{mm}/{product}RT.{yyyymmdd}.{v}.nc` :file:`${PROJECT_ID}/TRMM/{yyyy}/{mm}/{product}RT.{yyyymmdd}_{box}.{v}.nc`
avec
- yyyy
- year
- v
- version
- box
- lat and logintude corners lonmin_lonmax_lat_min_latmax
Annexes
Outil primaire de simulation :
Outils de récupération : :ref:`get_trmm.sh`
Outils de mise en forme : :ref:`traite_trmm.sh` (:ref:`geolocation_to_string_sh.sh`)
Outil de lecture : :func:`TRMMread`
Outil de dessin : :func:`visuTRMM`
Precipitation In Situ Data
Reference files set 1
Precipitation data have been provided to SoukÚyé Cissé in a zip file :file:`Données climatiques_Soukeye.zip` stored in :file:`/net/zeus/usr/zeus/incas/mousson/Donnees_climatiques_Soukeye.zip`.
This file contains Excel files :
- Barkedji_pluviom_SP-2008.xls
- Barkédji_Morel.xls
- Barkédji_RR_1961-2000.xls
- CORUS_Ferlo.xls
- Coordionénes STATIONS_AGRY_Synop.XLS
- Données_Almamy_vallée-SEN.xls
- Ferlo_Pluvio-journaliÚre_1961-2000.xls
- Ferlo_Pluvio-journaliÚre_2001-2009.xls
- LYON_Adama-Sarr(Données).xls
- Ranérou.xls
- barkedji_pluviom_2003.xls
- barkedji_pluviom_2004.xls
- barkedji_pluviom_2005.xls
- barkedji_pluviom_2006.xls
- barékdji pluvio2009.xls
- ferlo_pluvio_journaliere_1933_2000.xls
- petite cÃŽte.xls
Note
Reading Excel file under matlab is possible with xslread but the same function in octave 3.0.2 only accept CSV files.
Note
Excel files can be seen on zeus using oocalc. They can also be converted in ASCII format using xls2csv.
Barkedji_pluviom_SP-2008.xls
les cumuls ne sont pas utiles dans les programmes du projets car recalculables
pas de valeurs manquantes sur des cases ne correspondant pas à une date (ex : 20080931)
ferlo_pluvio_journaliere_1933_2000.xls xls2calc ne permet pas de récupérer le nom des feuilles
on les voit avec strings
gassane ranerou linguere dahra sagata barkedji velingara thiel Arbeitsbl
les années ne sont pas tjs sur la même colonne
il y a des valeurs manquantes -999 mais aussi des valeurs bizarres -555
les années ne sont pas typées "date" mais integer.
Une carte du réseau des pluviomÚtres du Sénégal est mis à disposition par l'agence nationale de la météorologie du Sénégal sout forme PNG : http://www.meteo-senegal.net/images/png/pluvio.png.
Reference files set 2
Set 2 of Precipitation in situ data have been provided by SoukÚyé Cissé in January 2011.
They are csv files:
:file:` Barkédji_RR_1961-2000.csv`
Note
Following files contains data before 2000:
They have to be cleaned and completed to be usable with octave and Qgis because of following problems:
- heterogeneous terminology (ex: barkedji_pluvio_2005.csv vs barkedji_pluie_2006.csv)
- comma as digital separator
- different formalism for missing values : xx, -999, -555, -, empty field
- no geolocation
- heterogeneous headers (ex : "Jours","Juin","Juillet","Août","Septembre","Octobre","Novembre","cumul" vs "jours","JUIN","JUILLET","AOUT","SEPT","OCT","cumuls","Décades"
- multiple years in one file
Eventually following files are available in :file:`/net/zeus/usr/zeus/incas/mousson/PRECIP/` :
Annexes
Outil primaire de simulation : :func:`simul_precip` et :func:`write_precip`
Outil de lecture : :func:`read_precip`
Outil de dessin : :func:`plot_precip`
Associated datasets
Station pluviometer Data
Station pluviometer data have been provided by SoukÚyé Cissé in a Excel file stored in :file:`/net/zeus/usr/zeus/incas/mousson/Coordionénes STATIONS_AGRY_Synop.XLS`.
It has been partially cleaned to be usable with octave and Qgis because of following problems:
- fichier excel
- nom avec diacritiques
- deux feuilles
- sur la deuxiÚme feuille 2 colonnes
- des stations sont présentes plusieurs fois (ex: ranerou)
- lat lon et alt sont des chaines
- séparateur de décimale ,
- jaune et vert uniquement pour être humain
Eventually :file:`/net/zeus/usr/zeus/incas/mousson/PRECIP/stations.csv` is available.
caution: | duplicate station, BILIKOUATE longitude > 0, missing values in |
---|
lat and lon
Annexes
Outil primaire de simulation : :func:`simul_station` et :func:`write_station`
Outil de lecture : :func:`read_station`
Outil de dessin : :func:`plot_station`
Outil de sélection/information : :func:`get_station_geolocation`
Associated datasets
AMSU Data
15 orbites par jour
seuil de validité des données : 100-300
++ pour chaque type de fichier, info sur production, taille
Dans :file:`/usr/home/lelod/VARAMMA/` sous cerbere, Laurence a des fichiers:
:file:`{c}{x}.an{yyyy}.nc` :file:`{c}{x}.an{yyyy}.nc` :file:`{c}{x}.an{yyyy}.nc`
avec
- c
canal a ou b
- x
numéro du canal (pour a parmi [1,2,3,4,5,6,7,8,9,15], pour b parmi [1,2,3,4,5])
- yyyy
pour année.
:file:`{c}{x}.{yyyy}{mm}.afratl.nc`
avec
- c
canal a ou b
- x
numéro du canal (pour a parmi [1,2,3,4,5,6,7,8,9,15], pour b parmi [1,2,3,4,5])
- yyyy
année
- mm
mois
-
avec
- c
canal a ou b
- x
numéro du canal (pour a parmi [2,3,4,4,7,8], pour b parmi [3,4,5])
fichiers de correction au nadir
ref. dans ClimServ :file:`/homedata/eymard/TRAIT_AMSU/`
aussi dans :file:`/net/zeus/usr/zeus/incas/mousson/AMSU/`
+todo+ comment ont-ils été crées ?
used in :ref:`correct_nadir_amsu.pro` and :ref:`interpol_correc.pro`
"exotiques"
Il y a qqes "exotiques"
L'année de mise au point des programmes est 2006.
Manifestement peu/pas de convention appliquée sur tous ces types de fichier. ++ intox CF
Annexes
Outil primaire de simulation :
Outils de récupération : :ref:`get_amsu.sh`
Outils de mise en forme : :ref:`traite_amsuab.sh`, :ref:`correct_nadir_amsu.pro`, :ref:`amsu2ncdf.pro`, :ref:`extract_zone_nc.sh`, :func:`cresamsu`, :func:`idl_amsu_netcdf`
Outil de gestion de fichiers :func:`search_amsufiles`
Outil de lecture : :func:`readAMSU`
Outil de dessin :
Outil de sélection AMSU/MSG : :func:`selectionimages`, :func:`scatterplot`
MSG Data
- Plateforme
- MSG
- Instrument
- SEVIRI
- résolution temporelle
- 15 mn
- couverture temporelle
yyyyymmjj yyyymmdd +todo+ (pour l'instant de 2006-07-01 Ã 2006-09-30)
+todo+ où est le reste des MSG ?!
- résolution spatiale
- 3 km
- couverture spatiale
- +todo+
++ pour chaque type de fichier, info sur production, taille
Reference files
directory :file:`climserv:/bdd/AMMA/AOC-Paris/msg/{yyyy}/{mm}/{dd}/`
- terminologie
:file:`{product_ref}_msg01_{yyyymmdd}_{hhmn}_{xxxxx}.def.gz`
:file:`{product_ref}_msg01_{yyyymmdd}_{hhmn}_{xxxxx}.raw.gz`
avec
- product_ref
- AtlSudMir108, etc.
- taille
- 59Mo/jour
caution: tous les quarts d'heure ne sont pas forcément présents.
Derived files
+todo+Stock in :file:`/net/zeus/usr/zeus/incas/mousson/MSG/`.
- terminologie
:file:`${PROJECT_ID}/MSG/{yyyy}/{mm}/{dd}/{yyyymmddhhmn}_msg-{product}-map_15min.raw` :file:`${PROJECT_ID}/MSG/{yyyy}/{mm}/{dd}/{yyyymmddhhmn}_msg-{product}-map_15min.def`
avec
- yyyy
- year
- mm
- month
- dd
- day
- product
- classif or height or tb108
taille : 158Mo pour classif et height, 313Mo pour tb108
Déposés par Françoise Pinsard via Laurence Eymard dans directory :file:`zeus:/net/zeus/usr/zeus/incas/mousson/MSG/extracted/{yyyy}/{mm}` ++ d'où viennent-ils ? sortie de :ref:`traite_msg-prod.sh`
- terminologie
taille : 99Mo/day
Annexes
Outil primaire de simulation : :func:`simul_msg`
Outils de récupération : :ref:`get_msg.sh`
Outils de mise en forme : :ref:`traite_msg-prod.sh` (:ref:`create_gif.sh` :ref:`create_nc.sh`) , :ref:`concat-files.sh`, :ref:`extract_zone_nc.sh`
Outil de lecture : :func:`MSGbuildfullfilename` :func:`MSGread`, :func:`read_regular_grid`
Outil de dessin : :func:`plotimageMSG`, :func:`evolution_msg`, :func:`hovmullerlat`, :func:`showgrid`, :func:`plot_intensityMSG`, :func:`visuMSG`
Outil de sélection AMSU/MSG : :func:`selectionimages`, :func:`scatterplot`
Outils de détection de nuages : :ref:`cloud_day.pro`, :ref:`cloud_month.pro`, :ref:`msgnuage.pro`, :ref:`nuage.pro`, :ref:`ssminuage.pro` :func:`histo_intensityMSG` :func:`intensityMSG_day`
Comparaisons MSG/EPSAT : :func:`M_compar_tbnoyau_image` :func:`M_compar_tbseuil_histo` :func:`M_compar_tbseuil_image` :func:`compar_tbnoyau_image` :func:`compar_tbseuil_histo` :func:`compar_tbseuil_image`
Autres : :ref:`amsu2ncdf.pro`
EPSAT data
- résolution temporelle
- 30 mn
- couverture temporelle
- [20060726,20060731]
- résolution spatiale
- 11 km
- couverture spatiale
- +todo+
++ pour chaque type de fichier, info sur production, taille
++ doc en particuliers sur les versions
Reference files
Disponibles de 2004 Ã 2006 (summer months) sur :file:`climserv:/bdd/AMMASAT/CDF/priv/west_africa/surf-rr/epsat-sg/{yyyy}/{mm}/`
Warning
need to belong to amma_eu group on ClimServ.
Déposés par Laurence Eymard dans directory :file:`zeus:/net/zeus/usr/zeus/incas/mousson/EPSAT/{yyyy}/{mm}`
- terminologie
- taille
- 12Mo/jour
Déposés par Françoise Pinsard via Laurence Eymard dans directory :file:`zeus:/net/zeus/usr/zeus/incas/mousson/EPSAT/extracted/{yyyy}/{mm}` ++ d'où viennent-ils ? AMMA bdd?
- taille
- 3.7Mo/jour
Annexes
Outil primaire de simulation : :func:`simul_epsat`
Outils de récupération : :ref:`get_epsat.sh`
Outils de mise en forme : :ref:`extract_zone_nc.sh`
Outil de lecture : :func:`EPSATbuildfullfilename` :func:`EPSATread`
Outil de dessin : :func:`visuEPSATprecipcumul` :func:`histo_cumulEPSAT` :func:`plot_cumulEPSAT`
Comparaisons MSG/EPSAT : :func:`M_compar_tbnoyau_image` :func:`M_compar_tbseuil_histo` :func:`M_compar_tbseuil_image` :func:`compar_tbnoyau_image` :func:`compar_tbseuil_histo` :func:`compar_tbseuil_image`
Autres : :func:`cumulEPSAT_day`
ECMWF Data
Pour l'instant je ne sais pas grand chose si ce n'est qu'elles sont sur ClimServ.
Voir doc dans ECMWF analysis over global area <http://climserv.ipsl.polytechnique.fr/fr/les-donnees/ecmwf-analysis-over-global-area-6.html> et ERA 40 <http://climserv.ipsl.polytechnique.fr/fr/les-donnees/era40-6.html>
On peut utiliser le jeu de données OPERA (comme "operational") de 2001 à 2008 ou ERA40 (sauf que ERA40 de 1967 à 200208 seulement).
Les fichiers ECMWF opérationnels sont dans :file:`/bdd/OPERA/NETCDF/GLOBAL_1125/4xdaily/AN_PL/`.
Les fichier ECMWF de réanalyse sont dans :file:`/bdd/ERA40/NETCDF/4xdaily/AN_PL`.
Les fichiers ECMWF INTERIM sont aussi disponibles +todo+.
:file:`msl.{yyyy}{mm}.ash.GLOBAL_1125.nc`
avec
- mm
mois
- yyyy
année
contient les "mean sea level" toutes les 6 heures sur le globe pour un mois donné.
-
avec
- mm
mois
- yyyy
année
contient les "++" (réanalyse) toutes les 6 heures sur le globe pour un mois donné.
:file:`geopt.{yyyy}{mm}.aph.nc` :file:`geopt.{yyyy}{mm}.aph.GLOBAL_1125.nc`
avec
- mm
mois
- yyyy
année
contient les "++" (opérationel) toutes les 6 heures sur le globe pour un mois donné.
OLR Data
Pour l'instant je ne sais pas grand chose si ce n'est qu'il y a un fichier :file:`/usr/temp/lelod/olr_laurence.nc` et qu'il a posé des soucis d'axe de temps (à l'envers ?!) avec SAXO. ++ à élucider.
Doc sur ClimServ : ftp://ftp.climserv.ipsl.polytechnique.fr/noaa-olr/README
Moyenne quotidienne globale de 1974 Ã maintenant :
ftp://ftp.climserv.ipsl.polytechnique.fr/noaa-olr/olr.day.mean.nc ++ que fait-on du champ info ?
Moyenne quotidienne globale par année :
:file:`olr.day.mean.{yyyy}.nc`
avec
- yyyy
année
Moyenne quotidienne
[60° W, 50° E] [30° S, 45° N] par année : :file:`olr.day.mean.{yyyy}_ng.nc`
avec
- yyyy
année
Other data sets
World map
World map is available in format Matlab v5 mat-file (big endian) in the file :file:`${VARAMMA}/src/utilitaires/cmgco_traitdecote.mat`.
This file has been provided by Laurence Eymard.
Following instruction load this file to arrays Xgco and Ygco:
load('cmgco_traitdecote.mat','Xgco','Ygco');
Plot of the whole world (black dots) can be done like this:
plot(Xgco,Ygco,'k.','MarkerSize',1)
Zones of interest
Zones of interest are defined in XML/GML in the file :file:`${VARAMMA}/src/varamma.kml`
As octave 3.4 do no handle XML an equivalent in CSV form is provided via :file:`/net/zeus/usr/zeus/incas/mousson/maps/varamma_zi.csv`
Figure "zones d'étude" fournie par le CSE via SoukÚyé Cissé :file:`/net/zeus/usr/zeus/incas/mousson/maps/zones_etudes.jpg`
Annexes
Outil primaire de simulation : :func:`simul_zi` et :func:`write_zi`
Outil de lecture : :func:`read_zi`
Outil de dessin : :func:`plot_zi`
Outil de sélection/information : :func:`get_zi_geolocation`
Bathymetry data
Bathymetry used as land/sea information has been provided by Sébastien Masson to Laurence Eymard.
See :file:`/net/zeus/usr/zeus/incas/mousson/MASK/ETOPO1_Ice_g_gmt4.nc`.
Annexes
Outil : :ref:`correct_nadir_amsu.pro`