source: trunk/docs/docs_dev/source/guides/data_content.rst @ 640

Last change on this file since 640 was 640, checked in by pinsard, 10 years ago

fix thanks to coding rules; typo; dupe empty lines

  • Property mime-type set to text/x-rst
  • Property svn:keywords set to Id URL
File size: 21.7 KB

Data

contenu terminologie granulométrie organisation etc.

Leaf area index (LAI)

résolution temporelle
hebdomadaire
couverture temporelle
200002118 (doy=49) 20081226 (doy=361)
résolution spatiale
1 km
couverture spatiale
Sénégal (de 13,5 à 17N, 13 à 17,5W)

Reference files

MODIS Terra-Aqua format HDF4 fournis par Catherine Ottlé +todo+ URL déposés dans par Laurence Eymard in :file:`/net/zeus/usr/zeus/incas/mousson/LAI/LAI_{yyyy}/`

?

exemple de terminologie :

Derived files

format texte produits en utilisant :ref:`LectureLAIHDF.pro` déposés dans par Laurence Eymard in :file:`/net/zeus/usr/zeus/incas/mousson/LAI/`

??

terminologie : :file:`laisen{yyyy}_float.txt`

?

taille : 50 Mo/an

caution:year value is not written in the file, only present in filename. can't be added at first line because of readability with QGIS

Here is a recipe to isolate latitude(y), longitude (x) and attribute an unique ID for each point for QGIS:

for filetxt in /net/zeus/usr/zeus/incas/mousson/LAI/laisen????_float.txt
do
    bfile=$(basename ${filetxt})
    yyyy=$(echo ${bfile} | sed -e "s/laisen//" -e "s/_float.txt//")
    filecsv=laisen_id${yyyy}.txt
    echo "Y,X,ID" > ${VARAMMA_ID}/LAI/${filecsv}
    awk -F, 'NR > 2 {printf "%f,%f,%d\n", $1, $2, NR - 1}' ${filetxt} >> ${VARAMMA_ID}/LAI/${filecsv}
done
caution:Missing values are not handled here +todo+

Annexes

Outil primaire de simulation : :func:`simul_lai_2d` et :func:`write_lai_2d`

??

Outil de lecture : :func:`read_lai_2d`

?

Micro-Wave Precipitation Data

Introduction

We have been informed by Jean-Claude Berges (Jean-Claude.Berges@univ-paris1.fr) that micro-wave precipitation data every 3 hours are provided by GSFC in a collection of binary files.

References of documentations and available softwares (C, Fortran, IDL) can be read in ftp://trmmopen.gsfc.nasa.gov/pub/merged/3B4XRT_index.

see ftp://meso.gsfc.nasa.gov/pub/trmmdocs/rt/3B4XRT_README.pdf

résolution temporelle
3 hours
couverture temporelle
2005++++ -
résolution spatiale
0.25°x0.25°
couverture spatiale
global

Annexes

Outil primaire de simulation :

Outils de récupération : :ref:`get_trmm.sh`

?

Outils de mise en forme : :ref:`traite_trmm.sh` (:ref:`geolocation_to_string_sh.sh`)

??

Outil de lecture : :func:`TRMMread`

?

Outil de dessin : :func:`visuTRMM`

?

Precipitation In Situ Data

Reference files set 1

Precipitation data have been provided to SoukÚyé Cissé in a zip file :file:`Données climatiques_Soukeye.zip` stored in :file:`/net/zeus/usr/zeus/incas/mousson/Donnees_climatiques_Soukeye.zip`.

??

This file contains Excel files :

  • Barkedji_pluviom_SP-2008.xls
  • Barkédji_Morel.xls
  • Barkédji_RR_1961-2000.xls
  • CORUS_Ferlo.xls
  • Coordionénes STATIONS_AGRY_Synop.XLS
  • Données_Almamy_vallée-SEN.xls
  • Ferlo_Pluvio-journaliÚre_1961-2000.xls
  • Ferlo_Pluvio-journaliÚre_2001-2009.xls
  • LYON_Adama-Sarr(Données).xls
  • Ranérou.xls
  • barkedji_pluviom_2003.xls
  • barkedji_pluviom_2004.xls
  • barkedji_pluviom_2005.xls
  • barkedji_pluviom_2006.xls
  • barékdji pluvio2009.xls
  • ferlo_pluvio_journaliere_1933_2000.xls
  • petite cÃŽte.xls

Note

Reading Excel file under matlab is possible with xslread but the same function in octave 3.0.2 only accept CSV files.

Note

Excel files can be seen on zeus using oocalc. They can also be converted in ASCII format using xls2csv.

  • Barkedji_pluviom_SP-2008.xls

    les cumuls ne sont pas utiles dans les programmes du projets car recalculables

    pas de valeurs manquantes sur des cases ne correspondant pas à une date (ex : 20080931)

  • ferlo_pluvio_journaliere_1933_2000.xls xls2calc ne permet pas de récupérer le nom des feuilles

    on les voit avec strings

    gassane
    ranerou
    linguere
    dahra
    sagata
    barkedji
    velingara
    thiel
    Arbeitsbl
    

    les années ne sont pas tjs sur la même colonne

    il y a des valeurs manquantes -999 mais aussi des valeurs bizarres -555

    les années ne sont pas typées "date" mais integer.

Une carte du réseau des pluviomÚtres du Sénégal est mis à disposition par l'agence nationale de la météorologie du Sénégal sout forme PNG : http://www.meteo-senegal.net/images/png/pluvio.png.

Reference files set 2

Set 2 of Precipitation in situ data have been provided by SoukÚyé Cissé in January 2011.

They are csv files:

They have to be cleaned and completed to be usable with octave and Qgis because of following problems:

  • heterogeneous terminology (ex: barkedji_pluvio_2005.csv vs barkedji_pluie_2006.csv)
  • comma as digital separator
  • different formalism for missing values : xx, -999, -555, -, empty field
  • no geolocation
  • heterogeneous headers (ex : "Jours","Juin","Juillet","Août","Septembre","Octobre","Novembre","cumul" vs "jours","JUIN","JUILLET","AOUT","SEPT","OCT","cumuls","Décades"
  • multiple years in one file

Eventually following files are available in :file:`/net/zeus/usr/zeus/incas/mousson/PRECIP/` :

?

Annexes

Outil primaire de simulation : :func:`simul_precip` et :func:`write_precip`

??

Outil de lecture : :func:`read_precip`

?

Outil de dessin : :func:`plot_precip`

?

Associated datasets

See :ref:`data_station_pluviometer`

?

Station pluviometer Data

Station pluviometer data have been provided by SoukÚyé Cissé in a Excel file stored in :file:`/net/zeus/usr/zeus/incas/mousson/Coordionénes STATIONS_AGRY_Synop.XLS`.

?

It has been partially cleaned to be usable with octave and Qgis because of following problems:

  • fichier excel
  • nom avec diacritiques
  • deux feuilles
  • sur la deuxiÚme feuille 2 colonnes
  • des stations sont présentes plusieurs fois (ex: ranerou)
  • lat lon et alt sont des chaines
  • séparateur de décimale ,
  • jaune et vert uniquement pour être humain

Eventually :file:`/net/zeus/usr/zeus/incas/mousson/PRECIP/stations.csv` is available.

?
caution:duplicate station, BILIKOUATE longitude > 0, missing values in
?

lat and lon

Annexes

Outil primaire de simulation : :func:`simul_station` et :func:`write_station`

??

Outil de lecture : :func:`read_station`

?

Outil de dessin : :func:`plot_station`

?

Outil de sélection/information : :func:`get_station_geolocation`

?

Associated datasets

See :ref:`data_precipitation_insitu`

?

AMSU Data

15 orbites par jour

seuil de validité des données : 100-300

++ pour chaque type de fichier, info sur production, taille

Dans :file:`/usr/home/lelod/VARAMMA/` sous cerbere, Laurence a des fichiers:

?

L'année de mise au point des programmes est 2006.

Manifestement peu/pas de convention appliquée sur tous ces types de fichier. ++ intox CF

Annexes

Outil primaire de simulation :

Outils de récupération : :ref:`get_amsu.sh`

?

Outils de mise en forme : :ref:`traite_amsuab.sh`, :ref:`correct_nadir_amsu.pro`, :ref:`amsu2ncdf.pro`, :ref:`extract_zone_nc.sh`, :func:`cresamsu`, :func:`idl_amsu_netcdf`

??????

Outil de gestion de fichiers :func:`search_amsufiles`

?

Outil de lecture : :func:`readAMSU`

?

Outil de dessin :

Outil de sélection AMSU/MSG : :func:`selectionimages`, :func:`scatterplot`

??

MSG Data

Plateforme
MSG
Instrument
SEVIRI
résolution temporelle
15 mn
couverture temporelle

yyyyymmjj yyyymmdd +todo+ (pour l'instant de 2006-07-01 à 2006-09-30)

+todo+ où est le reste des MSG ?!

résolution spatiale
3 km
couverture spatiale
+todo+

++ pour chaque type de fichier, info sur production, taille

Reference files

directory :file:`climserv:/bdd/AMMA/AOC-Paris/msg/{yyyy}/{mm}/{dd}/`

?
terminologie

avec

product_ref
AtlSudMir108, etc.
taille
59Mo/jour
caution:tous les quarts d'heure ne sont pas forcément présents.

EPSAT data

résolution temporelle
30 mn
couverture temporelle
[20060726,20060731]
résolution spatiale
11 km
couverture spatiale
+todo+

++ pour chaque type de fichier, info sur production, taille

++ doc en particuliers sur les versions

Reference files

Disponibles de 2004 à 2006 (summer months) sur :file:`climserv:/bdd/AMMASAT/CDF/priv/west_africa/surf-rr/epsat-sg/{yyyy}/{mm}/`

?

Warning

need to belong to amma_eu group on ClimServ.

Déposés par Laurence Eymard dans directory :file:`zeus:/net/zeus/usr/zeus/incas/mousson/EPSAT/{yyyy}/{mm}`

?
terminologie
taille
12Mo/jour

Déposés par Françoise Pinsard via Laurence Eymard dans directory :file:`zeus:/net/zeus/usr/zeus/incas/mousson/EPSAT/extracted/{yyyy}/{mm}` ++ d'où viennent-ils ? AMMA bdd?

?
terminologie
taille
3.7Mo/jour

ECMWF Data

Pour l'instant je ne sais pas grand chose si ce n'est qu'elles sont sur ClimServ.

Voir doc dans ECMWF analysis over global area <http://climserv.ipsl.polytechnique.fr/fr/les-donnees/ecmwf-analysis-over-global-area-6.html> et ERA 40 <http://climserv.ipsl.polytechnique.fr/fr/les-donnees/era40-6.html>

On peut utiliser le jeu de données OPERA (comme "operational") de 2001 à 2008 ou ERA40 (sauf que ERA40 de 1967 à 200208 seulement).

Les fichiers ECMWF opérationnels sont dans :file:`/bdd/OPERA/NETCDF/GLOBAL_1125/4xdaily/AN_PL/`.

?

Les fichier ECMWF de réanalyse sont dans :file:`/bdd/ERA40/NETCDF/4xdaily/AN_PL`.

?

Les fichiers ECMWF INTERIM sont aussi disponibles +todo+.

contient les "mean sea level" toutes les 6 heures sur le globe pour un mois donné.

contient les "++" (réanalyse) toutes les 6 heures sur le globe pour un mois donné.

contient les "++" (opérationel) toutes les 6 heures sur le globe pour un mois donné.

OLR Data

Pour l'instant je ne sais pas grand chose si ce n'est qu'il y a un fichier :file:`/usr/temp/lelod/olr_laurence.nc` et qu'il a posé des soucis d'axe de temps (à l'envers ?!) avec SAXO. ++ à élucider.

?

Doc sur ClimServ : ftp://ftp.climserv.ipsl.polytechnique.fr/noaa-olr/README

Other data sets

World map

World map is available in format Matlab v5 mat-file (big endian) in the file :file:`${VARAMMA}/src/utilitaires/cmgco_traitdecote.mat`.

?

This file has been provided by Laurence Eymard.

Following instruction load this file to arrays Xgco and Ygco:

load('cmgco_traitdecote.mat','Xgco','Ygco');

Plot of the whole world (black dots) can be done like this:

plot(Xgco,Ygco,'k.','MarkerSize',1)

Zones of interest

Zones of interest are defined in XML/GML in the file :file:`${VARAMMA}/src/varamma.kml`

?

As octave 3.4 do no handle XML an equivalent in CSV form is provided via :file:`/net/zeus/usr/zeus/incas/mousson/maps/varamma_zi.csv`

?

Figure "zones d'étude" fournie par le CSE via SoukÚyé Cissé :file:`/net/zeus/usr/zeus/incas/mousson/maps/zones_etudes.jpg`

?

Annexes

Outil primaire de simulation : :func:`simul_zi` et :func:`write_zi`

??

Outil de lecture : :func:`read_zi`

?

Outil de dessin : :func:`plot_zi`

?

Outil de sélection/information : :func:`get_zi_geolocation`

?

Bathymetry data

Bathymetry used as land/sea information has been provided by Sébastien Masson to Laurence Eymard.

See :file:`/net/zeus/usr/zeus/incas/mousson/MASK/ETOPO1_Ice_g_gmt4.nc`.

?
Note: See TracBrowser for help on using the repository browser.