source: trunk/adm/guides/updatedata.rst @ 117

.. +
..
.. DESCRIPTION
.. ===========
..
.. procedure to update data on website
..
.. SEE ALSO
.. ========
.. ref:`updatedata`
.. ref:`builddoc`
..
.. TODO
.. =====
..
.. en fait la comparaison devra être fait aussi AVANT le démarage de cette procédure
..
.. translation
..
.. comprendre les embrouilles ftp, sftp ncftp www.locean-ipsl.upmc.fr
..
.. mettre les sites amis comme le NIO à jour
..
.. écrire une doc sur comment ajouter une nouvelle référence
..
.. définir les outils de comparaison, écrire les outils en question
..
.. tenir compte des images du site dans cette procédure
..
.. EVOLUTIONS
.. ==========
..
.. $Id$
..
.. $URL$
..
.. - fplod 20120210
..
..   * missing an fpt command
..
.. - fplod 20120209
..
..   * creation (draft) with v0 to v1 action
..
.. -

.. |project| replace:: TROPFLUX
.. |project_id| replace:: tropflux

.. _updatedata:

Update data
===========

On suppose ici que :

 - un nouveau jeu de données est disponible dans un répertoire accessible à partir de cratos.locean-ipsl.upmc.fr (pour faire tourner les outils de validation/comparaison) et à partir du poste de travail (mac) de Françoise Pinsard (pour assure la mise à jour du serveur de données).
 - (bientôt) des nouvelles images associées sont disponibles dans les mêmes conditions

Le but du jeu de la procédure décrite ici est de :

 - conserver le jeu de données actuel (cf. :ref:`saveold`)
 - conserver le jeu de données nouveau (cf. :ref:`copynew1` and :ref:`copynew2`)
 - comparer les deux jeux de données (cf. :ref:`compareversion`)
 - mettre ce nouveau jeu de données à disposition sous http://www.locean-ipsl.upmc.fr/~tropflux/data/
 - prévenir les amis de TropFlux (cf. :ref:`advertise`)

.. _newversion:

It must be known if the new dataset is a new version of TropFlux product.

If so, the new version must be described in :file:`changes.rst`.
(see also :ref:`builddoc` to synchronize dataset and documentation).

If a new field is provided it must be described in :file:`data_out_website.rst`

.. warning::

   embrouille entre les machines (cratos vs mon poste de travail) et les outils (ftp, ncftp, sftp) : on arrive pas toujours à trouver le répertoire  |project_id| après la connexion.

   En conséquence, toutes les commandes ftp sont faites sur le poste de travail (mac) de Françoise Pinsard.

.. note::

   Here is the sequence of commands to be run to create
   the directory equivalent to the URL  http://www.locean-ipsl.upmc.fr/~tropflux/images/

   .. parsed-literal::

      fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
      ftp> cd |project_id|
      ftp> mkdir images

La mise à disposition des fichiers de données et des images sur l'URL
http://www.locean-ipsl.upmc.fr/tropflux/
est réservée à Françoise Pinsard pour des raisons de protections de fichiers et
de politique de login.

.. _saveold:

Save old version
----------------

.. parsed-literal::

   $ datemodif="20120209"
   $ export datemodif
   $ cd /usr/lodyc/incas/fplod/tropflux_d/
   $ mkdir obsolete_${datemodif}

.. parsed-literal::

   $ mv ./daily obsolete_${datemodif}
   $ mv ./monthly obsolete_${datemodif}

.. _copynew1:

Copy new version (phase 1)
--------------------------

.. parsed-literal::

   $ newdir='/net/adonis/usr/adonis/varclim/tropflux_v1'
   $ export newdir
   $ cp -r ${newdir}/daily /usr/lodyc/incas/fplod/tropflux_d/to_be_published
   $ cp -r ${newdir}/monthly /usr/lodyc/incas/fplod/tropflux_d/to_be_published

(here is not the final state ...)

.. _compareversion:

Compare versions
----------------

A set of tools must be run to compare obsolete and new versions

TDB

.. parsed-literal::

   $ ++compare.sh -o obsolete_${datemodif} -n /usr/lodyc/incas/fplod/tropflux_d/to_be_published

Once comparison is done and PI happy,
++ cleanning or modify newdir

.. _copynew2:

Copy new version (phase 2)
--------------------------

.. parsed-literal::

   $ cd /usr/lodyc/incas/fplod/tropflux_d/
   $ mv ./to_be_published/daily ./
   $ mv ./to_be_published/monthly ./


.. _desinstalldata:

Remove old version from the website
-----------------------------------

To avoid confusion, old version has to be removed from the website:

.. parsed-literal::

   fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
   ftp> cd |project_id|/data/
   ftp> mdelete daily/*
   ftp> mdelete monthly/*

.. _installdata:

Installation of the new version
-------------------------------

L'installation se fait ainsi:

.. parsed-literal::

   fplod@sonmac$ cd /Volumes/Lcerbere/tropflux_d/
   fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
   ftp> cd |project_id|/data/
   ftp> cd daily
   ftp> lcd daily
   ftp> mput *.nc
   ftp> cd ../monthly
   ftp> lcd ../monthly
   ftp> mput *.nc


.. note::

   :file:`/Volumes/Lcerbere/tropflux_d/` is equivalent to file:`/usr/lodyc/incas/fplod/tropflux_d/` thanks to sshfs command.

   .. parsed-literal::

      $ diskext="/Volumes/LCerbere"
      $ sshfs fplod@cerbere:/usr/lodyc/incas/fplod ${diskext} -odefer_permissions

.. _advertise:

Advertise TropFlux friends
--------------------------

A email must be send to TropFlux list to warn about the new dataset.

Une mise à jour doit être envoyée aux contacts dans les instutions qui mentionne notre jeu de données (NIO).