source: trunk/docs/docs_dev/source/guides/updatedata.rst @ 199

.. +
..
.. DESCRIPTION
.. ===========
..
.. procedure to update data on website
..
.. SEE ALSO
.. ========
..
.. ref:`updatedata`
.. ref:`builddoc`
..
.. TODO
.. =====
..
.. en fait la comparaison devra être fait aussi AVANT le démarage de cette procédure
..
.. translation
..
.. comprendre les embrouilles ftp, sftp ncftp www.locean-ipsl.upmc.fr
..
.. mettre les sites amis comme le NIO à jour
..
.. définir les outils de comparaison, écrire les outils en question
..
.. tenir compte des images du site dans cette procédure
..
.. tester la mise à jour de Readme.rst
..
.. utilisation du .htaccess
..
.. EVOLUTIONS
.. ==========
..
.. $Id$
..
.. $URL$
..
.. - fplod 20121227T192052Z cratos.locean-ipsl.upmc.fr (Linux)
..
..   * no more need to concatenate /net/adonis/usr/adonis/varclim/tropflux_v2
..     : jv made it on 20121221
..
.. - fplod 20121121T151409Z cratos.locean-ipsl.upmc.fr (Linux)
..
..   * update from /net/adonis/usr/adonis/varclim/tropflux_v2
..     2 datasets : 1979-2011 and 201201-201206
..     to be concatenated
..
.. - fplod 20120307
..
..   * README.rst was renamed to Readme.rst because of Apache policy
..
.. - fplod 20120229
..
..   * associate README.rst to datafiles
..
.. - fplod 20120210
..
..   * missing an ftp command
..
.. - fplod 20120209
..
..   * creation (draft) with v0 to v1 action
..
.. -

.. |project| replace:: TROPFLUX
.. |project_id| replace:: tropflux

.. _updatedata:

Update data
===========

On suppose ici que :

 - un nouveau jeu de données est disponible dans un répertoire accessible à partir de cratos.locean-ipsl.upmc.fr (pour faire tourner les outils de validation/comparaison) et à partir du poste de travail (mac) de Françoise Pinsard (pour assurer la mise à jour du serveur de données).
 - (bientôt) des nouvelles images associées sont disponibles dans les mêmes conditions

Le but du jeu de la procédure décrite ici est de :

 - conserver le jeu de données actuel (cf. :ref:`saveold`)
 - conserver le jeu de données nouveau (cf. :ref:`copynew1` and :ref:`copynew2`)
 - comparer les deux jeux de données (cf. :ref:`compareversion`)
 - mettre ce nouveau jeu de données à disposition sous http://www.locean-ipsl.upmc.fr/~tropflux/data/
 - prévenir les amis de TropFlux (cf. :ref:`advertise`)

.. _newversion:

It must be known if the new dataset is a new version of TropFlux product.

If so, the new version must be described in :file:`changes.rst`.
(see also :ref:`builddoc` to synchronize dataset and documentation).

If a new field is provided it must be described in :file:`data_out_website.rst`

:file:`Readme.rst` may also be updated.

.. warning::

   embrouille entre les machines (cratos vs mon poste de travail) et les outils (ftp, ncftp, sftp) : on arrive pas toujours à trouver le répertoire  |project_id| après la connexion.

   En conséquence, toutes les commandes ftp sont faites sur le poste de travail (mac) de Françoise Pinsard.

.. note::

   Here is the sequence of commands to be run to create
   the directory equivalent to the URL  http://www.locean-ipsl.upmc.fr/~tropflux/images/

   .. parsed-literal::

      fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
      ftp> cd |project_id|
      ftp> mkdir images

La mise à disposition des fichiers de données et des images sur l'URL
http://www.locean-ipsl.upmc.fr/tropflux/
est réservée à Françoise Pinsard pour des raisons de protections de fichiers et
de politique de login.

.. _saveold:

Save old version
----------------

.. parsed-literal::

   $ datemodif="20120209"

   $ export datemodif
   $ cd /usr/lodyc/incas/fplod/tropflux_d/
   $ mkdir obsolete_${datemodif}

.. parsed-literal::

   $ mv Readme.rst obsolete_${datemodif}
   $ mv ./daily obsolete_${datemodif}
   $ mv ./monthly obsolete_${datemodif}

.. _copynew1:

Copy new version (phase 1)
--------------------------

.. parsed-literal::

   $ newdir='/net/adonis/usr/adonis/varclim/tropflux_v1'
   $ export newdir
   $ svn export svn+ssh://pinsard@forge.ipsl.jussieu.fr/ipsl/forge/projets/tropflux/svn/trunk/adm/website/Readme.rst \
     /usr/lodyc/incas/fplod/tropflux_d/to_be_published/Readme.rst
   $ cp -r ${newdir}/daily /usr/lodyc/incas/fplod/tropflux_d/to_be_published
   $ cp -r ${newdir}/monthly /usr/lodyc/incas/fplod/tropflux_d/to_be_published

.. _compareversion:

Compare versions
----------------

A set of tools must be run to compare obsolete and new versions

TDB

.. parsed-literal::

   $ ++compare.sh -o obsolete_${datemodif} -n /usr/lodyc/incas/fplod/tropflux_d/to_be_published

Once comparison is done and PI happy,
++ cleanning or modify newdir

.. _copynew2:

Copy new version (phase 2)
--------------------------

.. parsed-literal::

   $ cd /usr/lodyc/incas/fplod/tropflux_d/
   $ mv ./to_be_published/Readme.rst .
   $ mv ./to_be_published/daily ./
   $ mv ./to_be_published/monthly ./
   $ ln -sf $(pwd)/Readme.rst daily/
   $ ln -sf $(pwd)/Readme.rst monthly/


.. _desinstalldata:

Remove old version from the website
-----------------------------------

To avoid confusion, old version has to be removed from the website:

.. parsed-literal::

   fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
   ftp> cd |project_id|/data/
   ftp> mdelete daily/*
   ftp> mdelete monthly/*

.. _installdata:

Installation of the new version
-------------------------------

L'installation se fait ainsi:

.. parsed-literal::

   fplod@sonmac$ cd /Volumes/Lcerbere/tropflux_d/
   fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
   ftp> cd |project_id|/data/
   ftp> put Readme.rst
   ftp> cd daily
   ftp> lcd daily
   ftp> mput \*.nc
   ftp> put ../Readme.rst
   ftp> cd ../monthly
   ftp> lcd ../monthly
   ftp> put ../Readme.rst
   ftp> mput \*.nc


.. note::

   :file:`/Volumes/Lcerbere/tropflux_d/` is equivalent to file:`/usr/lodyc/incas/fplod/tropflux_d/` thanks to sshfs command.

   .. parsed-literal::

      $ diskext="/Volumes/LCerbere"
      $ sshfs fplod@cerbere:/usr/lodyc/incas/fplod ${diskext} -odefer_permissions -o sshfs_debug

.. _advertise:

Advertise TropFlux friends
--------------------------

A email must be send to TropFlux list to warn about the new dataset.

Une mise à jour doit être envoyée aux contacts dans les instutions qui mentionne notre jeu de données (NIO).