Changeset 201 for trunk/docs

Timestamp:

07/26/13 16:21:43 (11 years ago)

Author:

pinsard

Message:

add some update data tools

Location:

trunk/docs/docs_dev/source/guides

Files:

• updatedata (added)
• updatedata.rst (modified) (5 diffs)
• updatedata/updatedata_20130725.rst (copied) (copied from trunk/docs/docs_dev/source/guides/updatedata.rst) (11 diffs)

trunk/docs/docs_dev/source/guides/updatedata.rst

@@ -9 +9 @@
 .. ========
 ..
-.. ref:`updatedata`
 .. ref:`builddoc`
 ..
@@ -37 +36 @@
 ..
 .. $URL$
+..
+.. - fplod 20130725T141747Z cratos.locean-ipsl.upmc.fr (Linux)
+..
+..   * detailed specific task for 20130715 update
 ..
 .. - fplod 20121227T192052Z cratos.locean-ipsl.upmc.fr (Linux)
@@ -87 +90 @@
  - mettre ce nouveau jeu de données à disposition sous http://www.locean-ipsl.upmc.fr/~tropflux/data/
  - prévenir les amis de TropFlux (cf. :ref:`advertise`)
+
+.. note::
+
+   see detailed and specific tasks for each update below.
 
 .. _newversion:
@@ -229 +236 @@
 
       $ diskext="/Volumes/LCerbere"
+      $ mkdir ${diskext}
       $ sshfs fplod@cerbere:/usr/lodyc/incas/fplod ${diskext} -odefer_permissions -o sshfs_debug
 
@@ -240 +248 @@
 Une mise à jour doit être envoyée aux contacts dans les instutions qui mentionne notre jeu de données (NIO).
 
+
+.. toctree::
+   :maxdepth: 0
+   :glob:
+
+   updatedata/updatedata_20130725

trunk/docs/docs_dev/source/guides/updatedata/updatedata_20130725.rst

@@ -4 +4 @@
 .. ===========
 ..
-.. procedure to update data on website
+.. procedure to update data on website 20130725
 ..
 .. SEE ALSO
@@ -10 +10 @@
 ..
 .. ref:`updatedata`
-.. ref:`builddoc`
 ..
 .. TODO
 .. =====
 ..
-.. en fait la comparaison devra être fait aussi AVANT le démarage de cette procédure
-..
-.. translation
-..
-.. comprendre les embrouilles ftp, sftp ncftp www.locean-ipsl.upmc.fr
-..
-.. mettre les sites amis comme le NIO à jour
-..
-.. définir les outils de comparaison, écrire les outils en question
-..
-.. tenir compte des images du site dans cette procédure
-..
-.. tester la mise à jour de Readme.rst
-..
-.. utilisation du .htaccess
-..
 .. EVOLUTIONS
 .. ==========
@@ -38 +21 @@
 .. $URL$
 ..
-.. - fplod 20121227T192052Z cratos.locean-ipsl.upmc.fr (Linux)
-..
-..   * no more need to concatenate /net/adonis/usr/adonis/varclim/tropflux_v2
-..     : jv made it on 20121221
-..
-.. - fplod 20121121T151409Z cratos.locean-ipsl.upmc.fr (Linux)
-..
-..   * update from /net/adonis/usr/adonis/varclim/tropflux_v2
-..     2 datasets : 1979-2011 and 201201-201206
-..     to be concatenated
-..
-.. - fplod 20120307
-..
-..   * README.rst was renamed to Readme.rst because of Apache policy
-..
-.. - fplod 20120229
-..
-..   * associate README.rst to datafiles
-..
-.. - fplod 20120210
-..
-..   * missing an ftp command
-..
-.. - fplod 20120209
-..
-..   * creation (draft) with v0 to v1 action
+.. - fplod 20130725T141747Z cratos.locean-ipsl.upmc.fr (Linux)
+..
+..   * creation
 ..
 .. -
@@ -70 +30 @@
 .. |project_id| replace:: tropflux
 
-.. _updatedata:
-
-Update data
-===========
-
-On suppose ici que :
-
- - un nouveau jeu de données est disponible dans un répertoire accessible à partir de cratos.locean-ipsl.upmc.fr (pour faire tourner les outils de validation/comparaison) et à partir du poste de travail (mac) de Françoise Pinsard (pour assurer la mise à jour du serveur de données).
- - (bientôt) des nouvelles images associées sont disponibles dans les mêmes conditions
-
-Le but du jeu de la procédure décrite ici est de :
-
- - conserver le jeu de données actuel (cf. :ref:`saveold`)
- - conserver le jeu de données nouveau (cf. :ref:`copynew1` and :ref:`copynew2`)
- - comparer les deux jeux de données (cf. :ref:`compareversion`)
- - mettre ce nouveau jeu de données à disposition sous http://www.locean-ipsl.upmc.fr/~tropflux/data/
- - prévenir les amis de TropFlux (cf. :ref:`advertise`)
-
-.. _newversion:
-
-It must be known if the new dataset is a new version of TropFlux product.
-
-If so, the new version must be described in :file:`changes.rst`.
-(see also :ref:`builddoc` to synchronize dataset and documentation).
-
-If a new field is provided it must be described in :file:`data_out_website.rst`
-
-:file:`Readme.rst` may also be updated.
-
-.. warning::
-
-   embrouille entre les machines (cratos vs mon poste de travail) et les outils (ftp, ncftp, sftp) : on arrive pas toujours à trouver le répertoire  |project_id| après la connexion.
-
-   En conséquence, toutes les commandes ftp sont faites sur le poste de travail (mac) de Françoise Pinsard.
-
-.. note::
-
-   Here is the sequence of commands to be run to create
-   the directory equivalent to the URL  http://www.locean-ipsl.upmc.fr/~tropflux/images/
-
-   .. parsed-literal::
-
-      fplod@sonmac$ ftp www.locean-ipsl.upmc.fr
-      ftp> cd |project_id|
-      ftp> mkdir images
-
-La mise à disposition des fichiers de données et des images sur l'URL
-http://www.locean-ipsl.upmc.fr/tropflux/
-est réservée à Françoise Pinsard pour des raisons de protections de fichiers et
-de politique de login.
+.. _updatedata_20130725:
+
+Update data 20130725
+====================
+
+Here are details tasks for the update data 20130725 derived from :ref:`updatedata`.
+
+.. _newversion_20130725:
+
+Only time coverage extension from July 2012 to March 2013
+
+:file:`${PROJECT}/website/data/changes.rst` and :file:`${PROJECT}/adm/website/Readme.rst` are updated. 
 
 .. _saveold:
@@ -128 +50 @@
 .. parsed-literal::
 
-   $ datemodif="20120209"
+   $ datemodif="20130725"
 
    $ export datemodif
@@ -140 +62 @@
    $ mv ./monthly obsolete_${datemodif}
 
-.. _copynew1:
+.. _copynew1_20130725:
 
 Copy new version (phase 1)
@@ -147 +69 @@
 .. parsed-literal::
 
-   $ newdir='/net/adonis/usr/adonis/varclim/tropflux_v1'
+   $ mkdir /usr/lodyc/incas/fplod/tropflux_d/to_be_published
+   $ newdir='/net/adonis/usr/adonis/varclim/tropflux_v2'
    $ export newdir
-   $ svn export svn+ssh://pinsard@forge.ipsl.jussieu.fr/ipsl/forge/projets/tropflux/svn/trunk/adm/website/Readme.rst \
-     /usr/lodyc/incas/fplod/tropflux_d/to_be_published/Readme.rst
+
+Is there enought space ?
+   $ du -sh ${newdir}/daily
+   12G     /net/adonis/usr/adonis/varclim/tropflux_v2/daily
+   $ du -sh ${newdir}/monthly
+   396M    /net/adonis/usr/adonis/varclim/tropflux_v2/monthly
+   $ df -h /usr/lodyc/incas/fplod/tropflux_d/to_be_published
+   Filesystem            Size  Used Avail Use% Mounted on
+   fslodyc:/usr/.lodyc   1.6T  1.6T   20G  99% /.autofs/lodyc
+
+20GB vs 12.4 GB = yes
+
+   $ cp ${PROJECT}/adm/website/Readme.rst /usr/lodyc/incas/fplod/tropflux_d/to_be_published/Readme.rst
    $ cp -r ${newdir}/daily /usr/lodyc/incas/fplod/tropflux_d/to_be_published
    $ cp -r ${newdir}/monthly /usr/lodyc/incas/fplod/tropflux_d/to_be_published
 
-.. _compareversion:
+.. _compareversion_20130725:
 
 Compare versions
@@ -167 +101 @@
    $ ++compare.sh -o obsolete_${datemodif} -n /usr/lodyc/incas/fplod/tropflux_d/to_be_published
 
+   mkdir -p /usr/work/incas/fplod/tropflux_d//compare_update/
+   varlist="lhf lwr netflux q2m shf swr t2m tau taux tauy ws"
+   period_list="daily monthly"
+   lastyear=2012
+   for var in $varlist
+   do
+      for period in ${period_list}
+      do 
+         if [ "${period}" == "daily" ]
+         then 
+            suffix=1d
+         else
+            suffix=1m
+         fi
+         newfile=/usr/lodyc/incas/fplod/tropflux_d/to_be_published/${period}/${var}_tropflux_${suffix}_1979_march2013.nc
+         newfile_oldtimecoverage=${PROJECT_ID}/compare_update/${var}_tropflux_${suffix}_1979_${lastdate}.nc
+         # extract old time coverage in the new file
+         nt=$(ncdump -h $oldfile | grep "time = UNLIMITED ;" | sed -e "s@\(time = UNLIMITED ; // (\)\(.*\)\( currently)\)@\2@")
+         slabtime=$(printf "time,0,%d" $((${nt} -1 )))
+         ncks -d ${slabtime} -O -o ${newfile_oldtimecoverage} ${newfile}
+         oldfile=/usr/lodyc/incas/fplod/tropflux_d/obsolete_${datemodif}/${period}/${var}_tropflux_${suffix}_1979_${lastyear}.nc
+         oldfiledump=${PROJECT_ID}/compare_update/${var}_tropflux_${suffix}_1979_${lastyear}.nc_ncdump
+         cdo diff  ${newfile_oldtimecoverage} ${oldfile}
+         read a
+         # we must see "0 of $nt records differ"
+         ncdump -h ${newfile_oldtimecoverage} > ${newfile_oldtimecoverage}_ncdump
+         ncdump -h ${oldfile} > ${oldfiledump}
+         diff ${newfile_oldtimecoverage}_ncdump ${oldfiledump}
+         # we must see a difference in creation date and coverage
+         read a
+         rm ${newfile_oldtimecoverage}_ncdump
+         rm ${oldfiledump}
+         unset suffix
+      done
+      unset period
+      unset period_list
+   done
+   unset var
+   unset varlist
+   rm -rf /usr/work/incas/fplod/tropflux_d//compare_update/
+
+   log=${PROJECT_LOG}/compare.log
+   script ${PROJECT_LOG}/compare.log
+   compare.sh
+   exit
+
+Check for results.
+
+First check expected equality for data:
+
+::
+
+   grep "records differ" ${log}
+  
+If only "0 of" begin all lines, its ok. Otherwise look inside the log file to
+locate troubles.
+
+Second, check for differences on global attributes
+
+::
+
+   grep "^>" ${log} | grep creation_date
+
+If nothing appears, you must modified this attributes. see :ref:`change_creation_date.sh` ++
+
+
+   grep "^>" ${log} | grep time_range
+
+If nothing appears, you must modified this attributes. see :ref:`change_timerange.sh` ++
+
+Clean log file::
+
+   rm ${log}
+
+If modifications has been made, re-run comparaison before next step
+
 Once comparison is done and PI happy,
 ++ cleanning or modify newdir
 
-.. _copynew2:
+.. _copynew2_20130725:
 
 Copy new version (phase 2)
@@ -185 +195 @@
 
 
-.. _desinstalldata:
+.. _desinstalldata_20130725:
 
 Remove old version from the website
@@ -199 +209 @@
    ftp> mdelete monthly/*
 
-.. _installdata:
+.. _installdata_20130725:
 
 Installation of the new version
@@ -229 +239 @@
 
       $ diskext="/Volumes/LCerbere"
+      $ mkdir ${diskext}
       $ sshfs fplod@cerbere:/usr/lodyc/incas/fplod ${diskext} -odefer_permissions -o sshfs_debug
 
-.. _advertise:
-
-Advertise TropFlux friends
---------------------------
-
-A email must be send to TropFlux list to warn about the new dataset.
-
-Une mise à jour doit être envoyée aux contacts dans les instutions qui mentionne notre jeu de données (NIO).
-
+
+ et template pour NEW
+
+et build doc et install doc
+
+(see also :ref:`builddoc` to synchronize dataset and documentation).
+
+
+et svn commit ppur ce fichier et tous ceux mentionnes ici
+rm /usr/lodyc/incas/fplod/tropflux_d/to_be_published/
+