Changeset 201 for trunk/docs/docs_dev
- Timestamp:
- 07/26/13 16:21:43 (11 years ago)
- Location:
- trunk/docs/docs_dev/source/guides
- Files:
-
- 1 added
- 1 edited
- 1 copied
Legend:
- Unmodified
- Added
- Removed
-
trunk/docs/docs_dev/source/guides/updatedata.rst
r196 r201 9 9 .. ======== 10 10 .. 11 .. ref:`updatedata`12 11 .. ref:`builddoc` 13 12 .. … … 37 36 .. 38 37 .. $URL$ 38 .. 39 .. - fplod 20130725T141747Z cratos.locean-ipsl.upmc.fr (Linux) 40 .. 41 .. * detailed specific task for 20130715 update 39 42 .. 40 43 .. - fplod 20121227T192052Z cratos.locean-ipsl.upmc.fr (Linux) … … 87 90 - mettre ce nouveau jeu de données à disposition sous http://www.locean-ipsl.upmc.fr/~tropflux/data/ 88 91 - prévenir les amis de TropFlux (cf. :ref:`advertise`) 92 93 .. note:: 94 95 see detailed and specific tasks for each update below. 89 96 90 97 .. _newversion: … … 229 236 230 237 $ diskext="/Volumes/LCerbere" 238 $ mkdir ${diskext} 231 239 $ sshfs fplod@cerbere:/usr/lodyc/incas/fplod ${diskext} -odefer_permissions -o sshfs_debug 232 240 … … 240 248 Une mise à jour doit être envoyée aux contacts dans les instutions qui mentionne notre jeu de données (NIO). 241 249 250 251 .. toctree:: 252 :maxdepth: 0 253 :glob: 254 255 updatedata/updatedata_20130725 -
trunk/docs/docs_dev/source/guides/updatedata/updatedata_20130725.rst
r199 r201 4 4 .. =========== 5 5 .. 6 .. procedure to update data on website 6 .. procedure to update data on website 20130725 7 7 .. 8 8 .. SEE ALSO … … 10 10 .. 11 11 .. ref:`updatedata` 12 .. ref:`builddoc`13 12 .. 14 13 .. TODO 15 14 .. ===== 16 15 .. 17 .. en fait la comparaison devra être fait aussi AVANT le démarage de cette procédure18 ..19 .. translation20 ..21 .. comprendre les embrouilles ftp, sftp ncftp www.locean-ipsl.upmc.fr22 ..23 .. mettre les sites amis comme le NIO à jour24 ..25 .. définir les outils de comparaison, écrire les outils en question26 ..27 .. tenir compte des images du site dans cette procédure28 ..29 .. tester la mise à jour de Readme.rst30 ..31 .. utilisation du .htaccess32 ..33 16 .. EVOLUTIONS 34 17 .. ========== … … 38 21 .. $URL$ 39 22 .. 40 .. - fplod 20121227T192052Z cratos.locean-ipsl.upmc.fr (Linux) 41 .. 42 .. * no more need to concatenate /net/adonis/usr/adonis/varclim/tropflux_v2 43 .. : jv made it on 20121221 44 .. 45 .. - fplod 20121121T151409Z cratos.locean-ipsl.upmc.fr (Linux) 46 .. 47 .. * update from /net/adonis/usr/adonis/varclim/tropflux_v2 48 .. 2 datasets : 1979-2011 and 201201-201206 49 .. to be concatenated 50 .. 51 .. - fplod 20120307 52 .. 53 .. * README.rst was renamed to Readme.rst because of Apache policy 54 .. 55 .. - fplod 20120229 56 .. 57 .. * associate README.rst to datafiles 58 .. 59 .. - fplod 20120210 60 .. 61 .. * missing an ftp command 62 .. 63 .. - fplod 20120209 64 .. 65 .. * creation (draft) with v0 to v1 action 23 .. - fplod 20130725T141747Z cratos.locean-ipsl.upmc.fr (Linux) 24 .. 25 .. * creation 66 26 .. 67 27 .. - … … 70 30 .. |project_id| replace:: tropflux 71 31 72 .. _updatedata: 73 74 Update data 75 =========== 76 77 On suppose ici que : 78 79 - un nouveau jeu de données est disponible dans un répertoire accessible à partir de cratos.locean-ipsl.upmc.fr (pour faire tourner les outils de validation/comparaison) et à partir du poste de travail (mac) de Françoise Pinsard (pour assurer la mise à jour du serveur de données). 80 - (bientôt) des nouvelles images associées sont disponibles dans les mêmes conditions 81 82 Le but du jeu de la procédure décrite ici est de : 83 84 - conserver le jeu de données actuel (cf. :ref:`saveold`) 85 - conserver le jeu de données nouveau (cf. :ref:`copynew1` and :ref:`copynew2`) 86 - comparer les deux jeux de données (cf. :ref:`compareversion`) 87 - mettre ce nouveau jeu de données à disposition sous http://www.locean-ipsl.upmc.fr/~tropflux/data/ 88 - prévenir les amis de TropFlux (cf. :ref:`advertise`) 89 90 .. _newversion: 91 92 It must be known if the new dataset is a new version of TropFlux product. 93 94 If so, the new version must be described in :file:`changes.rst`. 95 (see also :ref:`builddoc` to synchronize dataset and documentation). 96 97 If a new field is provided it must be described in :file:`data_out_website.rst` 98 99 :file:`Readme.rst` may also be updated. 100 101 .. warning:: 102 103 embrouille entre les machines (cratos vs mon poste de travail) et les outils (ftp, ncftp, sftp) : on arrive pas toujours à trouver le répertoire |project_id| après la connexion. 104 105 En conséquence, toutes les commandes ftp sont faites sur le poste de travail (mac) de Françoise Pinsard. 106 107 .. note:: 108 109 Here is the sequence of commands to be run to create 110 the directory equivalent to the URL http://www.locean-ipsl.upmc.fr/~tropflux/images/ 111 112 .. parsed-literal:: 113 114 fplod@sonmac$ ftp www.locean-ipsl.upmc.fr 115 ftp> cd |project_id| 116 ftp> mkdir images 117 118 La mise à disposition des fichiers de données et des images sur l'URL 119 http://www.locean-ipsl.upmc.fr/tropflux/ 120 est réservée à Françoise Pinsard pour des raisons de protections de fichiers et 121 de politique de login. 32 .. _updatedata_20130725: 33 34 Update data 20130725 35 ==================== 36 37 Here are details tasks for the update data 20130725 derived from :ref:`updatedata`. 38 39 .. _newversion_20130725: 40 41 Only time coverage extension from July 2012 to March 2013 42 43 :file:`${PROJECT}/website/data/changes.rst` and :file:`${PROJECT}/adm/website/Readme.rst` are updated. 122 44 123 45 .. _saveold: … … 128 50 .. parsed-literal:: 129 51 130 $ datemodif="201 20209"52 $ datemodif="20130725" 131 53 132 54 $ export datemodif … … 140 62 $ mv ./monthly obsolete_${datemodif} 141 63 142 .. _copynew1 :64 .. _copynew1_20130725: 143 65 144 66 Copy new version (phase 1) … … 147 69 .. parsed-literal:: 148 70 149 $ newdir='/net/adonis/usr/adonis/varclim/tropflux_v1' 71 $ mkdir /usr/lodyc/incas/fplod/tropflux_d/to_be_published 72 $ newdir='/net/adonis/usr/adonis/varclim/tropflux_v2' 150 73 $ export newdir 151 $ svn export svn+ssh://pinsard@forge.ipsl.jussieu.fr/ipsl/forge/projets/tropflux/svn/trunk/adm/website/Readme.rst \ 152 /usr/lodyc/incas/fplod/tropflux_d/to_be_published/Readme.rst 74 75 Is there enought space ? 76 $ du -sh ${newdir}/daily 77 12G /net/adonis/usr/adonis/varclim/tropflux_v2/daily 78 $ du -sh ${newdir}/monthly 79 396M /net/adonis/usr/adonis/varclim/tropflux_v2/monthly 80 $ df -h /usr/lodyc/incas/fplod/tropflux_d/to_be_published 81 Filesystem Size Used Avail Use% Mounted on 82 fslodyc:/usr/.lodyc 1.6T 1.6T 20G 99% /.autofs/lodyc 83 84 20GB vs 12.4 GB = yes 85 86 $ cp ${PROJECT}/adm/website/Readme.rst /usr/lodyc/incas/fplod/tropflux_d/to_be_published/Readme.rst 153 87 $ cp -r ${newdir}/daily /usr/lodyc/incas/fplod/tropflux_d/to_be_published 154 88 $ cp -r ${newdir}/monthly /usr/lodyc/incas/fplod/tropflux_d/to_be_published 155 89 156 .. _compareversion :90 .. _compareversion_20130725: 157 91 158 92 Compare versions … … 167 101 $ ++compare.sh -o obsolete_${datemodif} -n /usr/lodyc/incas/fplod/tropflux_d/to_be_published 168 102 103 mkdir -p /usr/work/incas/fplod/tropflux_d//compare_update/ 104 varlist="lhf lwr netflux q2m shf swr t2m tau taux tauy ws" 105 period_list="daily monthly" 106 lastyear=2012 107 for var in $varlist 108 do 109 for period in ${period_list} 110 do 111 if [ "${period}" == "daily" ] 112 then 113 suffix=1d 114 else 115 suffix=1m 116 fi 117 newfile=/usr/lodyc/incas/fplod/tropflux_d/to_be_published/${period}/${var}_tropflux_${suffix}_1979_march2013.nc 118 newfile_oldtimecoverage=${PROJECT_ID}/compare_update/${var}_tropflux_${suffix}_1979_${lastdate}.nc 119 # extract old time coverage in the new file 120 nt=$(ncdump -h $oldfile | grep "time = UNLIMITED ;" | sed -e "s@\(time = UNLIMITED ; // (\)\(.*\)\( currently)\)@\2@") 121 slabtime=$(printf "time,0,%d" $((${nt} -1 ))) 122 ncks -d ${slabtime} -O -o ${newfile_oldtimecoverage} ${newfile} 123 oldfile=/usr/lodyc/incas/fplod/tropflux_d/obsolete_${datemodif}/${period}/${var}_tropflux_${suffix}_1979_${lastyear}.nc 124 oldfiledump=${PROJECT_ID}/compare_update/${var}_tropflux_${suffix}_1979_${lastyear}.nc_ncdump 125 cdo diff ${newfile_oldtimecoverage} ${oldfile} 126 read a 127 # we must see "0 of $nt records differ" 128 ncdump -h ${newfile_oldtimecoverage} > ${newfile_oldtimecoverage}_ncdump 129 ncdump -h ${oldfile} > ${oldfiledump} 130 diff ${newfile_oldtimecoverage}_ncdump ${oldfiledump} 131 # we must see a difference in creation date and coverage 132 read a 133 rm ${newfile_oldtimecoverage}_ncdump 134 rm ${oldfiledump} 135 unset suffix 136 done 137 unset period 138 unset period_list 139 done 140 unset var 141 unset varlist 142 rm -rf /usr/work/incas/fplod/tropflux_d//compare_update/ 143 144 log=${PROJECT_LOG}/compare.log 145 script ${PROJECT_LOG}/compare.log 146 compare.sh 147 exit 148 149 Check for results. 150 151 First check expected equality for data: 152 153 :: 154 155 grep "records differ" ${log} 156 157 If only "0 of" begin all lines, its ok. Otherwise look inside the log file to 158 locate troubles. 159 160 Second, check for differences on global attributes 161 162 :: 163 164 grep "^>" ${log} | grep creation_date 165 166 If nothing appears, you must modified this attributes. see :ref:`change_creation_date.sh` ++ 167 168 169 grep "^>" ${log} | grep time_range 170 171 If nothing appears, you must modified this attributes. see :ref:`change_timerange.sh` ++ 172 173 Clean log file:: 174 175 rm ${log} 176 177 If modifications has been made, re-run comparaison before next step 178 169 179 Once comparison is done and PI happy, 170 180 ++ cleanning or modify newdir 171 181 172 .. _copynew2 :182 .. _copynew2_20130725: 173 183 174 184 Copy new version (phase 2) … … 185 195 186 196 187 .. _desinstalldata :197 .. _desinstalldata_20130725: 188 198 189 199 Remove old version from the website … … 199 209 ftp> mdelete monthly/* 200 210 201 .. _installdata :211 .. _installdata_20130725: 202 212 203 213 Installation of the new version … … 229 239 230 240 $ diskext="/Volumes/LCerbere" 241 $ mkdir ${diskext} 231 242 $ sshfs fplod@cerbere:/usr/lodyc/incas/fplod ${diskext} -odefer_permissions -o sshfs_debug 232 243 233 .. _advertise: 234 235 Advertise TropFlux friends 236 -------------------------- 237 238 A email must be send to TropFlux list to warn about the new dataset. 239 240 Une mise à jour doit être envoyée aux contacts dans les instutions qui mentionne notre jeu de données (NIO). 241 244 245 et template pour NEW 246 247 et build doc et install doc 248 249 (see also :ref:`builddoc` to synchronize dataset and documentation). 250 251 252 et svn commit ppur ce fichier et tous ceux mentionnes ici 253 rm /usr/lodyc/incas/fplod/tropflux_d/to_be_published/ 254
Note: See TracChangeset
for help on using the changeset viewer.