include libIGCM instrumentation from CEA audit

[sdipsl]

Salut Sébastien,

comme convenu Guillaume m'a fait passer ses scripts et la doc associée pour l'instrumentation de ce qu'il a fait dans libIGCM.
La doc est en attaché du mail : il y a 2 parties :

• analyse niveau1 : qui est la partie d'analyse des simus longues qui avaient tournées chez Marie-Alice. il n'y a pas eu d'instrumentation de la chaîne

pour cette partie là, seulement un traitement des script_outputs et outputs des jobs de post-traitement.

• analyse niveau 2 : qui est la partie d'analyse plus fine d'une simu de 10 ans que Guillaume avait lui même lancée avec une libIGCM instrumentée

pour extraire des infos sur les perfs/temps passés. C'est cette partie là qui t'interesse je pense.

Voici les infos complémentaires :

Instrumentation de la libIGCM :
/ccc/work/cont003/dsm/p86caub/GUILLAUME_INCKA/libIGCM

pour retrouver les fichiers concernés par l'instrumentation, taper par exemple :

find . -type f -name "*" | grep -v "\.svn" | xargs grep "gp" | grep ":"

Les scripts décrits dans la doc pour obtenir les stats sont là :
/ccc/work/cont003/dsm/p86caub/GUILLAUME_INCKA/LOT_3/Analyse_niv_2/Curie

J'ai pas regardé en détail donc si tu veux plus d'infos n'hésite pas sachant que Guillaume est parti en congés pour 3 semaines.

A+!
Arnaud

[sdipsl]

After a code review it appears that the approach here is pretty intrusive.

Every call to several functions has been measure like this

	    my_size=$( size_of_tab_content liste_file[*] ) #gp:added#
	    startTime_ms=$( getDate_ms ) #gp:added#
	    IGCM_sys_Get /l liste_file[*] ${RUN_DIR_PATH}/${comp}
	    endTime_ms=$( getDate_ms ) #gp:added#
	    printInfos_GetList IGCM_sys_Get $my_size $startTime_ms $endTime_ms ${RUN_DIR_PATH}/${comp} ${file_path} #gp:added#

We may have to put instrumentation within functions themselves or in IGCM_debug_*Stack functions (big brother perspective). Functions of interest up to now are:
IGCM_sys_Get*
IGCM_sys_Put*
IGCM_sys_rebuild
IGCM_sys_nc*
IGCM_sys_cdo
IGCM_sys_tar

[sdipsl]

Instrumentation done. Start r913 and finish r941

Need now to rewrite scripts producing level 1 and 2 statistics. Those scripts currently hardcodes quiet a lot of centres specific things ....

[sdipsl]

Will create another ticket related to the exploitation of the instrumented libIGCM.