Bilan des actions en cours et passées de Martial

Liste des développements en cours ou à faire rapidement

rapide < 1 J autre ? = pas forcément moi ?

ORCHIDEE

Actions à terminer

• OMP Josefine
  • LMDzOMP tests (à finir rapide? + )
    • bilan des derniers tests (identique en compilation LMDz-ORCHIDEE O0-O0 sur un jour et plantage sur un an)
      Fait : voir ​https://forge.ipsl.jussieu.fr/igcmg/wiki/IntegrationOpenMP#NouveauTestsLMDZORaveccorrection15591211-0212
    • comparaison en Off-line MPI 1.9.5.1 (ou .2 ?) avec la branche MPI-OpenMP.
  • driver ORCHIDEE OMP (très long !)
• problème de parallélisation : due à IOIPSL (les moyennes cumulées sont calculées en 2D et pas en point de terre) 48 proc.
  Le problème constaté vient du fait que la partie calcul des moyennes cumulées de IOIPSL sont calculées en 2D (ou 3D si besoin) et non en point de terre, alors que les opérations mathématiques (du genre conversion de scatter ma_fuscat_r31) le sont bien, elles.
  On a donc un problème (en global uniquement) de parallélisation systématique pour le dernier processus de parallélisation de ORCHIDEE qui doit écrire les valeurs manquantes des océans austral et pacifique sud (et pour l'Antartique aussi).
  Sur ce processeur, on utilise alors la plupart du temps de calcul pour faire des moyennes glissantes sur des valeurs manquantes, comme le montre les capture vampir ci-dessous !
  • avec un run de 1 an en 360x180 (sorties journalières) :

    #           1 | 19820101 | 19821231 | 2012-04-14T00:23:08 | 2012-04-14T00:58:38 |      2130.19000 |     14984.83000 |       183.96000 | OOL_Apr_13_10:44
    

    
  • avec un run de 1 an en grille réduite (sorties journalières) : LIMIT_NORTH = 80., LIMIT_SOUTH = -60.

    #           1 | 19820101 | 19821231 | 2012-04-13T23:57:35 | 2012-04-14T00:20:24 |      1368.05000 |      9542.39000 |       129.91000 | OOL_Apr_13_10:44
    

    
  • avec un run de 1 an en 360x180 sans sortie (pas de SECHIBA et STOMATE sur 1 an) :

    #           1 | 19820101 | 19821231 | 2012-04-14T00:28:26 | 2012-04-14T00:34:16 |       350.19000 |      2459.40000 |        37.38000 | OOL_Apr_13_10:44
    

    
• driver : lecture des forçages par lots -fait- (tests -fait en parti- + portage fonction "sizeof" ? ) Didier
  • portage complet sur le trunk
  • évaluation de l'optimisation réelle MPI ?
  • nom des variables de forçage modifiable => test forçage Nicolas Viovy
• ATLAS : commit ATLAS STOMATE + script de fabrication atlas_diff (rapide - fait) Nicolas
• script ORCHIDEE_OL : fait en parti (adaptation à la nouvelle version des fichiers de paramètres) Josefine + Didier
  Il reste à faire une amélioration des gestions de la partie HISTOrique des SPINUP.
  1. nouvelle hydro : commit variables MONITORINGs + bilan d'eau
  2. dèv à merger dans le trunk sur les fichiers de (rapide) paramètres => nouveau TAG (fait)
• Gestion version SVN + Admin SVN Josefine + Didier
  • Exemple en cours :
    • modèle de neige
    • isotopes : version de Camille à enregistrer (rapide - fait)
    • Nouveaux utilisateurs : création répertoire perso, enregistrement wiki, svn, mailling lists
  • svn personnel : changer le fichier de passwd pour la DB LDAP/mysql (long)

Peux-tu clarifier ?

Le fichier de mot de passe actuel est en "clair" mais protégé et les mots de passe ne correspondent pas à la base de mot de passe LDAP de la machine forge. On a donc trop de mot de passe et c'est une mauvaise gestion. Plusieurs contacts et tests ont été effectués avec Olivier Thauvin pour changer le pointeur de cette base de mots de passe et permettre d'inscrire simplement tous les développeurs sur le wiki pour qu'ils puissent aussi commiter leur code avec un seul mot de passe.

• Assimilation Koffi+Peylin
  • scripts de transformation automatique du code pour TAF (long),
  • re-initialisation "propre" de trois modules de IOIPSL (histcom, restcom, flincom).
  • Action : support, développement

Bilan au 30/04/2012

Comme prévu, j'ai enregistré un certain nombre d'outils que j'ai utilisé ces dernières années autour d'ORCHIDEE là :
​http://forge.ipsl.jussieu.fr/orchidee/browser/perso/martial.mancip/OUTILS_Martial

Vous trouverez un README explicitant les scripts pythons principalement (fabrication et visualisation des fichiers ORCHIDEE, notamment des forçages en points de terre).

Et un petit outils ATLAS_DIFF_ORCHIDEE/lance_atlasdiff permettant de comparer aisément deux simulations contenant des composantes ORCHIDEE
(voir mon dernier commit ​http://forge.ipsl.jussieu.fr/orchidee/changeset/845/perso/martial.mancip/OUTILS_Martial/ATLAS_DIFF_ORCHIDEE pour son usage très simple).

DOCUMENTATION === Fabienne + Sebastiaan

Peut-on se voir une ou deux heure(s) pour s'assurer que j'ai bien tout recupere ? Je pense entre autres aux modifs que tu as faites directement sur le code source doxygen.
Fabienne (dispos avril : 06, 23, 24, 30).

• modif branche DOC (long autre - fait)
• doxygen : adaptations des modifs du source local (version 1.7.3) au trunk pour commit et mise en place des futures version de référence.
• nouveau script détection de variable (abandonné)
• correction script déclaration de variables sur plusieurs lignes (fait)
• présentation doxygen/DOC ORCHIDEE à l'IPSL et au LATMOS

IOIPSL === A voir avec equipe Plate-forme

• TAG test (à finir rapide?)
• Mes codes à enregistrer/documenter :
  • détection aux appels histwrite des IsNaN
  • appel graphique IGCMDebugTools
  • client/serveur VTKmapper
  • Action IOIPSL : mise à jour, débogage, test/validation couplé/orchidee forcé, tag

modipsl === A voir avec equipe Plate-forme

• installation des jobs OMP (en cours Arnaud)
• bug rebuild parallel : un problème a été détecté par Nicolas Vuichard concernant la phase de reconstruction rebuild pour ORCHIDEE. A voir avec lui pour le cas test.
• sauvegarde automatique des sources pendant la production de donnée : doc dans page modipslAdvanced (ajouter lien) + problème vargas

Synchronisation - Depot commun fichiers de forcage === Vuichard + Marie-ALice

• synchro des fichiers d'entrée dans IGCM : (fait)
  gaya différent de mercure (ajout des CRU-NCEP - fait)
• vérifier l'ajout des fichiers WATCH
• passage du dépôt obelix en login igcmg (pas fait?)
• Action : synchronisation IGCM pour ORCHIDEE (obelix, SAN ORCHIDEE, comptes CCRT) Préciser les règles. Lien?

libIGCM === A voir avec equipe Plate-forme

• suppression de l'erreur des '_' : forcer l'arrêt des jobs (rapide autre?)
• vargas multi-step ? (long)
• Action :
  • test du trunk
  • débogage
  • surveillance compatibilité ORCHIDEE
  • développement MPI-OpenMP Fait

autre

• cours : emacs + Doxygen (long)

Martial, peux-tu clarifier ?

pas faisable dans le temps imparti.

• vieux scripts python (fait - commité dans mon répertoire perso) Vuichard

Que font ces scripts ?

Ces scripts servent pour la majorité à fabriquer des nouveaux fichiers de forçage au format d'ORCHIDEE. Le souci est qu'ils utilisent encore l'ancienne version de CDMS (et donc de MA) et qu'il faut les mettre à jour.

• tarré mon répertoire de code sans les binaires

(Qu'est-ce que ces codes ont de spécifique ?

c'est l'historique du modèle.

Listes des actions

• mod.def et autres outils modipsl (sauvegarde des sources,...) : fait (inutile de mettre les clés).
• merge des anciennes versions Josefine
  1. compilation : mise à jour des AA_makes depuis les Makefiles, fcm ?
  2. tests, détection de bogues
  3. nettoyage : suppression des binaires,CVS,RCS,Makefile,fichier backup

C'est de fait le travail de tous les administrateurs du modèle, et pas seulement celui de Joséfine. Cette liste est plutôt un pense-bête pour enregistrer correctement les nouveaux merges.

• Validations ORCHIDEE pour le couplé et en forcé (cf CMIP5) Nicolas
• conservation de données de thésard (Thanh Nguyen et Tristan D'Orgeval) sur gaya. A voir avec Jan Agnès ?
• forçages : construction de scripts bash, python pour la récupération et la fabrication des forçages ORCHIDEE Nicolas
• administration : wiki, CMS, SVN, compte forge Joséfine et Nicolas

Liste des développements commités ou non

• code personnel Nicolas Viovy (+ driver c) fait
• nouveau tag 1.9.5.1 fait
• branche ORCHIDEE-FM fait
• branche Assimilation fait
• Orchidee COV fait
• ORCHIDEE/STICS fait
• version hydrologie fait
• Isabelle Goutevin
• code Ringeval (+ code Charly ??) fait
• branche externalisation de paramètres fait
  

=> voir merge de l'externalisation dans la branche restructuration. (NON)

• code Alexis Berg A FAIRE
• version Vincent Prieur A FAIRE
• isotope Camille O18 fait
• version OpenMP A FINIR de TESTER
• Orchidee isotope => Thomas Launois C13 FAIT
• code perso !! <= fichier authz fait
• correction DGVM A FINIR
  ==> version 1.9.6 à envoyer à Nicolas
• couplage ORCHIDEE-CHIMERE => ozone A FAIRE
  

==> make a svn branch A. Anav

• branche ORCHIDEE-WARF : réunion plateforme de script pour le pôle régionnal
• ioserver (Yann)
• nuage de points (Ionela)
• Chao Huey => speedfire fait