Version 6 (modified by aclsce, 14 years ago) (diff) |
---|
Intégration de la parallélisation mixte MPI-OpenMP dans les configurations de l'IPSL
Objectif == Utiliser au maximum les machines de type SMP (vargas, titane, platine, jade) en s’affranchissant de la limitation du nombre de processus MPI (3 bandes de latitudes par process MPI)
et des problèmes éventuels de mémoire intra-nœud en particulier lorsqu’on monte en résolution grâce à l'utilisation de la parallélisation mixte MPI-OpenMP (MPI inter-noeud, OpenMP intra-noeud).
Description du travail == Voir le document là : OpenMP.pdf
Evolution du travail
Réunion "cahier des charges" le 7/10/2010 au LSCE
Présents : Anne, Olivier, Yann, Martial, Arnaud
Une discussion autour des premiers développements de Martial a abouti aux conclusions suivantes :
- On part sur l'idée d'avoir des informations dans le config.card relatives au nombre de process MPI et tâches openMP pour chaque exécutable.
Ce config.card est donc propre à une configuration et à une machine par défaut, ce qui signifie qu'une configuration particulière tournera "sans rien changer" sur une seule machine. Pour adapter ce config.card en vue de tourner sur une machine différente de la machine par défaut, il faudra modifier à la main le config.card grâce à de l'information disponible soit sur une page wiki soit dans chacune des configurations (mais un peu lourd à entretenir !).
- L'utilisation de ces informations se fera ensuite en deux étapes grâce à des fonctions/scripts (définies dans libIGCM_sys/libIGCM_sys_mercurex9.ksh par exemple) :
- lecture dans le Job de soumission(au niveau du IGCM_config_Initialize) des informations contenues dans le config.card.
- le lancement du modèle lui-même : on remplace la ligne de commande actuelle ${MPIRUN_COMMAND} ${MPIRUN_OPTIONS} ./${config_Executable_Name} >> ${Exe_Output} 2>&1 par le lancement d'un script, dans lequel
- seront utilisées les infos recoltées dans le config.card
- sera lancé le modèle de la facon appropriée (./gcm.e, ./orchidee_ol, mpirun -f config_file, mpiexec...)
Le script sera construit dans la couche système de la machine et testera le type de configuration à lancer. En particulier, il détectera une configuration couplée à partir de l'existence de la composante CPL.
ins_job de modipsl sera modifié à terme pour supprimer l'utilisation de JobNumProcTot et utiliser à la place les paramètres MPI/OMP/NOD de lancement par éxécutable dans le config.card. Cela signifie que ins_job utilisera la procédure de lecture de ces paramètres dans libIGCM.
Cette première approche va etre développée/completée/affinée/testée sur un cas concret par Martial, Arnaud et Anne. Ce cas concret est le suivant :
- une machine : mercure SX9
- seulement MPI
- trois configurations tests : IPSLCM5A, LMDZINCA, ORCHIDEE_OL
Un nouveau point sera fait à la suite de cela.
Attachments (5)
- OpenMP.pdf (26.6 KB) - added by aclsce 14 years ago.
-
LOOMP4_Bands_96x95x39_2MPI_4OMP.dat_3
(200 bytes) -
added by mmaipsl 13 years ago.
Bandes pour compile OpenMP 2MPI 4OMP
-
LOOMP32_Bands_96x95x39_8MPI_4OMP.dat_3
(800 bytes) -
added by mmaipsl 13 years ago.
Bandes pour compile OpenMP 8MPI 4OMP
-
LOOMP_1_Bands_96x95x39_8MPI_1OMP.dat_3
(800 bytes) -
added by mmaipsl 13 years ago.
Bandes pour compile OpenMP 8MPI 1OMP
-
LMPIOMP3_Bands_96x95x39_8MPI_1OMP.dat_3
(800 bytes) -
added by mmaipsl 13 years ago.
Bandes pour compile MPI seul 8MPI '0'OMP
Download all attachments as: .zip