| 36 | | == Comment relancer les rebuild? == |
| | 36 | == méthode complète pour relancer tous les post-traitements (IDRIS et CCRT) == |
| | 37 | Au CCRT ou à l'IDRIS, méthode complète permettant de prévoir de refaire aussi tous les post-traitements : [[BR]] |
| | 38 | * Sur la frontale, une fois pour toutes les simulations : |
| | 39 | * Installer un répertoire dédié |
| | 40 | * Récupérer libIGCM et faire ins_job |
| | 41 | * Sur la frontale, pour chaque simulation : |
| | 42 | * Installer un répertoire pour la simulation concernée. |
| | 43 | * '''Pour refaire des rebuild ''': |
| | 44 | * Aller chercher le fichier libIGCM/rebuild_fromArchive.job (IDRIS) ou rebuild_fromWorkdir.job (CCRT) |
| | 45 | * Modifier le fichier rebuild_from*.job : Mêmes paramètres que la méthode simple. |
| | 46 | * Soumettre rebuild_from*.job |
| | 47 | * '''Pour refaire des TS''' : |
| | 48 | * Rapatrier config.card, COMP et POST depuis la machine de calcul |
| | 49 | * Rapatrier éventuellement run.card si on veut faire des post-traitements sur une partie de la simulation seulement |
| | 50 | * Aller chercher le fichier libIGCM/!TimeSeries_Checker.job |
| | 51 | * Modifier le fichier !TimeSeries_Checker.job |
| | 52 | * Le lancer en interactif, c'est lui qui lancera tout seul les jobs create_ts manquants. |
| | 53 | * Astuce : garder la sortie de cela : |
| | 54 | {{{ |
| | 55 | ./TimesSeries_Checker.job 2>&1 | tee TSC_OUT_POUR_VERIF |
| | 56 | }}} |
| | 57 | *''' Pour refaire des SE ''': |
| | 58 | * Si ce n'est déjà fait, rapatrier config.card, COMP et POST depuis la machine de calcul |
| | 59 | * Aller chercher le fichier libIGCM/SE_Checker.job |
| | 60 | * Modifier le fichier SE_Checker.job |
| | 61 | * Le lancer en interactif, c'est lui qui lancera tout seul les jobs create_se manquants. |
| | 62 | * Astuce : garder la sortie de cela : |
| | 63 | {{{ |
| | 64 | ./SE_Checker.job 2>&1 | tee SE_OUT_POUR_VERIF |
| | 65 | }}} |
| | 66 | |
| | 67 | |
| | 68 | [[BR]][[BR]] |
| | 69 | == Comment surveiller une simulation longue? == |
| | 70 | Voici un schéma résumant les étapes de surveillance d'une longue simulation de production : |
| | 71 | [[Image(Prod.png, 360px)]] |
| | 72 | Les outils à utiliser sont en général accessibles dans le répertoire modipsl/libIGCM, sauf check_expe_files_size.sh qui est dans libIGCM/libIGCM_post |
| | 73 | |
| | 74 | |
| | 75 | [[BR]][[BR]] |
| | 76 | == En détail : Comment relancer les rebuild? == |
| 39 | | Pour relancer les rebuild, il faut aller sur la frontale, dans le répertoire modipsl/libIGCM (l'original ou celui synchronisé dans ~MIRROR/xxxxxx/modipsl/libIGCM), modifier le job : rebuild_fromArchive.job en précisant les paramètres, le lancer sur la frontale. llsubmit sur ulam, ccc_msub sur cesium |
| | 79 | Pour relancer les rebuild, il faut aller sur la frontale, dans le répertoire modipsl/libIGCM (l'original ou celui synchronisé dans ~MIRROR/xxxxxx/modipsl/libIGCM), modifier le job : rebuild_fromArchive.job en précisant les paramètres, le lancer sur la frontale. llsubmit sur ulam, ccc_msub sur cesium et titane. Paramètres à modifier : |
| 51 | | '''Attention : ''' avant de lancer le job vérifiez que son entête correspond bien à la frontale sur laquelle vous travaillez (en particulier si vous le lancer sur une autre frontale que celle de votre machine de calcul). Pour cela comparez l'entête de votre job et celle qui est indiquée dans libIGM/AA_rebuild_fromWorkdir (ou autre). |
| 52 | | |
| 53 | | === Au CCRT ou à l'IDRIS, méthode complète === |
| 54 | | Au CCRT ou à l'IDRIS, méthode complète permettant de prévoir de refaire aussi tous les post-traitements : [[BR]] |
| 55 | | * Sur la frontale, une fois pour toutes les simulations : |
| 56 | | * Installer un répertoire dédié |
| 57 | | * Récupérer libIGCM et faire ins_job |
| 58 | | * Sur la frontale, pour chaque simulation : |
| 59 | | * Installer un répertoire pour la simulation concernée. |
| 60 | | * Pour refaire des rebuild : |
| 61 | | * Aller chercher le fichier libIGCM/rebuild_fromArchive.job (IDRIS) ou rebuild_fromWorkdir.job (CCRT) |
| 62 | | * Modifier le fichier rebuild_from*.job : Mêmes paramètres que la méthode simple. |
| 63 | | * Soumettre rebuild_from*.job |
| 64 | | * Pour refaire des TS : |
| 65 | | * Rapatrier config.card, COMP et POST depuis la machine de calcul |
| 66 | | * Rapatrier éventuellement run.card si on veut faire des post-traitements sur une partie de la simulation seulement |
| 67 | | * Aller chercher le fichier libIGCM/TimeSeries_Checker.job |
| 68 | | * Modifier le fichier TimeSeries_Checker.job |
| 69 | | * Le lancer en interactif, c'est lui qui lancera tout seul les jobs create_ts manquants. |
| 70 | | * Astuce : garder la sortie de cela : |
| 71 | | {{{ |
| 72 | | ./TimesSeries_Checker.job 2>&1 | tee TSC_OUT_POUR_VERIF |
| 73 | | }}} |
| 74 | | * Pour refaire des SE : |
| 75 | | * Si ce n'est déjà fait, rapatrier config.card, COMP et POST depuis la machine de calcul |
| 76 | | * Aller chercher le fichier libIGCM/SE_Checker.job |
| 77 | | * Modifier le fichier SE_Checker.job |
| 78 | | * Le lancer en interactif, c'est lui qui lancera tout seul les jobs create_se manquants. |
| 79 | | * Astuce : garder la sortie de cela : |
| 80 | | {{{ |
| 81 | | ./SE_Checker.job 2>&1 | tee SE_OUT_POUR_VERIF |
| 82 | | }}} |
| 83 | | |
| 84 | | [[BR]][[BR]] |
| 85 | | |
| 86 | | == Comment surveiller une simulation longue? == |
| 87 | | Voici un schéma résumant les étapes de surveillance d'une longue simulation de production : |
| 88 | | [[Image(Prod.png, 360px)]] |
| 89 | | Les outils à utiliser sont en général accessibles dans le répertoire modipsl/libIGCM, sauf check_expe_files_size.sh qui est dans libIGCM/libIGCM_post |
| 90 | | |
| 91 | | [[BR]][[BR]] |
| 92 | | |
| | 91 | * '''Attention : ''' avant de lancer le job vérifiez que son entête correspond bien à la frontale sur laquelle vous travaillez (en particulier si vous le lancer sur une autre frontale que celle de votre machine de calcul). Pour cela comparez l'entête de votre job et celle qui est indiquée dans libIGM/AA_rebuild_fromWorkdir (ou autre). |
| | 92 | * '''Attention 2 : ''' vérifier également que vous appartenez bien au groupe de soumission au CCRT (par défaut gen2211) sinon modifier la ligne correspondante (en la commentant pour utiliser des heures dsm ou en changeant le groupe genci) |
| | 93 | |
| | 94 | |
| | 95 | |
| | 96 | [[BR]][[BR]] |
