Changeset 1743 for XIOS


Ignore:
Timestamp:
10/16/19 11:18:04 (5 years ago)
Author:
yushan
Message:

GENERIC_TESTCASE: add build_dir for job scripts

Location:
XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE
Files:
16 edited

Legend:

Unmodified
Added
Removed

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/check.py

    r1738 r1743  
    4646        f.write("module load cdo\n") 
    4747        f.write("ulimit -c 0\n") 
     48        xios_root=os.getenv('xios_dir') 
     49        build_folder=os.getenv('build_dir') 
     50        f.write("export xios_dir="+xios_root+"\n") 
     51        f.write("export build_dir="+build_folder+"\n") 
    4852        f.write("export machine_name=jeanzay\n") 
    4953        f.write("cp ../setup.py ./\n") 
    … …  
    5458        f.write("cmake .\n") 
    5559        f.write("ctest -V #enable all output\n") 
    56         f.write("rm -f setup.py run_sub_test.sh\n") 
     60        f.write("rm -f setup.py\n") 
     61        f.write("rm -f run_sub_test.sh\n") 
    5762        f.write("rm -f run_test_*.py\n") 
    58         f.write("rm -f user_param.py.*\n") 
    59         f.write("rm -f user_param.def\n") 
     63        f.write("rm -f CMakeLists.txt\n") 
     64        f.write("rm -f context_grid_dynamico.xml\n") 
     65        f.write("rm -f dynamico_grid.nc\n") 
     66        f.write("rm -f default_param.*\n") 
     67        f.write("rm -f user_param.*\n") 
    6068        f.write("mv user_params.def_bkp user_params.def\n") 
    6169        f.write("\n") 
    6270        f.close 
    63  
    64  
    6571 
    6672def write_irene_job(configName, nbproc=8): 
    … …  
    99105        f.write("export OMP_NUM_THREADS=${BRIDGE_MSUB_NCORE}\n") 
    100106        f.write("set -x \n") 
     107        xios_root=os.getenv('xios_dir') 
     108        build_folder=os.getenv('build_dir') 
     109        f.write("export xios_dir="+xios_root+"\n") 
     110        f.write("export build_dir="+build_folder+"\n") 
    101111        f.write("export machine_name=irene\n") 
    102112        f.write("cp ../setup.py ./\n") 
    … …  
    107117        f.write("cmake .\n") 
    108118        f.write("ctest -V #enable all output\n") 
    109         f.write("rm -f setup.py run_sub_test.sh\n") 
     119        f.write("rm -f setup.py\n") 
     120        f.write("rm -f run_sub_test.sh\n") 
    110121        f.write("rm -f run_test_*.py\n") 
    111         f.write("rm -f user_param.py.*\n") 
    112         f.write("rm -f user_param.def\n") 
     122        f.write("rm -f CMakeLists.txt\n") 
     123        f.write("rm -f context_grid_dynamico.xml\n") 
     124        f.write("rm -f dynamico_grid.nc\n") 
     125        f.write("rm -f default_param.*\n") 
     126        f.write("rm -f user_param.*\n") 
    113127        f.write("mv user_params.def_bkp user_params.def\n") 
    114128        f.write("\n") 
    … …  
    234248                l.write("<br>") 
    235249                h.close() 
     250                #generate job scripts 
     251                hostname=os.getenv('machine_name') 
     252                if hostname.startswith("jeanzay"): 
     253                        write_jz_job(configName, NumberClients+NumberServers) 
     254                                 
     255                elif hostname.startswith("irene"): 
     256                        write_irene_job(configName, NumberClients+NumberServers) 
     257                                                         
     258                else : 
     259                        print("machine unknown") 
     260                        print >> sys.stderr, 1 
     261                        sys.exit() 
    236262 
    237263 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/clean_config.sh

    r1734 r1743  
    1 bash -c "cd test_function && rm -rf config_*" 
    2 bash -c "cd test_scalar_algo && rm -rf config_*" 
    3 bash -c "cd test_axis_algo && rm -rf config_*" 
    4 bash -c "cd test_domain_algo && rm -rf config_*" 
    5 bash -c "cd test_grid_algo && rm -rf config_*" 
     1bash -c "cd test_function && rm -rf config_* && rm -f jz_job_*.sh && rm -f irene_job_*.sh && rm -f user_param.py.* && rm -f run_test_*.py && rm -f report.* && rm -rf diff.txt && rm -rf current_run" 
     2bash -c "cd test_scalar_algo && rm -rf config_* && rm -f jz_job_*.sh && rm -f irene_job_*.sh && rm -f user_param.py.* && rm -f run_test_*.py && rm -f report.* && rm -rf diff.txt && rm -rf current_run" 
     3bash -c "cd test_axis_algo && rm -rf config_* && rm -f jz_job_*.sh && rm -f irene_job_*.sh && rm -f user_param.py.* && rm -f run_test_*.py && rm -f report.* && rm -rf diff.txt && rm -rf current_run" 
     4bash -c "cd test_domain_algo && rm -rf config_* && rm -f jz_job_*.sh && rm -f irene_job_*.sh && rm -f user_param.py.* && rm -f run_test_*.py && rm -f report.* && rm -rf diff.txt && rm -rf current_run" 
     5bash -c "cd test_grid_algo && rm -rf config_* && rm -f jz_job_*.sh && rm -f irene_job_*.sh && rm -f user_param.py.* && rm -f run_test_*.py && rm -f report.* && rm -rf diff.txt && rm -rf current_run" 
    66 
    77 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/clean_xios.sh

    r1722 r1743  
    1 cd test_function/test_average 
     1cd test_function 
    22rm -f xios_*.out 
    33rm -f xios_*.err 
     4rm -f *.nc 
     5rm -f graph_data.json 
     6rm -f distribute_file_*.dat  
    47 
    5 cd ../test_maximum 
     8cd ../test_scalar_algo 
    69rm -f xios_*.out 
    710rm -f xios_*.err 
    8  
    9 cd ../test_minimum 
    10 rm -f xios_*.out 
    11 rm -f xios_*.err 
    12  
    13 cd ../test_sum 
    14 rm -f xios_*.out 
    15 rm -f xios_*.err 
    16  
    17 cd ../../test_scalar_algo 
    18 rm -f xios_*.out 
    19 rm -f xios_*.err 
     11rm -f *.nc 
     12rm -f graph_data.json 
     13rm -f distribute_file_*.dat  
    2014 
    2115cd ../test_axis_algo 
    2216rm -f xios_*.out 
    2317rm -f xios_*.err 
     18rm -f *.nc 
     19rm -f graph_data.json 
     20rm -f distribute_file_*.dat  
    2421 
    2522cd ../test_domain_algo 
    2623rm -f xios_*.out 
    2724rm -f xios_*.err 
     25rm -f *.nc 
     26rm -f graph_data.json 
     27rm -f distribute_file_*.dat  
    2828 
    2929cd ../test_grid_algo 
    3030rm -f xios_*.out 
    3131rm -f xios_*.err 
     32rm -f *.nc 
     33rm -f graph_data.json 
     34rm -f distribute_file_*.dat  
    3235 
    3336 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/job_irene.sh

    r1738 r1743  
    4949 
    5050export machine_name=irene 
     51export xios_dir=/ccc/cont003/home/gencmip6/wangyush/XIOS/dev_trunk_omp 
     52export build_dir=build_mpi_intelmpi_prod 
    5153 
    5254rm -f setup.sh 
    … …  
    8284rm -f test_*/run_test_*.py 
    8385rm -f test_*/CMakeLists.txt 
     86rm -f test_*/context_grid_dynamico.xml 
     87rm -f test_*/dynamico_grid.nc 
     88rm -f test_*/default_param.pyc 
     89rm -f test_*/user_param.pyc 
     90rm -f test_*/user_param.py.* 
    8491 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/job_jz.sh

    r1739 r1743  
    3232#srun --mpi=pmi2 -K1 --multi-prog -m cyclic ./mpmd_srun.conf 
    3333export machine_name=jeanzay 
     34export xios_dir=/gpfswork/rech/psl/rpsl954/xios/dev_trunk_omp 
     35export build_dir=build_prod 
    3436 
    3537# python user_config.py 
    … …  
    6769rm -f test_*/run_test_*.py 
    6870rm -f test_*/CMakeLists.txt 
     71rm -f test_*/context_grid_dynamico.xml 
     72rm -f test_*/dynamico_grid.nc 
     73rm -f test_*/default_param.pyc 
     74rm -f test_*/user_param.pyc 
     75rm -f test_*/user_param.py.* 
    6976 
    7077 
    … …  
    7380 
    7481 
    75         # bj98et@eduroam.cnrs.fr 
    76         # corsez filez doutez isbas 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/run_sub_test.sh

    r1739 r1743  
    2525then 
    2626    echo "Testing on Irene" 
    27     ccc_mprun -n $nb_proc ../../build_prod/bin/generic_testcase.exe 
     27    ccc_mprun -n $nb_proc $xios_dir/$build_dir/bin/generic_testcase.exe 
    2828elif [[($machine_name == ada)]] 
    2929then 
    3030    echo "Testing on ADA" 
    31     mpirun -np $nb_proc ../../build_prod/bin/generic_testcase.exe 
     31    mpirun -np $nb_proc $xios_dir/$build_dir/bin/generic_testcase.exe 
    3232elif [[($machine_name == jeanzay)]] 
    3333then 
    3434    echo "Testing on Jean-Zay"  
    35     srun -n $nb_proc --mpi=pmi2 ../../build_prod/bin/generic_testcase.exe 
     35    srun -n $nb_proc --mpi=pmi2 $xios_dir/$build_dir/bin/generic_testcase.exe 
    3636    if [ $? -ne 0 ] 
    3737        then 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_axis_algo/job_irene.sh

    r1738 r1743  
    4040 
    4141export machine_name=irene 
    42 #export GMON_OUT_PREFIX='gmon.out' 
     42export xios_dir=/ccc/cont003/home/gencmip6/wangyush/XIOS/dev_trunk_omp 
     43export build_dir=build_mpi_intelmpi_prod 
    4344 
    44 #export TAU_MAKEFILE=$TAU_MAKEFILEDIR/Makefile.tau-icpc-papi-mpi-pdt-openmp-opari-scorep 
    45 #ccc_mprun -E '--enable_perf' amplxe-cl -collect hotspots -r ${PWD}/1omp_vtune/vtune_results ../../bin/test_send.exe 
    46  
    47 #ccc_mprun ../build_prod/bin/test_omp.exe 4 
    48 #ccc_mprun tau_exec -io ../../bin/test_send.exe 
    49 #ddt -start -n 8 ../buile_intelmpi/bin/test_omp.exe 
    5045cp ../setup.py ./ 
    5146cp ../run_sub_test.sh ./ 
    … …  
    5954ctest -V #enable all output 
    6055 
    61 rm -f setup.py run_sub_test.sh 
     56rm -f setup.py 
     57rm -f run_sub_test.sh 
    6258rm -f run_test_*.py 
     59rm -f CMakeLists.txt 
     60rm -f context_grid_dynamico.xml 
     61rm -f dynamico_grid.nc 
     62rm -f default_param.pyc 
     63rm -f user_param.pyc 
    6364rm -f user_param.py.* 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_axis_algo/job_jz.sh

    r1737 r1743  
    3232#srun --mpi=pmi2 -K1 --multi-prog -m cyclic ./mpmd_srun.conf 
    3333export machine_name=jeanzay 
     34export xios_dir=/gpfswork/rech/psl/rpsl954/xios/dev_trunk_omp 
     35export build_dir=build_prod 
    3436 
    3537cp ../setup.py ./ 
    … …  
    4446ctest -V #enable all output 
    4547 
    46 rm -f setup.py run_sub_test.sh 
     48rm -f setup.py 
     49rm -f run_sub_test.sh 
    4750rm -f run_test_*.py 
     51rm -f CMakeLists.txt 
     52rm -f context_grid_dynamico.xml 
     53rm -f dynamico_grid.nc 
     54rm -f default_param.pyc 
     55rm -f user_param.pyc 
    4856rm -f user_param.py.* 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_domain_algo/job_irene.sh

    r1738 r1743  
    4040 
    4141export machine_name=irene 
    42 #export GMON_OUT_PREFIX='gmon.out' 
     42export xios_dir=/ccc/cont003/home/gencmip6/wangyush/XIOS/dev_trunk_omp 
     43export build_dir=build_mpi_intelmpi_prod 
    4344 
    44 #export TAU_MAKEFILE=$TAU_MAKEFILEDIR/Makefile.tau-icpc-papi-mpi-pdt-openmp-opari-scorep 
    45 #ccc_mprun -E '--enable_perf' amplxe-cl -collect hotspots -r ${PWD}/1omp_vtune/vtune_results ../../bin/test_send.exe 
    46  
    47 #ccc_mprun ../build_prod/bin/test_omp.exe 4 
    48 #ccc_mprun tau_exec -io ../../bin/test_send.exe 
    49 #ddt -start -n 8 ../buile_intelmpi/bin/test_omp.exe 
    5045cp ../setup.py ./ 
    5146cp ../run_sub_test.sh ./ 
    … …  
    5954ctest -V #enable all output 
    6055 
    61 rm -f setup.py run_sub_test.sh 
     56rm -f setup.py 
     57rm -f run_sub_test.sh 
    6258rm -f run_test_*.py 
     59rm -f CMakeLists.txt 
     60rm -f context_grid_dynamico.xml 
     61rm -f dynamico_grid.nc 
     62rm -f default_param.pyc 
     63rm -f user_param.pyc 
    6364rm -f user_param.py.* 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_domain_algo/job_jz.sh

    r1737 r1743  
    3232#srun --mpi=pmi2 -K1 --multi-prog -m cyclic ./mpmd_srun.conf 
    3333export machine_name=jeanzay 
     34export xios_dir=/gpfswork/rech/psl/rpsl954/xios/dev_trunk_omp 
     35export build_dir=build_prod 
    3436 
    3537cp ../setup.py ./ 
    … …  
    4042cmake . 
    4143 
    42 ctest --output-on-failure #enable output only when test failed 
     44#ctest --output-on-failure #enable output only when test failed 
    4345 
    44 #ctest -V #enable all output 
     46ctest -V #enable all output 
    4547 
    46 rm -f setup.py run_sub_test.sh 
     48rm -f setup.py 
     49rm -f run_sub_test.sh 
    4750rm -f run_test_*.py 
     51rm -f CMakeLists.txt 
     52rm -f context_grid_dynamico.xml 
     53rm -f dynamico_grid.nc 
     54rm -f default_param.pyc 
     55rm -f user_param.pyc 
    4856rm -f user_param.py.* 
    49  

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_function/job_irene.sh

    r1738 r1743  
    3939set -x  
    4040 
    41 #export GMON_OUT_PREFIX='gmon.out' 
     41export machine_name=irene 
     42export xios_dir=/ccc/cont003/home/gencmip6/wangyush/XIOS/dev_trunk_omp 
     43export build_dir=build_mpi_intelmpi_prod 
    4244 
    43 #export TAU_MAKEFILE=$TAU_MAKEFILEDIR/Makefile.tau-icpc-papi-mpi-pdt-openmp-opari-scorep 
    44 #ccc_mprun -E '--enable_perf' amplxe-cl -collect hotspots -r ${PWD}/1omp_vtune/vtune_results ../../bin/test_send.exe 
    45  
    46 #ccc_mprun ../build_prod/bin/test_omp.exe 4 
    47 #ccc_mprun tau_exec -io ../../bin/test_send.exe 
    48 #ddt -start -n 8 ../buile_intelmpi/bin/test_omp.exe 
    4945cp ../setup.py ./ 
    5046cp ../run_sub_test.sh ./ 
    … …  
    5854ctest -V #enable all output 
    5955 
    60 rm -f setup.py run_sub_test.sh 
     56rm -f setup.py 
     57rm -f run_sub_test.sh 
    6158rm -f run_test_*.py 
     59rm -f CMakeLists.txt 
     60rm -f context_grid_dynamico.xml 
     61rm -f dynamico_grid.nc 
     62rm -f default_param.pyc 
     63rm -f user_param.pyc 
    6264rm -f user_param.py.* 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_function/job_jz.sh

    r1737 r1743  
    3232#srun --mpi=pmi2 -K1 --multi-prog -m cyclic ./mpmd_srun.conf 
    3333export machine_name=jeanzay 
     34export xios_dir=/gpfswork/rech/psl/rpsl954/xios/dev_trunk_omp 
     35export build_dir=build_prod 
    3436 
    3537cp ../setup.py ./ 
    … …  
    4042cmake . 
    4143 
    42 ctest --output-on-failure #enable output only when test failed 
     44#ctest --output-on-failure #enable output only when test failed 
    4345 
    44 #ctest -V #enable all output 
     46ctest -V #enable all output 
    4547 
    46 rm -f setup.py run_sub_test.sh 
     48rm -f setup.py 
     49rm -f run_sub_test.sh 
    4750rm -f run_test_*.py 
     51rm -f CMakeLists.txt 
     52rm -f context_grid_dynamico.xml 
     53rm -f dynamico_grid.nc 
     54rm -f default_param.pyc 
     55rm -f user_param.pyc 
    4856rm -f user_param.py.* 
    49  

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_grid_algo/job_irene.sh

    r1738 r1743  
    4040 
    4141export machine_name=irene 
    42 #export GMON_OUT_PREFIX='gmon.out' 
     42export xios_dir=/ccc/cont003/home/gencmip6/wangyush/XIOS/dev_trunk_omp 
     43export build_dir=build_mpi_intelmpi_prod 
    4344 
    44 #export TAU_MAKEFILE=$TAU_MAKEFILEDIR/Makefile.tau-icpc-papi-mpi-pdt-openmp-opari-scorep 
    45 #ccc_mprun -E '--enable_perf' amplxe-cl -collect hotspots -r ${PWD}/1omp_vtune/vtune_results ../../bin/test_send.exe 
    46  
    47 #ccc_mprun ../build_prod/bin/test_omp.exe 4 
    48 #ccc_mprun tau_exec -io ../../bin/test_send.exe 
    49 #ddt -start -n 8 ../buile_intelmpi/bin/test_omp.exe 
    5045cp ../setup.py ./ 
    5146cp ../run_sub_test.sh ./ 
    … …  
    5954ctest -V #enable all output 
    6055 
    61 rm -f setup.py run_sub_test.sh 
     56rm -f setup.py 
     57rm -f run_sub_test.sh 
    6258rm -f run_test_*.py 
     59rm -f CMakeLists.txt 
     60rm -f context_grid_dynamico.xml 
     61rm -f dynamico_grid.nc 
     62rm -f default_param.pyc 
     63rm -f user_param.pyc 
    6364rm -f user_param.py.* 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_grid_algo/job_jz.sh

    r1737 r1743  
    3232#srun --mpi=pmi2 -K1 --multi-prog -m cyclic ./mpmd_srun.conf 
    3333export machine_name=jeanzay 
     34export xios_dir=/gpfswork/rech/psl/rpsl954/xios/dev_trunk_omp 
     35export build_dir=build_prod 
    3436 
    3537cp ../setup.py ./ 
    … …  
    4042cmake . 
    4143 
    42 ctest --output-on-failure #enable output only when test failed 
     44#ctest --output-on-failure #enable output only when test failed 
    4345 
    44 #ctest -V #enable all output 
     46ctest -V #enable all output 
    4547 
    46 rm -f setup.py run_sub_test.sh 
     48rm -f setup.py 
     49rm -f run_sub_test.sh 
    4750rm -f run_test_*.py 
     51rm -f CMakeLists.txt 
     52rm -f context_grid_dynamico.xml 
     53rm -f dynamico_grid.nc 
     54rm -f default_param.pyc 
     55rm -f user_param.pyc 
    4856rm -f user_param.py.* 
    49  

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_scalar_algo/job_irene.sh

    r1738 r1743  
    4040 
    4141export machine_name=irene 
    42 #export GMON_OUT_PREFIX='gmon.out' 
     42export xios_dir=/ccc/cont003/home/gencmip6/wangyush/XIOS/dev_trunk_omp 
     43export build_dir=build_mpi_intelmpi_prod 
    4344 
    44 #export TAU_MAKEFILE=$TAU_MAKEFILEDIR/Makefile.tau-icpc-papi-mpi-pdt-openmp-opari-scorep 
    45 #ccc_mprun -E '--enable_perf' amplxe-cl -collect hotspots -r ${PWD}/1omp_vtune/vtune_results ../../bin/test_send.exe 
    46  
    47 #ccc_mprun ../build_prod/bin/test_omp.exe 4 
    48 #ccc_mprun tau_exec -io ../../bin/test_send.exe 
    49 #ddt -start -n 8 ../buile_intelmpi/bin/test_omp.exe 
    5045cp ../setup.py ./ 
    5146cp ../run_sub_test.sh ./ 
    … …  
    5954ctest -V #enable all output 
    6055 
    61 rm -f setup.py run_sub_test.sh 
     56rm -f setup.py 
     57rm -f run_sub_test.sh 
    6258rm -f run_test_*.py 
     59rm -f CMakeLists.txt 
     60rm -f context_grid_dynamico.xml 
     61rm -f dynamico_grid.nc 
     62rm -f default_param.pyc 
     63rm -f user_param.pyc 
    6364rm -f user_param.py.* 

  • XIOS/dev/dev_trunk_omp/GENERIC_TESTCASE/test_scalar_algo/job_jz.sh

    r1737 r1743  
    3232#srun --mpi=pmi2 -K1 --multi-prog -m cyclic ./mpmd_srun.conf 
    3333export machine_name=jeanzay 
     34export xios_dir=/gpfswork/rech/psl/rpsl954/xios/dev_trunk_omp 
     35export build_dir=build_prod 
    3436 
    3537cp ../setup.py ./ 
    … …  
    4042cmake . 
    4143 
    42 ctest --output-on-failure #enable output only when test failed 
     44#ctest --output-on-failure #enable output only when test failed 
    4345 
    44 #ctest -V #enable all output 
     46ctest -V #enable all output 
    4547 
    46 rm -f setup.py run_sub_test.sh 
     48rm -f setup.py 
     49rm -f run_sub_test.sh 
    4750rm -f run_test_*.py 
     51rm -f CMakeLists.txt 
     52rm -f context_grid_dynamico.xml 
     53rm -f dynamico_grid.nc 
     54rm -f default_param.pyc 
     55rm -f user_param.pyc 
    4856rm -f user_param.py.* 
Note: See TracChangeset for help on using the changeset viewer.