Changeset 1909


Ignore:
Timestamp:
06/19/20 18:57:59 (8 weeks ago)
Author:
yushan
Message:

trunk : add reference generator and archievs

Location:
XIOS/trunk/xios_test_suite
Files:
1 added
6 edited

Legend:

Unmodified
Added
Removed
  • XIOS/trunk/xios_test_suite/ENV/irene.env

    r1907 r1909  
    1010export xios_thredds_dir=/ccc/work/cont003/thredds/p86yann/XIOS_TEST_SUITE 
    1111export xios_reference_dir=/ccc/work/cont003/gen0826/gen0826/XIOS_TEST_SUITE_REPOSITORY 
    12 export ref_location=/ccc/cont003/home/gencmip6/wangyush/cron_xios 
     12export ref_location=/ccc/cont003/home/gencmip6/wangyush/reference_dir 
    1313export ref_file=reference.tar.gz 
    1414 
  • XIOS/trunk/xios_test_suite/TEST_SUITE/default_param.json

    r1906 r1909  
    11[ 
    2         { 
    3             "ATMdomain": "lmdz", 
    4             "UsingServer2": "true", 
    5             "RatioServer2": 50, 
    6             "NumberPoolsServer2": 1, 
    7             "Duration": "1d", 
    8             "NumberClients": 4, 
    9             "NumberServers": 4 
    10         } 
     2  { 
     3    "ATMdomain": "lmdz", 
     4    "UsingServer2": "true", 
     5    "RatioServer2": 50, 
     6    "NumberPoolsServer2": 1, 
     7    "Duration": "1d", 
     8    "NumberClients": 4, 
     9    "NumberServers": 4, 
     10    "InfoLevel": 100 
     11  } 
    1112] 
  • XIOS/trunk/xios_test_suite/TEST_SUITE/iodef.xml

    r1888 r1909  
    5353      <variable_group id="parameters" > 
    5454        <variable id="using_server" type="bool">true</variable> 
    55         <variable id="info_level" type="int">100</variable> 
     55        <variable id="info_level" type="int">XIOS::InfoLevel</variable> 
    5656        <variable id="print_file" type="bool">true</variable> 
    5757        <variable id="using_server2" type="bool">XIOS::UsingServer2</variable> 
  • XIOS/trunk/xios_test_suite/TEST_SUITE/run_test

    r1908 r1909  
    2525  for i in $(ls -d test_*/) 
    2626  do 
    27     mkdir -p ${rundir}/def_files/${svnR}/${i%%} 
     27    mkdir -p ${rundir}/def_files/${svnR}/${i%%} ; CHMOD ${rundir}/def_files/${svnR}/${i%%} 
    2828    cp ${i%%}/user_param.json ${rundir}/def_files/${svnR}/${i%%} 
    2929    for j in $(ls -d ${i%%/}/CONFIG_*) 
    3030    do 
    31       mkdir -p ${rundir}/def_files/${svnR}/${j%%} 
     31      mkdir -p ${rundir}/def_files/${svnR}/${j%%} ; CHMOD ${rundir}/def_files/${svnR}/${j%%} 
    3232      cp ${j%%}/all_param.def ${rundir}/def_files/${svnR}/${j%%} 
    3333    done 
  • XIOS/trunk/xios_test_suite/TEST_SUITE/step1.py

    r1907 r1909  
    77import copy 
    88 
    9 param_list = ["ATMdomain", "UsingServer2", "NumberClients", "NumberServers", "RatioServer2", "NumberPoolsServer2", "Duration"] 
    10 param_short_list = ["ATMdom", "Srv2", "NbClnt", "NbSrv", "RatioSrv2", "NbPlSrv2", "Duration"] 
     9param_list = ["ATMdomain", "UsingServer2", "NumberClients", "NumberServers", "RatioServer2", "NumberPoolsServer2", "Duration", "InfoLevel"] 
     10param_short_list = ["ATMdom", "Srv2", "NbClnt", "NbSrv", "RatioSrv2", "NbPlSrv2", "Duration", "Info"] 
    1111 
    1212mode=os.getenv("mode") 
     
    3838    default_param = json.load(f) 
    3939    f.close() 
    40     return default_param[0] 
     40    l = list(default_param[0].items()) 
     41    l.sort() 
     42    def_param=dict(l) 
     43    return def_param 
    4144 
    4245def generate_job(fn, n): 
     
    6265            fh.write("#MSUB -Q test\n") 
    6366            fh.write("#MSUB -m work,scratch\n") 
    64             fh.write("source ../../../BUILD/build_"+arch+"_"+mode+"/arch.env\n") 
     67            fh.write("cp ../../build_"+arch+"_"+mode+"/bin/generic_testcase.exe ./\n") 
     68            fh.write("source ../../build_"+arch+"_"+mode+"/arch.env\n") 
    6569            fh.write("ccc_mprun -n "+str(n)+" generic_testcase.exe\n") 
    6670 
     
    8185            fh.write("ulimit -c 0\n") 
    8286            fh.write("cd ${SLURM_SUBMIT_DIR}\n") 
    83             fh.write("source ../../../BUILD/build_"+arch+"_"+mode+"/arch.env\n") 
     87            fh.write("cp ../../build_"+arch+"_"+mode+"/bin/generic_testcase.exe ./\n") 
     88            fh.write("source ../../build_"+arch+"_"+mode+"/arch.env\n") 
    8489            fh.write("source $I_MPI_ROOT/intel64/bin/mpivars.sh release_mt\n") 
    8590            fh.write("srun generic_testcase.exe") 
     
    9095    if machine=="irene": 
    9196        with open("full_job_"+arch+"_"+mode+".sh", "a") as fh: 
    92             fh.write("\ncd ${location}/"+location+"; ccc_mprun -E \'--exclusive\' -n "+str(n)+" generic_testcase.exe > output.out 2> error.out &\n") 
     97            fh.write("\ncd ${location}/"+location+"; ccc_mprun -E \'--exclusive\' -n "+str(n)+" generic_testcase.exe > output_"+arch+"_"+mode+".out 2> error_"+arch+"_"+mode+".out &\n") 
    9398            fh.write("PIDS+=($!)\n") 
    9499            fh.write("CONFIGS+=("+location+")\n") 
    95100    if machine=="jeanzay": 
    96101        with open("full_job_"+arch+"_"+mode+".sh", "a") as fh: 
    97             fh.write("\ncd ${location}/"+location+"; srun --exclusive -n "+str(n)+" generic_testcase.exe > output.out 2> error.out &\n") 
     102            fh.write("\ncd ${location}/"+location+"; srun --exclusive -n "+str(n)+" generic_testcase.exe > output_"+arch+"_"+mode+".out 2> error_"+arch+"_"+mode+".out &\n") 
    98103 
    99104def main(): 
     
    108113            fh.write("#MSUB -r XIOS\n") 
    109114            fh.write("#MSUB -eo\n") 
    110             fh.write("#MSUB -o client_output.out\n") 
    111             fh.write("#MSUB -e client_error.err\n") 
     115            fh.write("#MSUB -o output_"+arch+"_"+mode+".out\n") 
     116            fh.write("#MSUB -e error_"+arch+"_"+mode+".err\n") 
    112117            fh.write("#MSUB -c 1\n") 
    113118            fh.write("#MSUB -n "+str(nb_proc_irene)+"\n") 
     
    121126            fh.write("export location="+os.getcwd()+"\n") 
    122127            fh.write("export log_location="+os.getcwd()+"\n") 
    123             fh.write("source ../BUILD/build_"+arch+"_"+mode+"/arch.env\n") 
     128            fh.write("source build_"+arch+"_"+mode+"/arch.env\n") 
    124129            fh.write("echo \"parallel launch arch="+arch+" mode="+mode+"\" >> ${log_location}/Log.txt\n") 
    125130            fh.write("date >> ${log_location}/Log.txt\n") 
     
    133138            fh.write("#====================================================\n") 
    134139            fh.write("#SBATCH --ntasks="+str(nb_proc_jz)+"\n") 
     140            fh.write("#SBATCH -o output_"+arch+"_"+mode+".out\n") 
     141            fh.write("#SBATCH -e error_"+arch+"_"+mode+".out\n") 
    135142            fh.write("#SBATCH --hint=nomultithread\n") 
    136143            fh.write("#SBATCH -t 00:10:00\n") 
     
    138145            fh.write("ulimit -c 0\n") 
    139146            fh.write("cd ${SLURM_SUBMIT_DIR}\n") 
    140             fh.write("source ../BUILD/build_"+arch+"_"+mode+"/arch.env\n") 
     147            fh.write("source build_"+arch+"_"+mode+"/arch.env\n") 
    141148            fh.write("source $I_MPI_ROOT/intel64/bin/mpivars.sh release_mt\n") 
    142149            fh.write("export location="+os.getcwd()+"\n") 
     
    179186            mystr = mystr.replace(":", "") 
    180187            mystr = mystr.replace("u'", "") 
     188            mystr = mystr.replace("b'", "") 
    181189            mystr = mystr.replace("'", "") 
    182190            mystr = mystr.replace(" ", "_") 
  • XIOS/trunk/xios_test_suite/TEST_SUITE/step2.py

    r1891 r1909  
    77import copy 
    88 
    9 param_list = ["ATMdomain", "UsingServer2", "NumberClients", "NumberServers", "RatioServer2", "NumberPoolsServer2", "Duration"] 
    10 param_short_list = ["ATMdom", "Srv2", "NbClnt", "NbSrv", "RatioSrv2", "NbPlSrv2", "Duration"] 
    119 
    1210mode=os.getenv("mode") 
     
    1513ref_location=os.getenv("ref_location") 
    1614ref_file=os.getenv("ref_file") 
     15 
     16 
    1717 
    1818def OSinfo(runthis): 
     
    2626 
    2727 
    28 def get_default_param(): 
    29     f=open("default_param.json", 'r') 
    30     default_param = json.load(f) 
    31     f.close() 
    32     return default_param[0] 
    3328 
    3429def nonblank_lines(f): 
     
    3934 
    4035def main(): 
    41     OSinfo("cp "+ref_location+"/"+ref_file+" ./") 
    42     OSinfo("tar -zxvf "+ref_file) 
     36    ref_list = glob.glob(ref_location+"/*") 
     37    for i in range(len(ref_list)): 
     38        tmp = ref_list[i].split("/") 
     39        rev = tmp[len(tmp)-1] 
     40        ref_list[i] = int(rev) 
     41    ref_list.sort(reverse=True) #ref_list in descending order 
     42     
     43    print(ref_list) 
     44 
     45    ref_rev = "0" 
     46    for ref in ref_list: 
     47        if int(svnr) >= ref : 
     48            ref_rev = str(rev) 
     49            break 
     50         
     51    if not int(ref_rev): 
     52        print("no available reference found ... exit") 
     53        return 
     54     
     55    OSinfo("cp "+ref_location+"/"+ref_rev+"/"+ref_file+" ./") 
     56    OSinfo("tar -zxvf "+ref_location+"/"+ref_rev+"/"+ref_file) 
    4357    OSinfo("rm -f "+ref_file) 
     58     
     59     
    4460    test_folder_list = glob.glob('test_*') 
    4561 
    4662    for test_folder in test_folder_list: 
    4763        config_list = glob.glob(test_folder+"/CONFIG_*") 
    48         #print(*config_list, sep = "\n") 
    4964         
    5065         
Note: See TracChangeset for help on using the changeset viewer.