Changeset 10131


Ignore:
Timestamp:
2018-09-14T15:58:40+02:00 (22 months ago)
Author:
mathiot
Message:

add option to manage compression in rebuild_nemo, add compression and chunking in rebuild_nemo.F90

Location:
NEMO/branches/UKMO/dev_rebuild_nemo_compression/REBUILD_NEMO
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • NEMO/branches/UKMO/dev_rebuild_nemo_compression/REBUILD_NEMO/rebuild_nemo

    r9048 r10131  
    1010   echo "  ************" 
    1111   echo 
    12    echo "  usage: ${0##*/} [-l -t -c -m -n] filebase ndomain [rebuild dimensions]" 
     12   echo "  usage: ${0##*/} [-l -p -s -m -n -r -d -x -y -z -t -s] filebase ndomain [rebuild dimensions]" 
    1313   echo 
    1414   echo "  flags:    -l                 submit to compute node" 
    15    echo "            -t num             use num threads" 
    16    echo "            -c num             split 4D vars into time chuncks of size num" 
     15   echo "            -p num             use num threads" 
     16   echo "            -s num             split 4D vars into time slice of size num" 
    1717   echo "            -m                 force masking of global arrays (zero if no mdi)" 
    18    echo "            -d deflate_level   deflate level for output files (key_netcdf4 only)" 
    1918   echo "            -n namelist        full path to namelist file to be created (otherwise default nam_rebuild+_process_id is used)" 
    2019   echo "            -r memory          Memory to request on compute node including units (Default = 10Gb)" 
     20   echo "" 
     21   echo "      key_netcdf4 only " 
     22   echo "            -d deflate_level     deflate level for output files" 
     23   echo "            -x chunsize along x "  
     24   echo "            -y chunsize along y "  
     25   echo "            -z chunsize along z "  
     26   echo "            -t chunsize along t "  
     27   echo "            -s chunsize " 
    2128   echo 
    2229   exit 1 
    2330} 
    2431 
    25 while getopts c:n:t:d:r:lm opt 
     32while getopts l:p:s:m:n:r:d:x:y:z:t:s opt 
    2633do 
    2734  case ${opt} in 
     
    3239         echo "Submitting job to compute node" 
    3340      ;; 
    34       t) 
     41      p) 
    3542         OMP_NUM_THREADS=${OPTARG} 
    3643      ;; 
    37       c) 
    38          NCHUNKSIZE=${OPTARG} 
     44      s) 
     45         NSLICESIZE=${OPTARG} 
    3946      ;; 
    4047      m)  
     
    5057      r) 
    5158         MEMORY=${OPTARG} 
     59      ;; 
     60      x) 
     61         NXCHUNK=${OPTARG} 
     62      ;; 
     63      y) 
     64         NYCHUNK=${OPTARG} 
     65      ;; 
     66      z) 
     67         NZCHUNK=${OPTARG} 
     68      ;; 
     69      t) 
     70         NTCHUNK=${OPTARG} 
     71      ;; 
     72      s) 
     73         CHUNKSIZE=${OPTARG} 
    5274      ;; 
    5375  esac 
     
    90112   echo ${dims} >> $nam_rebuild 
    91113fi 
    92 if [[ -n ${NCHUNKSIZE} ]] ; then 
    93    echo " nchunksize=${NCHUNKSIZE}" >> $nam_rebuild 
     114if [[ -n ${NCSLICESIZE} ]] ; then 
     115   echo " nslicesize=${NCSLICESIZE}" >> $nam_rebuild 
    94116fi 
    95117if [[ -n ${NMASK} ]] ; then 
     
    99121   echo " deflate_level=${DEFLATE}" >> $nam_rebuild 
    100122fi 
     123if [[ -n ${NXCHUNK} ]] ; then 
     124   echo " nc4_xchunk=${NXCHUNK}" >> $nam_rebuild 
     125fi 
     126if [[ -n ${NYCHUNK} ]] ; then 
     127   echo " nc4_ychunk=${NYCHUNK}" >> $nam_rebuild 
     128fi 
     129if [[ -n ${NZCHUNK} ]] ; then 
     130   echo " nc4_zchunk=${NZCHUNK}" >> $nam_rebuild 
     131fi 
     132if [[ -n ${NTCHUNK} ]] ; then 
     133   echo " nc4_tchunk=${NTCHUNK}" >> $nam_rebuild 
     134fi 
     135if [[ -n ${CHUNKSIZE} ]] ; then 
     136   echo " fchunksize=${CHUNKSIZE}" >> $nam_rebuild 
     137fi 
     138 
     139 
    101140 
    102141echo "/" >> $nam_rebuild 
  • NEMO/branches/UKMO/dev_rebuild_nemo_compression/REBUILD_NEMO/src/rebuild_nemo.F90

    r9048 r10131  
    11PROGRAM rebuild_nemo 
    2  
     2#define key_netcdf4 
    33   !!========================================================================= 
    44   !!                        ***  rebuild_nemo  *** 
     
    1414   !!     * works for 1,2,3 and 4d arrays or types for all valid NetCDF types 
    1515   !!     * utilises OMP shared memory parallelisation where applicable 
    16    !!     * time 'chunking' for lower memory use  
     16   !!     * time 'slicing' for lower memory use  
    1717   !!       (only for 4D vars with unlimited dimension) 
    1818   !! 
    1919   !!  Ed Blockley - August 2011 
    2020   !!  (based on original code by Matt Martin) 
     21   !!  Julien Palmieri and Andrew Coward - September 2018 (add compression and chunking) 
    2122   !! 
    2223   !!------------------------------------------------------------------------- 
     
    3839   !!  and errors are written to numerr (default 0 - stderr). 
    3940   !! 
    40    !!  If time chunking is specified the code will use less memory but take a little longer. 
     41   !!  If time slicing is specified the code will use less memory but take a little longer. 
    4142   !!  It does this by breaking down the 4D input variables over their 4th dimension  
    4243   !!  (generally time) by way of a while loop. 
     
    6667   CHARACTER(LEN=nf90_max_name), ALLOCATABLE :: filenames(:), indimnames(:) 
    6768   CHARACTER(LEN=nf90_max_name), DIMENSION(2) :: dims 
    68  
    69    INTEGER :: ndomain, ifile, ndomain_file, nchunksize, deflate_level 
     69   CHARACTER(LEN=256) :: cnampath 
     70   CHARACTER(LEN=50)  :: clibnc ! netcdf library version 
     71 
     72   INTEGER :: ndomain, ifile, ndomain_file, nslicesize, deflate_level 
    7073   INTEGER :: ncid, outid, idim, istop 
    7174   INTEGER :: natts, attid, xtype, varid, rbdims  
    7275   INTEGER :: jv, ndims, nvars, dimlen, dimids(4) 
    7376   INTEGER :: dimid, unlimitedDimId, di, dj, dr 
    74    INTEGER :: nmax_unlimited, nt, ntchunk  
    75    INTEGER :: chunksize = 3200000 
     77   INTEGER :: nmax_unlimited, nt, ntslice  
     78   INTEGER :: fchunksize = 32000000  ! NetCDF global file chunk cache size 
     79   INTEGER :: patchchunk             ! NetCDF processor-domain file chunk cache size 
    7680   INTEGER :: nthreads = 1 
     81   INTEGER :: chunkalg = 0          ! NetCDF4 variable chunking algorithm 
     82                                    ! Default variable chunksizes (typical ORCA025 
     83                                    ! recommendations which can be adjusted via namelist 
     84                                    ! or will be bounded if too large for domain.) 
     85   INTEGER :: nc4_xchunk = 206      ! Default x (longitude) variable chunk size 
     86   INTEGER :: nc4_ychunk = 135      ! Default y (latitude)  variable chunk size 
     87   INTEGER :: nc4_zchunk = 1        ! Default z (depth) variable chunk size (almost always 1) 
     88   INTEGER :: nc4_tchunk = 1        ! Default t (time)  variable chunk size (almost always 1) 
    7789   INTEGER, ALLOCATABLE  :: outdimids(:), outdimlens(:), indimlens(:), inncids(:) 
     90   INTEGER, ALLOCATABLE  :: chunksizes(:) 
    7891   INTEGER, ALLOCATABLE  :: global_sizes(:), rebuild_dims(:) 
    7992   INTEGER, DIMENSION(2) :: halo_start, halo_end, local_sizes 
    8093   INTEGER, DIMENSION(2) :: idomain, jdomain, rdomain, start_pos 
    8194   INTEGER :: ji, jj, jk, jl, jr 
     95   INTEGER :: nargs                 ! number of arguments 
     96   INTEGER, EXTERNAL :: iargc 
    8297  
    8398   REAL(sp) :: ValMin, ValMax, InMin, InMax, rmdi 
     
    154169   LOGICAL :: l_maskout = .false. 
    155170 
    156    NAMELIST/nam_rebuild/ filebase, ndomain, dims, nchunksize, l_maskout, deflate_level 
     171   NAMELIST/nam_rebuild/ filebase, ndomain, dims, nslicesize, l_maskout, deflate_level, & 
     172                       & nc4_xchunk, nc4_ychunk, nc4_zchunk, nc4_tchunk, fchunksize          
    157173 
    158174   external      :: getarg 
    159    integer, external :: iargc 
    160    integer   :: found_num_args = 0 
    161    character(256) :: namelist_path 
    162175 
    163176   !End of definitions  
     
    174187  
    175188!-------------------------------------------------------------------------------- 
     189!1.0 Check netcdf version for warning 
     190   clibnc = TRIM(nf90_inq_libvers()) 
     191   IF (ICHAR(clibnc(1:1)) <= 3) THEN 
     192      PRINT *, '==========================================================' 
     193      PRINT *, 'You are using old netcdf library (',TRIM(clibnc),').' 
     194      PRINT *, 'REBUILD_NEMO support of old netcdf library will end soon' 
     195      PRINT *, 'please consider moving to netcdf 4 or higher' 
     196      PRINT *, '==========================================================' 
     197   END IF 
     198 
    176199!1.1 Get the namelist path 
    177 !Determine the number of arguments on the command line 
    178 found_num_args=iargc() 
    179 !Check that the required argument is present, if it is not then set it to the default value: nam_rebuild 
    180 IF (found_num_args <= 0) THEN 
    181    WRITE(numout,*) 'Namelist path not supplied as command line argument. Using default, nam_rebuild.' 
    182    namelist_path='nam_rebuild' 
    183 ELSE IF (found_num_args == 1) THEN 
    184    CALL getarg(1, namelist_path) 
    185 ELSE  
    186    WRITE(numerr,*) 'ERROR! : Incorrect number of command line arguments. Please supply only' 
    187    WRITE(numerr,*) '         the path to the namelist file, or no arguments to use default value' 
    188    STOP 1 
    189 END IF 
     200   !Determine the number of arguments on the command line 
     201   nargs=iargc() 
     202   !Check that the required argument is present, if it is not then set it to the default value: nam_rebuild 
     203   IF (nargs == 0) THEN 
     204      WRITE(numout,*) 'Namelist path not supplied as command line argument. Using default, nam_rebuild.' 
     205      cnampath='nam_rebuild' 
     206   ELSE IF (nargs == 1) THEN 
     207      CALL getarg(1, cnampath) 
     208   ELSE  
     209      WRITE(numerr,*) 'ERROR! : Incorrect number of command line arguments. Please supply only' 
     210      WRITE(numerr,*) '         the path to the namelist file, or no arguments to use default value' 
     211      STOP 1 
     212   END IF 
    190213 
    191214!1.2 Read in the namelist  
    192215 
    193216   dims(:) = "" 
    194    nchunksize = 0 
     217   nslicesize = 0 
    195218   deflate_level = 0 
    196    OPEN( UNIT=numnam, FILE=TRIM(namelist_path), FORM='FORMATTED', STATUS='OLD' ) 
     219   OPEN( UNIT=numnam, FILE=TRIM(cnampath), FORM='FORMATTED', STATUS='OLD' ) 
    197220   READ( numnam, nam_rebuild ) 
    198221   CLOSE( numnam ) 
    199222   IF( .NOT. ALL(dims(:) == "") ) l_findDims = .false. 
    200   
    201 !1.1 Set up the filenames and fileids 
     223 
     224!1.3 Set up the filenames and fileids 
    202225 
    203226   ALLOCATE(filenames(ndomain)) 
     
    227250   
    228251!2.1 Set up the output file 
    229 !#if defined key_netcdf4 
    230    CALL check_nf90( nf90_create( TRIM(filebase)//'.nc', nf90_netcdf4, outid, chunksize=chunksize ) ) 
    231 !#else 
    232 !   CALL check_nf90( nf90_create( TRIM(filebase)//'.nc', nf90_64bit_offset, outid, chunksize=chunksize ) ) 
    233 !#endif 
     252#if defined key_netcdf4 
     253   CALL check_nf90( nf90_create( TRIM(filebase)//'.nc', nf90_netcdf4, outid, chunksize=fchunksize ) ) 
     254#else 
     255   CALL check_nf90( nf90_create( TRIM(filebase)//'.nc', nf90_64bit_offset, outid, chunksize=fchunksize ) ) 
     256#endif 
    234257 
    235258!2.2 Set up dimensions in output file 
     
    291314      outdimlens(idim) = dimlen 
    292315   END DO 
    293    ! nmax_unlimited is only used for time-chunking so we set it to be at least 1 to  
     316   ! nmax_unlimited is only used for time-slicing so we set it to be at least 1 to  
    294317   ! account for files with no record dimension or zero length record dimension(!) 
    295318   nmax_unlimited = max(nmax_unlimited,1) 
     
    340363      CALL check_nf90( nf90_inquire_variable( ncid, jv, varname, xtype, ndims, dimids, natts ) ) 
    341364      ALLOCATE(outdimids(ndims)) 
    342       DO idim = 1, ndims 
    343          outdimids(idim) = dimids(idim) 
    344       END DO 
     365      ALLOCATE(chunksizes(ndims)) 
     366      IF( ndims > 0 ) then 
     367        DO idim = 1, ndims 
     368           outdimids(idim) = dimids(idim) 
     369           chunksizes(idim) = outdimlens(dimids(idim)) 
     370           if( TRIM(indimnames(dimids(idim))) == 'x' )             & 
     371    &                             chunksizes(idim) = min(outdimlens(dimids(idim)), max(nc4_xchunk,1)) 
     372           if( TRIM(indimnames(dimids(idim))) == 'y' )             & 
     373    &                             chunksizes(idim) = min(outdimlens(dimids(idim)), max(nc4_ychunk,1)) 
     374! trick to find var in a list of suggestion (var0 and var1 : INDEX(|var0|var1|,|var|) 
     375           if( INDEX('|depth|z|nav_lev|','|'//TRIM(indimnames(dimids(idim)))//'|') > 0 ) & 
     376    &                             chunksizes(idim) = min(outdimlens(dimids(idim)), max(nc4_zchunk,1)) 
     377           if( INDEX('|time|time_counter|','|'//TRIM(indimnames(dimids(idim)))//'|') > 0 ) & 
     378    &                             chunksizes(idim) = min(outdimlens(dimids(idim)), max(nc4_tchunk,1)) 
     379        END DO 
    345380#if defined key_netcdf4 
    346       CALL check_nf90( nf90_def_var( outid, varname, xtype, outdimids, varid, & 
    347                                      deflate_level=deflate_level ) ) 
     381        CALL check_nf90( nf90_def_var( outid, varname, xtype, outdimids, varid, & 
     382                                       deflate_level=deflate_level ) ) 
     383        IF (l_verbose) WRITE(numout,*) 'Dims    : ',ndims, outdimids(1:ndims) 
     384        IF (l_verbose) WRITE(numout,*) 'names   : ',(TRIM(indimnames(dimids(idim)))//' ',idim=1,ndims) 
     385        IF (l_verbose) WRITE(numout,*) 'lens   : ',(outdimlens(dimids(idim)),idim=1,ndims) 
     386        IF (l_verbose) WRITE(numout,*) 'Chunking: ',chunkalg, chunksizes 
     387        CALL check_nf90( nf90_def_var_chunking( outid, varid, chunkalg, & 
     388   &                                 chunksizes ) ) 
     389      ELSE 
     390        CALL check_nf90( nf90_def_var( outid, varname, xtype, outdimids, varid ) ) 
    348391#else 
    349392      CALL check_nf90( nf90_def_var( outid, varname, xtype, outdimids, varid ) ) 
    350393#endif 
     394      ENDIF 
    351395      DEALLOCATE(outdimids) 
     396      DEALLOCATE(chunksizes) 
    352397      IF (l_verbose) WRITE(numout,*) 'Defining variable '//TRIM(varname)//'...'  
    353398      IF( natts > 0 ) THEN 
     
    375420 
    376421   IF (l_verbose) WRITE(numout,*) 'Opening input files...' 
     422 
     423   ! Set a file chunk cache size for the processor-domain files that scales with the number of processors 
     424   patchchunk = max(8192, fchunksize/ndomain) 
     425 
     426   ! open files  
    377427   DO ifile = 2, ndomain 
    378       CALL check_nf90( nf90_open( TRIM(filenames(ifile)), nf90_share, ncid, chunksize=chunksize ) ) 
     428      CALL check_nf90( nf90_open( TRIM(filenames(ifile)), nf90_share, ncid, chunksize=patchchunk ) ) 
    379429      inncids(ifile) = ncid 
    380430   END DO 
     
    388438      istop = nf90_noerr 
    389439      nt = 1 
    390       ntchunk = nmax_unlimited 
    391       IF( nchunksize == 0 ) nchunksize = nmax_unlimited 
     440      ntslice = nmax_unlimited 
     441      IF( nslicesize == 0 ) nslicesize = nmax_unlimited 
    392442 
    393443!3.2 Inquire variable to find out name and how many dimensions it has 
     
    403453      ENDIF 
    404454 
    405 !3.2.0 start while loop for time chunking 
     455!3.2.0 start while loop for time slicing 
    406456 
    407457      DO WHILE( nt <= nmax_unlimited ) 
    408458 
    409459         IF( ndims > 3 ) THEN 
    410             ntchunk = MIN( nchunksize, nmax_unlimited + 1 - nt ) 
     460            ntslice = MIN( nslicesize, nmax_unlimited + 1 - nt ) 
    411461         ENDIF 
    412462 
    413463      IF (l_noRebuild) THEN 
    414464 
    415          IF( nchunksize == nmax_unlimited .OR. ndims <= 3 ) THEN 
     465         IF( nslicesize == nmax_unlimited .OR. ndims <= 3 ) THEN 
    416466            IF (l_verbose) WRITE(numout,*) 'Copying data from variable '//TRIM(varname)//'...' 
    417467         ELSE 
    418468            IF (l_verbose) WRITE(numout,'(A,I3,A,I3,A)') ' Copying data from variable '  & 
    419             &                 //TRIM(varname)//' for chunks ',nt,' to ',nt+ntchunk-1,' ...' 
     469            &                 //TRIM(varname)//' for slices ',nt,' to ',nt+ntslice-1,' ...' 
    420470         ENDIF 
    421471 
     
    519569               CASE( NF90_BYTE ) 
    520570                  ALLOCATE(globaldata_4d_i1(indimlens(dimids(1)),indimlens(dimids(2)),       & 
    521                      &                      indimlens(dimids(3)),ntchunk)) 
     571                     &                      indimlens(dimids(3)),ntslice)) 
    522572                  CALL check_nf90( nf90_get_var( ncid, jv, globaldata_4d_i1, start=(/1,1,1,nt/) ) ) 
    523573               CASE( NF90_SHORT ) 
    524574                  ALLOCATE(globaldata_4d_i2(indimlens(dimids(1)),indimlens(dimids(2)),       & 
    525                      &                      indimlens(dimids(3)),ntchunk)) 
     575                     &                      indimlens(dimids(3)),ntslice)) 
    526576                  CALL check_nf90( nf90_get_var( ncid, jv, globaldata_4d_i2, start=(/1,1,1,nt/) ) ) 
    527577               CASE( NF90_INT ) 
    528578                  ALLOCATE(globaldata_4d_i4(indimlens(dimids(1)),indimlens(dimids(2)),       & 
    529                      &                      indimlens(dimids(3)),ntchunk)) 
     579                     &                      indimlens(dimids(3)),ntslice)) 
    530580                  CALL check_nf90( nf90_get_var( ncid, jv, globaldata_4d_i4, start=(/1,1,1,nt/) ) ) 
    531581               CASE( NF90_FLOAT ) 
    532582                  ALLOCATE(globaldata_4d_sp(indimlens(dimids(1)),indimlens(dimids(2)),       & 
    533                      &                      indimlens(dimids(3)),ntchunk)) 
     583                     &                      indimlens(dimids(3)),ntslice)) 
    534584                  CALL check_nf90( nf90_get_var( ncid, jv, globaldata_4d_sp, start=(/1,1,1,nt/) ) ) 
    535585               CASE( NF90_DOUBLE ) 
    536586                  ALLOCATE(globaldata_4d_dp(indimlens(dimids(1)),indimlens(dimids(2)),       & 
    537                      &                      indimlens(dimids(3)),ntchunk)) 
     587                     &                      indimlens(dimids(3)),ntslice)) 
    538588                  CALL check_nf90( nf90_get_var( ncid, jv, globaldata_4d_dp, start=(/1,1,1,nt/) ) ) 
    539589               CASE DEFAULT 
     
    548598!3.2.2 For variables that require rebuilding we need to read in from all ndomain files 
    549599!      Here we allocate global variables ahead of looping over files 
    550          IF( nchunksize == nmax_unlimited .OR. ndims <= 3 ) THEN 
     600         IF( nslicesize == nmax_unlimited .OR. ndims <= 3 ) THEN 
    551601            IF (l_verbose) WRITE(numout,*) 'Rebuilding data from variable '//TRIM(varname)//'...' 
    552602         ELSE 
    553603            IF (l_verbose) WRITE(numout,'(A,I3,A,I3,A)') ' Rebuilding data from variable '  & 
    554             &                 //TRIM(varname)//' for chunks ',nt,' to ',nt+ntchunk-1,' ...' 
     604            &                 //TRIM(varname)//' for slices ',nt,' to ',nt+ntslice-1,' ...' 
    555605         ENDIF 
    556606         IF( ndims == 1 ) THEN 
     
    633683               CASE( NF90_BYTE ) 
    634684                  ALLOCATE(globaldata_4d_i1(outdimlens(dimids(1)),outdimlens(dimids(2)),     & 
    635                      &                      outdimlens(dimids(3)),ntchunk)) 
     685                     &                      outdimlens(dimids(3)),ntslice)) 
    636686                  IF (l_maskout) globaldata_4d_i1(:,:,:,:)=mdiVals(jv) 
    637687               CASE( NF90_SHORT ) 
    638688                  ALLOCATE(globaldata_4d_i2(outdimlens(dimids(1)),outdimlens(dimids(2)),     & 
    639                      &                      outdimlens(dimids(3)),ntchunk)) 
     689                     &                      outdimlens(dimids(3)),ntslice)) 
    640690                  IF (l_maskout) globaldata_4d_i2(:,:,:,:)=mdiVals(jv) 
    641691               CASE( NF90_INT ) 
    642692                  ALLOCATE(globaldata_4d_i4(outdimlens(dimids(1)),outdimlens(dimids(2)),     & 
    643                      &                      outdimlens(dimids(3)),ntchunk)) 
     693                     &                      outdimlens(dimids(3)),ntslice)) 
    644694                  IF (l_maskout) globaldata_4d_i4(:,:,:,:)=mdiVals(jv) 
    645695               CASE( NF90_FLOAT ) 
    646696                  ALLOCATE(globaldata_4d_sp(outdimlens(dimids(1)),outdimlens(dimids(2)),     & 
    647                      &                      outdimlens(dimids(3)),ntchunk)) 
     697                     &                      outdimlens(dimids(3)),ntslice)) 
    648698                  IF (l_maskout) globaldata_4d_sp(:,:,:,:)=mdiVals(jv) 
    649699               CASE( NF90_DOUBLE ) 
    650700                  ALLOCATE(globaldata_4d_dp(outdimlens(dimids(1)),outdimlens(dimids(2)),     & 
    651                      &                      outdimlens(dimids(3)),ntchunk)) 
     701                     &                      outdimlens(dimids(3)),ntslice)) 
    652702                  IF (l_maskout) globaldata_4d_dp(:,:,:,:)=mdiVals(jv) 
    653703               CASE DEFAULT 
     
    670720!$OMP&         localdata_1d_i1,localdata_2d_i1,localdata_3d_i1,localdata_4d_i1)           & 
    671721!$OMP& SHARED(jv,nvars,varname,filenames,ValMin,ValMax,indimlens,outdimlens,rbdims,       & 
    672 !$OMP&        ndomain,outid,chunksize,istop,l_valid,nthreads,inncids,rebuild_dims,        & 
     722!$OMP&        ndomain,outid,fchunksize,istop,l_valid,nthreads,inncids,rebuild_dims,       & 
    673723!$OMP&        globaldata_1d_i2,globaldata_1d_i4,globaldata_1d_sp,globaldata_1d_dp,        & 
    674724!$OMP&        globaldata_2d_i2,globaldata_2d_i4,globaldata_2d_sp,globaldata_2d_dp,        & 
     
    676726!$OMP&        globaldata_4d_i2,globaldata_4d_i4,globaldata_4d_sp,globaldata_4d_dp,        & 
    677727!$OMP&        globaldata_1d_i1,globaldata_2d_i1,globaldata_3d_i1,globaldata_4d_i1,        & 
    678 !$OMP&        ntchunk,nt,nmax_unlimited,indimnames,dims) 
     728!$OMP&        ntslice,nt,nmax_unlimited,indimnames,dims,patchchunk) 
    679729 
    680730         DO ifile = 1, ndomain 
     
    932982                  CASE( NF90_BYTE ) 
    933983                     ALLOCATE(localdata_4d_i1(local_sizes(di),local_sizes(dj),               & 
    934                          &                     indimlens(dimids(3)),ntchunk)) 
     984                         &                     indimlens(dimids(3)),ntslice)) 
    935985                     CALL check_nf90( nf90_get_var( ncid, jv, localdata_4d_i1, start=(/1,1,1,nt/) ), istop ) 
    936986!$OMP  PARALLEL DEFAULT(NONE) PRIVATE(ji,jj,jk,jl)   & 
    937 !$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_i1,localdata_4d_i1,di,dj,nt,ntchunk) 
    938                      DO jl = 1, ntchunk 
     987!$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_i1,localdata_4d_i1,di,dj,nt,ntslice) 
     988                     DO jl = 1, ntslice 
    939989!$OMP DO  
    940990                        DO jk = 1, indimlens(dimids(3)) 
     
    9511001                  CASE( NF90_SHORT ) 
    9521002                     ALLOCATE(localdata_4d_i2(local_sizes(di),local_sizes(dj),               & 
    953                         &                     indimlens(dimids(3)),ntchunk)) 
     1003                        &                     indimlens(dimids(3)),ntslice)) 
    9541004                     CALL check_nf90( nf90_get_var( ncid, jv, localdata_4d_i2, start=(/1,1,1,nt/) ), istop ) 
    9551005!$OMP  PARALLEL DEFAULT(NONE) PRIVATE(ji,jj,jk,jl)   & 
    956 !$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_i2,localdata_4d_i2,di,dj,nt,ntchunk) 
    957                      DO jl = 1, ntchunk 
     1006!$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_i2,localdata_4d_i2,di,dj,nt,ntslice) 
     1007                     DO jl = 1, ntslice 
    9581008!$OMP DO  
    9591009                        DO jk = 1, indimlens(dimids(3)) 
     
    9701020                  CASE( NF90_INT ) 
    9711021                     ALLOCATE(localdata_4d_i4(local_sizes(di),local_sizes(dj),               & 
    972                         &                     indimlens(dimids(3)),ntchunk)) 
     1022                        &                     indimlens(dimids(3)),ntslice)) 
    9731023                     CALL check_nf90( nf90_get_var( ncid, jv, localdata_4d_i4, start=(/1,1,1,nt/) ), istop ) 
    9741024!$OMP  PARALLEL DEFAULT(NONE) PRIVATE(ji,jj,jk,jl)   & 
    975 !$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_i4,localdata_4d_i4,di,dj,nt,ntchunk) 
    976                      DO jl = 1, ntchunk 
     1025!$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_i4,localdata_4d_i4,di,dj,nt,ntslice) 
     1026                     DO jl = 1, ntslice 
    9771027!$OMP DO 
    9781028                        DO jk = 1, indimlens(dimids(3)) 
     
    9891039                  CASE( NF90_FLOAT ) 
    9901040                     ALLOCATE(localdata_4d_sp(local_sizes(di),local_sizes(dj),               & 
    991                         &                     indimlens(dimids(3)),ntchunk)) 
     1041                        &                     indimlens(dimids(3)),ntslice)) 
    9921042                     CALL check_nf90( nf90_get_var( ncid, jv, localdata_4d_sp, start=(/1,1,1,nt/) ), istop ) 
    9931043!$OMP  PARALLEL DEFAULT(NONE) PRIVATE(ji,jj,jk,jl)   & 
    994 !$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_sp,localdata_4d_sp,di,dj,nt,ntchunk)  
    995                      DO jl = 1, ntchunk 
     1044!$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_sp,localdata_4d_sp,di,dj,nt,ntslice)  
     1045                     DO jl = 1, ntslice 
    9961046!$OMP DO 
    9971047                        DO jk = 1, indimlens(dimids(3)) 
     
    10081058                  CASE( NF90_DOUBLE ) 
    10091059                     ALLOCATE(localdata_4d_dp(local_sizes(di),local_sizes(dj),               & 
    1010                         &                     indimlens(dimids(3)),ntchunk)) 
     1060                        &                     indimlens(dimids(3)),ntslice)) 
    10111061                     CALL check_nf90( nf90_get_var( ncid, jv, localdata_4d_dp, start=(/1,1,1,nt/) ), istop ) 
    10121062!$OMP  PARALLEL DEFAULT(NONE) PRIVATE(ji,jj,jk,jl)   & 
    1013 !$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_dp,localdata_4d_dp,di,dj,nt,ntchunk)  
    1014                      DO jl = 1, ntchunk 
     1063!$OMP& SHARED(idomain,jdomain,indimlens,dimids,start_pos,globaldata_4d_dp,localdata_4d_dp,di,dj,nt,ntslice)  
     1064                     DO jl = 1, ntslice 
    10151065!$OMP DO 
    10161066                        DO jk = 1, indimlens(dimids(3)) 
     
    10991149            CASE( NF90_DOUBLE ) 
    11001150               CALL check_nf90( nf90_put_var( outid, jv, globaldata_0d_dp ) ) 
     1151            CASE DEFAULT    
     1152               WRITE(numerr,*) '0d Unknown nf90 type: ', xtype 
     1153               STOP 4 
    11011154         END SELECT 
    11021155 
     
    11191172               CALL check_nf90( nf90_put_var( outid, jv, globaldata_1d_dp ) ) 
    11201173               DEALLOCATE(globaldata_1d_dp) 
     1174            CASE DEFAULT    
     1175               WRITE(numerr,*) '1d Unknown nf90 type: ', xtype 
     1176               STOP 4 
    11211177         END SELECT 
    11221178 
     
    11401196               DEALLOCATE(globaldata_2d_dp) 
    11411197            CASE DEFAULT    
    1142                WRITE(numerr,*) 'Unknown nf90 type: ', xtype 
     1198               WRITE(numerr,*) '2d Unknown nf90 type: ', xtype 
    11431199               STOP 4 
    11441200         END SELECT      
     
    11631219               DEALLOCATE(globaldata_3d_dp) 
    11641220            CASE DEFAULT    
    1165                WRITE(numerr,*) 'Unknown nf90 type: ', xtype 
     1221               WRITE(numerr,*) '3d Unknown nf90 type: ', xtype 
    11661222               STOP 4 
    11671223         END SELECT      
     
    11861242               DEALLOCATE(globaldata_4d_dp) 
    11871243            CASE DEFAULT    
    1188                WRITE(numerr,*) 'Unknown nf90 type: ', xtype 
     1244               WRITE(numerr,*) '4d Unknown nf90 type: ', xtype 
    11891245               STOP 4 
    11901246         END SELECT      
     1247         ! why only for big data set, test the cost. 
     1248         CALL check_nf90( nf90_sync( outid ) )    ! flush buffers to disk after writing big 4D datasets 
    11911249     
    11921250      ENDIF 
    11931251 
    1194          nt = nt + ntchunk 
     1252         nt = nt + ntslice 
    11951253 
    11961254      END DO ! WHILE loop 
     
    12371295            WRITE(numerr,*) "*** NEMO rebuild failed ***" 
    12381296            WRITE(numerr,*) 
    1239             STOP 4 
     1297            STOP 5 
    12401298         ENDIF 
    12411299      ENDIF 
Note: See TracChangeset for help on using the changeset viewer.