source: NEMO/branches/2020/dev_r12563_ASINTER-06_ABL_improvement/tests/STATION_ASF/MY_SRC/stpctl.F90 @ 13159

Last change on this file since 13159 was 13159, checked in by gsamson, 3 months ago

merge trunk@r13136 into ASINTER-06 branch; pass all SETTE tests; results identical to trunk@r13136; ticket #2419

File size: 15.6 KB
Line 
1MODULE stpctl
2   !!======================================================================
3   !!                       ***  MODULE  stpctl  ***
4   !! Ocean run control :  gross check of the ocean time stepping
5   !!                      version for STATION_ASF test-case
6   !!======================================================================
7   !! History :  OPA  ! 1991-03  (G. Madec) Original code
8   !!            6.0  ! 1992-06  (M. Imbard)
9   !!            8.0  ! 1997-06  (A.M. Treguier)
10   !!   NEMO     1.0  ! 2002-06  (G. Madec)  F90: Free form and module
11   !!            2.0  ! 2009-07  (G. Madec)  Add statistic for time-spliting
12   !!            3.7  ! 2016-09  (G. Madec)  Remove solver
13   !!            4.0  ! 2017-04  (G. Madec)  regroup global communications
14   !!----------------------------------------------------------------------
15
16   !!----------------------------------------------------------------------
17   !!   stp_ctl      : Control the run
18   !!----------------------------------------------------------------------
19   USE dom_oce         ! ocean space and time domain variables
20   USE sbc_oce         ! surface fluxes and stuff
21   !
22   USE diawri          ! Standard run outputs       (dia_wri_state routine)
23   USE in_out_manager  ! I/O manager
24   USE lbclnk          ! ocean lateral boundary conditions (or mpp link)
25   USE lib_mpp         ! distributed memory computing
26   !
27   USE netcdf          ! NetCDF library
28   IMPLICIT NONE
29   PRIVATE
30
31   PUBLIC stp_ctl           ! routine called by step.F90
32
33   INTEGER                ::   nrunid   ! netcdf file id
34   INTEGER, DIMENSION(3)  ::   nvarid   ! netcdf variable id
35   !!----------------------------------------------------------------------
36   !! NEMO/SAS 4.0 , NEMO Consortium (2018)
37   !! $Id: stpctl.F90 10603 2019-01-29 11:18:09Z acc $
38   !! Software governed by the CeCILL license (see ./LICENSE)
39   !!----------------------------------------------------------------------
40CONTAINS
41
42   SUBROUTINE stp_ctl( kt, Kmm )
43      !!----------------------------------------------------------------------
44      !!                    ***  ROUTINE stp_ctl  ***
45      !!                     
46      !! ** Purpose :   Control the run
47      !!
48      !! ** Method  : - Save the time step in numstp
49      !!              - Print it each 50 time steps
50      !!              - Stop the run IF problem encountered by setting nstop > 0
51      !!                Problems checked: wind stress module  max larger than 5 N/m^2
52      !!                                  non-solar heat flux max larger than 2000 W/m^2
53      !!                                  Evaporation-Precip  max larger than 1.E-3 kg/m^2/s
54      !!
55      !! ** Actions :   "time.step" file = last ocean time-step
56      !!                "run.stat"  file = run statistics
57      !!                 nstop indicator sheared among all local domain
58      !!----------------------------------------------------------------------
59      INTEGER, INTENT(in   ) ::   kt       ! ocean time-step index
60      INTEGER, INTENT(in   ) ::   Kmm      ! ocean time level index
61      !!
62      INTEGER                         ::   ji                                    ! dummy loop indices
63      INTEGER                         ::   idtime, istatus
64      INTEGER , DIMENSION(4)          ::   iareasum, iareamin, iareamax
65      INTEGER , DIMENSION(3,3)        ::   iloc                                  ! min/max loc indices
66      REAL(wp)                        ::   zzz                                   ! local real
67      REAL(wp), DIMENSION(4)          ::   zmax, zmaxlocal
68      LOGICAL                         ::   ll_wrtstp, ll_colruns, ll_wrtruns
69      LOGICAL, DIMENSION(jpi,jpj)     ::   llmsk
70      CHARACTER(len=20)               ::   clname
71      !!----------------------------------------------------------------------
72      IF( nstop > 0 .AND. ngrdstop > -1 )   RETURN   !   stpctl was already called by a child grid
73      !
74      ll_wrtstp  = ( MOD( kt-nit000, sn_cfctl%ptimincr ) == 0 ) .OR. ( kt == nitend )
75      ll_colruns = ll_wrtstp .AND. sn_cfctl%l_runstat .AND. jpnij > 1 
76      ll_wrtruns = ( ll_colruns .OR. jpnij == 1 ) .AND. lwm
77      !
78      IF( kt == nit000 ) THEN
79         !
80         IF( lwp ) THEN
81            WRITE(numout,*)
82            WRITE(numout,*) 'stp_ctl : time-stepping control'
83            WRITE(numout,*) '~~~~~~~'
84         ENDIF
85         !                                ! open time.step    ascii file, done only by 1st subdomain
86         IF( lwm )   CALL ctl_opn( numstp, 'time.step', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, numout, lwp, narea )
87         !
88         IF( ll_wrtruns ) THEN
89            !                             ! open run.stat     ascii file, done only by 1st subdomain
90            CALL ctl_opn( numrun, 'run.stat', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, numout, lwp, narea )
91            !                             ! open run.stat.nc netcdf file, done only by 1st subdomain
92            clname = 'run.stat.nc'
93            IF( .NOT. Agrif_Root() )   clname = TRIM(Agrif_CFixed())//"_"//TRIM(clname)
94            istatus = NF90_CREATE( TRIM(clname), NF90_CLOBBER, nrunid )
95            istatus = NF90_DEF_DIM( nrunid, 'time', NF90_UNLIMITED, idtime )
96            istatus = NF90_DEF_VAR( nrunid, 'tau_max', NF90_DOUBLE, (/ idtime /), nvarid(1) )
97            istatus = NF90_DEF_VAR( nrunid, 'qns_max', NF90_DOUBLE, (/ idtime /), nvarid(2) )
98            istatus = NF90_DEF_VAR( nrunid, 'emp_max', NF90_DOUBLE, (/ idtime /), nvarid(3) )
99            istatus = NF90_ENDDEF(nrunid)
100         ENDIF
101         !   
102      ENDIF
103      !
104      !                                   !==              write current time step              ==!
105      !                                   !==  done only by 1st subdomain at writting timestep  ==!
106      IF( lwm .AND. ll_wrtstp ) THEN
107         WRITE ( numstp, '(1x, i8)' )   kt
108         REWIND( numstp )
109      ENDIF
110      !                                   !==            test of local extrema           ==!
111      !                                   !==  done by all processes at every time step  ==!
112      llmsk(:,:) = tmask(:,:,1) == 1._wp
113      IF( COUNT( llmsk(:,:) ) > 0 ) THEN   ! avoid huge values sent back for land processors...
114         zmax(1) = MAXVAL(     taum(:,:)   , mask = llmsk )   ! max wind stress module
115         zmax(2) = MAXVAL( ABS( qns(:,:) ) , mask = llmsk )   ! max non-solar heat flux
116         zmax(3) = MAXVAL( ABS( emp(:,:) ) , mask = llmsk )   ! max E-P
117      ELSE
118         IF( ll_colruns ) THEN    ! default value: must not be kept when calling mpp_max -> must be as small as possible
119            zmax(1:3) = -HUGE(1._wp)
120         ELSE                     ! default value: must not give true for any of the tests bellow (-> avoid manipulating HUGE...)
121            zmax(1:3) = 0._wp
122         ENDIF
123      ENDIF
124      zmax(4) = REAL( nstop, wp )                                     ! stop indicator
125      !                                   !==               get global extrema             ==!
126      !                                   !==  done by all processes if writting run.stat  ==!
127      IF( ll_colruns ) THEN
128         zmaxlocal(:) = zmax(:)
129         CALL mpp_max( "stpctl", zmax )          ! max over the global domain
130         nstop = NINT( zmax(4) )                 ! update nstop indicator (now sheared among all local domains)
131      ENDIF
132      !                                   !==              write "run.stat" files              ==!
133      !                                   !==  done only by 1st subdomain at writting timestep  ==!
134      IF( ll_wrtruns ) THEN
135         WRITE(numrun,9500) kt, zmax(1), zmax(2), zmax(3)
136         istatus = NF90_PUT_VAR( nrunid, nvarid(1), (/ zmax(1)/), (/kt/), (/1/) )
137         istatus = NF90_PUT_VAR( nrunid, nvarid(2), (/ zmax(2)/), (/kt/), (/1/) )
138         istatus = NF90_PUT_VAR( nrunid, nvarid(3), (/ zmax(3)/), (/kt/), (/1/) )
139         IF( kt == nitend ) istatus = NF90_CLOSE(nrunid)
140      END IF
141      !                                   !==               error handling               ==!
142      !                                   !==  done by all processes at every time step  ==!
143      !
144      IF(   zmax(1) >    5._wp .OR.   &                   ! too large wind stress         ( > 5 N/m^2 )
145         &  zmax(2) > 2000._wp .OR.   &                   ! too large non-solar heat flux ( > 2000 W/m^2 )
146         &  zmax(3) > 1.E-3_wp .OR.   &                   ! too large net freshwater flux ( > 1.E-3 kg/m^2/s )
147         &  ISNAN( zmax(1) + zmax(2) + zmax(3) ) .OR.   &               ! NaN encounter in the tests
148         &  ABS(   zmax(1) + zmax(2) + zmax(3) ) > HUGE(1._wp) ) THEN   ! Infinity encounter in the tests
149         !
150         iloc(:,:) = 0
151         IF( ll_colruns ) THEN   ! zmax is global, so it is the same on all subdomains -> no dead lock with mpp_maxloc
152            ! first: close the netcdf file, so we can read it
153            IF( lwm .AND. kt /= nitend )   istatus = NF90_CLOSE(nrunid)
154            ! get global loc on the min/max
155            CALL mpp_maxloc( 'stpctl',    taum(:,:)  , tmask(:,:,1), zzz, iloc(1:2,1) )   ! mpp_maxloc ok if mask = F
156            CALL mpp_maxloc( 'stpctl',ABS( qns(:,:) ), tmask(:,:,1), zzz, iloc(1:2,2) )
157            CALL mpp_minloc( 'stpctl',ABS( emp(:,:) ), tmask(:,:,1), zzz, iloc(1:2,3) )
158            ! find which subdomain has the max.
159            iareamin(:) = jpnij+1   ;   iareamax(:) = 0   ;   iareasum(:) = 0
160            DO ji = 1, 4
161               IF( zmaxlocal(ji) == zmax(ji) ) THEN
162                  iareamin(ji) = narea   ;   iareamax(ji) = narea   ;   iareasum(ji) = 1
163               ENDIF
164            END DO
165            CALL mpp_min( "stpctl", iareamin )         ! min over the global domain
166            CALL mpp_max( "stpctl", iareamax )         ! max over the global domain
167            CALL mpp_sum( "stpctl", iareasum )         ! sum over the global domain
168         ELSE                    ! find local min and max locations:
169            ! if we are here, this means that the subdomain contains some oce points -> no need to test the mask used in maxloc
170            iloc(1:2,1) = MAXLOC(     taum(:,:)  , mask = llmsk ) + (/ nimpp - 1, njmpp - 1/)
171            iloc(1:2,2) = MAXLOC( ABS( qns(:,:) ), mask = llmsk ) + (/ nimpp - 1, njmpp - 1/)
172            iloc(1:2,3) = MINLOC( ABS( emp(:,:) ), mask = llmsk ) + (/ nimpp - 1, njmpp - 1/)
173            iareamin(:) = narea   ;   iareamax(:) = narea   ;   iareasum(:) = 1         ! this is local information
174         ENDIF
175         !
176         WRITE(ctmp1,*) ' stp_ctl: |tau_mod| > 5 N/m2  or  |qns| > 2000 W/m2  or |emp| > 1.E-3 or  NaN encounter in the tests'
177         CALL wrt_line( ctmp2, kt, '|tau| max',  zmax(1), iloc(:,1), iareasum(1), iareamin(1), iareamax(1) )
178         CALL wrt_line( ctmp3, kt, '|qns| max',  zmax(2), iloc(:,2), iareasum(2), iareamin(2), iareamax(2) )
179         CALL wrt_line( ctmp4, kt, 'emp   max',  zmax(3), iloc(:,3), iareasum(3), iareamin(3), iareamax(3) )
180         IF( Agrif_Root() ) THEN
181            WRITE(ctmp6,*) '      ===> output of last computed fields in output.abort* files'
182         ELSE
183            WRITE(ctmp6,*) '      ===> output of last computed fields in '//TRIM(Agrif_CFixed())//'_output.abort* files'
184         ENDIF
185         !
186         CALL dia_wri_state( Kmm, 'output.abort' )     ! create an output.abort file
187         !
188         IF( ll_colruns .or. jpnij == 1 ) THEN   ! all processes synchronized -> use lwp to print in opened ocean.output files
189            IF(lwp) THEN   ;   CALL ctl_stop( ctmp1, ' ', ctmp2, ctmp3, ctmp4, ctmp5, ' ', ctmp6 )
190            ELSE           ;   nstop = MAX(1, nstop)   ! make sure nstop > 0 (automatically done when calling ctl_stop)
191            ENDIF
192         ELSE                                    ! only mpi subdomains with errors are here -> STOP now
193            CALL ctl_stop( 'STOP', ctmp1, ' ', ctmp2, ctmp3, ctmp4, ctmp5, ' ', ctmp6 )
194         ENDIF
195         !
196      ENDIF
197      !
198      IF( nstop > 0 ) THEN                                                  ! an error was detected and we did not abort yet...
199         ngrdstop = Agrif_Fixed()                                           ! store which grid got this error
200         IF( .NOT. ll_colruns .AND. jpnij > 1 )   CALL ctl_stop( 'STOP' )   ! we must abort here to avoid MPI deadlock
201      ENDIF
202      !
2039500  FORMAT(' it :', i8, '    tau_max: ', D23.16, ' |qns|_max: ', D23.16,' |emp|_max: ', D23.16)
204      !
205   END SUBROUTINE stp_ctl
206
207
208   SUBROUTINE wrt_line( cdline, kt, cdprefix, pval, kloc, ksum, kmin, kmax )
209      !!----------------------------------------------------------------------
210      !!                     ***  ROUTINE wrt_line  ***
211      !!
212      !! ** Purpose :   write information line
213      !!
214      !!----------------------------------------------------------------------
215      CHARACTER(len=*),      INTENT(  out) ::   cdline
216      CHARACTER(len=*),      INTENT(in   ) ::   cdprefix
217      REAL(wp),              INTENT(in   ) ::   pval
218      INTEGER, DIMENSION(3), INTENT(in   ) ::   kloc
219      INTEGER,               INTENT(in   ) ::   kt, ksum, kmin, kmax
220      !
221      CHARACTER(len=80) ::   clsuff
222      CHARACTER(len=9 ) ::   clkt, clsum, clmin, clmax
223      CHARACTER(len=9 ) ::   cli, clj, clk
224      CHARACTER(len=1 ) ::   clfmt
225      CHARACTER(len=4 ) ::   cl4   ! needed to be able to compile with Agrif, I don't know why
226      INTEGER           ::   ifmtk
227      !!----------------------------------------------------------------------
228      WRITE(clkt , '(i9)') kt
229     
230      WRITE(clfmt, '(i1)') INT(LOG10(REAL(jpnij  ,wp))) + 1     ! how many digits to we need to write ? (we decide max = 9)
231      !!! WRITE(clsum, '(i'//clfmt//')') ksum                   ! this is creating a compilation error with AGRIF
232      cl4 = '(i'//clfmt//')'   ;   WRITE(clsum, cl4) ksum
233      WRITE(clfmt, '(i1)') INT(LOG10(REAL(MAX(1,jpnij-1),wp))) + 1    ! how many digits to we need to write ? (we decide max = 9)
234      cl4 = '(i'//clfmt//')'   ;   WRITE(clmin, cl4) kmin-1
235                                   WRITE(clmax, cl4) kmax-1
236      !
237      WRITE(clfmt, '(i1)') INT(LOG10(REAL(jpiglo,wp))) + 1      ! how many digits to we need to write jpiglo? (we decide max = 9)
238      cl4 = '(i'//clfmt//')'   ;   WRITE(cli, cl4) kloc(1)      ! this is ok with AGRIF
239      WRITE(clfmt, '(i1)') INT(LOG10(REAL(jpjglo,wp))) + 1      ! how many digits to we need to write jpjglo? (we decide max = 9)
240      cl4 = '(i'//clfmt//')'   ;   WRITE(clj, cl4) kloc(2)      ! this is ok with AGRIF
241      !
242      IF( ksum == 1 ) THEN   ;   WRITE(clsuff,9100) TRIM(clmin)
243      ELSE                   ;   WRITE(clsuff,9200) TRIM(clsum), TRIM(clmin), TRIM(clmax)
244      ENDIF
245      IF(kloc(3) == 0) THEN
246         ifmtk = INT(LOG10(REAL(jpk,wp))) + 1                   ! how many digits to we need to write jpk? (we decide max = 9)
247         clk = REPEAT(' ', ifmtk)                               ! create the equivalent in blank string
248         WRITE(cdline,9300) TRIM(ADJUSTL(clkt)), TRIM(ADJUSTL(cdprefix)), pval, TRIM(cli), TRIM(clj), clk(1:ifmtk), TRIM(clsuff)
249      ELSE
250         WRITE(clfmt, '(i1)') INT(LOG10(REAL(jpk,wp))) + 1      ! how many digits to we need to write jpk? (we decide max = 9)
251         !!! WRITE(clk, '(i'//clfmt//')') kloc(3)               ! this is creating a compilation error with AGRIF
252         cl4 = '(i'//clfmt//')'   ;   WRITE(clk, cl4) kloc(3)   ! this is ok with AGRIF
253         WRITE(cdline,9400) TRIM(ADJUSTL(clkt)), TRIM(ADJUSTL(cdprefix)), pval, TRIM(cli), TRIM(clj),    TRIM(clk), TRIM(clsuff)
254      ENDIF
255      !
2569100  FORMAT('MPI rank ', a)
2579200  FORMAT('found in ', a, ' MPI tasks, spread out among ranks ', a, ' to ', a)
2589300  FORMAT('kt ', a, ' ', a, ' ', 1pg11.4, ' at i j   ', a, ' ', a, ' ', a, ' ', a)
2599400  FORMAT('kt ', a, ' ', a, ' ', 1pg11.4, ' at i j k ', a, ' ', a, ' ', a, ' ', a)
260      !
261   END SUBROUTINE wrt_line
262
263
264   !!======================================================================
265END MODULE stpctl
Note: See TracBrowser for help on using the repository browser.