New URL for NEMO forge!   http://forge.nemo-ocean.eu

Since March 2022 along with NEMO 4.2 release, the code development moved to a self-hosted GitLab.
This present forge is now archived and remained online for history.
mpp_lnk_generic.h90 in NEMO/branches/2018/dev_r9759_HPC09_ESIWACE/src/OCE/LBC – NEMO

source: NEMO/branches/2018/dev_r9759_HPC09_ESIWACE/src/OCE/LBC/mpp_lnk_generic.h90 @ 9772

Last change on this file since 9772 was 9772, checked in by smasson, 6 years ago

dev_r9759_HPC09_ESIWACE: add benchmark features

  • Property svn:mime-type set to text/x-fortran
File size: 14.0 KB
Line 
1#if defined MULTI
2#   define NAT_IN(k)                cd_nat(k)   
3#   define SGN_IN(k)                psgn(k)
4#   define F_SIZE(ptab)             kfld
5#   define OPT_K(k)                 ,ipf
6#   if defined DIM_2d
7#      define ARRAY_TYPE(i,j,k,l,f)    TYPE(PTR_2D)                , INTENT(inout) ::   ptab(f)
8#      define ARRAY_IN(i,j,k,l,f)      ptab(f)%pt2d(i,j)
9#      define K_SIZE(ptab)             1
10#      define L_SIZE(ptab)             1
11#   endif
12#   if defined DIM_3d
13#      define ARRAY_TYPE(i,j,k,l,f)    TYPE(PTR_3D)                , INTENT(inout) ::   ptab(f)
14#      define ARRAY_IN(i,j,k,l,f)      ptab(f)%pt3d(i,j,k)
15#      define K_SIZE(ptab)             SIZE(ptab(1)%pt3d,3)
16#      define L_SIZE(ptab)             1
17#   endif
18#   if defined DIM_4d
19#      define ARRAY_TYPE(i,j,k,l,f)    TYPE(PTR_4D)                , INTENT(inout) ::   ptab(f)
20#      define ARRAY_IN(i,j,k,l,f)      ptab(f)%pt4d(i,j,k,l)
21#      define K_SIZE(ptab)             SIZE(ptab(1)%pt4d,3)
22#      define L_SIZE(ptab)             SIZE(ptab(1)%pt4d,4)
23#   endif
24#else
25#   define ARRAY_TYPE(i,j,k,l,f)    REAL(wp)                    , INTENT(inout) ::   ARRAY_IN(i,j,k,l,f)
26#   define NAT_IN(k)                cd_nat
27#   define SGN_IN(k)                psgn
28#   define F_SIZE(ptab)             1
29#   define OPT_K(k)                 
30#   if defined DIM_2d
31#      define ARRAY_IN(i,j,k,l,f)   ptab(i,j)
32#      define K_SIZE(ptab)          1
33#      define L_SIZE(ptab)          1
34#   endif
35#   if defined DIM_3d
36#      define ARRAY_IN(i,j,k,l,f)   ptab(i,j,k)
37#      define K_SIZE(ptab)          SIZE(ptab,3)
38#      define L_SIZE(ptab)          1
39#   endif
40#   if defined DIM_4d
41#      define ARRAY_IN(i,j,k,l,f)   ptab(i,j,k,l)
42#      define K_SIZE(ptab)          SIZE(ptab,3)
43#      define L_SIZE(ptab)          SIZE(ptab,4)
44#   endif
45#endif
46
47#if defined MULTI
48   SUBROUTINE ROUTINE_LNK( ptab, cd_nat, psgn, kfld, cd_mpp, pval )
49      INTEGER                     , INTENT(in   ) ::   kfld        ! number of pt3d arrays
50#else
51   SUBROUTINE ROUTINE_LNK( ptab, cd_nat, psgn      , cd_mpp, pval )
52#endif
53      ARRAY_TYPE(:,:,:,:,:)                                        ! array or pointer of arrays on which the boundary condition is applied
54      CHARACTER(len=1)            , INTENT(in   ) ::   NAT_IN(:)   ! nature of array grid-points
55      REAL(wp)                    , INTENT(in   ) ::   SGN_IN(:)   ! sign used across the north fold boundary
56      CHARACTER(len=3), OPTIONAL  , INTENT(in   ) ::   cd_mpp      ! fill the overlap area only
57      REAL(wp)        , OPTIONAL  , INTENT(in   ) ::   pval        ! background value (used at closed boundaries)
58      !
59      INTEGER  ::    ji,  jj,  jk,  jl, jh, jf   ! dummy loop indices
60      INTEGER  ::   ipi, ipj, ipk, ipl, ipf      ! dimension of the input array
61      INTEGER  ::   imigr, iihom, ijhom          ! local integers
62      INTEGER  ::   ml_req1, ml_req2, ml_err     ! for key_mpi_isend
63      REAL(wp) ::   zland
64      INTEGER , DIMENSION(MPI_STATUS_SIZE)      ::   ml_stat        ! for key_mpi_isend
65      REAL(wp), DIMENSION(:,:,:,:,:,:), ALLOCATABLE ::   zt3ns, zt3sn   ! north-south & south-north  halos
66      REAL(wp), DIMENSION(:,:,:,:,:,:), ALLOCATABLE ::   zt3ew, zt3we   ! east -west  & west - east  halos
67      !!----------------------------------------------------------------------
68      !
69      ipk = K_SIZE(ptab)   ! 3rd dimension
70      ipl = L_SIZE(ptab)   ! 4th    -
71      ipf = F_SIZE(ptab)   ! 5th    -      use in "multi" case (array of pointers)
72      !
73      ALLOCATE( zt3ns(jpi,nn_hls,ipk,ipl,ipf,2), zt3sn(jpi,nn_hls,ipk,ipl,ipf,2),   &
74         &      zt3ew(jpj,nn_hls,ipk,ipl,ipf,2), zt3we(jpj,nn_hls,ipk,ipl,ipf,2)  )
75      !
76      IF( PRESENT( pval ) ) THEN   ;   zland = pval      ! set land value
77      ELSE                         ;   zland = 0._wp     ! zero by default
78      ENDIF
79
80      ! ------------------------------- !
81      !   standard boundary treatment   !    ! CAUTION: semi-column notation is often impossible
82      ! ------------------------------- !
83      !
84      IF( PRESENT( cd_mpp ) ) THEN     !==  halos filled with inner values  ==!
85         !
86         DO jf = 1, ipf                      ! number of arrays to be treated
87            !
88            DO jl = 1, ipl                   ! CAUTION: ptab is defined only between nld and nle
89               DO jk = 1, ipk
90                  DO jj = nlcj+1, jpj                 ! added line(s)   (inner only)
91                     ARRAY_IN(nldi  :nlei  ,jj,jk,jl,jf) = ARRAY_IN(nldi:nlei,nlej,jk,jl,jf)
92                     ARRAY_IN(1     :nldi-1,jj,jk,jl,jf) = ARRAY_IN(nldi     ,nlej,jk,jl,jf)
93                     ARRAY_IN(nlei+1:nlci  ,jj,jk,jl,jf) = ARRAY_IN(     nlei,nlej,jk,jl,jf)
94                  END DO
95                  DO ji = nlci+1, jpi                 ! added column(s) (full)
96                     ARRAY_IN(ji,nldj  :nlej  ,jk,jl,jf) = ARRAY_IN(nlei,nldj:nlej,jk,jl,jf)
97                     ARRAY_IN(ji,1     :nldj-1,jk,jl,jf) = ARRAY_IN(nlei,nldj     ,jk,jl,jf)
98                     ARRAY_IN(ji,nlej+1:jpj   ,jk,jl,jf) = ARRAY_IN(nlei,     nlej,jk,jl,jf)
99                  END DO
100               END DO
101            END DO
102            !
103         END DO
104         !
105      ELSE                              !==  standard close or cyclic treatment  ==!
106         !
107         DO jf = 1, ipf                      ! number of arrays to be treated
108            !
109            !                                ! East-West boundaries
110            IF( l_Iperio ) THEN                    !* cyclic
111               ARRAY_IN( 1 ,:,:,:,jf) = ARRAY_IN(jpim1,:,:,:,jf)
112               ARRAY_IN(jpi,:,:,:,jf) = ARRAY_IN(  2  ,:,:,:,jf)
113            ELSE                                   !* closed
114               IF( .NOT. NAT_IN(jf) == 'F' )   ARRAY_IN(     1       :nn_hls,:,:,:,jf) = zland    ! east except F-point
115                                               ARRAY_IN(nlci-nn_hls+1:jpi   ,:,:,:,jf) = zland    ! west
116            ENDIF
117            !                                ! North-South boundaries
118            IF( l_Jperio ) THEN                    !* cyclic (only with no mpp j-split)
119               ARRAY_IN(:, 1 ,:,:,jf) = ARRAY_IN(:, jpjm1,:,:,jf)
120               ARRAY_IN(:,jpj,:,:,jf) = ARRAY_IN(:,   2  ,:,:,jf)
121            ELSE                                   !* closed
122               IF( .NOT. NAT_IN(jf) == 'F' )   ARRAY_IN(:,     1       :nn_hls,:,:,jf) = zland    ! south except F-point
123                                               ARRAY_IN(:,nlcj-nn_hls+1:jpj   ,:,:,jf) = zland    ! north
124            ENDIF
125         END DO
126         !
127      ENDIF
128
129      ! ------------------------------- !
130      !      East and west exchange     !
131      ! ------------------------------- !
132      ! we play with the neigbours AND the row number because of the periodicity
133      !
134      SELECT CASE ( nbondi )      ! Read Dirichlet lateral conditions
135      CASE ( -1, 0, 1 )                ! all exept 2 (i.e. close case)
136         iihom = nlci-nreci
137         DO jf = 1, ipf
138            DO jl = 1, ipl
139               DO jk = 1, ipk
140                  DO jh = 1, nn_hls
141                     zt3ew(:,jh,jk,jl,jf,1) = ARRAY_IN(nn_hls+jh,:,jk,jl,jf)
142                     zt3we(:,jh,jk,jl,jf,1) = ARRAY_IN(iihom +jh,:,jk,jl,jf)
143                  END DO
144               END DO
145            END DO
146         END DO
147      END SELECT
148      !
149      !                           ! Migrations
150      imigr = nn_hls * jpj * ipk * ipl * ipf
151      !
152      IF ( ncom_stp == nit000 ) then
153         n_sequence = n_sequence + 1
154         icomm_sequence(n_sequence,1) = ipk
155         icomm_sequence(n_sequence,2) = ipf
156         ! write(6,'(A,6I4)') 'size comm ', nn_hls, jpi, jpj, ipk, ipl, ipf
157      ELSE IF ( mpprank == 0 .AND. ncom_stp == (nit000+1) .AND. l_print_comm_report ) THEN
158         write(6,*) 'Communication pattern report : '
159         write(6,*) ' '
160         write(6,'(A,I3)') ' Exchanged halos : ', n_sequence
161         jj = 0; jk = 0; jf = 0; jh = 0
162         DO ji = 1, n_sequence
163           IF ( icomm_sequence(ji,1) .gt. 1 ) jk = jk + 1
164           IF ( icomm_sequence(ji,2) .gt. 1 ) jf = jf + 1
165           IF ( icomm_sequence(ji,1) .gt. 1 .AND. icomm_sequence(ji,2) .gt. 1 ) jj = jj + 1
166           jh = MAX (jh, icomm_sequence(ji,1)*icomm_sequence(ji,2))
167         END DO
168         write(6,'(A,I3)') ' 3D Exchanged halos : ', jk
169         write(6,'(A,I3)') ' Multi arrays exchanged halos : ', jf
170         write(6,'(A,I3)') '   from which 3D : ', jj
171         write(6,'(A,I10)') ' array max size : ', jh*jpi*jpj
172         l_print_comm_report = .FALSE.
173      END IF
174      !
175      IF (ncom_stp <= ( nit000 + 1 ) .or. mod(ncom_stp,nn_comm_mod) == 0 ) THEN
176         !
177         CALL tic_tac(.TRUE.)
178         !
179         SELECT CASE ( nbondi )
180         CASE ( -1 )
181            CALL mppsend( 2, zt3we(1,1,1,1,1,1), imigr, noea, ml_req1 )
182            CALL mpprecv( 1, zt3ew(1,1,1,1,1,2), imigr, noea )
183            IF(l_isend)   CALL mpi_wait(ml_req1, ml_stat, ml_err)
184         CASE ( 0 )
185            CALL mppsend( 1, zt3ew(1,1,1,1,1,1), imigr, nowe, ml_req1 )
186            CALL mppsend( 2, zt3we(1,1,1,1,1,1), imigr, noea, ml_req2 )
187            CALL mpprecv( 1, zt3ew(1,1,1,1,1,2), imigr, noea )
188            CALL mpprecv( 2, zt3we(1,1,1,1,1,2), imigr, nowe )
189            IF(l_isend)   CALL mpi_wait(ml_req1, ml_stat, ml_err)
190            IF(l_isend)   CALL mpi_wait(ml_req2, ml_stat, ml_err)
191         CASE ( 1 )
192            CALL mppsend( 1, zt3ew(1,1,1,1,1,1), imigr, nowe, ml_req1 )
193            CALL mpprecv( 2, zt3we(1,1,1,1,1,2), imigr, nowe )
194            IF(l_isend)   CALL mpi_wait(ml_req1, ml_stat, ml_err )
195         END SELECT
196      END IF
197      !
198      !                           ! Write Dirichlet lateral conditions
199      iihom = nlci-nn_hls
200      !
201      SELECT CASE ( nbondi )
202      CASE ( -1 )
203         DO jf = 1, ipf
204            DO jl = 1, ipl
205               DO jk = 1, ipk
206                  DO jh = 1, nn_hls
207                     ARRAY_IN(iihom+jh,:,jk,jl,jf) = zt3ew(:,jh,jk,jl,jf,2)
208                  END DO
209               END DO
210            END DO
211         END DO
212      CASE ( 0 )
213         DO jf = 1, ipf
214            DO jl = 1, ipl
215               DO jk = 1, ipk
216                  DO jh = 1, nn_hls
217                     ARRAY_IN(jh      ,:,jk,jl,jf) = zt3we(:,jh,jk,jl,jf,2)
218                     ARRAY_IN(iihom+jh,:,jk,jl,jf) = zt3ew(:,jh,jk,jl,jf,2)
219                  END DO
220               END DO
221            END DO
222         END DO
223      CASE ( 1 )
224         DO jf = 1, ipf
225            DO jl = 1, ipl
226               DO jk = 1, ipk
227                  DO jh = 1, nn_hls
228                     ARRAY_IN(jh      ,:,jk,jl,jf) = zt3we(:,jh,jk,jl,jf,2)
229                  END DO
230               END DO
231            END DO
232         END DO
233      END SELECT
234
235      ! 3. North and south directions
236      ! -----------------------------
237      ! always closed : we play only with the neigbours
238      !
239      IF( nbondj /= 2 ) THEN      ! Read Dirichlet lateral conditions
240         ijhom = nlcj-nrecj
241         DO jf = 1, ipf
242            DO jl = 1, ipl
243               DO jk = 1, ipk
244                  DO jh = 1, nn_hls
245                     zt3sn(:,jh,jk,jl,jf,1) = ARRAY_IN(:,ijhom +jh,jk,jl,jf)
246                     zt3ns(:,jh,jk,jl,jf,1) = ARRAY_IN(:,nn_hls+jh,jk,jl,jf)
247                  END DO
248               END DO
249            END DO
250         END DO
251      ENDIF
252      !
253      !                           ! Migrations
254      imigr = nn_hls * jpi * ipk * ipl * ipf
255      !
256      IF (ncom_stp <= ( nit000 + 1 ) .or. mod(ncom_stp,nn_comm_mod) == 0 ) THEN
257 
258         SELECT CASE ( nbondj )
259         CASE ( -1 )
260            CALL mppsend( 4, zt3sn(1,1,1,1,1,1), imigr, nono, ml_req1 )
261            CALL mpprecv( 3, zt3ns(1,1,1,1,1,2), imigr, nono )
262            IF(l_isend) CALL mpi_wait(ml_req1, ml_stat, ml_err )
263         CASE ( 0 )
264            CALL mppsend( 3, zt3ns(1,1,1,1,1,1), imigr, noso, ml_req1 )
265            CALL mppsend( 4, zt3sn(1,1,1,1,1,1), imigr, nono, ml_req2 )
266            CALL mpprecv( 3, zt3ns(1,1,1,1,1,2), imigr, nono )
267            CALL mpprecv( 4, zt3sn(1,1,1,1,1,2), imigr, noso )
268            IF(l_isend)   CALL mpi_wait(ml_req1, ml_stat, ml_err )
269            IF(l_isend)   CALL mpi_wait(ml_req2, ml_stat, ml_err )
270         CASE ( 1 )
271            CALL mppsend( 3, zt3ns(1,1,1,1,1,1), imigr, noso, ml_req1 )
272            CALL mpprecv( 4, zt3sn(1,1,1,1,1,2), imigr, noso )
273            IF(l_isend)   CALL mpi_wait(ml_req1, ml_stat, ml_err )
274         END SELECT
275         ! imbalance measurement
276         CALL tic_tac(.FALSE.)
277         !
278      END IF
279      !
280      !                           ! Write Dirichlet lateral conditions
281      ijhom = nlcj-nn_hls
282      !
283      SELECT CASE ( nbondj )
284      CASE ( -1 )
285         DO jf = 1, ipf
286            DO jl = 1, ipl
287               DO jk = 1, ipk
288                  DO jh = 1, nn_hls
289                     ARRAY_IN(:,ijhom+jh,jk,jl,jf) = zt3ns(:,jh,jk,jl,jf,2)
290                  END DO
291               END DO
292            END DO
293         END DO
294      CASE ( 0 )
295         DO jf = 1, ipf
296            DO jl = 1, ipl
297               DO jk = 1, ipk
298                  DO jh = 1, nn_hls
299                     ARRAY_IN(:,      jh,jk,jl,jf) = zt3sn(:,jh,jk,jl,jf,2)
300                     ARRAY_IN(:,ijhom+jh,jk,jl,jf) = zt3ns(:,jh,jk,jl,jf,2)
301                  END DO
302               END DO
303            END DO
304         END DO
305      CASE ( 1 )
306         DO jf = 1, ipf
307            DO jl = 1, ipl
308               DO jk = 1, ipk
309                  DO jh = 1, nn_hls
310                     ARRAY_IN(:,jh,jk,jl,jf) = zt3sn(:,jh,jk,jl,jf,2)
311                  END DO
312               END DO
313            END DO
314         END DO
315      END SELECT
316
317      ! 4. north fold treatment
318      ! -----------------------
319      !
320      IF( npolj /= 0 .AND. .NOT. PRESENT(cd_mpp) ) THEN
321         !
322         SELECT CASE ( jpni )
323         CASE ( 1 )     ;   CALL lbc_nfd( ptab, NAT_IN(:), SGN_IN(:) OPT_K(:) )   ! only 1 northern proc, no mpp
324         CASE DEFAULT   ;   CALL mpp_nfd( ptab, NAT_IN(:), SGN_IN(:) OPT_K(:) )   ! for all northern procs.
325         END SELECT
326         !
327      ENDIF
328      !
329      DEALLOCATE( zt3ns, zt3sn, zt3ew, zt3we )
330      !
331   END SUBROUTINE ROUTINE_LNK
332
333#undef ARRAY_TYPE
334#undef NAT_IN
335#undef SGN_IN
336#undef ARRAY_IN
337#undef K_SIZE
338#undef L_SIZE
339#undef F_SIZE
340#undef OPT_K
Note: See TracBrowser for help on using the repository browser.