New URL for NEMO forge!   http://forge.nemo-ocean.eu

Since March 2022 along with NEMO 4.2 release, the code development moved to a self-hosted GitLab.
This present forge is now archived and remained online for history.
mpp_nfd_generic.h90 in NEMO/branches/2018/dev_r9759_HPC09_ESIWACE/src/OCE/LBC – NEMO

source: NEMO/branches/2018/dev_r9759_HPC09_ESIWACE/src/OCE/LBC/mpp_nfd_generic.h90 @ 9850

Last change on this file since 9850 was 9850, checked in by smasson, 6 years ago

dev_r9759_HPC09_ESIWACE: report bugfix from NEMOtrunk on not-masked NP, see #2101

  • Property svn:mime-type set to text/x-fortran
File size: 10.1 KB
Line 
1#if defined MULTI
2#   define NAT_IN(k)                cd_nat(k)   
3#   define SGN_IN(k)                psgn(k)
4#   define F_SIZE(ptab)             kfld
5#   define LBC_ARG                  (jf)
6#   if defined DIM_2d
7#      define ARRAY_TYPE(i,j,k,l,f)    TYPE(PTR_2D)     , INTENT(inout) ::   ptab(f)
8#      define ARRAY_IN(i,j,k,l,f)      ptab(f)%pt2d(i,j)
9#      define K_SIZE(ptab)             1
10#      define L_SIZE(ptab)             1
11#   endif
12#   if defined DIM_3d
13#      define ARRAY_TYPE(i,j,k,l,f)    TYPE(PTR_3D)     , INTENT(inout) ::   ptab(f)
14#      define ARRAY_IN(i,j,k,l,f)      ptab(f)%pt3d(i,j,k)
15#      define K_SIZE(ptab)             SIZE(ptab(1)%pt3d,3)
16#      define L_SIZE(ptab)             1
17#   endif
18#   if defined DIM_4d
19#      define ARRAY_TYPE(i,j,k,l,f)    TYPE(PTR_4D)     , INTENT(inout) ::   ptab(f)
20#      define ARRAY_IN(i,j,k,l,f)      ptab(f)%pt4d(i,j,k,l)
21#      define K_SIZE(ptab)             SIZE(ptab(1)%pt4d,3)
22#      define L_SIZE(ptab)             SIZE(ptab(1)%pt4d,4)
23#   endif
24#else
25!                          !==  IN: ptab is an array  ==!
26#   define ARRAY_TYPE(i,j,k,l,f)    REAL(wp)         , INTENT(inout) ::   ARRAY_IN(i,j,k,l,f)
27#   define NAT_IN(k)                cd_nat
28#   define SGN_IN(k)                psgn
29#   define F_SIZE(ptab)             1
30#   define LBC_ARG
31#   if defined DIM_2d
32#      define ARRAY_IN(i,j,k,l,f)   ptab(i,j)
33#      define K_SIZE(ptab)          1
34#      define L_SIZE(ptab)          1
35#   endif
36#   if defined DIM_3d
37#      define ARRAY_IN(i,j,k,l,f)   ptab(i,j,k)
38#      define K_SIZE(ptab)          SIZE(ptab,3)
39#      define L_SIZE(ptab)          1
40#   endif
41#   if defined DIM_4d
42#      define ARRAY_IN(i,j,k,l,f)   ptab(i,j,k,l)
43#      define K_SIZE(ptab)          SIZE(ptab,3)
44#      define L_SIZE(ptab)          SIZE(ptab,4)
45#   endif
46#endif
47
48   SUBROUTINE ROUTINE_NFD( ptab, cd_nat, psgn, kfld )
49      !!----------------------------------------------------------------------
50      ARRAY_TYPE(:,:,:,:,:)   ! array or pointer of arrays on which the boundary condition is applied
51      CHARACTER(len=1) , INTENT(in   ) ::   NAT_IN(:)   ! nature of array grid-points
52      REAL(wp)         , INTENT(in   ) ::   SGN_IN(:)   ! sign used across the north fold boundary
53      INTEGER, OPTIONAL, INTENT(in   ) ::   kfld        ! number of pt3d arrays
54      !
55      INTEGER  ::   ji,  jj,  jk,  jl, jh, jf, jr   ! dummy loop indices
56      INTEGER  ::   ipi, ipj, ipk, ipl, ipf         ! dimension of the input array
57      INTEGER  ::   imigr, iihom, ijhom             ! local integers
58      INTEGER  ::   ierr, itaille, ildi, ilei, iilb
59      INTEGER  ::   ij, iproc
60      INTEGER, DIMENSION (jpmaxngh)       ::   ml_req_nf   ! for mpi_isend when avoiding mpi_allgather
61      INTEGER                             ::   ml_err      ! for mpi_isend when avoiding mpi_allgather
62      INTEGER, DIMENSION(MPI_STATUS_SIZE) ::   ml_stat     ! for mpi_isend when avoiding mpi_allgather
63      !                                                    ! Workspace for message transfers avoiding mpi_allgather
64      REAL(wp), DIMENSION(:,:,:,:,:)  , ALLOCATABLE ::   ztab, ztabl, ztabr
65      REAL(wp), DIMENSION(:,:,:,:,:)  , ALLOCATABLE ::   znorthloc, zfoldwk     
66      REAL(wp), DIMENSION(:,:,:,:,:,:), ALLOCATABLE ::   znorthgloio
67      !!----------------------------------------------------------------------
68      !
69      ipk = K_SIZE(ptab)   ! 3rd dimension
70      ipl = L_SIZE(ptab)   ! 4th    -
71      ipf = F_SIZE(ptab)   ! 5th    -      use in "multi" case (array of pointers)
72      !
73      ipj   = 4            ! 2nd dimension of message transfers (last j-lines)
74      !
75      ALLOCATE( znorthloc(jpimax,4,ipk,ipl,ipf) )
76      !
77      znorthloc(:,:,:,:,:) = 0._wp
78      !
79      DO jf = 1, ipf                ! put in znorthloc the last ipj j-lines of ptab
80         DO jl = 1, ipl
81            DO jk = 1, ipk
82               DO jj = nlcj - ipj +1, nlcj
83                  ij = jj - nlcj + ipj
84                  znorthloc(1:jpi,ij,jk,jl,jf) = ARRAY_IN(1:jpi,jj,jk,jl,jf)
85               END DO
86            END DO
87         END DO
88      END DO
89      !
90      !
91      itaille = jpimax * ipj * ipk * ipl * ipf
92      !
93      IF( l_north_nogather ) THEN      !==  ????  ==!
94         ALLOCATE( zfoldwk(jpimax,4,ipk,ipl,ipf) )
95         ALLOCATE( ztabl(jpimax   ,4,ipk,ipl,ipf) , ztabr(jpimax*jpmaxngh,4,ipk,ipl,ipf) ) 
96         !
97         DO jf = 1, ipf
98            DO jl = 1, ipl
99               DO jk = 1, ipk
100                  DO jj = nlcj-ipj+1, nlcj          ! First put local values into the global array
101                     ij = jj - nlcj + ipj
102                     DO ji = nfsloop, nfeloop
103                        ztabl(ji,ij,jk,jl,jf) = ARRAY_IN(ji,jj,jk,jl,jf)
104                     END DO
105                  END DO
106               END DO
107            END DO
108         END DO
109         !
110         IF (ncom_stp <= ( nit000 + 1 ) .or. mod(ncom_stp,nn_comm_mod) == 0 ) THEN
111         ! start waiting time measurement
112         CALL tic_tac(.TRUE.)
113         !
114         DO jr = 1, nsndto
115            IF( nfipproc(isendto(jr),jpnj) /= narea-1 .AND. nfipproc(isendto(jr),jpnj) /= -1 ) THEN
116              CALL mppsend( 5, znorthloc, itaille, nfipproc(isendto(jr),jpnj), ml_req_nf(jr) )
117            ENDIF
118         END DO
119         DO jr = 1,nsndto
120            iproc = nfipproc(isendto(jr),jpnj)
121            IF(iproc /= -1) THEN
122               iilb = nimppt(iproc+1)
123               ildi = nldit (iproc+1)
124               ilei = nleit (iproc+1)
125               IF( iilb           ==      1 )   ildi = 1     ! e-w boundary already done -> force to take 1st column
126               IF( iilb + jpi - 1 == jpiglo )   ilei = jpi   ! e-w boundary already done -> force to take last column
127               iilb = nfiimpp(isendto(jr),jpnj) - nfiimpp(isendto(1),jpnj)
128            ENDIF
129            IF( iproc /= narea-1 .AND. iproc /= -1 ) THEN
130              CALL mpprecv(5, zfoldwk, itaille, iproc)
131               DO jf = 1, ipf
132                  DO jl = 1, ipl
133                     DO jk = 1, ipk
134                        DO jj = 1, ipj
135                           DO ji = ildi, ilei
136                              ztabr(iilb+ji,jj,jk,jl,jf) = zfoldwk(ji,jj,jk,jl,jf)
137                           END DO
138                        END DO
139                     END DO
140                  END DO
141               END DO
142            ELSE IF( iproc == narea-1 ) THEN
143               DO jf = 1, ipf
144                  DO jl = 1, ipl
145                     DO jk = 1, ipk
146                        DO jj = 1, ipj
147                           DO ji = ildi, ilei
148                              ztabr(iilb+ji,jj,jk,jl,jf) = ARRAY_IN(ji,nlcj-ipj+jj,jk,jl,jf)
149                           END DO
150                        END DO
151                     END DO
152                  END DO
153               END DO
154            ENDIF
155         END DO
156         IF( l_isend ) THEN
157            DO jr = 1,nsndto
158               IF( nfipproc(isendto(jr),jpnj) /= narea-1 .AND. nfipproc(isendto(jr),jpnj) /= -1 ) THEN
159                  CALL mpi_wait( ml_req_nf(jr), ml_stat, ml_err )
160               ENDIF   
161            END DO
162         ENDIF
163         ! stop waiting time measurement
164         CALL tic_tac(.FALSE.)
165         ENDIF
166         !
167         DO jf = 1, ipf
168            CALL lbc_nfd_nogather( ztabl(:,:,:,:,jf), ztabr(:,:,:,:,jf), cd_nat LBC_ARG, psgn LBC_ARG )   ! North fold boundary condition
169         END DO
170         DO jf = 1, ipf
171            DO jl = 1, ipl
172               DO jk = 1, ipk
173                  DO jj = nlcj-ipj+1, nlcj             ! Scatter back to ARRAY_IN
174                     ij = jj - nlcj + ipj
175                     DO ji= 1, nlci
176                        ARRAY_IN(ji,jj,jk,jl,jf) = ztabl(ji,ij,jk,jl,jf)
177                     END DO
178                  END DO
179               END DO
180            END DO
181         END DO
182         !
183         DEALLOCATE( zfoldwk )
184         DEALLOCATE( ztabl, ztabr ) 
185      ELSE                             !==  ????  ==!
186         ALLOCATE( ztab       (jpiglo,4,ipk,ipl,ipf     ) )
187         ALLOCATE( znorthgloio(jpimax,4,ipk,ipl,ipf,jpni) )
188         !
189         IF (ncom_stp <= ( nit000 + 1 ) .or. mod(ncom_stp,nn_comm_mod) == 0 ) THEN
190         ! start waiting time measurement
191         CALL tic_tac(.TRUE.)
192         IF (ncom_stp <= ( nit000 + 1 ) .or. mod(ncom_stp,nn_comm_mod) == 0 ) THEN
193            CALL MPI_ALLGATHER( znorthloc  , itaille, MPI_DOUBLE_PRECISION,                &
194               &                znorthgloio, itaille, MPI_DOUBLE_PRECISION, ncomm_north, ierr )
195         ENDIF
196         !
197         ! stop waiting time measurement
198         CALL tic_tac(.FALSE.)
199         ENDIF
200         !
201         DO jr = 1, ndim_rank_north         ! recover the global north array
202            iproc = nrank_north(jr) + 1
203            iilb  = nimppt(iproc)
204            ildi  = nldit (iproc)
205            ilei  = nleit (iproc)
206            IF( iilb           ==      1 )   ildi = 1     ! e-w boundary already done -> force to take 1st column
207            IF( iilb + jpi - 1 == jpiglo )   ilei = jpi   ! e-w boundary already done -> force to take last column
208            DO jf = 1, ipf
209               DO jl = 1, ipl
210                  DO jk = 1, ipk
211                     DO jj = 1, ipj
212                        DO ji = ildi, ilei
213                           ztab(ji+iilb-1,jj,jk,jl,jf) = znorthgloio(ji,jj,jk,jl,jf,jr)
214                        END DO
215                     END DO
216                  END DO
217               END DO
218            END DO
219         END DO
220         DO jf = 1, ipf
221            CALL lbc_nfd( ztab(:,:,:,:,jf), cd_nat LBC_ARG, psgn LBC_ARG )   ! North fold boundary condition
222         END DO
223         !
224         DO jf = 1, ipf
225            DO jl = 1, ipl
226               DO jk = 1, ipk
227                  DO jj = nlcj-ipj+1, nlcj             ! Scatter back to ARRAY_IN
228                     ij = jj - nlcj + ipj
229                     DO ji= 1, nlci
230                        ARRAY_IN(ji,jj,jk,jl,jf) = ztab(ji+nimpp-1,ij,jk,jl,jf)
231                     END DO
232                  END DO
233               END DO
234            END DO
235         END DO
236         !
237      !
238         DEALLOCATE( ztab )
239         DEALLOCATE( znorthgloio )
240      ENDIF
241      !
242      DEALLOCATE( znorthloc )
243      !
244   END SUBROUTINE ROUTINE_NFD
245
246#undef ARRAY_TYPE
247#undef NAT_IN
248#undef SGN_IN
249#undef ARRAY_IN
250#undef K_SIZE
251#undef L_SIZE
252#undef F_SIZE
253#undef LBC_ARG
Note: See TracBrowser for help on using the repository browser.