New URL for NEMO forge!   http://forge.nemo-ocean.eu

Since March 2022 along with NEMO 4.2 release, the code development moved to a self-hosted GitLab.
This present forge is now archived and remained online for history.
nemogcm.F90 in branches/2012/dev_MERGE_2012/NEMOGCM/NEMO/SAS_SRC – NEMO

source: branches/2012/dev_MERGE_2012/NEMOGCM/NEMO/SAS_SRC/nemogcm.F90 @ 3750

Last change on this file since 3750 was 3366, checked in by sga, 12 years ago

NEMO branch dev_r3322_NOCS09_SAS: remove redundant sas call from nemogcm.F90

File size: 28.1 KB
Line 
1MODULE nemogcm
2   !!======================================================================
3   !!                       ***  MODULE nemogcm   ***
4   !! Ocean system   : NEMO GCM (ocean dynamics, on-line tracers, biochemistry and sea-ice)
5   !!======================================================================
6   !! History :  OPA  ! 1990-10  (C. Levy, G. Madec)  Original code
7   !!            7.0  ! 1991-11  (M. Imbard, C. Levy, G. Madec)
8   !!            7.1  ! 1993-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
9   !!                             P. Delecluse, C. Perigaud, G. Caniaux, B. Colot, C. Maes) release 7.1
10   !!             -   ! 1992-06  (L.Terray)  coupling implementation
11   !!             -   ! 1993-11  (M.A. Filiberti) IGLOO sea-ice
12   !!            8.0  ! 1996-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
13   !!                             P. Delecluse, L.Terray, M.A. Filiberti, J. Vialar, A.M. Treguier, M. Levy) release 8.0
14   !!            8.1  ! 1997-06  (M. Imbard, G. Madec)
15   !!            8.2  ! 1999-11  (M. Imbard, H. Goosse)  LIM sea-ice model
16   !!                 ! 1999-12  (V. Thierry, A-M. Treguier, M. Imbard, M-A. Foujols)  OPEN-MP
17   !!                 ! 2000-07  (J-M Molines, M. Imbard)  Open Boundary Conditions  (CLIPPER)
18   !!   NEMO     1.0  ! 2002-08  (G. Madec)  F90: Free form and modules
19   !!             -   ! 2004-06  (R. Redler, NEC CCRLE, Germany) add OASIS[3/4] coupled interfaces
20   !!             -   ! 2004-08  (C. Talandier) New trends organization
21   !!             -   ! 2005-06  (C. Ethe) Add the 1D configuration possibility
22   !!             -   ! 2005-11  (V. Garnier) Surface pressure gradient organization
23   !!             -   ! 2006-03  (L. Debreu, C. Mazauric)  Agrif implementation
24   !!             -   ! 2006-04  (G. Madec, R. Benshila)  Step reorganization
25   !!             -   ! 2007-07  (J. Chanut, A. Sellar) Unstructured open boundaries (BDY)
26   !!            3.2  ! 2009-08  (S. Masson)  open/write in the listing file in mpp
27   !!            3.3  ! 2010-05  (K. Mogensen, A. Weaver, M. Martin, D. Lea) Assimilation interface
28   !!             -   ! 2010-10  (C. Ethe, G. Madec) reorganisation of initialisation phase
29   !!            3.3.1! 2011-01  (A. R. Porter, STFC Daresbury) dynamical allocation
30   !!            3.4  ! 2011-11  (C. Harris) decomposition changes for running with CICE
31   !!----------------------------------------------------------------------
32
33   !!----------------------------------------------------------------------
34   !!   nemo_gcm       : solve ocean dynamics, tracer, biogeochemistry and/or sea-ice
35   !!   nemo_init      : initialization of the NEMO system
36   !!   nemo_ctl       : initialisation of the contol print
37   !!   nemo_closefile : close remaining open files
38   !!   nemo_alloc     : dynamical allocation
39   !!   nemo_partition : calculate MPP domain decomposition
40   !!   factorise      : calculate the factors of the no. of MPI processes
41   !!----------------------------------------------------------------------
42   USE step_oce        ! module used in the ocean time stepping module
43   USE sbc_oce         ! surface boundary condition: ocean
44   USE cla             ! cross land advection               (tra_cla routine)
45   USE domcfg          ! domain configuration               (dom_cfg routine)
46   USE daymod          ! calendar
47   USE mppini          ! shared/distributed memory setting (mpp_init routine)
48   USE domain          ! domain initialization             (dom_init routine)
49   USE phycst          ! physical constant                  (par_cst routine)
50   USE step            ! NEMO time-stepping                 (stp     routine)
51   USE lib_mpp         ! distributed memory computing
52#if defined key_iomput
53   USE mod_ioclient
54#endif
55   USE sbcssm
56
57   IMPLICIT NONE
58   PRIVATE
59
60   PUBLIC   nemo_gcm    ! called by model.F90
61   PUBLIC   nemo_init   ! needed by AGRIF
62
63   CHARACTER(lc) ::   cform_aaa="( /, 'AAAAAAAA', / ) "     ! flag for output listing
64
65   !!----------------------------------------------------------------------
66   !! NEMO/OPA 4.0 , NEMO Consortium (2011)
67   !! $Id: nemogcm.F90 3294 2012-01-28 16:44:18Z rblod $
68   !! Software governed by the CeCILL licence     (NEMOGCM/NEMO_CeCILL.txt)
69   !!----------------------------------------------------------------------
70CONTAINS
71
72   SUBROUTINE nemo_gcm
73      !!----------------------------------------------------------------------
74      !!                     ***  ROUTINE nemo_gcm  ***
75      !!
76      !! ** Purpose :   NEMO solves the primitive equations on an orthogonal
77      !!              curvilinear mesh on the sphere.
78      !!
79      !! ** Method  : - model general initialization
80      !!              - launch the time-stepping (stp routine)
81      !!              - finalize the run by closing files and communications
82      !!
83      !! References : Madec, Delecluse, Imbard, and Levy, 1997:  internal report, IPSL.
84      !!              Madec, 2008, internal report, IPSL.
85      !!----------------------------------------------------------------------
86      INTEGER ::   istp       ! time step index
87      !!----------------------------------------------------------------------
88      !
89#if defined key_agrif
90      CALL Agrif_Init_Grids()      ! AGRIF: set the meshes
91#endif
92
93      !                            !-----------------------!
94      CALL nemo_init               !==  Initialisations  ==!
95      !                            !-----------------------!
96#if defined key_agrif
97      CALL Agrif_Declare_Var       ! AGRIF: set the meshes
98#endif
99      ! check that all process are still there... If some process have an error,
100      ! they will never enter in step and other processes will wait until the end of the cpu time!
101      IF( lk_mpp )   CALL mpp_max( nstop )
102
103      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
104
105      !                            !-----------------------!
106      !                            !==   time stepping   ==!
107      !                            !-----------------------!
108      istp = nit000
109       
110      DO WHILE ( istp <= nitend .AND. nstop == 0 )
111#if defined key_agrif
112         CALL Agrif_Step( stp )           ! AGRIF: time stepping
113#else
114         CALL stp( istp )                 ! standard time stepping
115#endif
116         istp = istp + 1
117         IF( lk_mpp )   CALL mpp_max( nstop )
118      END DO
119      !                            !------------------------!
120      !                            !==  finalize the run  ==!
121      !                            !------------------------!
122      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
123      !
124      IF( nstop /= 0 .AND. lwp ) THEN   ! error print
125         WRITE(numout,cform_err)
126         WRITE(numout,*) nstop, ' error have been found' 
127      ENDIF
128      !
129#if defined key_agrif
130      CALL Agrif_ParentGrid_To_ChildGrid()
131      IF( nn_timing == 1 )   CALL timing_finalize
132      CALL Agrif_ChildGrid_To_ParentGrid()
133#endif
134      IF( nn_timing == 1 )   CALL timing_finalize
135      !
136      CALL nemo_closefile
137      IF( lk_mpp )   CALL mppstop       ! end mpp communications
138      !
139   END SUBROUTINE nemo_gcm
140
141
142   SUBROUTINE nemo_init
143      !!----------------------------------------------------------------------
144      !!                     ***  ROUTINE nemo_init  ***
145      !!
146      !! ** Purpose :   initialization of the NEMO GCM
147      !!----------------------------------------------------------------------
148      INTEGER ::   ji            ! dummy loop indices
149      INTEGER ::   ilocal_comm   ! local integer
150      CHARACTER(len=80), DIMENSION(16) ::   cltxt
151      !!
152      NAMELIST/namctl/ ln_ctl  , nn_print, nn_ictls, nn_ictle,   &
153         &             nn_isplt, nn_jsplt, nn_jctls, nn_jctle,   &
154         &             nn_bench, nn_timing
155      !!----------------------------------------------------------------------
156      !
157      cltxt = ''
158      !
159      !                             ! open Namelist file
160      CALL ctl_opn( numnam, 'namelist', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
161      !
162      READ( numnam, namctl )        ! Namelist namctl : Control prints & Benchmark
163      !
164      !                             !--------------------------------------------!
165      !                             !  set communicator & select the local node  !
166      !                             !--------------------------------------------!
167#if defined key_iomput
168      IF( Agrif_Root() ) THEN
169         CALL  init_ioclient( ilocal_comm )                 ! exchange io_server nemo local communicator with the io_server
170      ENDIF
171      narea = mynode( cltxt, numnam, nstop, ilocal_comm )   ! Nodes selection
172#else
173      ilocal_comm = 0
174      narea = mynode( cltxt, numnam, nstop )                 ! Nodes selection (control print return in cltxt)
175#endif
176      narea = narea + 1                                     ! mynode return the rank of proc (0 --> jpnij -1 )
177
178      lwp = (narea == 1) .OR. ln_ctl                        ! control of all listing output print
179
180      ! If dimensions of processor grid weren't specified in the namelist file
181      ! then we calculate them here now that we have our communicator size
182      IF( (jpni < 1) .OR. (jpnj < 1) )THEN
183#if   defined key_mpp_mpi
184         IF( Agrif_Root() ) CALL nemo_partition(mppsize)
185#else
186         jpni  = 1
187         jpnj  = 1
188         jpnij = jpni*jpnj
189#endif
190      END IF
191
192      ! Calculate domain dimensions given calculated jpni and jpnj
193      ! This used to be done in par_oce.F90 when they were parameters rather
194      ! than variables
195      IF( Agrif_Root() ) THEN
196         jpi = ( jpiglo-2*jpreci + (jpni-1) ) / jpni + 2*jpreci   ! first  dim.
197#if defined key_nemocice_decomp
198         jpj = ( jpjglo+1-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj ! second dim.
199#else
200         jpj = ( jpjglo-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj   ! second dim.
201#endif
202         jpk = jpkdta                                             ! third dim
203         jpim1 = jpi-1                                            ! inner domain indices
204         jpjm1 = jpj-1                                            !   "           "
205         jpkm1 = jpk-1                                            !   "           "
206         jpij  = jpi*jpj                                          !  jpi x j
207      ENDIF
208
209      IF(lwp) THEN                            ! open listing units
210         !
211         CALL ctl_opn( numout, 'ocean.output', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE., narea )
212         !
213         WRITE(numout,*)
214         WRITE(numout,*) '   CNRS - NERC - Met OFFICE - MERCATOR-ocean - INGV - CMCC'
215         WRITE(numout,*) '                       NEMO team'
216         WRITE(numout,*) '            Ocean General Circulation Model'
217         WRITE(numout,*) '                  version 3.4  (2011) '
218         WRITE(numout,*) '             StandAlone Surface version (SAS) '
219         WRITE(numout,*)
220         WRITE(numout,*)
221         DO ji = 1, SIZE(cltxt) 
222            IF( TRIM(cltxt(ji)) /= '' )   WRITE(numout,*) cltxt(ji)      ! control print of mynode
223         END DO
224         WRITE(numout,cform_aaa)                                         ! Flag AAAAAAA
225         !
226      ENDIF
227
228      ! Now we know the dimensions of the grid and numout has been set we can
229      ! allocate arrays
230      CALL nemo_alloc()
231
232      !                             !-------------------------------!
233      !                             !  NEMO general initialization  !
234      !                             !-------------------------------!
235
236      CALL nemo_ctl                          ! Control prints & Benchmark
237
238      !                                      ! Domain decomposition
239      IF( jpni*jpnj == jpnij ) THEN   ;   CALL mpp_init      ! standard cutting out
240      ELSE                            ;   CALL mpp_init2     ! eliminate land processors
241      ENDIF
242      !
243      IF( nn_timing == 1 )  CALL timing_init
244      !
245      !                                     ! General initialization
246                            CALL phy_cst    ! Physical constants
247                            CALL eos_init   ! Equation of state
248                            CALL dom_cfg    ! Domain configuration
249                            CALL dom_init   ! Domain
250
251      IF( ln_nnogather )    CALL nemo_northcomms   ! Initialise the northfold neighbour lists (must be done after the masks are defined)
252
253      IF( ln_ctl        )   CALL prt_ctl_init   ! Print control
254                            CALL flush(numout)
255
256                            CALL day_init   ! model calendar (using both namelist and restart infos)
257
258                            CALL sbc_init   ! Forcings : surface module
259     
260                            CALL iom_init   ! iom_put initialization
261      IF(lwp) WRITE(numout,*) 'Euler time step switch is ', neuler
262      !
263   END SUBROUTINE nemo_init
264
265
266   SUBROUTINE nemo_ctl
267      !!----------------------------------------------------------------------
268      !!                     ***  ROUTINE nemo_ctl  ***
269      !!
270      !! ** Purpose :   control print setting
271      !!
272      !! ** Method  : - print namctl information and check some consistencies
273      !!----------------------------------------------------------------------
274      !
275      IF(lwp) THEN                  ! control print
276         WRITE(numout,*)
277         WRITE(numout,*) 'nemo_ctl: Control prints & Benchmark'
278         WRITE(numout,*) '~~~~~~~ '
279         WRITE(numout,*) '   Namelist namctl'
280         WRITE(numout,*) '      run control (for debugging)     ln_ctl     = ', ln_ctl
281         WRITE(numout,*) '      level of print                  nn_print   = ', nn_print
282         WRITE(numout,*) '      Start i indice for SUM control  nn_ictls   = ', nn_ictls
283         WRITE(numout,*) '      End i indice for SUM control    nn_ictle   = ', nn_ictle
284         WRITE(numout,*) '      Start j indice for SUM control  nn_jctls   = ', nn_jctls
285         WRITE(numout,*) '      End j indice for SUM control    nn_jctle   = ', nn_jctle
286         WRITE(numout,*) '      number of proc. following i     nn_isplt   = ', nn_isplt
287         WRITE(numout,*) '      number of proc. following j     nn_jsplt   = ', nn_jsplt
288         WRITE(numout,*) '      benchmark parameter (0/1)       nn_bench   = ', nn_bench
289      ENDIF
290      !
291      nprint    = nn_print          ! convert DOCTOR namelist names into OLD names
292      nictls    = nn_ictls
293      nictle    = nn_ictle
294      njctls    = nn_jctls
295      njctle    = nn_jctle
296      isplt     = nn_isplt
297      jsplt     = nn_jsplt
298      nbench    = nn_bench
299      !                             ! Parameter control
300      !
301      IF( ln_ctl ) THEN                 ! sub-domain area indices for the control prints
302         IF( lk_mpp .AND. jpnij > 1 ) THEN
303            isplt = jpni   ;   jsplt = jpnj   ;   ijsplt = jpni*jpnj   ! the domain is forced to the real split domain
304         ELSE
305            IF( isplt == 1 .AND. jsplt == 1  ) THEN
306               CALL ctl_warn( ' - isplt & jsplt are equal to 1',   &
307                  &           ' - the print control will be done over the whole domain' )
308            ENDIF
309            ijsplt = isplt * jsplt            ! total number of processors ijsplt
310         ENDIF
311         IF(lwp) WRITE(numout,*)'          - The total number of processors over which the'
312         IF(lwp) WRITE(numout,*)'            print control will be done is ijsplt : ', ijsplt
313         !
314         !                              ! indices used for the SUM control
315         IF( nictls+nictle+njctls+njctle == 0 )   THEN    ! print control done over the default area
316            lsp_area = .FALSE.                       
317         ELSE                                             ! print control done over a specific  area
318            lsp_area = .TRUE.
319            IF( nictls < 1 .OR. nictls > jpiglo )   THEN
320               CALL ctl_warn( '          - nictls must be 1<=nictls>=jpiglo, it is forced to 1' )
321               nictls = 1
322            ENDIF
323            IF( nictle < 1 .OR. nictle > jpiglo )   THEN
324               CALL ctl_warn( '          - nictle must be 1<=nictle>=jpiglo, it is forced to jpiglo' )
325               nictle = jpiglo
326            ENDIF
327            IF( njctls < 1 .OR. njctls > jpjglo )   THEN
328               CALL ctl_warn( '          - njctls must be 1<=njctls>=jpjglo, it is forced to 1' )
329               njctls = 1
330            ENDIF
331            IF( njctle < 1 .OR. njctle > jpjglo )   THEN
332               CALL ctl_warn( '          - njctle must be 1<=njctle>=jpjglo, it is forced to jpjglo' )
333               njctle = jpjglo
334            ENDIF
335         ENDIF
336      ENDIF
337      !
338      IF( nbench == 1 ) THEN              ! Benchmark
339         SELECT CASE ( cp_cfg )
340         CASE ( 'gyre' )   ;   CALL ctl_warn( ' The Benchmark is activated ' )
341         CASE DEFAULT      ;   CALL ctl_stop( ' The Benchmark is based on the GYRE configuration:',   &
342            &                                 ' key_gyre must be used or set nbench = 0' )
343         END SELECT
344      ENDIF
345      !
346   END SUBROUTINE nemo_ctl
347
348
349   SUBROUTINE nemo_closefile
350      !!----------------------------------------------------------------------
351      !!                     ***  ROUTINE nemo_closefile  ***
352      !!
353      !! ** Purpose :   Close the files
354      !!----------------------------------------------------------------------
355      !
356      IF( lk_mpp )   CALL mppsync
357      !
358      CALL iom_close                                 ! close all input/output files managed by iom_*
359      !
360      IF( numstp      /= -1 )   CLOSE( numstp      )   ! time-step file
361      IF( numnam      /= -1 )   CLOSE( numnam      )   ! oce namelist
362      IF( numnam_ice  /= -1 )   CLOSE( numnam_ice  )   ! ice namelist
363      IF( numevo_ice  /= -1 )   CLOSE( numevo_ice  )   ! ice variables (temp. evolution)
364      IF( numout      /=  6 )   CLOSE( numout      )   ! standard model output file
365      !
366      numout = 6                                     ! redefine numout in case it is used after this point...
367      !
368   END SUBROUTINE nemo_closefile
369
370
371   SUBROUTINE nemo_alloc
372      !!----------------------------------------------------------------------
373      !!                     ***  ROUTINE nemo_alloc  ***
374      !!
375      !! ** Purpose :   Allocate all the dynamic arrays of the OPA modules
376      !!
377      !! ** Method  :
378      !!----------------------------------------------------------------------
379      USE diawri    , ONLY: dia_wri_alloc
380      USE dom_oce   , ONLY: dom_oce_alloc
381      !
382      INTEGER :: ierr
383      !!----------------------------------------------------------------------
384      !
385      ierr =        dia_wri_alloc   ()
386      ierr = ierr + dom_oce_alloc   ()          ! ocean domain
387      ierr = ierr + lib_mpp_alloc   (numout)    ! mpp exchanges
388      !
389      IF( lk_mpp    )   CALL mpp_sum( ierr )
390      IF( ierr /= 0 )   CALL ctl_stop( 'STOP', 'nemo_alloc : unable to allocate standard ocean arrays' )
391      !
392   END SUBROUTINE nemo_alloc
393
394
395   SUBROUTINE nemo_partition( num_pes )
396      !!----------------------------------------------------------------------
397      !!                 ***  ROUTINE nemo_partition  ***
398      !!
399      !! ** Purpose :   
400      !!
401      !! ** Method  :
402      !!----------------------------------------------------------------------
403      INTEGER, INTENT(in) :: num_pes ! The number of MPI processes we have
404      !
405      INTEGER, PARAMETER :: nfactmax = 20
406      INTEGER :: nfact ! The no. of factors returned
407      INTEGER :: ierr  ! Error flag
408      INTEGER :: ji
409      INTEGER :: idiff, mindiff, imin ! For choosing pair of factors that are closest in value
410      INTEGER, DIMENSION(nfactmax) :: ifact ! Array of factors
411      !!----------------------------------------------------------------------
412
413      ierr = 0
414
415      CALL factorise( ifact, nfactmax, nfact, num_pes, ierr )
416
417      IF( nfact <= 1 ) THEN
418         WRITE (numout, *) 'WARNING: factorisation of number of PEs failed'
419         WRITE (numout, *) '       : using grid of ',num_pes,' x 1'
420         jpnj = 1
421         jpni = num_pes
422      ELSE
423         ! Search through factors for the pair that are closest in value
424         mindiff = 1000000
425         imin    = 1
426         DO ji = 1, nfact-1, 2
427            idiff = ABS( ifact(ji) - ifact(ji+1) )
428            IF( idiff < mindiff ) THEN
429               mindiff = idiff
430               imin = ji
431            ENDIF
432         END DO
433         jpnj = ifact(imin)
434         jpni = ifact(imin + 1)
435      ENDIF
436      !
437      jpnij = jpni*jpnj
438      !
439   END SUBROUTINE nemo_partition
440
441
442   SUBROUTINE factorise( kfax, kmaxfax, knfax, kn, kerr )
443      !!----------------------------------------------------------------------
444      !!                     ***  ROUTINE factorise  ***
445      !!
446      !! ** Purpose :   return the prime factors of n.
447      !!                knfax factors are returned in array kfax which is of
448      !!                maximum dimension kmaxfax.
449      !! ** Method  :
450      !!----------------------------------------------------------------------
451      INTEGER                    , INTENT(in   ) ::   kn, kmaxfax
452      INTEGER                    , INTENT(  out) ::   kerr, knfax
453      INTEGER, DIMENSION(kmaxfax), INTENT(  out) ::   kfax
454      !
455      INTEGER :: ifac, jl, inu
456      INTEGER, PARAMETER :: ntest = 14
457      INTEGER :: ilfax(ntest)
458
459      ! lfax contains the set of allowed factors.
460      data (ilfax(jl),jl=1,ntest) / 16384, 8192, 4096, 2048, 1024, 512, 256,  &
461         &                            128,   64,   32,   16,    8,   4,   2  /
462      !!----------------------------------------------------------------------
463
464      ! Clear the error flag and initialise output vars
465      kerr = 0
466      kfax = 1
467      knfax = 0
468
469      ! Find the factors of n.
470      IF( kn == 1 )   GOTO 20
471
472      ! nu holds the unfactorised part of the number.
473      ! knfax holds the number of factors found.
474      ! l points to the allowed factor list.
475      ! ifac holds the current factor.
476
477      inu   = kn
478      knfax = 0
479
480      DO jl = ntest, 1, -1
481         !
482         ifac = ilfax(jl)
483         IF( ifac > inu )   CYCLE
484
485         ! Test whether the factor will divide.
486
487         IF( MOD(inu,ifac) == 0 ) THEN
488            !
489            knfax = knfax + 1            ! Add the factor to the list
490            IF( knfax > kmaxfax ) THEN
491               kerr = 6
492               write (*,*) 'FACTOR: insufficient space in factor array ', knfax
493               return
494            ENDIF
495            kfax(knfax) = ifac
496            ! Store the other factor that goes with this one
497            knfax = knfax + 1
498            kfax(knfax) = inu / ifac
499            !WRITE (*,*) 'ARPDBG, factors ',knfax-1,' & ',knfax,' are ', kfax(knfax-1),' and ',kfax(knfax)
500         ENDIF
501         !
502      END DO
503
504   20 CONTINUE      ! Label 20 is the exit point from the factor search loop.
505      !
506   END SUBROUTINE factorise
507
508#if defined key_mpp_mpi
509   SUBROUTINE nemo_northcomms
510      !!======================================================================
511      !!                     ***  ROUTINE  nemo_northcomms  ***
512      !! nemo_northcomms    :  Setup for north fold exchanges with explicit peer to peer messaging
513      !!=====================================================================
514      !!----------------------------------------------------------------------
515      !!
516      !! ** Purpose :   Initialization of the northern neighbours lists.
517      !!----------------------------------------------------------------------
518      !!    1.0  ! 2011-10  (A. C. Coward, NOCS & J. Donners, PRACE)
519      !!----------------------------------------------------------------------
520
521      INTEGER ::   ji, jj, jk, ij, jtyp    ! dummy loop indices
522      INTEGER ::   ijpj                    ! number of rows involved in north-fold exchange
523      INTEGER ::   northcomms_alloc        ! allocate return status
524      REAL(wp), ALLOCATABLE, DIMENSION ( :,: ) ::   znnbrs     ! workspace
525      LOGICAL,  ALLOCATABLE, DIMENSION ( : )   ::   lrankset   ! workspace
526
527      IF(lwp) WRITE(numout,*)
528      IF(lwp) WRITE(numout,*) 'nemo_northcomms : Initialization of the northern neighbours lists'
529      IF(lwp) WRITE(numout,*) '~~~~~~~~~~'
530
531      !!----------------------------------------------------------------------
532      ALLOCATE( znnbrs(jpi,jpj), stat = northcomms_alloc )
533      ALLOCATE( lrankset(jpnij), stat = northcomms_alloc )
534      IF( northcomms_alloc /= 0 ) THEN
535         WRITE(numout,cform_war)
536         WRITE(numout,*) 'northcomms_alloc : failed to allocate arrays'
537         CALL ctl_stop( 'STOP', 'nemo_northcomms : unable to allocate temporary arrays' )
538      ENDIF
539      nsndto = 0
540      isendto = -1
541      ijpj   = 4
542      !
543      ! This routine has been called because ln_nnogather has been set true ( nammpp )
544      ! However, these first few exchanges have to use the mpi_allgather method to
545      ! establish the neighbour lists to use in subsequent peer to peer exchanges.
546      ! Consequently, set l_north_nogather to be false here and set it true only after
547      ! the lists have been established.
548      !
549      l_north_nogather = .FALSE.
550      !
551      ! Exchange and store ranks on northern rows
552
553      DO jtyp = 1,4
554
555         lrankset = .FALSE.
556         znnbrs = narea
557         SELECT CASE (jtyp)
558            CASE(1)
559               CALL lbc_lnk( znnbrs, 'T', 1. )      ! Type 1: T,W-points
560            CASE(2)
561               CALL lbc_lnk( znnbrs, 'U', 1. )      ! Type 2: U-point
562            CASE(3)
563               CALL lbc_lnk( znnbrs, 'V', 1. )      ! Type 3: V-point
564            CASE(4)
565               CALL lbc_lnk( znnbrs, 'F', 1. )      ! Type 4: F-point
566         END SELECT
567
568         IF ( njmppt(narea) .EQ. MAXVAL( njmppt ) ) THEN
569            DO jj = nlcj-ijpj+1, nlcj
570               ij = jj - nlcj + ijpj
571               DO ji = 1,jpi
572                  IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND. INT(znnbrs(ji,jj)) .NE. narea ) &
573               &     lrankset(INT(znnbrs(ji,jj))) = .true.
574               END DO
575            END DO
576
577            DO jj = 1,jpnij
578               IF ( lrankset(jj) ) THEN
579                  nsndto(jtyp) = nsndto(jtyp) + 1
580                  IF ( nsndto(jtyp) .GT. jpmaxngh ) THEN
581                     CALL ctl_stop( ' Too many neighbours in nemo_northcomms ', &
582                  &                 ' jpmaxngh will need to be increased ')
583                  ENDIF
584                  isendto(nsndto(jtyp),jtyp) = jj-1   ! narea converted to MPI rank
585               ENDIF
586            END DO
587         ENDIF
588
589      END DO
590
591      !
592      ! Type 5: I-point
593      !
594      ! ICE point exchanges may involve some averaging. The neighbours list is
595      ! built up using two exchanges to ensure that the whole stencil is covered.
596      ! lrankset should not be reset between these 'J' and 'K' point exchanges
597
598      jtyp = 5
599      lrankset = .FALSE.
600      znnbrs = narea 
601      CALL lbc_lnk( znnbrs, 'J', 1. ) ! first ice U-V point
602
603      IF ( njmppt(narea) .EQ. MAXVAL( njmppt ) ) THEN
604         DO jj = nlcj-ijpj+1, nlcj
605            ij = jj - nlcj + ijpj
606            DO ji = 1,jpi
607               IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND. INT(znnbrs(ji,jj)) .NE. narea ) &
608            &     lrankset(INT(znnbrs(ji,jj))) = .true.
609         END DO
610        END DO
611      ENDIF
612
613      znnbrs = narea 
614      CALL lbc_lnk( znnbrs, 'K', 1. ) ! second ice U-V point
615
616      IF ( njmppt(narea) .EQ. MAXVAL( njmppt )) THEN
617         DO jj = nlcj-ijpj+1, nlcj
618            ij = jj - nlcj + ijpj
619            DO ji = 1,jpi
620               IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND.  INT(znnbrs(ji,jj)) .NE. narea ) &
621            &       lrankset( INT(znnbrs(ji,jj))) = .true.
622            END DO
623         END DO
624
625         DO jj = 1,jpnij
626            IF ( lrankset(jj) ) THEN
627               nsndto(jtyp) = nsndto(jtyp) + 1
628               IF ( nsndto(jtyp) .GT. jpmaxngh ) THEN
629                  CALL ctl_stop( ' Too many neighbours in nemo_northcomms ', &
630               &                 ' jpmaxngh will need to be increased ')
631               ENDIF
632               isendto(nsndto(jtyp),jtyp) = jj-1   ! narea converted to MPI rank
633            ENDIF
634         END DO
635         !
636         ! For northern row areas, set l_north_nogather so that all subsequent exchanges
637         ! can use peer to peer communications at the north fold
638         !
639         l_north_nogather = .TRUE.
640         !
641      ENDIF
642      DEALLOCATE( znnbrs )
643      DEALLOCATE( lrankset )
644
645   END SUBROUTINE nemo_northcomms
646#else
647   SUBROUTINE nemo_northcomms      ! Dummy routine
648      WRITE(*,*) 'nemo_northcomms: You should not have seen this print! error?'
649   END SUBROUTINE nemo_northcomms
650#endif
651   !!======================================================================
652END MODULE nemogcm
Note: See TracBrowser for help on using the repository browser.