source: branches/2013/dev_LOCEAN_2013/NEMOGCM/NEMO/SAS_SRC/nemogcm.F90 @ 5550

Last change on this file since 5550 was 4166, checked in by cetlod, 8 years ago

dev_LOCEAN_2013 : bugs corrections, see ticket #1169

File size: 31.3 KB
Line 
1MODULE nemogcm
2   !!======================================================================
3   !!                       ***  MODULE nemogcm   ***
4   !! Ocean system   : NEMO GCM (ocean dynamics, on-line tracers, biochemistry and sea-ice)
5   !!======================================================================
6   !! History :  OPA  ! 1990-10  (C. Levy, G. Madec)  Original code
7   !!            7.0  ! 1991-11  (M. Imbard, C. Levy, G. Madec)
8   !!            7.1  ! 1993-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
9   !!                             P. Delecluse, C. Perigaud, G. Caniaux, B. Colot, C. Maes) release 7.1
10   !!             -   ! 1992-06  (L.Terray)  coupling implementation
11   !!             -   ! 1993-11  (M.A. Filiberti) IGLOO sea-ice
12   !!            8.0  ! 1996-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
13   !!                             P. Delecluse, L.Terray, M.A. Filiberti, J. Vialar, A.M. Treguier, M. Levy) release 8.0
14   !!            8.1  ! 1997-06  (M. Imbard, G. Madec)
15   !!            8.2  ! 1999-11  (M. Imbard, H. Goosse)  LIM sea-ice model
16   !!                 ! 1999-12  (V. Thierry, A-M. Treguier, M. Imbard, M-A. Foujols)  OPEN-MP
17   !!                 ! 2000-07  (J-M Molines, M. Imbard)  Open Boundary Conditions  (CLIPPER)
18   !!   NEMO     1.0  ! 2002-08  (G. Madec)  F90: Free form and modules
19   !!             -   ! 2004-06  (R. Redler, NEC CCRLE, Germany) add OASIS[3/4] coupled interfaces
20   !!             -   ! 2004-08  (C. Talandier) New trends organization
21   !!             -   ! 2005-06  (C. Ethe) Add the 1D configuration possibility
22   !!             -   ! 2005-11  (V. Garnier) Surface pressure gradient organization
23   !!             -   ! 2006-03  (L. Debreu, C. Mazauric)  Agrif implementation
24   !!             -   ! 2006-04  (G. Madec, R. Benshila)  Step reorganization
25   !!             -   ! 2007-07  (J. Chanut, A. Sellar) Unstructured open boundaries (BDY)
26   !!            3.2  ! 2009-08  (S. Masson)  open/write in the listing file in mpp
27   !!            3.3  ! 2010-05  (K. Mogensen, A. Weaver, M. Martin, D. Lea) Assimilation interface
28   !!             -   ! 2010-10  (C. Ethe, G. Madec) reorganisation of initialisation phase
29   !!            3.3.1! 2011-01  (A. R. Porter, STFC Daresbury) dynamical allocation
30   !!            3.4  ! 2011-11  (C. Harris) decomposition changes for running with CICE
31   !!----------------------------------------------------------------------
32
33   !!----------------------------------------------------------------------
34   !!   nemo_gcm       : solve ocean dynamics, tracer, biogeochemistry and/or sea-ice
35   !!   nemo_init      : initialization of the NEMO system
36   !!   nemo_ctl       : initialisation of the contol print
37   !!   nemo_closefile : close remaining open files
38   !!   nemo_alloc     : dynamical allocation
39   !!   nemo_partition : calculate MPP domain decomposition
40   !!   factorise      : calculate the factors of the no. of MPI processes
41   !!----------------------------------------------------------------------
42   USE step_oce        ! module used in the ocean time stepping module
43   USE sbc_oce         ! surface boundary condition: ocean
44   USE cla             ! cross land advection               (tra_cla routine)
45   USE domcfg          ! domain configuration               (dom_cfg routine)
46   USE daymod          ! calendar
47   USE mppini          ! shared/distributed memory setting (mpp_init routine)
48   USE domain          ! domain initialization             (dom_init routine)
49   USE phycst          ! physical constant                  (par_cst routine)
50   USE step            ! NEMO time-stepping                 (stp     routine)
51   USE lib_mpp         ! distributed memory computing
52#if defined key_iomput
53   USE xios
54#endif
55   USE sbcssm
56
57   IMPLICIT NONE
58   PRIVATE
59
60   PUBLIC   nemo_gcm    ! called by model.F90
61   PUBLIC   nemo_init   ! needed by AGRIF
62
63   CHARACTER(lc) ::   cform_aaa="( /, 'AAAAAAAA', / ) "     ! flag for output listing
64
65   !!----------------------------------------------------------------------
66   !! NEMO/OPA 4.0 , NEMO Consortium (2011)
67   !! $Id: nemogcm.F90 3294 2012-01-28 16:44:18Z rblod $
68   !! Software governed by the CeCILL licence     (NEMOGCM/NEMO_CeCILL.txt)
69   !!----------------------------------------------------------------------
70CONTAINS
71
72   SUBROUTINE nemo_gcm
73      !!----------------------------------------------------------------------
74      !!                     ***  ROUTINE nemo_gcm  ***
75      !!
76      !! ** Purpose :   NEMO solves the primitive equations on an orthogonal
77      !!              curvilinear mesh on the sphere.
78      !!
79      !! ** Method  : - model general initialization
80      !!              - launch the time-stepping (stp routine)
81      !!              - finalize the run by closing files and communications
82      !!
83      !! References : Madec, Delecluse, Imbard, and Levy, 1997:  internal report, IPSL.
84      !!              Madec, 2008, internal report, IPSL.
85      !!----------------------------------------------------------------------
86      INTEGER ::   istp       ! time step index
87      !!----------------------------------------------------------------------
88      !
89#if defined key_agrif
90      CALL Agrif_Init_Grids()      ! AGRIF: set the meshes
91#endif
92
93      !                            !-----------------------!
94      CALL nemo_init               !==  Initialisations  ==!
95      !                            !-----------------------!
96#if defined key_agrif
97      CALL Agrif_Declare_Var       ! AGRIF: set the meshes
98#endif
99      ! check that all process are still there... If some process have an error,
100      ! they will never enter in step and other processes will wait until the end of the cpu time!
101      IF( lk_mpp )   CALL mpp_max( nstop )
102
103      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
104
105      !                            !-----------------------!
106      !                            !==   time stepping   ==!
107      !                            !-----------------------!
108      istp = nit000
109       
110      DO WHILE ( istp <= nitend .AND. nstop == 0 )
111#if defined key_agrif
112         CALL Agrif_Step( stp )           ! AGRIF: time stepping
113#else
114         CALL stp( istp )                 ! standard time stepping
115#endif
116         istp = istp + 1
117         IF( lk_mpp )   CALL mpp_max( nstop )
118      END DO
119      !                            !------------------------!
120      !                            !==  finalize the run  ==!
121      !                            !------------------------!
122      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
123      !
124      IF( nstop /= 0 .AND. lwp ) THEN   ! error print
125         WRITE(numout,cform_err)
126         WRITE(numout,*) nstop, ' error have been found' 
127      ENDIF
128      !
129#if defined key_agrif
130      CALL Agrif_ParentGrid_To_ChildGrid()
131      IF( nn_timing == 1 )   CALL timing_finalize
132      CALL Agrif_ChildGrid_To_ParentGrid()
133#endif
134      IF( nn_timing == 1 )   CALL timing_finalize
135      !
136      CALL nemo_closefile
137#if defined key_iomput
138      CALL xios_finalize                ! end mpp communications with xios
139#else
140      IF( lk_mpp )   CALL mppstop       ! end mpp communications
141#endif
142      !
143   END SUBROUTINE nemo_gcm
144
145
146   SUBROUTINE nemo_init
147      !!----------------------------------------------------------------------
148      !!                     ***  ROUTINE nemo_init  ***
149      !!
150      !! ** Purpose :   initialization of the NEMO GCM
151      !!----------------------------------------------------------------------
152      INTEGER ::   ji            ! dummy loop indices
153      INTEGER ::   ilocal_comm   ! local integer     
154      INTEGER ::   ios
155
156      CHARACTER(len=80), DIMENSION(16) ::   cltxt
157      !!
158      NAMELIST/namctl/ ln_ctl  , nn_print, nn_ictls, nn_ictle,   &
159         &             nn_isplt, nn_jsplt, nn_jctls, nn_jctle,   &
160         &             nn_bench, nn_timing
161      NAMELIST/namcfg/ cp_cfg, cp_cfz, jp_cfg, jpidta, jpjdta, jpkdta, jpiglo, jpjglo, &
162         &             jpizoom, jpjzoom, jperio
163      !!----------------------------------------------------------------------
164      !
165      cltxt = ''      !
166      !                             ! Open reference namelist and configuration namelist files
167      CALL ctl_opn( numnam_ref, 'namelist_ref', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
168      CALL ctl_opn( numnam_cfg, 'namelist_cfg', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
169      CALL ctl_opn( numond, 'output.namelist.dyn', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
170      !
171      REWIND( numnam_ref )              ! Namelist namctl in reference namelist : Control prints & Benchmark
172      READ  ( numnam_ref, namctl, IOSTAT = ios, ERR = 901 )
173901   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namctl in reference namelist', lwp )
174
175      REWIND( numnam_cfg )              ! Namelist namctl in confguration namelist : Control prints & Benchmark
176      READ  ( numnam_cfg, namctl, IOSTAT = ios, ERR = 902 )
177902   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namctl in configuration namelist', lwp )
178      WRITE( numond, namctl )
179      !
180      REWIND( numnam_ref )              ! Namelist namcfg in reference namelist : Control prints & Benchmark
181      READ  ( numnam_ref, namcfg, IOSTAT = ios, ERR = 903 )
182903   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namcfg in reference namelist', lwp )
183
184      REWIND( numnam_cfg )              ! Namelist namcfg in confguration namelist : Control prints & Benchmark
185      READ  ( numnam_cfg, namcfg, IOSTAT = ios, ERR = 904 )
186904   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namcfg in configuration namelist', lwp )   
187      WRITE( numond, namcfg )
188      !                             !--------------------------------------------!
189      !                             !  set communicator & select the local node  !
190      !                             !--------------------------------------------!
191#if defined key_iomput
192      IF( Agrif_Root() ) THEN
193         CALL  xios_initialize( "nemo",return_comm=ilocal_comm )
194      ENDIF
195      narea = mynode ( cltxt, numnam_ref, numnam_cfg, numond , nstop, ilocal_comm )  ! Nodes selection
196#else
197      ilocal_comm = 0
198      narea = mynode( cltxt, numnam_ref, numnam_cfg, numond , nstop, ilocal_comm )        ! Nodes selection (control print return in cltxt)
199#endif
200      narea = narea + 1                                     ! mynode return the rank of proc (0 --> jpnij -1 )
201
202      lwp = (narea == 1) .OR. ln_ctl                        ! control of all listing output print
203
204      ! If dimensions of processor grid weren't specified in the namelist file
205      ! then we calculate them here now that we have our communicator size
206      IF( (jpni < 1) .OR. (jpnj < 1) )THEN
207#if   defined key_mpp_mpi
208         IF( Agrif_Root() ) CALL nemo_partition(mppsize)
209#else
210         jpni  = 1
211         jpnj  = 1
212         jpnij = jpni*jpnj
213#endif
214      END IF
215
216      ! Calculate domain dimensions given calculated jpni and jpnj
217      ! This used to be done in par_oce.F90 when they were parameters rather
218      ! than variables
219      IF( Agrif_Root() ) THEN
220         jpi = ( jpiglo-2*jpreci + (jpni-1) ) / jpni + 2*jpreci   ! first  dim.
221#if defined key_nemocice_decomp
222         jpj = ( jpjglo+1-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj ! second dim.
223#else
224         jpj = ( jpjglo-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj   ! second dim.
225#endif
226         jpk = jpkdta                                             ! third dim
227         jpim1 = jpi-1                                            ! inner domain indices
228         jpjm1 = jpj-1                                            !   "           "
229         jpkm1 = jpk-1                                            !   "           "
230         jpij  = jpi*jpj                                          !  jpi x j
231      ENDIF
232
233      IF(lwp) THEN                            ! open listing units
234         !
235         CALL ctl_opn( numout, 'ocean.output', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE., narea )
236         !
237         WRITE(numout,*)
238         WRITE(numout,*) '   CNRS - NERC - Met OFFICE - MERCATOR-ocean - INGV - CMCC'
239         WRITE(numout,*) '                       NEMO team'
240         WRITE(numout,*) '            Ocean General Circulation Model'
241         WRITE(numout,*) '                  version 3.4  (2011) '
242         WRITE(numout,*) '             StandAlone Surface version (SAS) '
243         WRITE(numout,*)
244         WRITE(numout,*)
245         DO ji = 1, SIZE(cltxt) 
246            IF( TRIM(cltxt(ji)) /= '' )   WRITE(numout,*) cltxt(ji)      ! control print of mynode
247         END DO
248         WRITE(numout,cform_aaa)                                         ! Flag AAAAAAA
249         !
250      ENDIF
251
252      ! Now we know the dimensions of the grid and numout has been set we can
253      ! allocate arrays
254      CALL nemo_alloc()
255
256      !                             !-------------------------------!
257      !                             !  NEMO general initialization  !
258      !                             !-------------------------------!
259
260      CALL nemo_ctl                          ! Control prints & Benchmark
261
262      !                                      ! Domain decomposition
263      IF( jpni*jpnj == jpnij ) THEN   ;   CALL mpp_init      ! standard cutting out
264      ELSE                            ;   CALL mpp_init2     ! eliminate land processors
265      ENDIF
266      !
267      IF( nn_timing == 1 )  CALL timing_init
268      !
269      !                                     ! General initialization
270                            CALL phy_cst    ! Physical constants
271                            CALL eos_init   ! Equation of state
272                            CALL dom_cfg    ! Domain configuration
273                            CALL dom_init   ! Domain
274
275      IF( ln_nnogather )    CALL nemo_northcomms   ! Initialise the northfold neighbour lists (must be done after the masks are defined)
276
277      IF( ln_ctl        )   CALL prt_ctl_init   ! Print control
278                            CALL flush(numout)
279
280                            CALL day_init   ! model calendar (using both namelist and restart infos)
281
282                            CALL sbc_init   ! Forcings : surface module
283     
284      IF(lwp) WRITE(numout,*) 'Euler time step switch is ', neuler
285      !
286   END SUBROUTINE nemo_init
287
288
289   SUBROUTINE nemo_ctl
290      !!----------------------------------------------------------------------
291      !!                     ***  ROUTINE nemo_ctl  ***
292      !!
293      !! ** Purpose :   control print setting
294      !!
295      !! ** Method  : - print namctl information and check some consistencies
296      !!----------------------------------------------------------------------
297      !
298      IF(lwp) THEN                  ! control print
299         WRITE(numout,*)
300         WRITE(numout,*) 'nemo_ctl: Control prints & Benchmark'
301         WRITE(numout,*) '~~~~~~~ '
302         WRITE(numout,*) '   Namelist namctl'
303         WRITE(numout,*) '      run control (for debugging)     ln_ctl     = ', ln_ctl
304         WRITE(numout,*) '      level of print                  nn_print   = ', nn_print
305         WRITE(numout,*) '      Start i indice for SUM control  nn_ictls   = ', nn_ictls
306         WRITE(numout,*) '      End i indice for SUM control    nn_ictle   = ', nn_ictle
307         WRITE(numout,*) '      Start j indice for SUM control  nn_jctls   = ', nn_jctls
308         WRITE(numout,*) '      End j indice for SUM control    nn_jctle   = ', nn_jctle
309         WRITE(numout,*) '      number of proc. following i     nn_isplt   = ', nn_isplt
310         WRITE(numout,*) '      number of proc. following j     nn_jsplt   = ', nn_jsplt
311         WRITE(numout,*) '      benchmark parameter (0/1)       nn_bench   = ', nn_bench
312      ENDIF
313      !
314      nprint    = nn_print          ! convert DOCTOR namelist names into OLD names
315      nictls    = nn_ictls
316      nictle    = nn_ictle
317      njctls    = nn_jctls
318      njctle    = nn_jctle
319      isplt     = nn_isplt
320      jsplt     = nn_jsplt
321      nbench    = nn_bench
322
323      IF(lwp) THEN                  ! control print
324         WRITE(numout,*)
325         WRITE(numout,*) 'namcfg  : configuration initialization through namelist read'
326         WRITE(numout,*) '~~~~~~~ '
327         WRITE(numout,*) '   Namelist namcfg'
328         WRITE(numout,*) '      configuration name              cp_cfg      = ', TRIM(cp_cfg)
329         WRITE(numout,*) '      configuration zoom name         cp_cfz      = ', TRIM(cp_cfz)
330         WRITE(numout,*) '      configuration resolution        jp_cfg      = ', jp_cfg
331         WRITE(numout,*) '      1st lateral dimension ( >= jpi ) jpidta     = ', jpidta
332         WRITE(numout,*) '      2nd    "         "    ( >= jpj ) jpjdta     = ', jpjdta
333         WRITE(numout,*) '      3nd    "         "               jpkdta     = ', jpkdta
334         WRITE(numout,*) '      1st dimension of global domain in i jpiglo  = ', jpiglo
335         WRITE(numout,*) '      2nd    -                  -    in j jpjglo  = ', jpjglo
336         WRITE(numout,*) '      left bottom i index of the zoom (in data domain) jpizoom = ', jpizoom
337         WRITE(numout,*) '      left bottom j index of the zoom (in data domain) jpizoom = ', jpjzoom
338         WRITE(numout,*) '      lateral cond. type (between 0 and 6) jperio = ', jperio   
339      ENDIF
340      !                             ! Parameter control
341      !
342      IF( ln_ctl ) THEN                 ! sub-domain area indices for the control prints
343         IF( lk_mpp .AND. jpnij > 1 ) THEN
344            isplt = jpni   ;   jsplt = jpnj   ;   ijsplt = jpni*jpnj   ! the domain is forced to the real split domain
345         ELSE
346            IF( isplt == 1 .AND. jsplt == 1  ) THEN
347               CALL ctl_warn( ' - isplt & jsplt are equal to 1',   &
348                  &           ' - the print control will be done over the whole domain' )
349            ENDIF
350            ijsplt = isplt * jsplt            ! total number of processors ijsplt
351         ENDIF
352         IF(lwp) WRITE(numout,*)'          - The total number of processors over which the'
353         IF(lwp) WRITE(numout,*)'            print control will be done is ijsplt : ', ijsplt
354         !
355         !                              ! indices used for the SUM control
356         IF( nictls+nictle+njctls+njctle == 0 )   THEN    ! print control done over the default area
357            lsp_area = .FALSE.                       
358         ELSE                                             ! print control done over a specific  area
359            lsp_area = .TRUE.
360            IF( nictls < 1 .OR. nictls > jpiglo )   THEN
361               CALL ctl_warn( '          - nictls must be 1<=nictls>=jpiglo, it is forced to 1' )
362               nictls = 1
363            ENDIF
364            IF( nictle < 1 .OR. nictle > jpiglo )   THEN
365               CALL ctl_warn( '          - nictle must be 1<=nictle>=jpiglo, it is forced to jpiglo' )
366               nictle = jpiglo
367            ENDIF
368            IF( njctls < 1 .OR. njctls > jpjglo )   THEN
369               CALL ctl_warn( '          - njctls must be 1<=njctls>=jpjglo, it is forced to 1' )
370               njctls = 1
371            ENDIF
372            IF( njctle < 1 .OR. njctle > jpjglo )   THEN
373               CALL ctl_warn( '          - njctle must be 1<=njctle>=jpjglo, it is forced to jpjglo' )
374               njctle = jpjglo
375            ENDIF
376         ENDIF
377      ENDIF
378      !
379      IF( nbench == 1 ) THEN              ! Benchmark
380         SELECT CASE ( cp_cfg )
381         CASE ( 'gyre' )   ;   CALL ctl_warn( ' The Benchmark is activated ' )
382         CASE DEFAULT      ;   CALL ctl_stop( ' The Benchmark is based on the GYRE configuration:',   &
383            &                                 ' cp_cfg="gyre" in namelist &namcfg or set nbench = 0' )
384         END SELECT
385      ENDIF
386      !
387   END SUBROUTINE nemo_ctl
388
389
390   SUBROUTINE nemo_closefile
391      !!----------------------------------------------------------------------
392      !!                     ***  ROUTINE nemo_closefile  ***
393      !!
394      !! ** Purpose :   Close the files
395      !!----------------------------------------------------------------------
396      !
397      IF( lk_mpp )   CALL mppsync
398      !
399      CALL iom_close                                 ! close all input/output files managed by iom_*
400      !
401      IF( numstp          /= -1 )   CLOSE( numstp      )   ! time-step file     
402      IF( numnam_ref      /= -1 )   CLOSE( numnam_ref      )   ! oce reference namelist
403      IF( numnam_cfg      /= -1 )   CLOSE( numnam_cfg      )   ! oce configuration namelist
404      IF( numond          /= -1 )   CLOSE( numond          )   ! oce output namelist
405      IF( numnam_ice_ref  /= -1 )   CLOSE( numnam_ice_ref  )   ! ice reference namelist
406      IF( numnam_ice_cfg  /= -1 )   CLOSE( numnam_ice_cfg  )   ! ice configuration namelist
407      IF( numoni          /= -1 )   CLOSE( numoni          )   ! ice output namelist
408      IF( numevo_ice      /= -1 )   CLOSE( numevo_ice  )   ! ice variables (temp. evolution)
409      IF( numout          /=  6 )   CLOSE( numout      )   ! standard model output file
410      !
411      numout = 6                                     ! redefine numout in case it is used after this point...
412      !
413   END SUBROUTINE nemo_closefile
414
415
416   SUBROUTINE nemo_alloc
417      !!----------------------------------------------------------------------
418      !!                     ***  ROUTINE nemo_alloc  ***
419      !!
420      !! ** Purpose :   Allocate all the dynamic arrays of the OPA modules
421      !!
422      !! ** Method  :
423      !!----------------------------------------------------------------------
424      USE diawri    , ONLY: dia_wri_alloc
425      USE dom_oce   , ONLY: dom_oce_alloc
426      USE oce       , ONLY : sshn, sshb, snwice_mass, snwice_mass_b, snwice_fmass 
427      !
428      INTEGER :: ierr,ierr4
429      !!----------------------------------------------------------------------
430      !
431      ierr =        dia_wri_alloc   ()
432      ierr = ierr + dom_oce_alloc   ()          ! ocean domain
433      ALLOCATE( snwice_mass(jpi,jpj)  , snwice_mass_b(jpi,jpj),             &
434         &      snwice_fmass(jpi,jpj), STAT= ierr4 )
435      ierr = ierr + ierr4
436      !
437      IF( lk_mpp    )   CALL mpp_sum( ierr )
438      IF( ierr /= 0 )   CALL ctl_stop( 'STOP', 'nemo_alloc : unable to allocate standard ocean arrays' )
439      !
440   END SUBROUTINE nemo_alloc
441
442
443   SUBROUTINE nemo_partition( num_pes )
444      !!----------------------------------------------------------------------
445      !!                 ***  ROUTINE nemo_partition  ***
446      !!
447      !! ** Purpose :   
448      !!
449      !! ** Method  :
450      !!----------------------------------------------------------------------
451      INTEGER, INTENT(in) :: num_pes ! The number of MPI processes we have
452      !
453      INTEGER, PARAMETER :: nfactmax = 20
454      INTEGER :: nfact ! The no. of factors returned
455      INTEGER :: ierr  ! Error flag
456      INTEGER :: ji
457      INTEGER :: idiff, mindiff, imin ! For choosing pair of factors that are closest in value
458      INTEGER, DIMENSION(nfactmax) :: ifact ! Array of factors
459      !!----------------------------------------------------------------------
460
461      ierr = 0
462
463      CALL factorise( ifact, nfactmax, nfact, num_pes, ierr )
464
465      IF( nfact <= 1 ) THEN
466         WRITE (numout, *) 'WARNING: factorisation of number of PEs failed'
467         WRITE (numout, *) '       : using grid of ',num_pes,' x 1'
468         jpnj = 1
469         jpni = num_pes
470      ELSE
471         ! Search through factors for the pair that are closest in value
472         mindiff = 1000000
473         imin    = 1
474         DO ji = 1, nfact-1, 2
475            idiff = ABS( ifact(ji) - ifact(ji+1) )
476            IF( idiff < mindiff ) THEN
477               mindiff = idiff
478               imin = ji
479            ENDIF
480         END DO
481         jpnj = ifact(imin)
482         jpni = ifact(imin + 1)
483      ENDIF
484      !
485      jpnij = jpni*jpnj
486      !
487   END SUBROUTINE nemo_partition
488
489
490   SUBROUTINE factorise( kfax, kmaxfax, knfax, kn, kerr )
491      !!----------------------------------------------------------------------
492      !!                     ***  ROUTINE factorise  ***
493      !!
494      !! ** Purpose :   return the prime factors of n.
495      !!                knfax factors are returned in array kfax which is of
496      !!                maximum dimension kmaxfax.
497      !! ** Method  :
498      !!----------------------------------------------------------------------
499      INTEGER                    , INTENT(in   ) ::   kn, kmaxfax
500      INTEGER                    , INTENT(  out) ::   kerr, knfax
501      INTEGER, DIMENSION(kmaxfax), INTENT(  out) ::   kfax
502      !
503      INTEGER :: ifac, jl, inu
504      INTEGER, PARAMETER :: ntest = 14
505      INTEGER :: ilfax(ntest)
506
507      ! lfax contains the set of allowed factors.
508      data (ilfax(jl),jl=1,ntest) / 16384, 8192, 4096, 2048, 1024, 512, 256,  &
509         &                            128,   64,   32,   16,    8,   4,   2  /
510      !!----------------------------------------------------------------------
511
512      ! Clear the error flag and initialise output vars
513      kerr = 0
514      kfax = 1
515      knfax = 0
516
517      ! Find the factors of n.
518      IF( kn == 1 )   GOTO 20
519
520      ! nu holds the unfactorised part of the number.
521      ! knfax holds the number of factors found.
522      ! l points to the allowed factor list.
523      ! ifac holds the current factor.
524
525      inu   = kn
526      knfax = 0
527
528      DO jl = ntest, 1, -1
529         !
530         ifac = ilfax(jl)
531         IF( ifac > inu )   CYCLE
532
533         ! Test whether the factor will divide.
534
535         IF( MOD(inu,ifac) == 0 ) THEN
536            !
537            knfax = knfax + 1            ! Add the factor to the list
538            IF( knfax > kmaxfax ) THEN
539               kerr = 6
540               write (*,*) 'FACTOR: insufficient space in factor array ', knfax
541               return
542            ENDIF
543            kfax(knfax) = ifac
544            ! Store the other factor that goes with this one
545            knfax = knfax + 1
546            kfax(knfax) = inu / ifac
547            !WRITE (*,*) 'ARPDBG, factors ',knfax-1,' & ',knfax,' are ', kfax(knfax-1),' and ',kfax(knfax)
548         ENDIF
549         !
550      END DO
551
552   20 CONTINUE      ! Label 20 is the exit point from the factor search loop.
553      !
554   END SUBROUTINE factorise
555
556#if defined key_mpp_mpi
557   SUBROUTINE nemo_northcomms
558      !!======================================================================
559      !!                     ***  ROUTINE  nemo_northcomms  ***
560      !! nemo_northcomms    :  Setup for north fold exchanges with explicit peer to peer messaging
561      !!=====================================================================
562      !!----------------------------------------------------------------------
563      !!
564      !! ** Purpose :   Initialization of the northern neighbours lists.
565      !!----------------------------------------------------------------------
566      !!    1.0  ! 2011-10  (A. C. Coward, NOCS & J. Donners, PRACE)
567      !!----------------------------------------------------------------------
568
569      INTEGER ::   ji, jj, jk, ij, jtyp    ! dummy loop indices
570      INTEGER ::   ijpj                    ! number of rows involved in north-fold exchange
571      INTEGER ::   northcomms_alloc        ! allocate return status
572      REAL(wp), ALLOCATABLE, DIMENSION ( :,: ) ::   znnbrs     ! workspace
573      LOGICAL,  ALLOCATABLE, DIMENSION ( : )   ::   lrankset   ! workspace
574
575      IF(lwp) WRITE(numout,*)
576      IF(lwp) WRITE(numout,*) 'nemo_northcomms : Initialization of the northern neighbours lists'
577      IF(lwp) WRITE(numout,*) '~~~~~~~~~~'
578
579      !!----------------------------------------------------------------------
580      ALLOCATE( znnbrs(jpi,jpj), stat = northcomms_alloc )
581      ALLOCATE( lrankset(jpnij), stat = northcomms_alloc )
582      IF( northcomms_alloc /= 0 ) THEN
583         WRITE(numout,cform_war)
584         WRITE(numout,*) 'northcomms_alloc : failed to allocate arrays'
585         CALL ctl_stop( 'STOP', 'nemo_northcomms : unable to allocate temporary arrays' )
586      ENDIF
587      nsndto = 0
588      isendto = -1
589      ijpj   = 4
590      !
591      ! This routine has been called because ln_nnogather has been set true ( nammpp )
592      ! However, these first few exchanges have to use the mpi_allgather method to
593      ! establish the neighbour lists to use in subsequent peer to peer exchanges.
594      ! Consequently, set l_north_nogather to be false here and set it true only after
595      ! the lists have been established.
596      !
597      l_north_nogather = .FALSE.
598      !
599      ! Exchange and store ranks on northern rows
600
601      DO jtyp = 1,4
602
603         lrankset = .FALSE.
604         znnbrs = narea
605         SELECT CASE (jtyp)
606            CASE(1)
607               CALL lbc_lnk( znnbrs, 'T', 1. )      ! Type 1: T,W-points
608            CASE(2)
609               CALL lbc_lnk( znnbrs, 'U', 1. )      ! Type 2: U-point
610            CASE(3)
611               CALL lbc_lnk( znnbrs, 'V', 1. )      ! Type 3: V-point
612            CASE(4)
613               CALL lbc_lnk( znnbrs, 'F', 1. )      ! Type 4: F-point
614         END SELECT
615
616         IF ( njmppt(narea) .EQ. MAXVAL( njmppt ) ) THEN
617            DO jj = nlcj-ijpj+1, nlcj
618               ij = jj - nlcj + ijpj
619               DO ji = 1,jpi
620                  IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND. INT(znnbrs(ji,jj)) .NE. narea ) &
621               &     lrankset(INT(znnbrs(ji,jj))) = .true.
622               END DO
623            END DO
624
625            DO jj = 1,jpnij
626               IF ( lrankset(jj) ) THEN
627                  nsndto(jtyp) = nsndto(jtyp) + 1
628                  IF ( nsndto(jtyp) .GT. jpmaxngh ) THEN
629                     CALL ctl_stop( ' Too many neighbours in nemo_northcomms ', &
630                  &                 ' jpmaxngh will need to be increased ')
631                  ENDIF
632                  isendto(nsndto(jtyp),jtyp) = jj-1   ! narea converted to MPI rank
633               ENDIF
634            END DO
635         ENDIF
636
637      END DO
638
639      !
640      ! Type 5: I-point
641      !
642      ! ICE point exchanges may involve some averaging. The neighbours list is
643      ! built up using two exchanges to ensure that the whole stencil is covered.
644      ! lrankset should not be reset between these 'J' and 'K' point exchanges
645
646      jtyp = 5
647      lrankset = .FALSE.
648      znnbrs = narea 
649      CALL lbc_lnk( znnbrs, 'J', 1. ) ! first ice U-V point
650
651      IF ( njmppt(narea) .EQ. MAXVAL( njmppt ) ) THEN
652         DO jj = nlcj-ijpj+1, nlcj
653            ij = jj - nlcj + ijpj
654            DO ji = 1,jpi
655               IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND. INT(znnbrs(ji,jj)) .NE. narea ) &
656            &     lrankset(INT(znnbrs(ji,jj))) = .true.
657         END DO
658        END DO
659      ENDIF
660
661      znnbrs = narea 
662      CALL lbc_lnk( znnbrs, 'K', 1. ) ! second ice U-V point
663
664      IF ( njmppt(narea) .EQ. MAXVAL( njmppt )) THEN
665         DO jj = nlcj-ijpj+1, nlcj
666            ij = jj - nlcj + ijpj
667            DO ji = 1,jpi
668               IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND.  INT(znnbrs(ji,jj)) .NE. narea ) &
669            &       lrankset( INT(znnbrs(ji,jj))) = .true.
670            END DO
671         END DO
672
673         DO jj = 1,jpnij
674            IF ( lrankset(jj) ) THEN
675               nsndto(jtyp) = nsndto(jtyp) + 1
676               IF ( nsndto(jtyp) .GT. jpmaxngh ) THEN
677                  CALL ctl_stop( ' Too many neighbours in nemo_northcomms ', &
678               &                 ' jpmaxngh will need to be increased ')
679               ENDIF
680               isendto(nsndto(jtyp),jtyp) = jj-1   ! narea converted to MPI rank
681            ENDIF
682         END DO
683         !
684         ! For northern row areas, set l_north_nogather so that all subsequent exchanges
685         ! can use peer to peer communications at the north fold
686         !
687         l_north_nogather = .TRUE.
688         !
689      ENDIF
690      DEALLOCATE( znnbrs )
691      DEALLOCATE( lrankset )
692
693   END SUBROUTINE nemo_northcomms
694#else
695   SUBROUTINE nemo_northcomms      ! Dummy routine
696      WRITE(*,*) 'nemo_northcomms: You should not have seen this print! error?'
697   END SUBROUTINE nemo_northcomms
698#endif
699   !!======================================================================
700END MODULE nemogcm
Note: See TracBrowser for help on using the repository browser.