source: branches/2013/dev_r3853_CNRS9_ConfSetting/NEMOGCM/NEMO/OPA_SRC/nemogcm.F90 @ 4018

Last change on this file since 4018 was 4018, checked in by clevy, 8 years ago

Configuration setting, bugfixes for AGRIF, see ticket:#1074

  • Property svn:keywords set to Id
File size: 42.7 KB
Line 
1MODULE nemogcm
2   !!======================================================================
3   !!                       ***  MODULE nemogcm   ***
4   !! Ocean system   : NEMO GCM (ocean dynamics, on-line tracers, biochemistry and sea-ice)
5   !!======================================================================
6   !! History :  OPA  ! 1990-10  (C. Levy, G. Madec)  Original code
7   !!            7.0  ! 1991-11  (M. Imbard, C. Levy, G. Madec)
8   !!            7.1  ! 1993-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
9   !!                             P. Delecluse, C. Perigaud, G. Caniaux, B. Colot, C. Maes) release 7.1
10   !!             -   ! 1992-06  (L.Terray)  coupling implementation
11   !!             -   ! 1993-11  (M.A. Filiberti) IGLOO sea-ice
12   !!            8.0  ! 1996-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
13   !!                             P. Delecluse, L.Terray, M.A. Filiberti, J. Vialar, A.M. Treguier, M. Levy) release 8.0
14   !!            8.1  ! 1997-06  (M. Imbard, G. Madec)
15   !!            8.2  ! 1999-11  (M. Imbard, H. Goosse)  LIM sea-ice model
16   !!                 ! 1999-12  (V. Thierry, A-M. Treguier, M. Imbard, M-A. Foujols)  OPEN-MP
17   !!                 ! 2000-07  (J-M Molines, M. Imbard)  Open Boundary Conditions  (CLIPPER)
18   !!   NEMO     1.0  ! 2002-08  (G. Madec)  F90: Free form and modules
19   !!             -   ! 2004-06  (R. Redler, NEC CCRLE, Germany) add OASIS[3/4] coupled interfaces
20   !!             -   ! 2004-08  (C. Talandier) New trends organization
21   !!             -   ! 2005-06  (C. Ethe) Add the 1D configuration possibility
22   !!             -   ! 2005-11  (V. Garnier) Surface pressure gradient organization
23   !!             -   ! 2006-03  (L. Debreu, C. Mazauric)  Agrif implementation
24   !!             -   ! 2006-04  (G. Madec, R. Benshila)  Step reorganization
25   !!             -   ! 2007-07  (J. Chanut, A. Sellar) Unstructured open boundaries (BDY)
26   !!            3.2  ! 2009-08  (S. Masson)  open/write in the listing file in mpp
27   !!            3.3  ! 2010-05  (K. Mogensen, A. Weaver, M. Martin, D. Lea) Assimilation interface
28   !!             -   ! 2010-10  (C. Ethe, G. Madec) reorganisation of initialisation phase
29   !!            3.3.1! 2011-01  (A. R. Porter, STFC Daresbury) dynamical allocation
30   !!            3.4  ! 2011-11  (C. Harris) decomposition changes for running with CICE
31   !!----------------------------------------------------------------------
32
33   !!----------------------------------------------------------------------
34   !!   nemo_gcm       : solve ocean dynamics, tracer, biogeochemistry and/or sea-ice
35   !!   nemo_init      : initialization of the NEMO system
36   !!   nemo_ctl       : initialisation of the contol print
37   !!   nemo_closefile : close remaining open files
38   !!   nemo_alloc     : dynamical allocation
39   !!   nemo_partition : calculate MPP domain decomposition
40   !!   factorise      : calculate the factors of the no. of MPI processes
41   !!----------------------------------------------------------------------
42   USE step_oce        ! module used in the ocean time stepping module
43   USE sbc_oce         ! surface boundary condition: ocean
44   USE cla             ! cross land advection               (tra_cla routine)
45   USE domcfg          ! domain configuration               (dom_cfg routine)
46   USE mppini          ! shared/distributed memory setting (mpp_init routine)
47   USE domain          ! domain initialization             (dom_init routine)
48#if defined key_nemocice_decomp
49   USE ice_domain_size, only: nx_global, ny_global
50#endif
51   USE tideini         ! tidal components initialization   (tide_ini routine)
52   USE obcini          ! open boundary cond. initialization (obc_ini routine)
53   USE bdyini          ! open boundary cond. initialization (bdy_init routine)
54   USE bdydta          ! open boundary cond. initialization (bdy_dta_init routine)
55   USE bdytides        ! open boundary cond. initialization (bdytide_init routine)
56   USE istate          ! initial state setting          (istate_init routine)
57   USE ldfdyn          ! lateral viscosity setting      (ldfdyn_init routine)
58   USE ldftra          ! lateral diffusivity setting    (ldftra_init routine)
59   USE zdfini          ! vertical physics setting          (zdf_init routine)
60   USE phycst          ! physical constant                  (par_cst routine)
61   USE trdmod          ! momentum/tracers trends       (trd_mod_init routine)
62   USE asminc          ! assimilation increments     
63   USE asmbkg          ! writing out state trajectory
64   USE diaptr          ! poleward transports           (dia_ptr_init routine)
65   USE diadct          ! sections transports           (dia_dct_init routine)
66   USE diaobs          ! Observation diagnostics       (dia_obs_init routine)
67   USE lib_fortran     ! Fortran utilities (allows no signed zero when 'key_nosignedzero' defined)
68   USE step            ! NEMO time-stepping                 (stp     routine)
69   USE icbini          ! handle bergs, initialisation
70   USE icbstp          ! handle bergs, calving, themodynamics and transport
71#if defined key_oasis3
72   USE cpl_oasis3      ! OASIS3 coupling
73#elif defined key_oasis4
74   USE cpl_oasis4      ! OASIS4 coupling (not working)
75#endif
76   USE c1d             ! 1D configuration
77   USE step_c1d        ! Time stepping loop for the 1D configuration
78#if defined key_top
79   USE trcini          ! passive tracer initialisation
80#endif
81   USE lib_mpp         ! distributed memory computing
82#if defined key_iomput
83   USE xios
84#endif
85   USE sbctide, ONLY: lk_tide
86
87   IMPLICIT NONE
88   PRIVATE
89
90   PUBLIC   nemo_gcm    ! called by model.F90
91   PUBLIC   nemo_init   ! needed by AGRIF
92   PUBLIC   nemo_alloc  ! needed by TAM
93
94   CHARACTER(lc) ::   cform_aaa="( /, 'AAAAAAAA', / ) "     ! flag for output listing
95
96   !!----------------------------------------------------------------------
97   !! NEMO/OPA 4.0 , NEMO Consortium (2011)
98   !! $Id$
99   !! Software governed by the CeCILL licence     (NEMOGCM/NEMO_CeCILL.txt)
100   !!----------------------------------------------------------------------
101CONTAINS
102
103   SUBROUTINE nemo_gcm
104      !!----------------------------------------------------------------------
105      !!                     ***  ROUTINE nemo_gcm  ***
106      !!
107      !! ** Purpose :   NEMO solves the primitive equations on an orthogonal
108      !!              curvilinear mesh on the sphere.
109      !!
110      !! ** Method  : - model general initialization
111      !!              - launch the time-stepping (stp routine)
112      !!              - finalize the run by closing files and communications
113      !!
114      !! References : Madec, Delecluse, Imbard, and Levy, 1997:  internal report, IPSL.
115      !!              Madec, 2008, internal report, IPSL.
116      !!----------------------------------------------------------------------
117      INTEGER ::   istp       ! time step index
118      !!----------------------------------------------------------------------
119      !
120
121#if defined key_agrif
122      CALL Agrif_Init_Grids()      ! AGRIF: set the meshes
123#endif
124
125      !                            !-----------------------!
126      CALL nemo_init               !==  Initialisations  ==!
127      !                            !-----------------------!
128#if defined key_agrif
129      CALL Agrif_Declare_Var_dom   ! AGRIF: set the meshes for DOM
130      CALL Agrif_Declare_Var       !  "      "   "   "      "  DYN/TRA
131# if defined key_top
132      CALL Agrif_Declare_Var_top   !  "      "   "   "      "  TOP
133# endif
134# if defined key_lim2
135      CALL Agrif_Declare_Var_lim2  !  "      "   "   "      "  LIM
136# endif
137#endif
138
139      ! check that all process are still there... If some process have an error,
140      ! they will never enter in step and other processes will wait until the end of the cpu time!
141      IF( lk_mpp )   CALL mpp_max( nstop )
142
143      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
144
145      !                            !-----------------------!
146      !                            !==   time stepping   ==!
147      !                            !-----------------------!
148      istp = nit000
149#if defined key_c1d
150         DO WHILE ( istp <= nitend .AND. nstop == 0 )
151            CALL stp_c1d( istp )
152            istp = istp + 1
153         END DO
154#else
155          IF( lk_asminc ) THEN
156             IF( ln_bkgwri ) CALL asm_bkg_wri( nit000 - 1 )    ! Output background fields
157             IF( ln_asmdin ) THEN                        ! Direct initialization
158                IF( ln_trainc ) CALL tra_asm_inc( nit000 - 1 )    ! Tracers
159                IF( ln_dyninc ) CALL dyn_asm_inc( nit000 - 1 )    ! Dynamics
160                IF( ln_sshinc ) CALL ssh_asm_inc( nit000 - 1 )    ! SSH
161             ENDIF
162          ENDIF
163
164         DO WHILE ( istp <= nitend .AND. nstop == 0 )
165
166#if defined key_agrif
167            CALL Agrif_Step( stp )           ! AGRIF: time stepping
168#else
169            CALL stp( istp )                 ! standard time stepping
170#endif
171
172            istp = istp + 1
173            IF( lk_mpp )   CALL mpp_max( nstop )
174         END DO
175#endif
176
177      IF( lk_diaobs   )   CALL dia_obs_wri
178      !
179      IF( ln_icebergs )   CALL icb_end( nitend )
180
181      !                            !------------------------!
182      !                            !==  finalize the run  ==!
183      !                            !------------------------!
184      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
185      !
186      IF( nstop /= 0 .AND. lwp ) THEN   ! error print
187         WRITE(numout,cform_err)
188         WRITE(numout,*) nstop, ' error have been found'
189      ENDIF
190      !
191#if defined key_agrif
192      CALL Agrif_ParentGrid_To_ChildGrid()
193      IF( lk_diaobs ) CALL dia_obs_wri
194      IF( nn_timing == 1 )   CALL timing_finalize
195      CALL Agrif_ChildGrid_To_ParentGrid()
196#endif
197      IF( nn_timing == 1 )   CALL timing_finalize
198      !
199      CALL nemo_closefile
200#if defined key_iomput
201      CALL xios_finalize                ! end mpp communications with xios
202# if defined key_oasis3 || defined key_oasis4
203      CALL cpl_prism_finalize           ! end coupling and mpp communications with OASIS
204# endif
205#else
206# if defined key_oasis3 || defined key_oasis4
207      CALL cpl_prism_finalize           ! end coupling and mpp communications with OASIS
208# else
209      IF( lk_mpp )   CALL mppstop       ! end mpp communications
210# endif
211#endif
212      !
213   END SUBROUTINE nemo_gcm
214
215
216   SUBROUTINE nemo_init
217      !!----------------------------------------------------------------------
218      !!                     ***  ROUTINE nemo_init  ***
219      !!
220      !! ** Purpose :   initialization of the NEMO GCM
221      !!----------------------------------------------------------------------
222      INTEGER ::   ji            ! dummy loop indices
223      INTEGER ::   ilocal_comm   ! local integer
224      INTEGER ::   ios
225      CHARACTER(len=80), DIMENSION(16) ::   cltxt
226      !!
227      NAMELIST/namctl/ ln_ctl, nn_print, nn_ictls, nn_ictle,   &
228         &             nn_isplt, nn_jsplt, nn_jctls, nn_jctle,   &
229         &             nn_bench, nn_timing
230      NAMELIST/namcfg/ cp_cfg, cp_cfz, jp_cfg, jpidta, jpjdta, jpkdta, jpiglo, jpjglo, &
231         &             jpizoom, jpjzoom, jperio, jphgr_msh, &
232         &             ppglam0, ppgphi0, ppe1_deg, ppe2_deg, ppe1_m, ppe2_m, &
233         &             ppsur, ppa0, ppa1, ppkth, ppacr, ppdzmin, pphmax, ldbletanh, &
234         &             ppa2, ppkth2, ppacr2
235      !!----------------------------------------------------------------------
236      !
237      cltxt = ''
238      !
239      !                             ! Open reference namelist and configuration namelist files
240      CALL ctl_opn( numnam_ref, 'namelist_ref', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
241      CALL ctl_opn( numnam_cfg, 'namelist_cfg', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
242      CALL ctl_opn( numond, 'output.namelist.dyn', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
243      !
244      REWIND( numnam_ref )              ! Namelist namctl in reference namelist : Control prints & Benchmark
245      READ  ( numnam_ref, namctl, IOSTAT = ios, ERR = 901 )
246901   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namctl in reference namelist', lwp )
247
248      REWIND( numnam_cfg )              ! Namelist namctl in confguration namelist : Control prints & Benchmark
249      READ  ( numnam_cfg, namctl, IOSTAT = ios, ERR = 902 )
250902   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namctl in configuration namelist', lwp )
251      WRITE( numond, namctl )
252
253      !
254      REWIND( numnam_ref )              ! Namelist namcfg in reference namelist : Control prints & Benchmark
255      READ  ( numnam_ref, namcfg, IOSTAT = ios, ERR = 903 )
256903   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namcfg in reference namelist', lwp )
257
258      REWIND( numnam_cfg )              ! Namelist namcfg in confguration namelist : Control prints & Benchmark
259      READ  ( numnam_cfg, namcfg, IOSTAT = ios, ERR = 904 )
260904   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namcfg in configuration namelist', lwp )   
261      WRITE( numond, namcfg )
262! Force values for AGRIF zoom (cf. agrif_user.F90)
263#if defined key_agrif
264   IF( .NOT. Agrif_Root() ) THEN
265      jpiglo  = nbcellsx + 2 + 2*nbghostcells
266      jpjglo  = nbcellsy + 2 + 2*nbghostcells
267      jpi     = ( jpiglo-2*jpreci + (jpni-1+0) ) / jpni + 2*jpreci
268      jpj     = ( jpjglo-2*jprecj + (jpnj-1+0) ) / jpnj + 2*jprecj
269      jpidta  = jpiglo
270      jpjdta  = jpjglo
271      jpizoom = 1
272      jpjzoom = 1
273      nperio  = 0
274      jperio  = 0
275   ENDIF
276#endif
277      !
278      !                             !--------------------------------------------!
279      !                             !  set communicator & select the local node  !
280      !                             !--------------------------------------------!
281#if defined key_iomput
282      IF( Agrif_Root() ) THEN
283# if defined key_oasis3 || defined key_oasis4
284         CALL cpl_prism_init( ilocal_comm )      ! nemo local communicator given by oasis
285         CALL xios_initialize( "oceanx",local_comm=ilocal_comm )
286# else
287         CALL  xios_initialize( "nemo",return_comm=ilocal_comm )
288# endif
289      ENDIF
290      narea = mynode( cltxt, numnam_ref, numnam_cfg, numond , nstop, ilocal_comm )   ! Nodes selection
291#else
292# if defined key_oasis3 || defined key_oasis4
293      IF( Agrif_Root() ) THEN
294         CALL cpl_prism_init( ilocal_comm )                 ! nemo local communicator given by oasis
295      ENDIF
296      narea = mynode( cltxt, numnam_ref, numnam_cfg, numond , nstop, ilocal_comm )   ! Nodes selection (control print return in cltxt)
297# else
298      ilocal_comm = 0
299      narea = mynode( cltxt, numnam_ref, numnam_cfg, numond , nstop )                 ! Nodes selection (control print return in cltxt)
300# endif
301#endif
302      narea = narea + 1                                     ! mynode return the rank of proc (0 --> jpnij -1 )
303
304      lwp = (narea == 1) .OR. ln_ctl                        ! control of all listing output print
305
306      ! If dimensions of processor grid weren't specified in the namelist file
307      ! then we calculate them here now that we have our communicator size
308      IF( (jpni < 1) .OR. (jpnj < 1) )THEN
309#if   defined key_mpp_mpi
310         IF( Agrif_Root() ) CALL nemo_partition(mppsize)
311#else
312         jpni  = 1
313         jpnj  = 1
314         jpnij = jpni*jpnj
315#endif
316      END IF
317
318      ! Calculate domain dimensions given calculated jpni and jpnj
319      ! This used to be done in par_oce.F90 when they were parameters rather
320      ! than variables
321      IF( Agrif_Root() ) THEN
322#if defined key_nemocice_decomp
323         jpi = ( nx_global+2-2*jpreci + (jpni-1) ) / jpni + 2*jpreci ! first  dim.
324         jpj = ( ny_global+2-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj ! second dim.
325#else
326         jpi = ( jpiglo-2*jpreci + (jpni-1) ) / jpni + 2*jpreci   ! first  dim.
327         jpj = ( jpjglo-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj   ! second dim.
328#endif
329      ENDIF
330         jpk = jpkdta                                             ! third dim
331         jpim1 = jpi-1                                            ! inner domain indices
332         jpjm1 = jpj-1                                            !   "           "
333         jpkm1 = jpk-1                                            !   "           "
334         jpij  = jpi*jpj                                          !  jpi x j
335
336      IF(lwp) THEN                            ! open listing units
337         !
338         CALL ctl_opn( numout, 'ocean.output', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE., narea )
339         !
340         WRITE(numout,*)
341         WRITE(numout,*) '   CNRS - NERC - Met OFFICE - MERCATOR-ocean - INGV - CMCC'
342         WRITE(numout,*) '                       NEMO team'
343         WRITE(numout,*) '            Ocean General Circulation Model'
344         WRITE(numout,*) '                  version 3.4  (2011) '
345         WRITE(numout,*)
346         WRITE(numout,*)
347         DO ji = 1, SIZE(cltxt)
348            IF( TRIM(cltxt(ji)) /= '' )   WRITE(numout,*) cltxt(ji)      ! control print of mynode
349         END DO
350         WRITE(numout,cform_aaa)                                         ! Flag AAAAAAA
351         !
352      ENDIF
353
354      ! Now we know the dimensions of the grid and numout has been set we can
355      ! allocate arrays
356      CALL nemo_alloc()
357
358      !                             !-------------------------------!
359      !                             !  NEMO general initialization  !
360      !                             !-------------------------------!
361
362      CALL nemo_ctl                          ! Control prints & Benchmark
363
364      !                                      ! Domain decomposition
365      IF( jpni*jpnj == jpnij ) THEN   ;   CALL mpp_init      ! standard cutting out
366      ELSE                            ;   CALL mpp_init2     ! eliminate land processors
367      ENDIF
368      !
369      IF( nn_timing == 1 )  CALL timing_init
370      !
371      !                                      ! General initialization
372                            CALL     phy_cst    ! Physical constants
373                            CALL     eos_init   ! Equation of state
374                            CALL     dom_cfg    ! Domain configuration
375                            CALL     dom_init   ! Domain
376
377      IF( ln_nnogather )    CALL nemo_northcomms   ! Initialise the northfold neighbour lists (must be done after the masks are defined)
378
379      IF( ln_ctl        )   CALL prt_ctl_init   ! Print control
380
381      IF( lk_obc        )   CALL     obc_init   ! Open boundaries
382
383                            CALL  istate_init   ! ocean initial state (Dynamics and tracers)
384
385      IF( lk_tide       )   CALL tide_init( nit000 )    ! Initialisation of the tidal harmonics
386
387      IF( lk_bdy        )   CALL     bdy_init       ! Open boundaries initialisation
388      IF( lk_bdy        )   CALL     bdy_dta_init   ! Open boundaries initialisation of external data arrays
389      IF( lk_bdy        )   CALL     bdytide_init   ! Open boundaries initialisation of tidal harmonic forcing
390
391                            CALL dyn_nept_init  ! simplified form of Neptune effect
392
393      !                                     ! Ocean physics
394                            CALL     sbc_init   ! Forcings : surface module
395      !                                         ! Vertical physics
396
397                            CALL     zdf_init      ! namelist read
398
399                            CALL zdf_bfr_init      ! bottom friction
400
401      IF( lk_zdfric     )   CALL zdf_ric_init      ! Richardson number dependent Kz
402      IF( lk_zdftke     )   CALL zdf_tke_init      ! TKE closure scheme
403      IF( lk_zdfgls     )   CALL zdf_gls_init      ! GLS closure scheme
404      IF( lk_zdfkpp     )   CALL zdf_kpp_init      ! KPP closure scheme
405      IF( lk_zdftmx     )   CALL zdf_tmx_init      ! tidal vertical mixing
406      IF( lk_zdfddm .AND. .NOT. lk_zdfkpp )   &
407         &                  CALL zdf_ddm_init      ! double diffusive mixing
408      !                                         ! Lateral physics
409                            CALL ldf_tra_init      ! Lateral ocean tracer physics
410                            CALL ldf_dyn_init      ! Lateral ocean momentum physics
411      IF( lk_ldfslp     )   CALL ldf_slp_init      ! slope of lateral mixing
412
413      !                                     ! Active tracers
414                            CALL tra_qsr_init   ! penetrative solar radiation qsr
415                            CALL tra_bbc_init   ! bottom heat flux
416      IF( lk_trabbl     )   CALL tra_bbl_init   ! advective (and/or diffusive) bottom boundary layer scheme
417      IF( ln_tradmp     )   CALL tra_dmp_init   ! internal damping trends
418                            CALL tra_adv_init   ! horizontal & vertical advection
419                            CALL tra_ldf_init   ! lateral mixing
420                            CALL tra_zdf_init   ! vertical mixing and after tracer fields
421
422      !                                     ! Dynamics
423                            CALL dyn_adv_init   ! advection (vector or flux form)
424                            CALL dyn_vor_init   ! vorticity term including Coriolis
425                            CALL dyn_ldf_init   ! lateral mixing
426                            CALL dyn_hpg_init   ! horizontal gradient of Hydrostatic pressure
427                            CALL dyn_zdf_init   ! vertical diffusion
428                            CALL dyn_spg_init   ! surface pressure gradient
429
430      !                                     ! Misc. options
431      IF( nn_cla == 1 .AND. cp_cfg == 'orca' .AND. jp_cfg == 2 )   CALL cla_init       ! Cross Land Advection
432                            CALL icb_init( rdt, nit000)   ! initialise icebergs instance
433     
434#if defined key_top
435      !                                     ! Passive tracers
436                            CALL     trc_init
437#endif
438      !
439 
440                                            ! Diagnostics
441      IF( lk_floats     )   CALL     flo_init   ! drifting Floats
442      IF( lk_diaar5     )   CALL dia_ar5_init   ! ar5 diag
443                            CALL dia_ptr_init   ! Poleward TRansports initialization
444      IF( lk_diadct     )   CALL dia_dct_init   ! Sections tranports
445                            CALL dia_hsb_init   ! heat content, salt content and volume budgets
446                            CALL trd_mod_init   ! Mixed-layer/Vorticity/Integral constraints trends
447      IF( lk_diaobs     ) THEN                  ! Observation & model comparison
448                            CALL dia_obs_init            ! Initialize observational data
449                            CALL dia_obs( nit000 - 1 )   ! Observation operator for restart
450      ENDIF
451      !                                     ! Assimilation increments
452      IF( lk_asminc     )   CALL asm_inc_init   ! Initialize assimilation increments
453      IF(lwp) WRITE(numout,*) 'Euler time step switch is ', neuler
454      !
455   END SUBROUTINE nemo_init
456
457
458   SUBROUTINE nemo_ctl
459      !!----------------------------------------------------------------------
460      !!                     ***  ROUTINE nemo_ctl  ***
461      !!
462      !! ** Purpose :   control print setting
463      !!
464      !! ** Method  : - print namctl information and check some consistencies
465      !!----------------------------------------------------------------------
466      !
467      IF(lwp) THEN                  ! control print
468         WRITE(numout,*)
469         WRITE(numout,*) 'nemo_ctl: Control prints & Benchmark'
470         WRITE(numout,*) '~~~~~~~ '
471         WRITE(numout,*) '   Namelist namctl'
472         WRITE(numout,*) '      run control (for debugging)     ln_ctl     = ', ln_ctl
473         WRITE(numout,*) '      level of print                  nn_print   = ', nn_print
474         WRITE(numout,*) '      Start i indice for SUM control  nn_ictls   = ', nn_ictls
475         WRITE(numout,*) '      End i indice for SUM control    nn_ictle   = ', nn_ictle
476         WRITE(numout,*) '      Start j indice for SUM control  nn_jctls   = ', nn_jctls
477         WRITE(numout,*) '      End j indice for SUM control    nn_jctle   = ', nn_jctle
478         WRITE(numout,*) '      number of proc. following i     nn_isplt   = ', nn_isplt
479         WRITE(numout,*) '      number of proc. following j     nn_jsplt   = ', nn_jsplt
480         WRITE(numout,*) '      benchmark parameter (0/1)       nn_bench   = ', nn_bench
481         WRITE(numout,*) '      timing activated    (0/1)       nn_timing  = ', nn_timing
482      ENDIF
483      !
484      nprint    = nn_print          ! convert DOCTOR namelist names into OLD names
485      nictls    = nn_ictls
486      nictle    = nn_ictle
487      njctls    = nn_jctls
488      njctle    = nn_jctle
489      isplt     = nn_isplt
490      jsplt     = nn_jsplt
491      nbench    = nn_bench
492
493      IF(lwp) THEN                  ! control print
494         WRITE(numout,*)
495         WRITE(numout,*) 'namcfg  : configuration initialization through namelist read'
496         WRITE(numout,*) '~~~~~~~ '
497         WRITE(numout,*) '   Namelist namcfg'
498         WRITE(numout,*) '      configuration name              cp_cfg      = ', TRIM(cp_cfg)
499         WRITE(numout,*) '      configuration zoom name         cp_cfz      = ', TRIM(cp_cfz)
500         WRITE(numout,*) '      configuration resolution        jp_cfg      = ', jp_cfg
501         WRITE(numout,*) '      1st lateral dimension ( >= jpi ) jpidta     = ', jpidta
502         WRITE(numout,*) '      2nd    "         "    ( >= jpj ) jpjdta     = ', jpjdta
503         WRITE(numout,*) '      3nd    "         "               jpkdta     = ', jpkdta
504         WRITE(numout,*) '      1st dimension of global domain in i jpiglo  = ', jpiglo
505         WRITE(numout,*) '      2nd    -                  -    in j jpjglo  = ', jpjglo
506         WRITE(numout,*) '      left bottom i index of the zoom (in data domain) jpizoom = ', jpizoom
507         WRITE(numout,*) '      left bottom j index of the zoom (in data domain) jpizoom = ', jpjzoom
508         WRITE(numout,*) '      lateral cond. type (between 0 and 6) jperio = ', jperio   
509         WRITE(numout,*) '      type of horizontal mesh jphgr_msh           = ', jphgr_msh
510         WRITE(numout,*) '      longitude of first raw and column T-point ppglam0 = ', ppglam0
511         WRITE(numout,*) '      latitude  of first raw and column T-point ppgphi0 = ', ppgphi0
512         WRITE(numout,*) '      zonal      grid-spacing (degrees) ppe1_deg        = ', ppe1_deg
513         WRITE(numout,*) '      meridional grid-spacing (degrees) ppe2_deg        = ', ppe2_deg
514         WRITE(numout,*) '      zonal      grid-spacing (degrees) ppe1_m          = ', ppe1_m
515         WRITE(numout,*) '      meridional grid-spacing (degrees) ppe2_m          = ', ppe2_m
516         WRITE(numout,*) '      ORCA r4, r2 and r05 coefficients  ppsur           = ', ppsur
517         WRITE(numout,*) '                                        ppa0            = ', ppa0
518         WRITE(numout,*) '                                        ppa1            = ', ppa1
519         WRITE(numout,*) '                                        ppkth           = ', ppkth
520         WRITE(numout,*) '                                        ppacr           = ', ppacr
521         WRITE(numout,*) '      Minimum vertical spacing ppdzmin                  = ', ppdzmin
522         WRITE(numout,*) '      Maximum depth pphmax                              = ', pphmax
523         WRITE(numout,*) '      Use double tanf function for vertical coordinates ldbletanh = ', ldbletanh
524         WRITE(numout,*) '      Double tanh function parameters ppa2              = ', ppa2
525         WRITE(numout,*) '                                      ppkth2            = ', ppkth2
526         WRITE(numout,*) '                                      ppacr2            = ', ppacr2
527      ENDIF
528      !                             ! Parameter control
529      !
530      IF( ln_ctl ) THEN                 ! sub-domain area indices for the control prints
531         IF( lk_mpp .AND. jpnij > 1 ) THEN
532            isplt = jpni   ;   jsplt = jpnj   ;   ijsplt = jpni*jpnj   ! the domain is forced to the real split domain
533         ELSE
534            IF( isplt == 1 .AND. jsplt == 1  ) THEN
535               CALL ctl_warn( ' - isplt & jsplt are equal to 1',   &
536                  &           ' - the print control will be done over the whole domain' )
537            ENDIF
538            ijsplt = isplt * jsplt            ! total number of processors ijsplt
539         ENDIF
540         IF(lwp) WRITE(numout,*)'          - The total number of processors over which the'
541         IF(lwp) WRITE(numout,*)'            print control will be done is ijsplt : ', ijsplt
542         !
543         !                              ! indices used for the SUM control
544         IF( nictls+nictle+njctls+njctle == 0 )   THEN    ! print control done over the default area
545            lsp_area = .FALSE.
546         ELSE                                             ! print control done over a specific  area
547            lsp_area = .TRUE.
548            IF( nictls < 1 .OR. nictls > jpiglo )   THEN
549               CALL ctl_warn( '          - nictls must be 1<=nictls>=jpiglo, it is forced to 1' )
550               nictls = 1
551            ENDIF
552            IF( nictle < 1 .OR. nictle > jpiglo )   THEN
553               CALL ctl_warn( '          - nictle must be 1<=nictle>=jpiglo, it is forced to jpiglo' )
554               nictle = jpiglo
555            ENDIF
556            IF( njctls < 1 .OR. njctls > jpjglo )   THEN
557               CALL ctl_warn( '          - njctls must be 1<=njctls>=jpjglo, it is forced to 1' )
558               njctls = 1
559            ENDIF
560            IF( njctle < 1 .OR. njctle > jpjglo )   THEN
561               CALL ctl_warn( '          - njctle must be 1<=njctle>=jpjglo, it is forced to jpjglo' )
562               njctle = jpjglo
563            ENDIF
564         ENDIF
565      ENDIF
566      !
567      IF( nbench == 1 ) THEN              ! Benchmark
568         SELECT CASE ( cp_cfg )
569         CASE ( 'gyre' )   ;   CALL ctl_warn( ' The Benchmark is activated ' )
570         CASE DEFAULT      ;   CALL ctl_stop( ' The Benchmark is based on the GYRE configuration:',   &
571            &                                 ' cp_cfg = "gyre" in namelist &namcfg or set nbench = 0' )
572         END SELECT
573      ENDIF
574      !
575      IF( lk_c1d .AND. .NOT.lk_iomput )   CALL ctl_stop( 'nemo_ctl: The 1D configuration must be used ',   &
576         &                                               'with the IOM Input/Output manager. '         ,   &
577         &                                               'Compile with key_iomput enabled' )
578      !
579      IF( 1_wp /= SIGN(1._wp,-0._wp)  )   CALL ctl_stop( 'nemo_ctl: The intrinsec SIGN function follows ',  &
580         &                                               'f2003 standard. '                              ,  &
581         &                                               'Compile with key_nosignedzero enabled' )
582      !
583   END SUBROUTINE nemo_ctl
584
585
586   SUBROUTINE nemo_closefile
587      !!----------------------------------------------------------------------
588      !!                     ***  ROUTINE nemo_closefile  ***
589      !!
590      !! ** Purpose :   Close the files
591      !!----------------------------------------------------------------------
592      !
593      IF( lk_mpp )   CALL mppsync
594      !
595      CALL iom_close                                 ! close all input/output files managed by iom_*
596      !
597      IF( numstp          /= -1 )   CLOSE( numstp          )   ! time-step file
598      IF( numsol          /= -1 )   CLOSE( numsol          )   ! solver file
599      IF( numnam_ref      /= -1 )   CLOSE( numnam_ref      )   ! oce reference namelist
600      IF( numnam_cfg      /= -1 )   CLOSE( numnam_cfg      )   ! oce configuration namelist
601      IF( numond          /= -1 )   CLOSE( numond          )   ! oce output namelist
602      IF( numnam_ice_ref  /= -1 )   CLOSE( numnam_ice_ref  )   ! ice reference namelist
603      IF( numnam_ice_cfg  /= -1 )   CLOSE( numnam_ice_cfg  )   ! ice configuration namelist
604      IF( numoni          /= -1 )   CLOSE( numoni          )   ! ice output namelist
605      IF( numevo_ice      /= -1 )   CLOSE( numevo_ice      )   ! ice variables (temp. evolution)
606      IF( numout          /=  6 )   CLOSE( numout          )   ! standard model output file
607      IF( numdct_vol      /= -1 )   CLOSE( numdct_vol      )   ! volume transports
608      IF( numdct_heat     /= -1 )   CLOSE( numdct_heat     )   ! heat transports
609      IF( numdct_salt     /= -1 )   CLOSE( numdct_salt     )   ! salt transports
610
611      !
612      numout = 6                                     ! redefine numout in case it is used after this point...
613      !
614   END SUBROUTINE nemo_closefile
615
616
617   SUBROUTINE nemo_alloc
618      !!----------------------------------------------------------------------
619      !!                     ***  ROUTINE nemo_alloc  ***
620      !!
621      !! ** Purpose :   Allocate all the dynamic arrays of the OPA modules
622      !!
623      !! ** Method  :
624      !!----------------------------------------------------------------------
625      USE diawri    , ONLY: dia_wri_alloc
626      USE dom_oce   , ONLY: dom_oce_alloc
627      USE ldfdyn_oce, ONLY: ldfdyn_oce_alloc
628      USE ldftra_oce, ONLY: ldftra_oce_alloc
629      USE trc_oce   , ONLY: trc_oce_alloc
630#if defined key_diadct 
631      USE diadct    , ONLY: diadct_alloc 
632#endif 
633      !
634      INTEGER :: ierr
635      !!----------------------------------------------------------------------
636      !
637      ierr =        oce_alloc       ()          ! ocean
638      ierr = ierr + dia_wri_alloc   ()
639      ierr = ierr + dom_oce_alloc   ()          ! ocean domain
640      ierr = ierr + ldfdyn_oce_alloc()          ! ocean lateral  physics : dynamics
641      ierr = ierr + ldftra_oce_alloc()          ! ocean lateral  physics : tracers
642      ierr = ierr + zdf_oce_alloc   ()          ! ocean vertical physics
643      !
644      ierr = ierr + lib_mpp_alloc   (numout)    ! mpp exchanges
645      ierr = ierr + trc_oce_alloc   ()          ! shared TRC / TRA arrays
646      !
647#if defined key_diadct 
648      ierr = ierr + diadct_alloc    ()          !
649#endif 
650      !
651      IF( lk_mpp    )   CALL mpp_sum( ierr )
652      IF( ierr /= 0 )   CALL ctl_stop( 'STOP', 'nemo_alloc : unable to allocate standard ocean arrays' )
653      !
654   END SUBROUTINE nemo_alloc
655
656
657   SUBROUTINE nemo_partition( num_pes )
658      !!----------------------------------------------------------------------
659      !!                 ***  ROUTINE nemo_partition  ***
660      !!
661      !! ** Purpose :
662      !!
663      !! ** Method  :
664      !!----------------------------------------------------------------------
665      INTEGER, INTENT(in) :: num_pes ! The number of MPI processes we have
666      !
667      INTEGER, PARAMETER :: nfactmax = 20
668      INTEGER :: nfact ! The no. of factors returned
669      INTEGER :: ierr  ! Error flag
670      INTEGER :: ji
671      INTEGER :: idiff, mindiff, imin ! For choosing pair of factors that are closest in value
672      INTEGER, DIMENSION(nfactmax) :: ifact ! Array of factors
673      !!----------------------------------------------------------------------
674
675      ierr = 0
676
677      CALL factorise( ifact, nfactmax, nfact, num_pes, ierr )
678
679      IF( nfact <= 1 ) THEN
680         WRITE (numout, *) 'WARNING: factorisation of number of PEs failed'
681         WRITE (numout, *) '       : using grid of ',num_pes,' x 1'
682         jpnj = 1
683         jpni = num_pes
684      ELSE
685         ! Search through factors for the pair that are closest in value
686         mindiff = 1000000
687         imin    = 1
688         DO ji = 1, nfact-1, 2
689            idiff = ABS( ifact(ji) - ifact(ji+1) )
690            IF( idiff < mindiff ) THEN
691               mindiff = idiff
692               imin = ji
693            ENDIF
694         END DO
695         jpnj = ifact(imin)
696         jpni = ifact(imin + 1)
697      ENDIF
698      !
699      jpnij = jpni*jpnj
700      !
701   END SUBROUTINE nemo_partition
702
703
704   SUBROUTINE factorise( kfax, kmaxfax, knfax, kn, kerr )
705      !!----------------------------------------------------------------------
706      !!                     ***  ROUTINE factorise  ***
707      !!
708      !! ** Purpose :   return the prime factors of n.
709      !!                knfax factors are returned in array kfax which is of
710      !!                maximum dimension kmaxfax.
711      !! ** Method  :
712      !!----------------------------------------------------------------------
713      INTEGER                    , INTENT(in   ) ::   kn, kmaxfax
714      INTEGER                    , INTENT(  out) ::   kerr, knfax
715      INTEGER, DIMENSION(kmaxfax), INTENT(  out) ::   kfax
716      !
717      INTEGER :: ifac, jl, inu
718      INTEGER, PARAMETER :: ntest = 14
719      INTEGER :: ilfax(ntest)
720
721      ! lfax contains the set of allowed factors.
722      data (ilfax(jl),jl=1,ntest) / 16384, 8192, 4096, 2048, 1024, 512, 256,  &
723         &                            128,   64,   32,   16,    8,   4,   2  /
724      !!----------------------------------------------------------------------
725
726      ! Clear the error flag and initialise output vars
727      kerr = 0
728      kfax = 1
729      knfax = 0
730
731      ! Find the factors of n.
732      IF( kn == 1 )   GOTO 20
733
734      ! nu holds the unfactorised part of the number.
735      ! knfax holds the number of factors found.
736      ! l points to the allowed factor list.
737      ! ifac holds the current factor.
738
739      inu   = kn
740      knfax = 0
741
742      DO jl = ntest, 1, -1
743         !
744         ifac = ilfax(jl)
745         IF( ifac > inu )   CYCLE
746
747         ! Test whether the factor will divide.
748
749         IF( MOD(inu,ifac) == 0 ) THEN
750            !
751            knfax = knfax + 1            ! Add the factor to the list
752            IF( knfax > kmaxfax ) THEN
753               kerr = 6
754               write (*,*) 'FACTOR: insufficient space in factor array ', knfax
755               return
756            ENDIF
757            kfax(knfax) = ifac
758            ! Store the other factor that goes with this one
759            knfax = knfax + 1
760            kfax(knfax) = inu / ifac
761            !WRITE (*,*) 'ARPDBG, factors ',knfax-1,' & ',knfax,' are ', kfax(knfax-1),' and ',kfax(knfax)
762         ENDIF
763         !
764      END DO
765
766   20 CONTINUE      ! Label 20 is the exit point from the factor search loop.
767      !
768   END SUBROUTINE factorise
769
770#if defined key_mpp_mpi
771   SUBROUTINE nemo_northcomms
772      !!======================================================================
773      !!                     ***  ROUTINE  nemo_northcomms  ***
774      !! nemo_northcomms    :  Setup for north fold exchanges with explicit peer to peer messaging
775      !!=====================================================================
776      !!----------------------------------------------------------------------
777      !!
778      !! ** Purpose :   Initialization of the northern neighbours lists.
779      !!----------------------------------------------------------------------
780      !!    1.0  ! 2011-10  (A. C. Coward, NOCS & J. Donners, PRACE)
781      !!----------------------------------------------------------------------
782
783      INTEGER ::   ji, jj, jk, ij, jtyp    ! dummy loop indices
784      INTEGER ::   ijpj                    ! number of rows involved in north-fold exchange
785      INTEGER ::   northcomms_alloc        ! allocate return status
786      REAL(wp), ALLOCATABLE, DIMENSION ( :,: ) ::   znnbrs     ! workspace
787      LOGICAL,  ALLOCATABLE, DIMENSION ( : )   ::   lrankset   ! workspace
788
789      IF(lwp) WRITE(numout,*)
790      IF(lwp) WRITE(numout,*) 'nemo_northcomms : Initialization of the northern neighbours lists'
791      IF(lwp) WRITE(numout,*) '~~~~~~~~~~'
792
793      !!----------------------------------------------------------------------
794      ALLOCATE( znnbrs(jpi,jpj), stat = northcomms_alloc )
795      ALLOCATE( lrankset(jpnij), stat = northcomms_alloc )
796      IF( northcomms_alloc /= 0 ) THEN
797         WRITE(numout,cform_war)
798         WRITE(numout,*) 'northcomms_alloc : failed to allocate arrays'
799         CALL ctl_stop( 'STOP', 'nemo_northcomms : unable to allocate temporary arrays' )
800      ENDIF
801      nsndto = 0
802      isendto = -1
803      ijpj   = 4
804      !
805      ! This routine has been called because ln_nnogather has been set true ( nammpp )
806      ! However, these first few exchanges have to use the mpi_allgather method to
807      ! establish the neighbour lists to use in subsequent peer to peer exchanges.
808      ! Consequently, set l_north_nogather to be false here and set it true only after
809      ! the lists have been established.
810      !
811      l_north_nogather = .FALSE.
812      !
813      ! Exchange and store ranks on northern rows
814
815      DO jtyp = 1,4
816
817         lrankset = .FALSE.
818         znnbrs = narea
819         SELECT CASE (jtyp)
820            CASE(1)
821               CALL lbc_lnk( znnbrs, 'T', 1. )      ! Type 1: T,W-points
822            CASE(2)
823               CALL lbc_lnk( znnbrs, 'U', 1. )      ! Type 2: U-point
824            CASE(3)
825               CALL lbc_lnk( znnbrs, 'V', 1. )      ! Type 3: V-point
826            CASE(4)
827               CALL lbc_lnk( znnbrs, 'F', 1. )      ! Type 4: F-point
828         END SELECT
829
830         IF ( njmppt(narea) .EQ. MAXVAL( njmppt ) ) THEN
831            DO jj = nlcj-ijpj+1, nlcj
832               ij = jj - nlcj + ijpj
833               DO ji = 1,jpi
834                  IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND. INT(znnbrs(ji,jj)) .NE. narea ) &
835               &     lrankset(INT(znnbrs(ji,jj))) = .true.
836               END DO
837            END DO
838
839            DO jj = 1,jpnij
840               IF ( lrankset(jj) ) THEN
841                  nsndto(jtyp) = nsndto(jtyp) + 1
842                  IF ( nsndto(jtyp) .GT. jpmaxngh ) THEN
843                     CALL ctl_stop( ' Too many neighbours in nemo_northcomms ', &
844                  &                 ' jpmaxngh will need to be increased ')
845                  ENDIF
846                  isendto(nsndto(jtyp),jtyp) = jj-1   ! narea converted to MPI rank
847               ENDIF
848            END DO
849         ENDIF
850
851      END DO
852
853      !
854      ! Type 5: I-point
855      !
856      ! ICE point exchanges may involve some averaging. The neighbours list is
857      ! built up using two exchanges to ensure that the whole stencil is covered.
858      ! lrankset should not be reset between these 'J' and 'K' point exchanges
859
860      jtyp = 5
861      lrankset = .FALSE.
862      znnbrs = narea
863      CALL lbc_lnk( znnbrs, 'J', 1. ) ! first ice U-V point
864
865      IF ( njmppt(narea) .EQ. MAXVAL( njmppt ) ) THEN
866         DO jj = nlcj-ijpj+1, nlcj
867            ij = jj - nlcj + ijpj
868            DO ji = 1,jpi
869               IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND. INT(znnbrs(ji,jj)) .NE. narea ) &
870            &     lrankset(INT(znnbrs(ji,jj))) = .true.
871         END DO
872        END DO
873      ENDIF
874
875      znnbrs = narea
876      CALL lbc_lnk( znnbrs, 'K', 1. ) ! second ice U-V point
877
878      IF ( njmppt(narea) .EQ. MAXVAL( njmppt )) THEN
879         DO jj = nlcj-ijpj+1, nlcj
880            ij = jj - nlcj + ijpj
881            DO ji = 1,jpi
882               IF ( INT(znnbrs(ji,jj)) .NE. 0 .AND.  INT(znnbrs(ji,jj)) .NE. narea ) &
883            &       lrankset( INT(znnbrs(ji,jj))) = .true.
884            END DO
885         END DO
886
887         DO jj = 1,jpnij
888            IF ( lrankset(jj) ) THEN
889               nsndto(jtyp) = nsndto(jtyp) + 1
890               IF ( nsndto(jtyp) .GT. jpmaxngh ) THEN
891                  CALL ctl_stop( ' Too many neighbours in nemo_northcomms ', &
892               &                 ' jpmaxngh will need to be increased ')
893               ENDIF
894               isendto(nsndto(jtyp),jtyp) = jj-1   ! narea converted to MPI rank
895            ENDIF
896         END DO
897         !
898         ! For northern row areas, set l_north_nogather so that all subsequent exchanges
899         ! can use peer to peer communications at the north fold
900         !
901         l_north_nogather = .TRUE.
902         !
903      ENDIF
904      DEALLOCATE( znnbrs )
905      DEALLOCATE( lrankset )
906
907   END SUBROUTINE nemo_northcomms
908#else
909   SUBROUTINE nemo_northcomms      ! Dummy routine
910      WRITE(*,*) 'nemo_northcomms: You should not have seen this print! error?'
911   END SUBROUTINE nemo_northcomms
912#endif
913   !!======================================================================
914END MODULE nemogcm
Note: See TracBrowser for help on using the repository browser.