source: branches/2017/dev_r8126_ROBUST08_no_ghost/NEMOGCM/NEMO/OPA_SRC/nemogcm.F90 @ 8314

Last change on this file since 8314 was 8314, checked in by acc, 3 years ago

Branch 2017/dev_r8126_ROBUST08_no_ghost. Merge in changes from branches/2017/dev_r8126_ROBUST10_MPPINI to combine mppini and mppini_2 functionalities into a single routine. SETTE-like test performed with ORCA2LIMPISCES using an 8x8 partition with 60 processors to confirm consistency of results when using land suppression. The dev_r8126_ROBUST10_MPPINI branch will not be needed in the 2017 merge if dev_r8126_ROBUST08_no_ghost is included.

  • Property svn:keywords set to Id
File size: 40.7 KB
Line 
1MODULE nemogcm
2   !!======================================================================
3   !!                       ***  MODULE nemogcm   ***
4   !! Ocean system   : NEMO GCM (ocean dynamics, on-line tracers, biochemistry and sea-ice)
5   !!======================================================================
6   !! History :  OPA  ! 1990-10  (C. Levy, G. Madec)  Original code
7   !!            7.0  ! 1991-11  (M. Imbard, C. Levy, G. Madec)
8   !!            7.1  ! 1993-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
9   !!                             P. Delecluse, C. Perigaud, G. Caniaux, B. Colot, C. Maes) release 7.1
10   !!             -   ! 1992-06  (L.Terray)  coupling implementation
11   !!             -   ! 1993-11  (M.A. Filiberti) IGLOO sea-ice
12   !!            8.0  ! 1996-03  (M. Imbard, C. Levy, G. Madec, O. Marti, M. Guyon, A. Lazar,
13   !!                             P. Delecluse, L.Terray, M.A. Filiberti, J. Vialar, A.M. Treguier, M. Levy) release 8.0
14   !!            8.1  ! 1997-06  (M. Imbard, G. Madec)
15   !!            8.2  ! 1999-11  (M. Imbard, H. Goosse)  LIM sea-ice model
16   !!                 ! 1999-12  (V. Thierry, A-M. Treguier, M. Imbard, M-A. Foujols)  OPEN-MP
17   !!                 ! 2000-07  (J-M Molines, M. Imbard)  Open Boundary Conditions  (CLIPPER)
18   !!   NEMO     1.0  ! 2002-08  (G. Madec)  F90: Free form and modules
19   !!             -   ! 2004-06  (R. Redler, NEC CCRLE, Germany) add OASIS[3/4] coupled interfaces
20   !!             -   ! 2004-08  (C. Talandier) New trends organization
21   !!             -   ! 2005-06  (C. Ethe) Add the 1D configuration possibility
22   !!             -   ! 2005-11  (V. Garnier) Surface pressure gradient organization
23   !!             -   ! 2006-03  (L. Debreu, C. Mazauric)  Agrif implementation
24   !!             -   ! 2006-04  (G. Madec, R. Benshila)  Step reorganization
25   !!             -   ! 2007-07  (J. Chanut, A. Sellar) Unstructured open boundaries (BDY)
26   !!            3.2  ! 2009-08  (S. Masson)  open/write in the listing file in mpp
27   !!            3.3  ! 2010-05  (K. Mogensen, A. Weaver, M. Martin, D. Lea) Assimilation interface
28   !!             -   ! 2010-10  (C. Ethe, G. Madec) reorganisation of initialisation phase
29   !!            3.3.1! 2011-01  (A. R. Porter, STFC Daresbury) dynamical allocation
30   !!            3.4  ! 2011-10  (A. C. Coward, NOCS & J. Donners, PRACE) add nemo_northcomms
31   !!             -   ! 2011-11  (C. Harris) decomposition changes for running with CICE
32   !!            3.6  ! 2012-05  (C. Calone, J. Simeon, G. Madec, C. Ethe) Add grid coarsening
33   !!             -   ! 2013-06  (I. Epicoco, S. Mocavero, CMCC) nemo_northcomms: setup avoiding MPI communication
34   !!             -   ! 2014-12  (G. Madec) remove KPP scheme and cross-land advection (cla)
35   !!            4.0  ! 2016-10  (G. Madec, S. Flavoni)  domain configuration / user defined interface
36   !!----------------------------------------------------------------------
37
38   !!----------------------------------------------------------------------
39   !!   nemo_gcm      : solve ocean dynamics, tracer, biogeochemistry and/or sea-ice
40   !!   nemo_init     : initialization of the NEMO system
41   !!   nemo_ctl      : initialisation of the contol print
42   !!   nemo_closefile: close remaining open files
43   !!   nemo_alloc    : dynamical allocation
44   !!   nemo_partition: calculate MPP domain decomposition
45   !!   factorise     : calculate the factors of the no. of MPI processes
46   !!----------------------------------------------------------------------
47   USE step_oce       ! module used in the ocean time stepping module (step.F90)
48   USE phycst         ! physical constant                  (par_cst routine)
49   USE domain         ! domain initialization   (dom_init & dom_cfg routines)
50   USE usrdef_nam     ! user defined configuration
51   USE tideini        ! tidal components initialization   (tide_ini routine)
52   USE bdy_oce,   ONLY: ln_bdy
53   USE bdyini         ! open boundary cond. setting       (bdy_init routine)
54   USE istate         ! initial state setting          (istate_init routine)
55   USE ldfdyn         ! lateral viscosity setting      (ldfdyn_init routine)
56   USE ldftra         ! lateral diffusivity setting    (ldftra_init routine)
57   USE zdfini         ! vertical physics setting          (zdf_init routine)
58   USE trdini         ! dyn/tra trends initialization     (trd_init routine)
59   USE asminc         ! assimilation increments     
60   USE asmbkg         ! writing out state trajectory
61   USE diaptr         ! poleward transports           (dia_ptr_init routine)
62   USE diadct         ! sections transports           (dia_dct_init routine)
63   USE diaobs         ! Observation diagnostics       (dia_obs_init routine)
64   USE diacfl         ! CFL diagnostics               (dia_cfl_init routine)
65   USE step           ! NEMO time-stepping                 (stp     routine)
66   USE icbini         ! handle bergs, initialisation
67   USE icbstp         ! handle bergs, calving, themodynamics and transport
68   USE cpl_oasis3     ! OASIS3 coupling
69   USE c1d            ! 1D configuration
70   USE step_c1d       ! Time stepping loop for the 1D configuration
71   USE dyndmp         ! Momentum damping
72   USE stopar         ! Stochastic param.: ???
73   USE stopts         ! Stochastic param.: ???
74   USE diurnal_bulk   ! diurnal bulk SST
75   USE step_diu       ! diurnal bulk SST timestepping (called from here if run offline)
76   USE crsini         ! initialise grid coarsening utility
77   USE diatmb         ! Top,middle,bottom output
78   USE dia25h         ! 25h mean output
79   USE sbc_oce , ONLY : lk_oasis
80   USE wet_dry        ! Wetting and drying setting   (wad_init routine)
81#if defined key_top
82   USE trcini         ! passive tracer initialisation
83#endif
84#if defined key_nemocice_decomp
85   USE ice_domain_size, only: nx_global, ny_global
86#endif
87   !
88   USE lib_mpp        ! distributed memory computing
89   USE mppini         ! shared/distributed memory setting (mpp_init routine)
90   USE lbcnfd , ONLY  : isendto, nsndto, nfsloop, nfeloop   ! Setup of north fold exchanges
91   USE lib_fortran    ! Fortran utilities (allows no signed zero when 'key_nosignedzero' defined)
92#if defined key_iomput
93   USE xios           ! xIOserver
94#endif
95
96   IMPLICIT NONE
97   PRIVATE
98
99   PUBLIC   nemo_gcm    ! called by model.F90
100   PUBLIC   nemo_init   ! needed by AGRIF
101   PUBLIC   nemo_alloc  ! needed by TAM
102
103   CHARACTER(lc) ::   cform_aaa="( /, 'AAAAAAAA', / ) "     ! flag for output listing
104
105   !!----------------------------------------------------------------------
106   !! NEMO/OPA 3.7 , NEMO Consortium (2016)
107   !! $Id$
108   !! Software governed by the CeCILL licence     (NEMOGCM/NEMO_CeCILL.txt)
109   !!----------------------------------------------------------------------
110CONTAINS
111
112   SUBROUTINE nemo_gcm
113      !!----------------------------------------------------------------------
114      !!                     ***  ROUTINE nemo_gcm  ***
115      !!
116      !! ** Purpose :   NEMO solves the primitive equations on an orthogonal
117      !!              curvilinear mesh on the sphere.
118      !!
119      !! ** Method  : - model general initialization
120      !!              - launch the time-stepping (stp routine)
121      !!              - finalize the run by closing files and communications
122      !!
123      !! References : Madec, Delecluse, Imbard, and Levy, 1997:  internal report, IPSL.
124      !!              Madec, 2008, internal report, IPSL.
125      !!----------------------------------------------------------------------
126      INTEGER ::   istp   ! time step index
127      !!----------------------------------------------------------------------
128      !
129#if defined key_agrif
130      CALL Agrif_Init_Grids()      ! AGRIF: set the meshes
131#endif
132      !
133      !                            !-----------------------!
134      CALL nemo_init               !==  Initialisations  ==!
135      !                            !-----------------------!
136#if defined key_agrif
137      CALL Agrif_Declare_Var_dom   ! AGRIF: set the meshes for DOM
138      CALL Agrif_Declare_Var       !  "      "   "   "      "  DYN/TRA
139# if defined key_top
140      CALL Agrif_Declare_Var_top   !  "      "   "   "      "  TOP
141# endif
142# if defined key_lim2
143      CALL Agrif_Declare_Var_lim2  !  "      "   "   "      "  LIM2
144# endif
145# if defined key_lim3
146      CALL Agrif_Declare_Var_lim3  !  "      "   "   "      "  LIM3
147# endif
148#endif
149      ! check that all process are still there... If some process have an error,
150      ! they will never enter in step and other processes will wait until the end of the cpu time!
151      IF( lk_mpp )   CALL mpp_max( nstop )
152
153      IF(lwp) WRITE(numout,cform_aaa)   ! Flag AAAAAAA
154
155      !                            !-----------------------!
156      !                            !==   time stepping   ==!
157      !                            !-----------------------!
158      istp = nit000
159#if defined key_c1d
160         DO WHILE ( istp <= nitend .AND. nstop == 0 )
161            CALL stp_c1d( istp )
162            istp = istp + 1
163         END DO
164#else
165          IF( lk_asminc ) THEN
166             IF( ln_bkgwri ) CALL asm_bkg_wri( nit000 - 1 )    ! Output background fields
167             IF( ln_asmdin ) THEN                        ! Direct initialization
168                IF( ln_trainc ) CALL tra_asm_inc( nit000 - 1 )    ! Tracers
169                IF( ln_dyninc ) CALL dyn_asm_inc( nit000 - 1 )    ! Dynamics
170                IF( ln_sshinc ) CALL ssh_asm_inc( nit000 - 1 )    ! SSH
171             ENDIF
172          ENDIF
173
174#if defined key_agrif
175          CALL Agrif_Regrid()
176#endif
177
178         DO WHILE ( istp <= nitend .AND. nstop == 0 )
179#if defined key_agrif
180            CALL stp                         ! AGRIF: time stepping
181#else
182            IF ( .NOT. ln_diurnal_only ) THEN
183               CALL stp( istp )                 ! standard time stepping
184            ELSE
185               CALL stp_diurnal( istp )        ! time step only the diurnal SST
186            ENDIF 
187#endif
188            istp = istp + 1
189            IF( lk_mpp )   CALL mpp_max( nstop )
190         END DO
191#endif
192
193      IF( ln_diaobs   )   CALL dia_obs_wri
194      !
195      IF( ln_icebergs )   CALL icb_end( nitend )
196
197      !                            !------------------------!
198      !                            !==  finalize the run  ==!
199      !                            !------------------------!
200      IF(lwp) WRITE(numout,cform_aaa)        ! Flag AAAAAAA
201      !
202      IF( nstop /= 0 .AND. lwp ) THEN        ! error print
203         WRITE(numout,cform_err)
204         WRITE(numout,*) nstop, ' error have been found'
205      ENDIF
206      !
207#if defined key_agrif
208      IF( .NOT. Agrif_Root() ) THEN
209                         CALL Agrif_ParentGrid_To_ChildGrid()
210         IF( ln_diaobs ) CALL dia_obs_wri
211         IF( nn_timing == 1 )   CALL timing_finalize
212                                CALL Agrif_ChildGrid_To_ParentGrid()
213      ENDIF
214#endif
215      IF( nn_timing == 1 )   CALL timing_finalize
216      !
217      CALL nemo_closefile
218      !
219#if defined key_iomput
220      CALL xios_finalize                     ! end mpp communications with xios
221      IF( lk_oasis )   CALL cpl_finalize     ! end coupling and mpp communications with OASIS
222#else
223      IF( lk_oasis ) THEN
224         CALL cpl_finalize                   ! end coupling and mpp communications with OASIS
225      ELSE
226         IF( lk_mpp )   CALL mppstop         ! end mpp communications
227      ENDIF
228#endif
229      !
230   END SUBROUTINE nemo_gcm
231
232
233   SUBROUTINE nemo_init
234      !!----------------------------------------------------------------------
235      !!                     ***  ROUTINE nemo_init  ***
236      !!
237      !! ** Purpose :   initialization of the NEMO GCM
238      !!----------------------------------------------------------------------
239      INTEGER  ::   ji                 ! dummy loop indices
240      INTEGER  ::   ios, ilocal_comm   ! local integer
241      CHARACTER(len=120), DIMENSION(30) ::   cltxt, cltxt2, clnam
242      !
243      NAMELIST/namctl/ ln_ctl   , nn_print, nn_ictls, nn_ictle,   &
244         &             nn_isplt , nn_jsplt, nn_jctls, nn_jctle,   &
245         &             nn_timing, nn_diacfl
246      NAMELIST/namcfg/ ln_read_cfg, cn_domcfg, ln_write_cfg, cn_domcfg_out, ln_use_jattr
247      !!----------------------------------------------------------------------
248      !
249      cltxt  = ''
250      cltxt2 = ''
251      clnam  = '' 
252      cxios_context = 'nemo'
253      !
254      !                             ! Open reference namelist and configuration namelist files
255      CALL ctl_opn( numnam_ref, 'namelist_ref', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
256      CALL ctl_opn( numnam_cfg, 'namelist_cfg', 'OLD', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE. )
257      !
258      REWIND( numnam_ref )              ! Namelist namctl in reference namelist : Control prints
259      READ  ( numnam_ref, namctl, IOSTAT = ios, ERR = 901 )
260901   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namctl in reference namelist', .TRUE. )
261      !
262      REWIND( numnam_cfg )              ! Namelist namctl in confguration namelist
263      READ  ( numnam_cfg, namctl, IOSTAT = ios, ERR = 902 )
264902   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namctl in configuration namelist', .TRUE. )
265      !
266      REWIND( numnam_ref )              ! Namelist namcfg in reference namelist : Control prints
267      READ  ( numnam_ref, namcfg, IOSTAT = ios, ERR = 903 )
268903   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namcfg in reference namelist', .TRUE. )
269
270      REWIND( numnam_cfg )              ! Namelist namcfg in confguration namelist : Control prints & Benchmark
271      READ  ( numnam_cfg, namcfg, IOSTAT = ios, ERR = 904 )
272904   IF( ios /= 0 ) CALL ctl_nam ( ios , 'namcfg in configuration namelist', .TRUE. )   
273
274      !                             !--------------------------!
275      !                             !  Set global domain size  !   (control print return in cltxt2)
276      !                             !--------------------------!
277      IF( ln_read_cfg ) THEN              ! Read sizes in domain configuration file
278         CALL domain_cfg ( cltxt2,        cn_cfg, nn_cfg, jpiglo, jpjglo, jpkglo, jperio )
279         !
280      ELSE                                ! user-defined namelist
281         CALL usr_def_nam( cltxt2, clnam, cn_cfg, nn_cfg, jpiglo, jpjglo, jpkglo, jperio )
282      ENDIF
283      !
284      jpk = jpkglo
285      !
286#if defined key_agrif
287      IF( .NOT. Agrif_Root() ) THEN       ! AGRIF children: specific setting (cf. agrif_user.F90)
288         jpiglo  = nbcellsx + 2 + 2*nbghostcells
289         jpjglo  = nbcellsy + 2 + 2*nbghostcells
290         jpi     = ( jpiglo-2*jpreci + (jpni-1+0) ) / jpni + 2*jpreci
291         jpj     = ( jpjglo-2*jprecj + (jpnj-1+0) ) / jpnj + 2*jprecj
292         nperio  = 0
293         jperio  = 0
294         ln_use_jattr = .false.
295      ENDIF
296#endif
297      !
298      !                             !--------------------------------------------!
299      !                             !  set communicator & select the local node  !
300      !                             !  NB: mynode also opens output.namelist.dyn !
301      !                             !      on unit number numond on first proc   !
302      !                             !--------------------------------------------!
303#if defined key_iomput
304      IF( Agrif_Root() ) THEN
305         IF( lk_oasis ) THEN
306            CALL cpl_init( "oceanx", ilocal_comm )                               ! nemo local communicator given by oasis
307            CALL xios_initialize( "not used"       ,local_comm= ilocal_comm )    ! send nemo communicator to xios
308         ELSE
309            CALL xios_initialize( "for_xios_mpi_id",return_comm=ilocal_comm )    ! nemo local communicator given by xios
310         ENDIF
311      ENDIF
312      ! Nodes selection (control print return in cltxt)
313      narea = mynode( cltxt, 'output.namelist.dyn', numnam_ref, numnam_cfg, numond , nstop, ilocal_comm )
314#else
315      IF( lk_oasis ) THEN
316         IF( Agrif_Root() ) THEN
317            CALL cpl_init( "oceanx", ilocal_comm )          ! nemo local communicator given by oasis
318         ENDIF
319         ! Nodes selection (control print return in cltxt)
320         narea = mynode( cltxt, 'output.namelist.dyn', numnam_ref, numnam_cfg, numond , nstop, ilocal_comm )
321      ELSE
322         ilocal_comm = 0                                    ! Nodes selection (control print return in cltxt)
323         narea = mynode( cltxt, 'output.namelist.dyn', numnam_ref, numnam_cfg, numond , nstop )
324      ENDIF
325#endif
326
327      narea = narea + 1                                     ! mynode return the rank of proc (0 --> jpnij -1 )
328
329      lwm = (narea == 1)                                    ! control of output namelists
330      lwp = (narea == 1) .OR. ln_ctl                        ! control of all listing output print
331
332      IF(lwm) THEN               ! write merged namelists from earlier to output namelist
333         !                       ! now that the file has been opened in call to mynode.
334         !                       ! NB: nammpp has already been written in mynode (if lk_mpp_mpi)
335         WRITE( numond, namctl )
336         WRITE( numond, namcfg )
337         IF( .NOT.ln_read_cfg ) THEN
338            DO ji = 1, SIZE(clnam)
339               IF( TRIM(clnam(ji)) /= '' )   WRITE(numond, * ) clnam(ji)     ! namusr_def print
340            END DO
341         ENDIF
342      ENDIF
343
344      ! If dimensions of processor grid weren't specified in the namelist file
345      ! then we calculate them here now that we have our communicator size
346      IF( jpni < 1 .OR. jpnj < 1 ) THEN
347#if   defined key_mpp_mpi
348         IF( Agrif_Root() )   CALL nemo_partition( mppsize )
349#else
350         jpni  = 1
351         jpnj  = 1
352         jpnij = jpni*jpnj
353#endif
354      ENDIF
355
356      IF( Agrif_Root() ) THEN       ! AGRIF mother: specific setting from jpni and jpnj
357#if defined key_nemocice_decomp
358         jpi = ( nx_global+2-2*jpreci + (jpni-1) ) / jpni + 2*jpreci    ! first  dim.
359         jpj = ( ny_global+2-2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj    ! second dim.
360#else
361         jpi = ( jpiglo     -2*jpreci + (jpni-1) ) / jpni + 2*jpreci    ! first  dim.
362         jpj = ( jpjglo     -2*jprecj + (jpnj-1) ) / jpnj + 2*jprecj    ! second dim.
363#endif
364      ENDIF
365
366!!gm ???    why here  it has already been done in line 301 !
367      jpk = jpkglo                                             ! third dim
368!!gm end
369
370#if defined key_agrif
371      ! simple trick to use same vertical grid as parent but different number of levels:
372      ! Save maximum number of levels in jpkglo, then define all vertical grids with this number.
373      ! Suppress once vertical online interpolation is ok
374      IF(.NOT.Agrif_Root())   jpkglo = Agrif_Parent( jpkglo )
375#endif
376      jpim1 = jpi-1                                            ! inner domain indices
377      jpjm1 = jpj-1                                            !   "           "
378      jpkm1 = MAX( 1, jpk-1 )                                  !   "           "
379      jpij  = jpi*jpj                                          !  jpi x j
380
381      IF(lwp) THEN                            ! open listing units
382         !
383         CALL ctl_opn( numout, 'ocean.output', 'REPLACE', 'FORMATTED', 'SEQUENTIAL', -1, 6, .FALSE., narea )
384         !
385         WRITE(numout,*)
386         WRITE(numout,*) '   CNRS - NERC - Met OFFICE - MERCATOR-ocean - INGV - CMCC'
387         WRITE(numout,*) '                       NEMO team'
388         WRITE(numout,*) '            Ocean General Circulation Model'
389         WRITE(numout,*) '                NEMO version 3.7  (2016) '
390         WRITE(numout,*)
391         WRITE(numout,*)
392         DO ji = 1, SIZE(cltxt)
393            IF( TRIM(cltxt (ji)) /= '' )   WRITE(numout,*) cltxt(ji)    ! control print of mynode
394         END DO
395         WRITE(numout,*)
396         WRITE(numout,*)
397         DO ji = 1, SIZE(cltxt2)
398            IF( TRIM(cltxt2(ji)) /= '' )   WRITE(numout,*) cltxt2(ji)   ! control print of domain size
399         END DO
400         !
401         WRITE(numout,cform_aaa)                                        ! Flag AAAAAAA
402         !
403      ENDIF
404
405      ! Now we know the dimensions of the grid and numout has been set: we can allocate arrays
406      CALL nemo_alloc()
407
408      !                             !-------------------------------!
409      !                             !  NEMO general initialization  !
410      !                             !-------------------------------!
411
412      CALL nemo_ctl                          ! Control prints
413
414      !                                      ! Domain decomposition
415      CALL mpp_init
416      !
417      IF( nn_timing == 1 )  CALL timing_init
418      !
419      !                                      ! General initialization
420                            CALL     phy_cst    ! Physical constants
421                            CALL     eos_init   ! Equation of state
422      IF( lk_c1d        )   CALL     c1d_init   ! 1D column configuration
423                            CALL     wad_init   ! Wetting and drying options
424                            CALL     dom_init   ! Domain
425      IF( ln_crs        )   CALL     crs_init   ! coarsened grid: domain initialization
426      IF( ln_nnogather )    CALL nemo_northcomms! northfold neighbour lists (must be done after the masks are defined)
427      IF( ln_ctl        )   CALL prt_ctl_init   ! Print control
428     
429      CALL diurnal_sst_bulk_init            ! diurnal sst
430      IF ( ln_diurnal ) CALL diurnal_sst_coolskin_init   ! cool skin   
431     
432      ! IF ln_diurnal_only, then we only want a subset of the initialisation routines
433      IF ( ln_diurnal_only ) THEN
434         CALL  istate_init   ! ocean initial state (Dynamics and tracers)
435         CALL     sbc_init   ! Forcings : surface module
436         CALL tra_qsr_init   ! penetrative solar radiation qsr
437         IF( ln_diaobs     ) THEN                  ! Observation & model comparison
438            CALL dia_obs_init            ! Initialize observational data
439            CALL dia_obs( nit000 - 1 )   ! Observation operator for restart
440         ENDIF     
441         !                                     ! Assimilation increments
442         IF( lk_asminc     )   CALL asm_inc_init   ! Initialize assimilation increments
443                 
444         IF(lwp) WRITE(numout,*) 'Euler time step switch is ', neuler
445         RETURN
446      ENDIF
447     
448                            CALL  istate_init   ! ocean initial state (Dynamics and tracers)
449
450      !                                      ! external forcing
451!!gm to be added : creation and call of sbc_apr_init
452                            CALL    tide_init   ! tidal harmonics
453                            CALL     sbc_init   ! surface boundary conditions (including sea-ice)
454                            CALL     bdy_init   ! Open boundaries initialisation
455      !                                      ! Ocean physics
456      !                                         ! Vertical physics
457                            CALL     zdf_init      ! namelist read
458                            CALL zdf_bfr_init      ! bottom friction
459      IF( lk_zdfric     )   CALL zdf_ric_init      ! Richardson number dependent Kz
460      IF( lk_zdftke     )   CALL zdf_tke_init      ! TKE closure scheme
461      IF( lk_zdfgls     )   CALL zdf_gls_init      ! GLS closure scheme
462      IF( lk_zdftmx     )   CALL zdf_tmx_init      ! tidal vertical mixing
463      IF( lk_zdfddm     )   CALL zdf_ddm_init      ! double diffusive mixing
464         
465      !                                         ! Lateral physics
466                            CALL ldf_tra_init      ! Lateral ocean tracer physics
467                            CALL ldf_eiv_init      ! eddy induced velocity param.
468                            CALL ldf_dyn_init      ! Lateral ocean momentum physics
469
470      !                                         ! Active tracers
471                            CALL tra_qsr_init      ! penetrative solar radiation qsr
472                            CALL tra_bbc_init      ! bottom heat flux
473      IF( lk_trabbl     )   CALL tra_bbl_init      ! advective (and/or diffusive) bottom boundary layer scheme
474                            CALL tra_dmp_init      ! internal tracer damping
475                            CALL tra_adv_init      ! horizontal & vertical advection
476                            CALL tra_ldf_init      ! lateral mixing
477                            CALL tra_zdf_init      ! vertical mixing and after tracer fields
478
479      !                                         ! Dynamics
480      IF( lk_c1d        )   CALL dyn_dmp_init      ! internal momentum damping
481                            CALL dyn_adv_init      ! advection (vector or flux form)
482                            CALL dyn_vor_init      ! vorticity term including Coriolis
483                            CALL dyn_ldf_init      ! lateral mixing
484                            CALL dyn_hpg_init      ! horizontal gradient of Hydrostatic pressure
485                            CALL dyn_zdf_init      ! vertical diffusion
486                            CALL dyn_spg_init      ! surface pressure gradient
487
488#if defined key_top
489      !                                      ! Passive tracers
490                            CALL     trc_init
491#endif
492      IF( l_ldfslp      )   CALL ldf_slp_init   ! slope of lateral mixing
493
494      !                                      ! Icebergs
495                            CALL icb_init( rdt, nit000)   ! initialise icebergs instance
496
497      !                                      ! Misc. options
498                            CALL sto_par_init   ! Stochastic parametrization
499      IF( ln_sto_eos     )  CALL sto_pts_init   ! RRandom T/S fluctuations
500     
501      !                                      ! Diagnostics
502      IF( lk_floats     )   CALL     flo_init   ! drifting Floats
503                            CALL dia_cfl_init   ! Initialise CFL diagnostics
504                            CALL dia_ptr_init   ! Poleward TRansports initialization
505      IF( lk_diadct     )   CALL dia_dct_init   ! Sections tranports
506                            CALL dia_hsb_init   ! heat content, salt content and volume budgets
507                            CALL     trd_init   ! Mixed-layer/Vorticity/Integral constraints trends
508                            CALL dia_obs_init            ! Initialize observational data
509      IF( ln_diaobs     )   CALL dia_obs( nit000 - 1 )   ! Observation operator for restart
510
511      !                                         ! Assimilation increments
512      IF( lk_asminc     )   CALL asm_inc_init   ! Initialize assimilation increments
513      IF(lwp) WRITE(numout,*) 'Euler time step switch is ', neuler
514                            CALL dia_tmb_init  ! TMB outputs
515                            CALL dia_25h_init  ! 25h mean  outputs
516      !
517   END SUBROUTINE nemo_init
518
519
520   SUBROUTINE nemo_ctl
521      !!----------------------------------------------------------------------
522      !!                     ***  ROUTINE nemo_ctl  ***
523      !!
524      !! ** Purpose :   control print setting
525      !!
526      !! ** Method  : - print namctl information and check some consistencies
527      !!----------------------------------------------------------------------
528      !
529      IF(lwp) THEN                  ! control print
530         WRITE(numout,*)
531         WRITE(numout,*) 'nemo_ctl: Control prints'
532         WRITE(numout,*) '~~~~~~~ '
533         WRITE(numout,*) '   Namelist namctl'
534         WRITE(numout,*) '      run control (for debugging)     ln_ctl     = ', ln_ctl
535         WRITE(numout,*) '      level of print                  nn_print   = ', nn_print
536         WRITE(numout,*) '      Start i indice for SUM control  nn_ictls   = ', nn_ictls
537         WRITE(numout,*) '      End i indice for SUM control    nn_ictle   = ', nn_ictle
538         WRITE(numout,*) '      Start j indice for SUM control  nn_jctls   = ', nn_jctls
539         WRITE(numout,*) '      End j indice for SUM control    nn_jctle   = ', nn_jctle
540         WRITE(numout,*) '      number of proc. following i     nn_isplt   = ', nn_isplt
541         WRITE(numout,*) '      number of proc. following j     nn_jsplt   = ', nn_jsplt
542         WRITE(numout,*) '      timing activated    (0/1)       nn_timing  = ', nn_timing
543      ENDIF
544      !
545      nprint    = nn_print          ! convert DOCTOR namelist names into OLD names
546      nictls    = nn_ictls
547      nictle    = nn_ictle
548      njctls    = nn_jctls
549      njctle    = nn_jctle
550      isplt     = nn_isplt
551      jsplt     = nn_jsplt
552
553      IF(lwp) THEN                  ! control print
554         WRITE(numout,*)
555         WRITE(numout,*) 'namcfg : configuration initialization through namelist read'
556         WRITE(numout,*) '~~~~~~ '
557         WRITE(numout,*) '   Namelist namcfg'
558         WRITE(numout,*) '      read domain configuration file                ln_read_cfg      = ', ln_read_cfg
559         WRITE(numout,*) '         filename to be read                           cn_domcfg     = ', TRIM(cn_domcfg)
560         WRITE(numout,*) '      write configuration definition file           ln_write_cfg     = ', ln_write_cfg
561         WRITE(numout,*) '         filename to be written                        cn_domcfg_out = ', TRIM(cn_domcfg_out)
562         WRITE(numout,*) '      use file attribute if exists as i/p j-start   ln_use_jattr     = ', ln_use_jattr
563      ENDIF
564      !                             ! Parameter control
565      !
566      IF( ln_ctl ) THEN                 ! sub-domain area indices for the control prints
567         IF( lk_mpp .AND. jpnij > 1 ) THEN
568            isplt = jpni   ;   jsplt = jpnj   ;   ijsplt = jpni*jpnj   ! the domain is forced to the real split domain
569         ELSE
570            IF( isplt == 1 .AND. jsplt == 1  ) THEN
571               CALL ctl_warn( ' - isplt & jsplt are equal to 1',   &
572                  &           ' - the print control will be done over the whole domain' )
573            ENDIF
574            ijsplt = isplt * jsplt            ! total number of processors ijsplt
575         ENDIF
576         IF(lwp) WRITE(numout,*)'          - The total number of processors over which the'
577         IF(lwp) WRITE(numout,*)'            print control will be done is ijsplt : ', ijsplt
578         !
579         !                              ! indices used for the SUM control
580         IF( nictls+nictle+njctls+njctle == 0 )   THEN    ! print control done over the default area
581            lsp_area = .FALSE.
582         ELSE                                             ! print control done over a specific  area
583            lsp_area = .TRUE.
584            IF( nictls < 1 .OR. nictls > jpiglo )   THEN
585               CALL ctl_warn( '          - nictls must be 1<=nictls>=jpiglo, it is forced to 1' )
586               nictls = 1
587            ENDIF
588            IF( nictle < 1 .OR. nictle > jpiglo )   THEN
589               CALL ctl_warn( '          - nictle must be 1<=nictle>=jpiglo, it is forced to jpiglo' )
590               nictle = jpiglo
591            ENDIF
592            IF( njctls < 1 .OR. njctls > jpjglo )   THEN
593               CALL ctl_warn( '          - njctls must be 1<=njctls>=jpjglo, it is forced to 1' )
594               njctls = 1
595            ENDIF
596            IF( njctle < 1 .OR. njctle > jpjglo )   THEN
597               CALL ctl_warn( '          - njctle must be 1<=njctle>=jpjglo, it is forced to jpjglo' )
598               njctle = jpjglo
599            ENDIF
600         ENDIF
601      ENDIF
602      !
603      IF( 1_wp /= SIGN(1._wp,-0._wp)  )   CALL ctl_stop( 'nemo_ctl: The intrinsec SIGN function follows ',  &
604         &                                               'f2003 standard. '                              ,  &
605         &                                               'Compile with key_nosignedzero enabled' )
606      !
607   END SUBROUTINE nemo_ctl
608
609
610   SUBROUTINE nemo_closefile
611      !!----------------------------------------------------------------------
612      !!                     ***  ROUTINE nemo_closefile  ***
613      !!
614      !! ** Purpose :   Close the files
615      !!----------------------------------------------------------------------
616      !
617      IF( lk_mpp )   CALL mppsync
618      !
619      CALL iom_close                                 ! close all input/output files managed by iom_*
620      !
621      IF( numstp          /= -1 )   CLOSE( numstp          )   ! time-step file
622      IF( numrun          /= -1 )   CLOSE( numrun          )   ! run statistics file
623      IF( numnam_ref      /= -1 )   CLOSE( numnam_ref      )   ! oce reference namelist
624      IF( numnam_cfg      /= -1 )   CLOSE( numnam_cfg      )   ! oce configuration namelist
625      IF( lwm.AND.numond  /= -1 )   CLOSE( numond          )   ! oce output namelist
626      IF( numnam_ice_ref  /= -1 )   CLOSE( numnam_ice_ref  )   ! ice reference namelist
627      IF( numnam_ice_cfg  /= -1 )   CLOSE( numnam_ice_cfg  )   ! ice configuration namelist
628      IF( lwm.AND.numoni  /= -1 )   CLOSE( numoni          )   ! ice output namelist
629      IF( numevo_ice      /= -1 )   CLOSE( numevo_ice      )   ! ice variables (temp. evolution)
630      IF( numout          /=  6 )   CLOSE( numout          )   ! standard model output file
631      IF( numdct_vol      /= -1 )   CLOSE( numdct_vol      )   ! volume transports
632      IF( numdct_heat     /= -1 )   CLOSE( numdct_heat     )   ! heat transports
633      IF( numdct_salt     /= -1 )   CLOSE( numdct_salt     )   ! salt transports
634      !
635      numout = 6                                     ! redefine numout in case it is used after this point...
636      !
637   END SUBROUTINE nemo_closefile
638
639
640   SUBROUTINE nemo_alloc
641      !!----------------------------------------------------------------------
642      !!                     ***  ROUTINE nemo_alloc  ***
643      !!
644      !! ** Purpose :   Allocate all the dynamic arrays of the OPA modules
645      !!
646      !! ** Method  :
647      !!----------------------------------------------------------------------
648      USE diawri    , ONLY: dia_wri_alloc
649      USE dom_oce   , ONLY: dom_oce_alloc
650      USE trc_oce   , ONLY: trc_oce_alloc
651#if defined key_diadct 
652      USE diadct    , ONLY: diadct_alloc 
653#endif
654      USE bdy_oce   , ONLY: bdy_oce_alloc
655      !
656      INTEGER :: ierr
657      !!----------------------------------------------------------------------
658      !
659      ierr =        oce_alloc       ()          ! ocean
660      ierr = ierr + dia_wri_alloc   ()
661      ierr = ierr + dom_oce_alloc   ()          ! ocean domain
662      ierr = ierr + zdf_oce_alloc   ()          ! ocean vertical physics
663      !
664      ierr = ierr + trc_oce_alloc   ()          ! shared TRC / TRA arrays
665      !
666#if defined key_diadct 
667      ierr = ierr + diadct_alloc    ()          !
668#endif
669      ierr = ierr + bdy_oce_alloc   ()          ! bdy masks (incl. initialization)
670      !
671      IF( lk_mpp    )   CALL mpp_sum( ierr )
672      IF( ierr /= 0 )   CALL ctl_stop( 'STOP', 'nemo_alloc : unable to allocate standard ocean arrays' )
673      !
674   END SUBROUTINE nemo_alloc
675
676
677   SUBROUTINE nemo_partition( num_pes )
678      !!----------------------------------------------------------------------
679      !!                 ***  ROUTINE nemo_partition  ***
680      !!
681      !! ** Purpose :
682      !!
683      !! ** Method  :
684      !!----------------------------------------------------------------------
685      INTEGER, INTENT(in) ::   num_pes   ! The number of MPI processes we have
686      !
687      INTEGER, PARAMETER :: nfactmax = 20
688      INTEGER :: nfact ! The no. of factors returned
689      INTEGER :: ierr  ! Error flag
690      INTEGER :: ji
691      INTEGER :: idiff, mindiff, imin ! For choosing pair of factors that are closest in value
692      INTEGER, DIMENSION(nfactmax) :: ifact ! Array of factors
693      !!----------------------------------------------------------------------
694      !
695      ierr = 0
696      !
697      CALL factorise( ifact, nfactmax, nfact, num_pes, ierr )
698      !
699      IF( nfact <= 1 ) THEN
700         WRITE (numout, *) 'WARNING: factorisation of number of PEs failed'
701         WRITE (numout, *) '       : using grid of ',num_pes,' x 1'
702         jpnj = 1
703         jpni = num_pes
704      ELSE
705         ! Search through factors for the pair that are closest in value
706         mindiff = 1000000
707         imin    = 1
708         DO ji = 1, nfact-1, 2
709            idiff = ABS( ifact(ji) - ifact(ji+1) )
710            IF( idiff < mindiff ) THEN
711               mindiff = idiff
712               imin = ji
713            ENDIF
714         END DO
715         jpnj = ifact(imin)
716         jpni = ifact(imin + 1)
717      ENDIF
718      !
719      jpnij = jpni*jpnj
720      !
721   END SUBROUTINE nemo_partition
722
723
724   SUBROUTINE factorise( kfax, kmaxfax, knfax, kn, kerr )
725      !!----------------------------------------------------------------------
726      !!                     ***  ROUTINE factorise  ***
727      !!
728      !! ** Purpose :   return the prime factors of n.
729      !!                knfax factors are returned in array kfax which is of
730      !!                maximum dimension kmaxfax.
731      !! ** Method  :
732      !!----------------------------------------------------------------------
733      INTEGER                    , INTENT(in   ) ::   kn, kmaxfax
734      INTEGER                    , INTENT(  out) ::   kerr, knfax
735      INTEGER, DIMENSION(kmaxfax), INTENT(  out) ::   kfax
736      !
737      INTEGER :: ifac, jl, inu
738      INTEGER, PARAMETER :: ntest = 14
739      INTEGER, DIMENSION(ntest) ::   ilfax
740      !!----------------------------------------------------------------------
741      !
742      ! lfax contains the set of allowed factors.
743      ilfax(:) = (/(2**jl,jl=ntest,1,-1)/)
744      !
745      ! Clear the error flag and initialise output vars
746      kerr  = 0
747      kfax  = 1
748      knfax = 0
749      !
750      ! Find the factors of n.
751      IF( kn == 1 )   GOTO 20
752
753      ! nu holds the unfactorised part of the number.
754      ! knfax holds the number of factors found.
755      ! l points to the allowed factor list.
756      ! ifac holds the current factor.
757      !
758      inu   = kn
759      knfax = 0
760      !
761      DO jl = ntest, 1, -1
762         !
763         ifac = ilfax(jl)
764         IF( ifac > inu )   CYCLE
765
766         ! Test whether the factor will divide.
767
768         IF( MOD(inu,ifac) == 0 ) THEN
769            !
770            knfax = knfax + 1            ! Add the factor to the list
771            IF( knfax > kmaxfax ) THEN
772               kerr = 6
773               write (*,*) 'FACTOR: insufficient space in factor array ', knfax
774               return
775            ENDIF
776            kfax(knfax) = ifac
777            ! Store the other factor that goes with this one
778            knfax = knfax + 1
779            kfax(knfax) = inu / ifac
780            !WRITE (*,*) 'ARPDBG, factors ',knfax-1,' & ',knfax,' are ', kfax(knfax-1),' and ',kfax(knfax)
781         ENDIF
782         !
783      END DO
784      !
785   20 CONTINUE      ! Label 20 is the exit point from the factor search loop.
786      !
787   END SUBROUTINE factorise
788
789#if defined key_mpp_mpi
790
791   SUBROUTINE nemo_northcomms
792      !!----------------------------------------------------------------------
793      !!                     ***  ROUTINE  nemo_northcomms  ***
794      !! ** Purpose :   Setup for north fold exchanges with explicit
795      !!                point-to-point messaging
796      !!
797      !! ** Method :   Initialization of the northern neighbours lists.
798      !!----------------------------------------------------------------------
799      !!    1.0  ! 2011-10  (A. C. Coward, NOCS & J. Donners, PRACE)
800      !!    2.0  ! 2013-06 Setup avoiding MPI communication (I. Epicoco, S. Mocavero, CMCC)
801      !!----------------------------------------------------------------------
802      INTEGER  ::   sxM, dxM, sxT, dxT, jn
803      INTEGER  ::   njmppmax
804      !!----------------------------------------------------------------------
805      !
806      njmppmax = MAXVAL( njmppt )
807      !
808      !initializes the north-fold communication variables
809      isendto(:) = 0
810      nsndto     = 0
811      !
812      !if I am a process in the north
813      IF ( njmpp == njmppmax ) THEN
814          !sxM is the first point (in the global domain) needed to compute the
815          !north-fold for the current process
816          sxM = jpiglo - nimppt(narea) - nlcit(narea) + 1
817          !dxM is the last point (in the global domain) needed to compute the
818          !north-fold for the current process
819          dxM = jpiglo - nimppt(narea) + 2
820
821          !loop over the other north-fold processes to find the processes
822          !managing the points belonging to the sxT-dxT range
823 
824          DO jn = 1, jpni
825                !sxT is the first point (in the global domain) of the jn
826                !process
827                sxT = nfiimpp(jn, jpnj)
828                !dxT is the last point (in the global domain) of the jn
829                !process
830                dxT = nfiimpp(jn, jpnj) + nfilcit(jn, jpnj) - 1
831                IF ((sxM .gt. sxT) .AND. (sxM .lt. dxT)) THEN
832                   nsndto = nsndto + 1
833                   isendto(nsndto) = jn
834                ELSEIF ((sxM .le. sxT) .AND. (dxM .ge. dxT)) THEN
835                   nsndto = nsndto + 1
836                   isendto(nsndto) = jn
837                ELSEIF ((dxM .lt. dxT) .AND. (sxT .lt. dxM)) THEN
838                   nsndto = nsndto + 1
839                   isendto(nsndto) = jn
840                ENDIF
841          END DO
842          nfsloop = 1
843          nfeloop = nlci
844          DO jn = 2,jpni-1
845           IF(nfipproc(jn,jpnj) .eq. (narea - 1)) THEN
846              IF (nfipproc(jn - 1 ,jpnj) .eq. -1) THEN
847                 nfsloop = nldi
848              ENDIF
849              IF (nfipproc(jn + 1,jpnj) .eq. -1) THEN
850                 nfeloop = nlei
851              ENDIF
852           ENDIF
853        END DO
854
855      ENDIF
856      l_north_nogather = .TRUE.
857   END SUBROUTINE nemo_northcomms
858
859#else
860   SUBROUTINE nemo_northcomms      ! Dummy routine
861      WRITE(*,*) 'nemo_northcomms: You should not have seen this print! error?'
862   END SUBROUTINE nemo_northcomms
863#endif
864
865   !!======================================================================
866END MODULE nemogcm
867
Note: See TracBrowser for help on using the repository browser.