New URL for NEMO forge!   http://forge.nemo-ocean.eu

Since March 2022 along with NEMO 4.2 release, the code development moved to a self-hosted GitLab.
This present forge is now archived and remained online for history.
do_loop_substitute.h90 in NEMO/branches/UKMO/dev_r12866_HPC-02_Daley_Tiling_trial_extra_halo/src/OCE – NEMO

source: NEMO/branches/UKMO/dev_r12866_HPC-02_Daley_Tiling_trial_extra_halo/src/OCE/do_loop_substitute.h90 @ 12906

Last change on this file since 12906 was 12906, checked in by hadcv, 4 years ago

Implement tiling trial in extended haloes development

File size: 15.7 KB
Line 
1#if defined show_comments
2! These comments are not intended to be retained during preprocessing; i.e. do not define "show_comments"
3!!----------------------------------------------------------------------
4!! NEMO/OCE 4.0 , NEMO Consortium (2018)
5!! Software governed by the CeCILL license (see ./LICENSE)
6!!----------------------------------------------------------------------
7! This header file contains preprocessor definitions and macros used in the do-loop substitutions introduced
8! between version 4.0 and 4.2. The primary aim of these macros is to assist in future applications of tiling
9! to improve performance. This is expected to be achieved by alternative versions of these macros in selected
10! locations. The initial introduction of these macros simply replaces all identifiable nested 2D- and 3D-loops
11! with single line statements (and adjusts indenting accordingly). Do loops are identifiable if they comform
12! to either:
13!                                       DO jk = ....
14!   DO jj = ....                           DO jj = ...
15!      DO ji = ....                           DO ji = ...
16!         .                   OR                 . 
17!         .                                      .
18!     END DO                                  END DO
19!   END DO                                 END DO
20!                                       END DO
21! and white-space variants thereof.
22!
23! Additionally, only loops with recognised jj and ji loops limits are treated; these are:
24! Lower limits of 1, 2 or fs_2
25! Upper limits of jpi, jpim1 or fs_jpim1 (for ji) or jpj, jpjm1 or fs_jpjm1 (for jj)
26!
27! The macro naming convention takes the form: DO_2D_BT_LR where:
28!   B is the Bottom offset from the PE's inner domain;
29!   T is the Top    offset from the PE's inner domain;
30!   L is the Left   offset from the PE's inner domain;
31!   R is the Right  offset from the PE's inner domain
32!
33! So, given an inner domain of 2,jpim1 and 2,jpjm1, a typical example would replace:
34!
35!   DO jj = 2, jpj
36!      DO ji = 1, jpim1
37!         .
38!         .
39!      END DO
40!   END DO
41!
42! with:
43!
44!   DO_2D_01_10
45!      .
46!      .
47!   END_2D
48!
49! similar conventions apply to the 3D loops macros. jk loop limits are retained through macro arguments and are not restricted. This
50! includes the possibility of strides for which an extra set of DO_3DS macros are defined.
51!
52! In the following definitions the inner PE domain is defined by start indices of (_Nis0, Njs0) and end indices of (Nie0, Njs0)
53! The following macros are defined just below: _Nis0, Njs0, _Nis1, Njs1, _Nie0, Njs0, _Nie1, Nje1.
54! These names are chosen to, hopefully, avoid any future, unintended matches elsewhere in the code.
55!
56!!gm changes ;
57!
58! -0- fortran code : defined in par_oce.F90 the folowwing valiables :
59!!#
60!!#    INTEGER, PUBLIC ::   Nis0, Nis1, Nis2   !: start I-index (_0: no halo, _1 & _2: 1 & 2-halos)
61!!#    INTEGER, PUBLIC ::   Nie0, Nie1, Nie2   !: end   I-index (_0: no halo, _1 & _2: 1 & 2-halos)
62!!#    INTEGER, PUBLIC ::   Njs0, Njs1, Njs2   !: start J-index (_0: no halo, _1 & _2: 1 & 2-halos)
63!!#    INTEGER, PUBLIC ::   Nje0, Nje1, Nje2   !: end   J-index (_0: no halo, _1 & _2: 1 & 2-halos)
64!!#
65! -1- fortran code  put in  mppinit.F90 :   
66!!#            just after the futur read of nn_hls in namXXX (to be defined)
67!!#            NB: currently nn_hls is defined as a parameter in par_oce.F90
68!!#   SUBROUTINE init_do_loop
69!!#      !!----------------------------------------------------------------------
70!!#      !!                  ***  ROUTINE init_do_loop_indices  ***
71!!#      !!
72!!#      !! ** Purpose :   set the starting/ending indices of DO-loop
73!!#      !!              These indices are used in do_loop_substitute.h90
74!!#      !!----------------------------------------------------------------------!!# !                             !==  set the starting/ending indices of DO-loop  ==!   (used in do_loop_substitute.h90)
75!!#      !
76!!#      IF(     nn_hls == 1 ) THEN          !* halo size of 1
77!!#         !
78!!#         Nis0 =   2     ;   Nis1 =   1     ;   Nis2 = Nis1
79!!#         Njs0 = Nis0    ;   Njs1 = Nis1    ;   Njs2 = Nis1
80!!#         !
81!!#         Nie0 = jpi-1   ;   Nje1 = jpi     ;   Nie2 = Nie1
82!!#         Nje0 = jpj-1   ;   Nje1 = jpj-1   ;   Nje2 = Nie1
83!!#         !
84!!#      ELSEIF( nn_hls == 2 ) THEN          !* halo size of 2
85!!#         !
86!!#         Nis0 =   3     ;   Nis1 =   2     ;   Nis2 =   1
87!!#         Njs0 = Nis0    ;   Njs1 = Nis1    ;   Njs2 = Nis2
88!!#         !
89!!#         Nie0 = jpi-2   ;   Nje1 = jpi-1   ;   Nie2 = jpi
90!!#         Nje0 = jpj-2   ;   Nje1 = jpj-1   ;   Nje2 = jpj
91!!#         !
92!!#      ELSE                                !* unexpected halo size
93!!#         CALL ctl_stop( 'STOP', 'ini_mpp:  wrong value of halo size : nn_hls= 1 or 2 only !')
94!!#      ENDIF
95!!#
96!!#      !
97!!#   END SUBROUTINE init_do_loop
98!
99!  ! -2- in do_loop_substitute becomes :
100!
101#endif
102
103! 2D loops with 1
104#define Ntis0      ntsi(ntile)
105#define Ntjs0      ntsj(ntile)
106#define Ntis1      Ntis0 - 1
107#define Ntjs1      Ntjs0 - 1
108#define Ntis2      Ntis0 - nn_hls
109#define Ntjs2      Ntjs0 - nn_hls
110#define Ntie0      ntei(ntile)
111#define Ntje0      ntej(ntile)
112#define Ntie1      Ntie0 + 1
113#define Ntje1      Ntje0 + 1
114#define Ntie2      Ntie0 + nn_hls
115#define Ntje2      Ntje0 + nn_hls
116#define A2D        Ntis2:Ntie2,Ntjs2:Ntje2
117
118#define DO_2D_00_00   DO jj = Ntjs0, Ntje0   ;   DO ji = Ntis0, Ntie0
119#define DO_2D_00_01   DO jj = Ntjs0, Ntje0   ;   DO ji = Ntis0, Ntie1
120#define DO_2D_00_10   DO jj = Ntjs0, Ntje0   ;   DO ji = Ntis1, Ntie0
121#define DO_2D_00_11   DO jj = Ntjs0, Ntje0   ;   DO ji = Ntis1, Ntie1
122 
123#define DO_2D_01_00   DO jj = Ntjs0, Ntje1   ;   DO ji = Ntis0, Ntie0
124#define DO_2D_01_01   DO jj = Ntjs0, Ntje1   ;   DO ji = Ntis0, Ntie1
125#define DO_2D_01_10   DO jj = Ntjs0, Ntje1   ;   DO ji = Ntis1, Ntie0
126#define DO_2D_01_11   DO jj = Ntjs0, Ntje1   ;   DO ji = Ntis1, Ntie1
127 
128#define DO_2D_10_00   DO jj = Ntjs1, Ntje0   ;   DO ji = Ntis0, Ntie0
129#define DO_2D_10_01   DO jj = Ntjs1, Ntje0   ;   DO ji = Ntis0, Ntie1   ! not used ?
130#define DO_2D_10_10   DO jj = Ntjs1, Ntje0   ;   DO ji = Ntis1, Ntie0
131#define DO_2D_10_11   DO jj = Ntjs1, Ntje0   ;   DO ji = Ntis1, Ntie1
132 
133#define DO_2D_11_00   DO jj = Ntjs1, Ntje1   ;   DO ji = Ntis0, Ntie0
134#define DO_2D_11_01   DO jj = Ntjs1, Ntje1   ;   DO ji = Ntis0, Ntie1
135#define DO_2D_11_10   DO jj = Ntjs1, Ntje1   ;   DO ji = Ntis1, Ntie0
136#define DO_2D_11_11   DO jj = Ntjs1, Ntje1   ;   DO ji = Ntis1, Ntie1
137
138! 2D loops with 1 following a 2/3D loop with 2
139
140#define DO_2D_00_01nxt2   DO jj = Njs0    , Nje0       ;   DO ji = Nis0    , Nie1nxt2
141#define DO_2D_00_10nxt2   DO jj = Njs0    , Nje0       ;   DO ji = Nis1nxt2, Nie0
142#define DO_2D_00_11nxt2   DO jj = Njs0    , Nje0       ;   DO ji = Nis1nxt2, Nie1nxt2
143
144#define DO_2D_01_00nxt2   DO jj = Njs0    , Nje1nxt2   ;   DO ji = Nis0    , Nie0
145#define DO_2D_01_01nxt2   DO jj = Njs0    , Nje1nxt2   ;   DO ji = Nis0    , Nie1nxt2
146#define DO_2D_01_10nxt2   DO jj = Njs0    , Nje1nxt2   ;   DO ji = Nis1nxt2, Nie0
147#define DO_2D_01_11nxt2   DO jj = Njs0    , Nje1nxt2   ;   DO ji = Nis1nxt2, Nie1nxt2
148
149#define DO_2D_10_00nxt2   DO jj = Njs1nxt2, Nje0       ;   DO ji = Nis0    , Nie0
150#define DO_2D_10_01nxt2   DO jj = Njs1nxt2, Nje0       ;   DO ji = Nis0    , Nie1nxt2   ! not used ?
151#define DO_2D_10_10nxt2   DO jj = Njs1nxt2, Nje0       ;   DO ji = Nis1nxt2, Nie0
152#define DO_2D_10_11nxt2   DO jj = Njs1nxt2, Nje0       ;   DO ji = Nis1nxt2, Nie1nxt2
153
154#define DO_2D_11_00nxt2   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis0    , Nie0
155#define DO_2D_11_01nxt2   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis0    , Nie1nxt2
156#define DO_2D_11_10nxt2   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis1nxt2, Nie0
157#define DO_2D_11_11nxt2   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis1nxt2, Nie1nxt2
158
159! 2D loops with 2
160
161#define DO_2D_11_12   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis1nxt2, Nie2
162#define DO_2D_11_21   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis2    , Nie1nxt2
163#define DO_2D_11_22   DO jj = Njs1nxt2, Nje1nxt2   ;   DO ji = Nis2    , Nie2
164
165#define DO_2D_12_11   DO jj = Njs1nxt2, Nje2       ;   DO ji = Nis1nxt2, Nie1nxt2
166#define DO_2D_12_12   DO jj = Njs1nxt2, Nje2       ;   DO ji = Nis1nxt2, Nie2
167#define DO_2D_12_21   DO jj = Njs1nxt2, Nje2       ;   DO ji = Nis2    , Nie1nxt2
168#define DO_2D_12_22   DO jj = Njs1nxt2, Nje2       ;   DO ji = Nis2    , Nie2
169 
170#define DO_2D_21_11   DO jj = Njs2    , Nje1nxt2   ;   DO ji = Nis1nxt2, Nie1nxt2
171#define DO_2D_21_12   DO jj = Njs2    , Nje1nxt2   ;   DO ji = Nis1nxt2, Nie2        ! not used ?
172#define DO_2D_21_21   DO jj = Njs2    , Nje1nxt2   ;   DO ji = Nis2    , Nie1nxt2
173#define DO_2D_21_22   DO jj = Njs2    , Nje1nxt2   ;   DO ji = Nis2    , Nie2
174                                     
175#define DO_2D_22_11   DO jj = Njs2    , Nje2       ;   DO ji = Nis1nxt2, Nie1nxt2
176#define DO_2D_22_12   DO jj = Njs2    , Nje2       ;   DO ji = Nis1nxt2, Nie2
177#define DO_2D_22_21   DO jj = Njs2    , Nje2       ;   DO ji = Nis2    , Nie1nxt2
178#define DO_2D_22_22   DO jj = Njs2    , Nje2       ;   DO ji = Nis2    , Nie2
179
180! 3D loops with 1
181
182#define DO_3D_00_00(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_00   
183#define DO_3D_00_01(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_01   
184#define DO_3D_00_10(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_10   
185#define DO_3D_00_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_11   
186
187#define DO_3D_01_00(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_00   
188#define DO_3D_01_01(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_01   
189#define DO_3D_01_10(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_10   
190#define DO_3D_01_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_11   
191
192#define DO_3D_10_00(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_00   
193#define DO_3D_10_01(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_01   
194#define DO_3D_10_10(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_10   
195#define DO_3D_10_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_11   
196
197#define DO_3D_11_00(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_00   
198#define DO_3D_11_01(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_01   
199#define DO_3D_11_10(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_10   
200#define DO_3D_11_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_11   
201
202! 3D loops with 1, following a 2/3D loop with 2
203
204#define DO_3D_00_01nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_01nxt2   
205#define DO_3D_00_10nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_10nxt2   
206#define DO_3D_00_11nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_00_11nxt2   
207
208#define DO_3D_01_00nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_00nxt2   
209#define DO_3D_01_01nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_01nxt2   
210#define DO_3D_01_10nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_10nxt2   
211#define DO_3D_01_11nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_01_11nxt2   
212
213#define DO_3D_10_00nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_00nxt2   
214#define DO_3D_10_01nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_01nxt2   
215#define DO_3D_10_10nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_10nxt2   
216#define DO_3D_10_11nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_10_11nxt2   
217
218#define DO_3D_11_00nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_00nxt2   
219#define DO_3D_11_01nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_01nxt2   
220#define DO_3D_11_10nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_10nxt2   
221#define DO_3D_11_11nxt2(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_11nxt2   
222
223! 3D loops with 2
224
225#define DO_3D_11_12(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_12   
226#define DO_3D_11_21(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_21   
227#define DO_3D_11_22(ks,ke)   DO jk = ks, ke   ;   DO_2D_11_22   
228
229#define DO_3D_12_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_12_11   
230#define DO_3D_12_12(ks,ke)   DO jk = ks, ke   ;   DO_2D_12_12   
231#define DO_3D_12_21(ks,ke)   DO jk = ks, ke   ;   DO_2D_12_21   
232#define DO_3D_12_22(ks,ke)   DO jk = ks, ke   ;   DO_2D_12_22   
233
234#define DO_3D_21_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_21_11   
235#define DO_3D_21_12(ks,ke)   DO jk = ks, ke   ;   DO_2D_21_12   
236#define DO_3D_21_21(ks,ke)   DO jk = ks, ke   ;   DO_2D_21_21   
237#define DO_3D_21_22(ks,ke)   DO jk = ks, ke   ;   DO_2D_21_22   
238
239#define DO_3D_22_11(ks,ke)   DO jk = ks, ke   ;   DO_2D_22_11   
240#define DO_3D_22_12(ks,ke)   DO jk = ks, ke   ;   DO_2D_22_12   
241#define DO_3D_22_21(ks,ke)   DO jk = ks, ke   ;   DO_2D_22_21   
242#define DO_3D_22_22(ks,ke)   DO jk = ks, ke   ;   DO_2D_22_22   
243                               
244! 3D loops with increment with 1
245
246#define DO_3DS_00_00(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_00   
247#define DO_3DS_00_01(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_01   
248#define DO_3DS_00_10(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_10   
249#define DO_3DS_00_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_11   
250
251#define DO_3DS_01_00(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_00   
252#define DO_3DS_01_01(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_01   
253#define DO_3DS_01_10(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_10   
254#define DO_3DS_01_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_11   
255
256#define DO_3DS_10_00(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_00   
257#define DO_3DS_10_01(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_01   
258#define DO_3DS_10_10(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_10   
259#define DO_3DS_10_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_11   
260
261#define DO_3DS_11_00(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_00   
262#define DO_3DS_11_01(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_01   
263#define DO_3DS_11_10(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_10   
264#define DO_3DS_11_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_11   
265                               
266! 3D loops with increment with 1, following a 2/3D loop with 2
267
268#define DO_3DS_00_01nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_01nxt2   
269#define DO_3DS_00_10nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_10nxt2   
270#define DO_3DS_00_11nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_00_11nxt2   
271
272#define DO_3DS_01_00nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_00nxt2   
273#define DO_3DS_01_01nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_01nxt2   
274#define DO_3DS_01_10nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_10nxt2   
275#define DO_3DS_01_11nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_01_11nxt2   
276
277#define DO_3DS_10_00nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_00nxt2   
278#define DO_3DS_10_01nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_01nxt2   
279#define DO_3DS_10_10nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_10nxt2   
280#define DO_3DS_10_11nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_10_11nxt2   
281
282#define DO_3DS_11_00nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_00nxt2   
283#define DO_3DS_11_01nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_01nxt2   
284#define DO_3DS_11_10nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_10nxt2   
285#define DO_3DS_11_11nxt2(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_11nxt2   
286
287! 3D loops with increment with 2
288
289#define DO_3DS_11_12(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_12   
290#define DO_3DS_11_21(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_21   
291#define DO_3DS_11_22(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_11_22   
292
293#define DO_3DS_12_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_12_11   
294#define DO_3DS_12_12(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_12_12   
295#define DO_3DS_12_21(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_12_21   
296#define DO_3DS_12_22(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_12_22   
297
298#define DO_3DS_21_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_21_11   
299#define DO_3DS_21_12(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_21_12   
300#define DO_3DS_21_21(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_21_21   
301#define DO_3DS_21_22(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_21_22   
302
303#define DO_3DS_22_11(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_22_11   
304#define DO_3DS_22_12(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_22_12   
305#define DO_3DS_22_21(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_22_21   
306#define DO_3DS_22_22(ks,ke,ki)   DO jk = ks, ke, ki   ;   DO_2D_22_22   
307                               
308#define END_2D   END DO   ;   END DO
309#define END_3D   END DO   ;   END DO   ;   END DO
Note: See TracBrowser for help on using the repository browser.