source: XIOS/dev/branch_openmp/src/test/test_remap_omp.f90 @ 1491

Last change on this file since 1491 was 1491, checked in by yushan, 6 years ago

Branch EP merged with Dev_cmip6 @r1490

  • Property svn:executable set to *
File size: 9.8 KB
Line 
1PROGRAM test_remap_omp
2
3  USE xios
4  USE mod_wait
5  USE omp_lib
6  USE netcdf
7
8  IMPLICIT NONE
9  INCLUDE "mpif.h"
10  INTEGER :: rank
11  INTEGER :: size
12  INTEGER :: ierr
13
14  CHARACTER(len=*),PARAMETER :: id="client"
15  INTEGER :: comm
16  TYPE(xios_duration) :: dtime
17  TYPE(xios_context) :: ctx_hdl
18
19  DOUBLE PRECISION,ALLOCATABLE :: src_lon(:), dst_lon(:), src_lon_tmp(:)
20  DOUBLE PRECISION,ALLOCATABLE :: src_lat(:), dst_lat(:), src_lat_tmp(:)
21  DOUBLE PRECISION,ALLOCATABLE :: src_boundslon(:,:), dst_boundslon(:,:)
22  DOUBLE PRECISION,ALLOCATABLE :: src_boundslat(:,:), dst_boundslat(:,:)
23  DOUBLE PRECISION,ALLOCATABLE :: src_field_2D(:), src_field_2D_clone(:)
24  DOUBLE PRECISION,ALLOCATABLE :: tmp_field_0(:), tmp_field_1(:), tmp_field_2(:)
25  DOUBLE PRECISION,ALLOCATABLE :: src_field_3D(:,:), src_field_4D(:,:,:), lval(:), lval1(:), lval2(:), src_field_pression(:,:)
26  LOGICAL,ALLOCATABLE :: src_mask_2D(:)
27  INTEGER :: src_ni_glo, dst_ni_glo;
28  INTEGER :: src_nvertex, dst_nvertex;
29  INTEGER :: src_ibegin, dst_ibegin;
30  INTEGER :: src_ni, dst_ni;
31  INTEGER :: src_tmp_ni, src_tmp_nj, src_tmp_n;
32  CHARACTER(LEN=*),PARAMETER :: src_file="h14.nc"
33  CHARACTER(LEN=*),PARAMETER :: dst_file="r180x90.nc"
34  INTEGER :: ncid
35  INTEGER :: dimids(2)
36  INTEGER :: div,remain
37  INTEGER :: varid
38  INTEGER :: ts
39  INTEGER :: i,j
40  INTEGER,PARAMETER :: llm=5, interpolatedLlm = 4, llm2 = 6
41  DOUBLE PRECISION, PARAMETER :: missing_value = 100000
42  INTEGER :: provided
43
44  CALL MPI_INIT_THREAD(3, provided, ierr)
45    if(provided .NE. 3) then
46      print*, "provided thread level = ", provided
47      call MPI_Abort()
48    endif
49  CALL init_wait
50
51  CALL MPI_COMM_RANK(MPI_COMM_WORLD,rank,ierr)
52  CALL MPI_COMM_SIZE(MPI_COMM_WORLD,size,ierr)
53  if(rank < size-2) then
54 
55  !$omp parallel default(firstprivate)
56
57!!! XIOS Initialization (get the local communicator)
58
59  CALL xios_initialize(id,return_comm=comm)
60  CALL MPI_COMM_RANK(comm,rank,ierr)
61  CALL MPI_COMM_SIZE(comm,size,ierr)
62 
63  rank = rank*omp_get_num_threads() + omp_get_thread_num()
64  size = size*omp_get_num_threads()
65
66  print*, "rank = ", rank, " size = ", size
67
68  !$omp critical (open_file)
69  ierr=NF90_OPEN(src_file, NF90_NOWRITE, ncid)
70  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
71  ierr=NF90_INQUIRE_VARIABLE(ncid, varid,dimids=dimids)
72  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(1), len=src_nvertex)
73  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(2), len=src_ni_glo)
74
75  div    = src_ni_glo/size
76  remain = MOD( src_ni_glo, size )
77  IF (rank < remain) THEN
78    src_ni=div+1 ;
79    src_ibegin=rank*(div+1) ;
80  ELSE
81    src_ni=div ;
82    src_ibegin= remain * (div+1) + (rank-remain) * div ;
83  ENDIF
84
85  ALLOCATE(src_lon(src_ni), src_lon_tmp(src_ni))
86  ALLOCATE(src_lat(src_ni), src_lat_tmp(src_ni))
87  ALLOCATE(src_boundslon(src_nvertex,src_ni))
88  ALLOCATE(src_boundslat(src_nvertex,src_ni))
89  ALLOCATE(src_field_2D(src_ni), src_field_2D_clone(src_ni))
90  ALLOCATE(src_field_3D(src_ni,llm))
91  ALLOCATE(src_field_4D(src_ni,llm,llm2))
92  ALLOCATE(src_mask_2D(src_ni))
93  ALLOCATE(src_field_pression(src_ni,llm))
94  ALLOCATE(lval(llm))
95  ALLOCATE(lval1(interpolatedLlm))
96  ALLOCATE(lval2(llm2))
97  lval2 = 0
98  lval=0
99  lval1=0
100
101  ierr=NF90_INQ_VARID(ncid,"lon",varid)
102  ierr=NF90_GET_VAR(ncid,varid, src_lon, start=(/src_ibegin+1/),count=(/src_ni/))
103  ierr=NF90_INQ_VARID(ncid,"lat",varid)
104  ierr=NF90_GET_VAR(ncid,varid, src_lat, start=(/src_ibegin+1/),count=(/src_ni/))
105  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
106  ierr=NF90_GET_VAR(ncid,varid,src_boundslon, start=(/1,src_ibegin+1/),count=(/src_nvertex,src_ni/))
107  ierr=NF90_INQ_VARID(ncid,"bounds_lat",varid)
108  ierr=NF90_GET_VAR(ncid,varid, src_boundslat, start=(/1,src_ibegin+1/),count=(/src_nvertex,src_ni/))
109  ierr=NF90_INQ_VARID(ncid,"val",varid)
110  ierr=NF90_GET_VAR(ncid,varid, src_field_2D, start=(/src_ibegin+1/),count=(/src_ni/))
111  DO i=1,src_ni
112    src_field_3D(i,:) = src_field_2D(i)
113    IF ((0 < src_lat(i)) .AND. (src_lat(i) < 25.5) .AND. (30 < src_lon(i)) .AND. (src_lon(i) < 60)) THEN
114      src_mask_2D(i)=.FALSE.
115      ! src_field_2D(i) = missing_value
116    ELSE
117      src_mask_2D(i)=.TRUE.     
118    ENDIF
119    src_lon_tmp(i) = src_lon(i) + 1000
120    src_lat_tmp(i) = src_lat(i) + 10000
121  ENDDO
122  src_field_2D_clone = src_field_2D
123
124  DO i=1,llm
125    lval(i) = i*100
126    src_field_pression(:,i) = i * 100
127    IF (MOD(i,3)==0) THEN
128      ! src_field_pression(:,i) = missing_value
129      src_field_3D(:,i) = missing_value
130    ELSE
131      ! src_field_pression(:,i) = i * 100
132      src_field_3D(:,i) = src_field_3D(:,i) + i * 10 
133    ENDIF
134    ! src_field_3D(:,i) = src_field_3D(:,i) + i * 10   
135  ENDDO
136
137  DO i=1,llm2
138    src_field_4D(:,:,i) = src_field_3D(:,:) + i * 100
139  ENDDO
140
141  DO i=1,interpolatedLlm
142    lval2(i) = i*10
143    lval1(i) = i*10 + 2
144  ENDDO
145
146  print*, "ID = ", rank, "src_ni = ", src_ni, "src_nvertex = ", src_nvertex, "src_ni_glo = ", src_ni_glo
147
148  ierr=NF90_OPEN(dst_file, NF90_NOWRITE, ncid)
149  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
150  ierr=NF90_INQUIRE_VARIABLE(ncid, varid,dimids=dimids)
151  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(1), len=dst_nvertex)
152  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(2), len=dst_ni_glo)
153
154  div    = dst_ni_glo/size
155  remain = MOD( dst_ni_glo, size )
156  IF (rank < remain) THEN
157    dst_ni=div+1 ;
158    dst_ibegin=rank*(div+1) ;
159  ELSE
160    dst_ni=div ;
161    dst_ibegin= remain * (div+1) + (rank-remain) * div ;
162  ENDIF
163
164  ALLOCATE(dst_lon(dst_ni))
165  ALLOCATE(dst_lat(dst_ni))
166  ALLOCATE(dst_boundslon(dst_nvertex,dst_ni))
167  ALLOCATE(dst_boundslat(dst_nvertex,dst_ni))
168
169  ierr=NF90_INQ_VARID(ncid,"lon",varid)
170  ierr=NF90_GET_VAR(ncid,varid, dst_lon, start=(/dst_ibegin+1/),count=(/dst_ni/))
171  ierr=NF90_INQ_VARID(ncid,"lat",varid)
172  ierr=NF90_GET_VAR(ncid,varid, dst_lat, start=(/dst_ibegin+1/),count=(/dst_ni/))
173  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
174  ierr=NF90_GET_VAR(ncid,varid,dst_boundslon, start=(/1,dst_ibegin+1/),count=(/dst_nvertex,dst_ni/))
175  ierr=NF90_INQ_VARID(ncid,"bounds_lat",varid)
176  ierr=NF90_GET_VAR(ncid,varid, dst_boundslat, start=(/1,dst_ibegin+1/),count=(/dst_nvertex,dst_ni/))
177 
178  !$omp end critical (open_file)
179 
180  !$omp barrier
181
182  !$omp master
183  CALL MPI_barrier(comm, ierr)
184  !$omp end master
185
186  !$omp barrier
187
188  CALL xios_context_initialize("test",comm)
189  CALL xios_get_handle("test",ctx_hdl)
190  CALL xios_set_current_context(ctx_hdl)
191
192  CALL xios_set_domain_attr("src_domain", ni_glo=src_ni_glo, ibegin=src_ibegin, ni=src_ni, type="unstructured")
193  CALL xios_set_domain_attr("src_domain", lonvalue_1D=src_lon, latvalue_1D=src_lat, &
194                            bounds_lon_1D=src_boundslon, bounds_lat_1D=src_boundslat, nvertex=src_nvertex)
195
196  CALL xios_set_domain_attr("src_domain_clone", ni_glo=src_ni_glo, ibegin=src_ibegin, ni=src_ni, type="unstructured")
197  CALL xios_set_domain_attr("src_domain_clone", lonvalue_1D=src_lon, latvalue_1D=src_lat, &
198                            bounds_lon_1D=src_boundslon, bounds_lat_1D=src_boundslat, nvertex=src_nvertex, &
199                            mask_1d=src_mask_2D)
200
201  CALL xios_set_axis_attr("src_axis", n_glo=llm, value=lval)
202  CALL xios_set_axis_attr("nq", n_glo=llm2, value=lval2)
203
204  CALL xios_set_domain_attr("dst_domain", ni_glo=dst_ni_glo, ibegin=dst_ibegin, ni=dst_ni, type="unstructured")
205  CALL xios_set_domain_attr("dst_domain", lonvalue_1D=dst_lon, latvalue_1D=dst_lat, &
206                            bounds_lon_1D=dst_boundslon, bounds_lat_1D=dst_boundslat, nvertex=dst_nvertex)
207
208  !CALL xios_set_domain_attr("src_domain_unstructured_read", ni_glo=src_ni_glo, ibegin=src_ibegin, ni=src_ni, type="unstructured")
209  !CALL xios_set_domain_attr("src_domain_unstructured_read", lonvalue_1D=src_lon_tmp, latvalue_1D=src_lat_tmp, &
210  !                          bounds_lon_1D=src_boundslon, bounds_lat_1D=src_boundslat, nvertex=src_nvertex)
211
212
213  dtime%second = 3600
214  CALL xios_set_timestep(dtime)
215
216  CALL xios_close_context_definition()
217  print *, "xios_close_context_definition OK "
218 
219  CALL xios_get_domain_attr("src_domain_regular_read", ni=src_tmp_ni, nj=src_tmp_nj)
220  ALLOCATE(tmp_field_0(src_tmp_ni*src_tmp_nj))
221
222  !CALL xios_get_axis_attr("src_axis_curvilinear_read", n=src_tmp_n)
223  !CALL xios_get_domain_attr("src_domain_curvilinear_read", ni=src_tmp_ni, nj=src_tmp_nj)
224  !ALLOCATE(tmp_field_1(src_tmp_ni*src_tmp_nj*src_tmp_n))
225
226  !CALL xios_get_domain_attr("src_domain_unstructured_read", ni=src_tmp_ni, nj=src_tmp_nj)
227  !ALLOCATE(tmp_field_2(src_tmp_ni*src_tmp_nj))
228 
229  DO ts=1,1
230    CALL xios_recv_field("src_field_regular", tmp_field_0)
231    !CALL xios_recv_field("src_field_curvilinear", tmp_field_1)
232    !CALL xios_recv_field("src_field_unstructured", tmp_field_2)
233    CALL xios_update_calendar(ts)
234   
235    !DO i=1,src_ni
236    !  src_field_2D_clone(i) = src_field_2D(i)
237    !  IF ((23.5 * ts < src_lat(i)) .AND. (src_lat(i) < 65.5 *ts) .AND. (0 < src_lon(i)) .AND. (src_lon(i) < 30*ts)) THEN     
238    !    src_field_2D_clone(i) = missing_value   
239    !  ENDIF
240    !ENDDO
241
242    CALL xios_send_field("src_field_2D",src_field_2D)
243    CALL xios_send_field("src_field_2D_clone",src_field_2D)
244    CALL xios_send_field("src_field_3D",src_field_3D)
245    !CALL xios_send_field("src_field_4D",src_field_4D)
246    !CALL xios_send_field("src_field_3D_pression",src_field_pression)
247    CALL xios_send_field("tmp_field_0",tmp_field_0)
248    !CALL xios_send_field("tmp_field_1",tmp_field_1)
249    !CALL xios_send_field("tmp_field_2",tmp_field_2)
250    CALL wait_us(5000) ;
251   ENDDO
252
253  CALL xios_context_finalize()
254
255  DEALLOCATE(src_lon, src_lat, src_boundslon,src_boundslat, src_field_2D)
256  DEALLOCATE(dst_lon, dst_lat, dst_boundslon,dst_boundslat)
257  DEALLOCATE(tmp_field_0)
258  !DEALLOCATE(tmp_field_1)
259  !DEALLOCATE(tmp_field_2)
260 
261  CALL xios_finalize()
262 
263  print *, "Client : xios_finalize ", rank
264
265  !$omp barrier
266
267  !$omp master
268  CALL MPI_COMM_FREE(comm, ierr)
269  !$omp end master
270
271  !$omp barrier
272
273  !$omp end parallel
274  else
275
276    CALL xios_init_server
277    print *, "Server : xios_finalize ", rank
278 
279  endif
280
281 
282
283  CALL MPI_FINALIZE(ierr)
284
285END PROGRAM test_remap_omp
286
287
288
289
290
Note: See TracBrowser for help on using the repository browser.