source: XIOS/dev/branch_yushan_merged/src/test/test_remap_omp.f90 @ 1179

Last change on this file since 1179 was 1179, checked in by yushan, 7 years ago

MARK! This version is working for test_client and test_complete with large number of procs and threads
  • Property svn:executable set to *
File size: 9.7 KB
Line 
1PROGRAM test_remap_omp
2
3  USE xios
4  USE mod_wait
5  use omp_lib
6  USE netcdf
7
8  IMPLICIT NONE
9  INCLUDE "mpif.h"
10  INTEGER :: rank
11  INTEGER :: size
12  INTEGER :: ierr
13
14  CHARACTER(len=*),PARAMETER :: id="client"
15  INTEGER :: comm
16  TYPE(xios_duration) :: dtime
17  TYPE(xios_context) :: ctx_hdl
18
19  DOUBLE PRECISION,ALLOCATABLE :: src_lon(:), dst_lon(:), src_lon_tmp(:)
20  DOUBLE PRECISION,ALLOCATABLE :: src_lat(:), dst_lat(:), src_lat_tmp(:)
21  DOUBLE PRECISION,ALLOCATABLE :: src_boundslon(:,:), dst_boundslon(:,:)
22  DOUBLE PRECISION,ALLOCATABLE :: src_boundslat(:,:), dst_boundslat(:,:)
23  DOUBLE PRECISION,ALLOCATABLE :: src_field_2D(:), src_field_2D_clone(:)
24  DOUBLE PRECISION,ALLOCATABLE :: tmp_field_0(:), tmp_field_1(:), tmp_field_2(:)
25  DOUBLE PRECISION,ALLOCATABLE :: src_field_3D(:,:), src_field_4D(:,:,:), lval(:), lval1(:), lval2(:), src_field_pression(:,:)
26  LOGICAL,ALLOCATABLE :: src_mask_2D(:)
27  INTEGER :: src_ni_glo, dst_ni_glo;
28  INTEGER :: src_nvertex, dst_nvertex;
29  INTEGER :: src_ibegin, dst_ibegin;
30  INTEGER :: src_ni, dst_ni;
31  INTEGER :: src_tmp_ni, src_tmp_nj, src_tmp_n;
32  CHARACTER(LEN=*),PARAMETER :: src_file="h14.nc"
33  CHARACTER(LEN=*),PARAMETER :: dst_file="r180x90.nc"
34  INTEGER :: ncid
35  INTEGER :: dimids(2)
36  INTEGER :: div,remain
37  INTEGER :: varid
38  INTEGER :: ts
39  INTEGER :: i,j, provided
40  INTEGER,PARAMETER :: llm=5, interpolatedLlm = 4, llm2 = 6
41  DOUBLE PRECISION, PARAMETER :: missing_value = 100000
42
43    CALL MPI_INIT_THREAD(3, provided, ierr)
44    if(provided .NE. 3) then
45      print*, "provided thread level = ", provided
46      call MPI_Abort()
47    endif
48  CALL init_wait
49 
50  CALL MPI_COMM_RANK(MPI_COMM_WORLD,rank,ierr)
51  CALL MPI_COMM_SIZE(MPI_COMM_WORLD,size,ierr)
52  if(rank < size-2) then
53
54  !$omp parallel default(firstprivate) firstprivate(dtime)
55
56!!! XIOS Initialization (get the local communicator)
57
58  CALL xios_initialize(id,return_comm=comm)
59  CALL MPI_COMM_RANK(comm,rank,ierr)
60  CALL MPI_COMM_SIZE(comm,size,ierr)
61 
62  rank = rank*omp_get_num_threads() + omp_get_thread_num()
63  size = size*omp_get_num_threads()
64
65 
66  !$omp critical (open_file)
67  ierr=NF90_OPEN(src_file, NF90_NOWRITE, ncid)
68  !$omp end critical (open_file)
69
70  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
71  ierr=NF90_INQUIRE_VARIABLE(ncid, varid, dimids=dimids)
72  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(1), len=src_nvertex)
73  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(2), len=src_ni_glo)
74
75  div    = src_ni_glo/size
76  remain = MOD( src_ni_glo, size )
77  IF (rank < remain) THEN
78    src_ni=div+1 ;
79    src_ibegin=rank*(div+1) ;
80  ELSE
81    src_ni=div ;
82    src_ibegin= remain * (div+1) + (rank-remain) * div ;
83  ENDIF
84
85  if(src_ni .LE. 0) CALL MPI_ABORT()
86
87
88  ALLOCATE(src_lon(src_ni), src_lon_tmp(src_ni))
89  ALLOCATE(src_lat(src_ni), src_lat_tmp(src_ni))
90  ALLOCATE(src_boundslon(src_nvertex,src_ni))
91  ALLOCATE(src_boundslat(src_nvertex,src_ni))
92  ALLOCATE(src_field_2D(src_ni), src_field_2D_clone(src_ni))
93  ALLOCATE(src_field_3D(src_ni,llm))
94  ALLOCATE(src_field_4D(src_ni,llm,llm2))
95  ALLOCATE(src_mask_2D(src_ni))
96  ALLOCATE(src_field_pression(src_ni,llm))
97  ALLOCATE(lval(llm))
98  ALLOCATE(lval1(interpolatedLlm))
99  ALLOCATE(lval2(llm2))
100  lval2 = 0
101  lval=0
102  lval1=0
103
104  ierr=NF90_INQ_VARID(ncid,"lon",varid)
105  ierr=NF90_GET_VAR(ncid,varid, src_lon, start=(/src_ibegin+1/),count=(/src_ni/))
106  ierr=NF90_INQ_VARID(ncid,"lat",varid)
107  ierr=NF90_GET_VAR(ncid,varid, src_lat, start=(/src_ibegin+1/),count=(/src_ni/))
108  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
109  ierr=NF90_GET_VAR(ncid,varid,src_boundslon, start=(/1,src_ibegin+1/),count=(/src_nvertex,src_ni/))
110  ierr=NF90_INQ_VARID(ncid,"bounds_lat",varid)
111  ierr=NF90_GET_VAR(ncid,varid, src_boundslat, start=(/1,src_ibegin+1/),count=(/src_nvertex,src_ni/))
112  ierr=NF90_INQ_VARID(ncid,"val",varid)
113  ierr=NF90_GET_VAR(ncid,varid, src_field_2D, start=(/src_ibegin+1/),count=(/src_ni/))
114  DO i=1,src_ni
115    src_field_3D(i,:) = src_field_2D(i)
116    IF ((0 < src_lat(i)) .AND. (src_lat(i) < 25.5) .AND. (30 < src_lon(i)) .AND. (src_lon(i) < 60)) THEN
117      src_mask_2D(i)=.FALSE.
118      ! src_field_2D(i) = missing_value
119    ELSE
120      src_mask_2D(i)=.TRUE.     
121    ENDIF
122    src_lon_tmp(i) = src_lon(i) + 1000
123    src_lat_tmp(i) = src_lat(i) + 10000
124  ENDDO
125  src_field_2D_clone = src_field_2D
126
127  DO i=1,llm
128    lval(i) = i*100
129    src_field_pression(:,i) = i * 100
130    IF (MOD(i,3)==0) THEN
131      ! src_field_pression(:,i) = missing_value
132      src_field_3D(:,i) = missing_value
133    ELSE
134      ! src_field_pression(:,i) = i * 100
135      src_field_3D(:,i) = src_field_3D(:,i) + i * 10 
136    ENDIF
137    ! src_field_3D(:,i) = src_field_3D(:,i) + i * 10   
138  ENDDO
139
140  DO i=1,llm2
141    src_field_4D(:,:,i) = src_field_3D(:,:) + i * 100
142  ENDDO
143
144  DO i=1,interpolatedLlm
145    lval2(i) = i*10
146    lval1(i) = i*10 + 2
147  ENDDO
148
149  !$omp critical (open_file)
150  ierr=NF90_OPEN(dst_file, NF90_NOWRITE, ncid)
151  !$omp end critical (open_file)
152
153 
154  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
155  ierr=NF90_INQUIRE_VARIABLE(ncid, varid,dimids=dimids)
156  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(1), len=dst_nvertex)
157  ierr=NF90_INQUIRE_DIMENSION(ncid, dimids(2), len=dst_ni_glo)
158
159  div    = dst_ni_glo/size
160  remain = MOD( dst_ni_glo, size )
161  IF (rank < remain) THEN
162    dst_ni=div+1 ;
163    dst_ibegin=rank*(div+1) ;
164  ELSE
165    dst_ni=div ;
166    dst_ibegin= remain * (div+1) + (rank-remain) * div ;
167  ENDIF
168
169  if(dst_ni .LE. 0) CALL MPI_ABORT()
170
171  ALLOCATE(dst_lon(dst_ni))
172  ALLOCATE(dst_lat(dst_ni))
173  ALLOCATE(dst_boundslon(dst_nvertex,dst_ni))
174  ALLOCATE(dst_boundslat(dst_nvertex,dst_ni))
175
176  ierr=NF90_INQ_VARID(ncid,"lon",varid)
177  ierr=NF90_GET_VAR(ncid,varid, dst_lon, start=(/dst_ibegin+1/),count=(/dst_ni/))
178  ierr=NF90_INQ_VARID(ncid,"lat",varid)
179  ierr=NF90_GET_VAR(ncid,varid, dst_lat, start=(/dst_ibegin+1/),count=(/dst_ni/))
180  ierr=NF90_INQ_VARID(ncid,"bounds_lon",varid)
181  ierr=NF90_GET_VAR(ncid,varid,dst_boundslon, start=(/1,dst_ibegin+1/),count=(/dst_nvertex,dst_ni/))
182  ierr=NF90_INQ_VARID(ncid,"bounds_lat",varid)
183  ierr=NF90_GET_VAR(ncid,varid, dst_boundslat, start=(/1,dst_ibegin+1/),count=(/dst_nvertex,dst_ni/))
184
185
186  CALL xios_context_initialize("test",comm)
187  CALL xios_get_handle("test",ctx_hdl)
188  CALL xios_set_current_context(ctx_hdl)
189 
190  CALL xios_set_domain_attr("src_domain", ni_glo=src_ni_glo, ibegin=src_ibegin, ni=src_ni, type="unstructured")
191  CALL xios_set_domain_attr("src_domain", lonvalue_1D=src_lon, latvalue_1D=src_lat, &
192                            bounds_lon_1D=src_boundslon, bounds_lat_1D=src_boundslat, nvertex=src_nvertex)
193
194  CALL xios_set_domain_attr("src_domain_clone", ni_glo=src_ni_glo, ibegin=src_ibegin, ni=src_ni, type="unstructured")
195  CALL xios_set_domain_attr("src_domain_clone", lonvalue_1D=src_lon, latvalue_1D=src_lat, &
196                            bounds_lon_1D=src_boundslon, bounds_lat_1D=src_boundslat, nvertex=src_nvertex, &
197                            mask_1d=src_mask_2D)
198
199  CALL xios_set_axis_attr("src_axis", n_glo=llm, value=lval)
200  CALL xios_set_axis_attr("nq", n_glo=llm2, value=lval2)
201
202  CALL xios_set_domain_attr("dst_domain", ni_glo=dst_ni_glo, ibegin=dst_ibegin, ni=dst_ni, type="unstructured")
203  CALL xios_set_domain_attr("dst_domain", lonvalue_1D=dst_lon, latvalue_1D=dst_lat, &
204                            bounds_lon_1D=dst_boundslon, bounds_lat_1D=dst_boundslat, nvertex=dst_nvertex)
205
206  CALL xios_set_domain_attr("src_domain_unstructured_read", ni_glo=src_ni_glo, ibegin=src_ibegin, ni=src_ni, type="unstructured")
207  CALL xios_set_domain_attr("src_domain_unstructured_read", lonvalue_1D=src_lon_tmp, latvalue_1D=src_lat_tmp, &
208                            bounds_lon_1D=src_boundslon, bounds_lat_1D=src_boundslat, nvertex=src_nvertex)
209
210  dtime%second = 3600
211 
212  CALL xios_set_timestep(dtime)
213
214  CALL xios_close_context_definition()
215
216  CALL xios_get_domain_attr("src_domain_regular_read", ni=src_tmp_ni, nj=src_tmp_nj)
217  ALLOCATE(tmp_field_0(src_tmp_ni*src_tmp_nj))
218
219  CALL xios_get_axis_attr("src_axis_curvilinear_read", n=src_tmp_n)
220  CALL xios_get_domain_attr("src_domain_curvilinear_read", ni=src_tmp_ni, nj=src_tmp_nj)
221  ALLOCATE(tmp_field_1(src_tmp_ni*src_tmp_nj*src_tmp_n))
222
223  CALL xios_get_domain_attr("src_domain_unstructured_read", ni=src_tmp_ni, nj=src_tmp_nj)
224  ALLOCATE(tmp_field_2(src_tmp_ni*src_tmp_nj))
225 
226  CALL xios_recv_field("src_field_regular", tmp_field_0)
227  CALL xios_recv_field("src_field_curvilinear", tmp_field_1)
228  CALL xios_recv_field("src_field_unstructured", tmp_field_2)
229
230  DO ts=1,10
231    CALL xios_update_calendar(ts)
232    CALL xios_send_field("src_field_2D",src_field_2D)
233   
234    !DO i=1,src_ni
235    !  src_field_2D_clone(i) = src_field_2D(i)
236    !  IF ((23.5 * ts < src_lat(i)) .AND. (src_lat(i) < 65.5 *ts) .AND. (0 < src_lon(i)) .AND. (src_lon(i) < 30*ts)) THEN     
237    !    src_field_2D_clone(i) = missing_value   
238    !  ENDIF
239    !ENDDO
240
241    !CALL xios_send_field("src_field_2D_clone",src_field_2D_clone)
242    !CALL xios_send_field("src_field_3D",src_field_3D)
243    !CALL xios_send_field("src_field_3D_clone",src_field_3D)
244    !CALL xios_send_field("src_field_4D",src_field_4D)
245    !CALL xios_send_field("src_field_3D_pression",src_field_pression)
246    CALL xios_send_field("tmp_field_0",tmp_field_0)
247    CALL xios_send_field("tmp_field_1",tmp_field_1)
248    CALL xios_send_field("tmp_field_2",tmp_field_2)
249    CALL wait_us(5000) ;
250   ENDDO
251 
252  CALL xios_context_finalize()
253
254  DEALLOCATE(src_lon, src_lat, src_boundslon,src_boundslat, src_field_2D)
255  DEALLOCATE(dst_lon, dst_lat, dst_boundslon,dst_boundslat)
256  DEALLOCATE(tmp_field_0, tmp_field_1, tmp_field_2)
257 
258  CALL xios_finalize()
259 
260  print *, "Client : xios_finalize ", rank
261
262  !$omp barrier
263
264  !$omp master
265  CALL MPI_COMM_FREE(comm, ierr)
266  !$omp end master
267
268  !$omp barrier
269
270  !$omp end parallel
271
272
273    else
274
275    CALL xios_init_server
276    print *, "Server : xios_finalize "
277 
278    endif
279
280  CALL MPI_FINALIZE(ierr)
281
282END PROGRAM test_remap_omp
283
284
285
286
287
Note: See TracBrowser for help on using the repository browser.