source: XIOS/dev/branch_yushan_merged/src/test/test_unstruct_omp.f90 @ 1203

Last change on this file since 1203 was 1203, checked in by yushan, 7 years ago

prep to merge with trunk @1200
File size: 9.7 KB
Line 
1PROGRAM test_unstruct_omp
2
3  USE xios
4  USE mod_wait
5  use omp_lib
6  IMPLICIT NONE
7  INCLUDE "mpif.h"
8  INTEGER :: mpi_rank
9  INTEGER :: mpi_size
10  INTEGER :: ierr
11
12  CHARACTER(len=*),PARAMETER :: id="client"
13  INTEGER :: comm
14  TYPE(xios_duration) :: dtime
15  TYPE(xios_context) :: ctx_hdl
16  INTEGER, PARAMETER :: nlon=60
17  INTEGER, PARAMETER :: nlat=30
18  INTEGER,PARAMETER :: ni_glo=100
19  INTEGER,PARAMETER :: nj_glo=100
20  INTEGER,PARAMETER :: llm=5
21  DOUBLE PRECISION  :: lval(llm)=1
22  TYPE(xios_field) :: field_hdl
23  TYPE(xios_fieldgroup) :: fieldgroup_hdl
24  TYPE(xios_file) :: file_hdl
25  LOGICAL :: ok
26
27  DOUBLE PRECISION,ALLOCATABLE :: lon_glo(:),lat_glo(:)
28  DOUBLE PRECISION,ALLOCATABLE :: bounds_lon_glo(:,:),bounds_lat_glo(:,:)
29  DOUBLE PRECISION,ALLOCATABLE :: field_A_glo(:,:)
30  INTEGER,ALLOCATABLE :: i_index_glo(:)
31  INTEGER,ALLOCATABLE :: i_index(:)
32  LOGICAL,ALLOCATABLE :: mask_glo(:),mask(:)
33  INTEGER,ALLOCATABLE :: n_local(:),local_neighbor(:,:)
34  DOUBLE PRECISION,ALLOCATABLE :: lon(:),lat(:),field_A_srf(:,:), lonvalue(:) ;
35  DOUBLE PRECISION,ALLOCATABLE :: bounds_lon(:,:),bounds_lat(:,:) ;
36  INTEGER :: ni,ibegin,iend,nj,jbegin,jend
37  INTEGER :: i,j,l,ts,n, nbMax
38  INTEGER :: ncell_glo,ncell,ind
39  REAL :: ilon,ilat
40  DOUBLE PRECISION, PARAMETER :: Pi=3.14159265359
41  INTEGER :: list_ind(nlon,nlat)
42  INTEGER :: rank,j1,j2,np,ncell_x
43  INTEGER :: data_n_index, provided
44  INTEGER,ALLOCATABLE :: data_i_index(:)
45  DOUBLE PRECISION,ALLOCATABLE :: field_A_compressed(:,:)
46
47  CALL MPI_INIT_THREAD(3, provided, ierr)
48    if(provided .NE. 3) then
49      print*, "provided thread level = ", provided
50      call MPI_Abort()
51    endif
52  CALL init_wait
53  CALL MPI_COMM_RANK(MPI_COMM_WORLD,mpi_rank,ierr)
54  CALL MPI_COMM_SIZE(MPI_COMM_WORLD,mpi_size,ierr)
55  if(mpi_rank < mpi_size-2) then
56
57  !$omp parallel default(private) firstprivate(dtime)
58
59  CALL xios_initialize(id,return_comm=comm)
60  CALL MPI_COMM_RANK(comm,mpi_rank,ierr)
61  CALL MPI_COMM_SIZE(comm,mpi_size,ierr)
62
63  mpi_rank = mpi_rank*omp_get_num_threads() + omp_get_thread_num()
64  mpi_size = mpi_size*omp_get_num_threads()
65
66
67  ncell_glo=0
68  DO j=1,nlat
69    n =  NINT(COS(Pi/2-(j-0.5)*PI/nlat)*nlon)
70    IF (n<8) n=8
71    ncell_glo=ncell_glo+n
72  ENDDO
73
74  ALLOCATE(lon_glo(ncell_glo))
75  ALLOCATE(lat_glo(ncell_glo))
76  ALLOCATE(bounds_lon_glo(4,ncell_glo))
77  ALLOCATE(bounds_lat_glo(4,ncell_glo))
78  ALLOCATE(i_index_glo(ncell_glo))
79  ALLOCATE(field_A_glo(ncell_glo,llm))
80  ALLOCATE(mask_glo(ncell_glo))
81
82  ind=0
83  DO j=1,nlat
84    n = NINT(COS(Pi/2-(j-0.5)*PI/nlat)*nlon)
85    if (j==1) PRINT*,"--- ",n
86    if (j==nlat) PRINT*,"--- ",n
87    IF (n<8) n=8
88
89    DO i=1,n
90      ind=ind+1
91      list_ind(i,j)=ind
92      ilon=i-0.5
93      ilat=j-0.5
94
95      lat_glo(ind)= 90-(ilat*180./nlat)
96      lon_glo(ind)= (ilon*360./n)
97
98
99      bounds_lat_glo(1,ind)= 90-((ilat-0.5)*180./nlat)
100      bounds_lon_glo(1,ind)=((ilon-0.5)*360./n)
101
102      bounds_lat_glo(2,ind)= 90-((ilat-0.5)*180./nlat)
103      bounds_lon_glo(2,ind)=((ilon+0.5)*360./n)
104
105      bounds_lat_glo(3,ind)= 90-((ilat+0.5)*180./nlat)
106      bounds_lon_glo(3,ind)=((ilon+0.5)*360./n)
107
108      bounds_lat_glo(4,ind)= 90-((ilat+0.5)*180./nlat)
109      bounds_lon_glo(4,ind)=((ilon-0.5)*360./n)
110
111    ENDDO
112  ENDDO
113
114!  mpi_size=32
115  rank=(mpi_size-1)/2
116  ncell_x=sqrt(ncell_glo*1./mpi_size)
117
118  j1=nlat/2
119  DO WHILE(rank>=0)
120    j2=MAX(j1-ncell_x+1,1)
121    j=(j1+j2)/2
122    n=NINT(COS(Pi/2-(j-0.5)*PI/nlat)*nlon)
123    np = MIN(n/ncell_x,rank+1) ;
124    if (j2==1) np=rank+1
125
126    PRINT *,"domain ",j2,j1,rank,np ;
127    DO j=j2,j1
128      n=NINT(COS(Pi/2-(j-0.5)*PI/nlat)*nlon)
129      IF (n<8) n=8
130      DO i=1,n
131        ind=list_ind(i,j)
132        IF ( (i-1) < MOD(n,np)*(n/np+1)) THEN
133          i_index_glo(ind) = rank - (i-1)/(n/np+1)
134        ELSE
135          i_index_glo(ind) = rank-(MOD(n,np)+ (i-1-MOD(n,np)*(n/np+1))/(n/np))
136        ENDIF
137      ENDDO
138    ENDDO
139    rank=rank-np
140    j1=j2-1
141  ENDDO
142
143  rank=(mpi_size-1)/2+1
144  ncell_x=sqrt(ncell_glo*1./mpi_size)
145
146  j1=nlat/2+1
147  DO WHILE(rank<=mpi_size-1)
148    j2=MIN(j1+ncell_x-1,nlat)
149    j=(j1+j2)/2
150    n=NINT(COS(Pi/2-(j-0.5)*PI/nlat)*nlon)
151    np = MIN(n/ncell_x,mpi_size-rank) ;
152    if (j2==nlat) np=mpi_size-rank
153
154    PRINT *,"domain ",j2,j1,rank,np ;
155    DO j=j1,j2
156      n=NINT(COS(Pi/2-(j-0.5)*PI/nlat)*nlon)
157      IF (n<8) n=8
158      DO i=1,n
159        ind=list_ind(i,j)
160        IF ( (i-1) < MOD(n,np)*(n/np+1)) THEN
161          i_index_glo(ind) = rank + (i-1)/(n/np+1)
162        ELSE
163          i_index_glo(ind) = rank+(MOD(n,np)+ (i-1-MOD(n,np)*(n/np+1))/(n/np))
164        ENDIF
165      ENDDO
166    ENDDO
167    rank=rank+np
168    j1=j2+1
169  ENDDO
170
171  ncell=0
172  DO ind=1,ncell_glo
173    IF (i_index_glo(ind)==mpi_rank) ncell=ncell+1
174  ENDDO
175  ALLOCATE(i_index(ncell))
176  ALLOCATE(lon(ncell))
177  ALLOCATE(lat(ncell))
178  ALLOCATE(bounds_lon(4,ncell))
179  ALLOCATE(bounds_lat(4,ncell))
180  ALLOCATE(field_A_srf(ncell,llm))
181  ALLOCATE(mask(ncell))
182  ALLOCATE(n_local(ncell))
183  ncell=0
184  data_n_index=0
185  DO ind=1,ncell_glo
186    IF (i_index_glo(ind)==mpi_rank) THEN
187      ncell=ncell+1
188      i_index(ncell)=ind-1
189      lon(ncell)=lon_glo(ind)
190      lat(ncell)=lat_glo(ind)
191      bounds_lon(:,ncell)=bounds_lon_glo(:,ind)
192      bounds_lat(:,ncell)=bounds_lat_glo(:,ind)
193      field_A_srf(ncell,:)=i_index_glo(ind)
194      IF (MOD(ind,8)>=0 .AND. MOD(ind,8)<2) THEN
195        mask(ncell)=.FALSE.
196      ELSE
197        mask(ncell)=.TRUE.
198        data_n_index=data_n_index+1
199      ENDIF
200    ENDIF
201  ENDDO
202
203  ALLOCATE(field_A_compressed(data_n_index,llm))
204  ALLOCATE(data_i_index(data_n_index))
205  data_n_index=0
206  DO ind=1,ncell
207    IF (mask(ind)) THEN
208      data_n_index=data_n_index+1
209      data_i_index(data_n_index)=ind-1
210      field_A_compressed(data_n_index,:)=field_A_srf(ind,:)
211    ENDIF
212  ENDDO
213
214  CALL xios_context_initialize("surface",comm)
215  CALL xios_get_handle("surface",ctx_hdl)
216  CALL xios_set_current_context(ctx_hdl)
217
218  CALL xios_set_axis_attr("axis_srf",n_glo=llm ,value=lval) ;
219  CALL xios_set_domain_attr("domain_srf", ni_glo=ncell_glo, ni=ncell, ibegin=0, i_index=i_index)
220  CALL xios_set_domain_attr("domain_srf", type='unstructured', data_dim=1, data_ni=data_n_index, &
221                                          data_i_index=data_i_index)
222  CALL xios_set_domain_attr("domain_srf", lonvalue_1D=lon, latvalue_1D=lat)
223  CALL xios_set_domain_attr("domain_srf", nvertex=4, bounds_lon_1D=bounds_lon, bounds_lat_1D=bounds_lat)
224!  CALL xios_set_compute_connectivity_domain_attr("compute", n_neighbor=n_local, local_neighbor=local_neighbor)
225
226
227
228  dtime%second=3600
229  CALL xios_set_timestep(dtime)
230
231  !CALL MSE_XIOS_GAUSS_GRID(NDGLG,NDLON,NPRGPNS ,NPRGPEW,MYSETA,MYSETB)
232   CALL MSE_XIOS_GAUSS_GRID(127  ,255  ,mpi_size,1      ,mpi_rank+1, 1)
233
234  CALL xios_close_context_definition()
235
236  !CALL xios_get_compute_connectivity_domain_attr("compute", n_neighbor_max=nbMax)
237  !ALLOCATE(local_neighbor(nbMax,ncell))
238  !CALL xios_get_compute_connectivity_domain_attr("compute", n_neighbor=n_local, local_neighbor=local_neighbor)
239
240   DO ts=1,24*10
241     CALL xios_update_calendar(ts)
242     CALL xios_send_field("field_A_srf",field_A_compressed)
243     CALL xios_send_field("field_B_srf",field_A_compressed(:,1))
244    ENDDO
245
246    CALL xios_context_finalize()
247
248  DEALLOCATE(lon_glo)
249  DEALLOCATE(lat_glo)
250  DEALLOCATE(bounds_lon_glo)
251  DEALLOCATE(bounds_lat_glo)
252  DEALLOCATE(i_index_glo)
253  DEALLOCATE(field_A_glo)
254  DEALLOCATE(mask_glo)
255  DEALLOCATE(i_index)
256  DEALLOCATE(lon)
257  DEALLOCATE(lat)
258  DEALLOCATE(bounds_lon)
259  DEALLOCATE(bounds_lat)
260  DEALLOCATE(field_A_srf)
261  DEALLOCATE(mask)
262  DEALLOCATE(field_A_compressed)
263  DEALLOCATE(data_i_index)
264  !DEALLOCATE(local_neighbor)
265 
266
267  CALL xios_finalize()
268
269print *, mpi_rank, "Client : xios_finalize "
270
271  !$omp barrier
272
273  !$omp master
274  CALL MPI_COMM_FREE(comm, ierr)
275  !$omp end master
276
277  !$omp barrier
278
279  !$omp end parallel
280
281
282    else
283
284    CALL xios_init_server
285    print *, "Server : xios_finalize "
286 
287    endif
288
289
290CONTAINS
291SUBROUTINE MSE_XIOS_GAUSS_GRID(NDGLG,NDLON,NPRGPNS, NPRGPEW,MYSETA, MYSETB)
292!!
293!!     PURPOSE : declare to XIOS a distribution for a rectilinear grid
294!!     --------
295!
296USE XIOS     , ONLY : XIOS_DOMAIN, XIOS_DOMAINGROUP,XIOS_GET_HANDLE, &
297                      XIOS_ADD_CHILD, XIOS_SET_DOMAIN_ATTR
298!
299!
300IMPLICIT NONE
301!
302INTEGER, INTENT(IN) :: NDGLG,NDLON,NPRGPNS, NPRGPEW,MYSETA, MYSETB
303!
304!
305!*       0.2   Declarations of local variables
306!              -------------------------------
307!
308CHARACTER(LEN=8), PARAMETER       :: YNAMGRID="complete"
309INTEGER                           :: NI,NJ,I,J,IOFF,JOFF
310REAL                   :: ZINCR
311DOUBLE PRECISION, ALLOCATABLE, DIMENSION(:)   :: ZLATI,ZLONG
312!
313TYPE(xios_domaingroup)            :: domaingroup_hdl
314TYPE(xios_domain)                 :: domain_hdl
315!
316! Basic XIOS declarations
317 CALL XIOS_GET_HANDLE("domain_definition",domaingroup_hdl)
318 CALL XIOS_ADD_CHILD(domaingroup_hdl,domain_hdl,YNAMGRID)
319 CALL XIOS_SET_DOMAIN_ATTR(YNAMGRID, type="rectilinear", data_dim=2)
320!
321! Compute domain size in longitude
322!
323IF (MOD(NDLON,NPRGPEW)==0) THEN
324   NI=NDLON/NPRGPEW
325   IOFF=(MYSETB-1)*NI
326ELSE
327   NI=NDLON/NPRGPEW+1
328   IOFF=(MYSETB-1)*NI
329   IF (MYSETB==NPRGPEW) NI=MOD(NDLON,NI)
330ENDIF
331!
332! Compute evenly spaced longitudes
333!
334ALLOCATE(ZLONG(NI))
335ZINCR=360./NDLON
336DO I=1,NI
337   ZLONG(I)=(IOFF+I)*ZINCR
338ENDDO
339!
340write(0,*) 'i=',IOFF+1,IOFF+NI
341CALL XIOS_SET_DOMAIN_ATTR(YNAMGRID, ni_glo=NDLON, ni=NI,ibegin=IOFF)
342 CALL XIOS_SET_DOMAIN_ATTR(YNAMGRID, lonvalue_1d=ZLONG(:))
343!
344! Compute domain size in latitude
345!
346IF (MOD(NDGLG,NPRGPNS)==0) THEN
347   NJ=NDGLG/NPRGPNS
348   JOFF=(MYSETA-1)*NJ
349ELSE
350   NJ=NDGLG/NPRGPNS+1
351   JOFF=(MYSETA-1)*NJ
352   IF (MYSETA==NPRGPNS) NJ=MOD(NDGLG,NJ)
353ENDIF
354!
355ALLOCATE(ZLATI(NJ))
356ZINCR=180./NDGLG
357DO J=1,NJ
358   ZLATI(J)=(JOFF+J)*ZINCR
359ENDDO
360!
361!write(0,*) 'j=',JOFF+1,JOFF+NJ ; call flush(0)
362 CALL XIOS_SET_DOMAIN_ATTR(YNAMGRID, nj_glo=NDGLG, nj=NJ, jbegin=JOFF)
363 CALL XIOS_SET_DOMAIN_ATTR(YNAMGRID,latvalue_1d=ZLATI(:)-90.)
364!
365 DEALLOCATE(ZLATI,ZLONG)!,ZLATIC,ZLONGC)
366END SUBROUTINE MSE_XIOS_GAUSS_GRID
367
368END PROGRAM test_unstruct_omp
369
370
371
372
373
Note: See TracBrowser for help on using the repository browser.