source: XIOS/dev/branch_openmp/extern/src_ep_dev/ep_free.cpp @ 1468

Last change on this file since 1468 was 1468, checked in by yushan, 6 years ago

tests (client, complete, toy, rempa) work fine with 2-level server mode. Tested on ADA (2*2+2)
File size: 4.0 KB
Line 
1#include "ep_lib.hpp"
2#include <mpi.h>
3#include "ep_declaration.hpp"
4#include "ep_mpi.hpp"
5
6namespace ep_lib
7{
8
9  int MPI_Comm_free(MPI_Comm *comm)
10  {
11    if(! comm->is_ep)
12    {
13      if(comm->mpi_comm != static_cast< ::MPI_Comm*>(MPI_COMM_NULL.mpi_comm))
14      {
15        ::MPI_Comm mpi_comm = to_mpi_comm(comm->mpi_comm);
16
17        ::MPI_Comm_free(&mpi_comm);
18        Debug("comm is MPI, freed\n");
19      }
20      return 0;
21    }
22
23    else if(comm->is_intercomm)
24    {
25      return MPI_Comm_free_intercomm(comm);
26    }
27
28    else
29    {
30      int ep_rank_loc, num_ep;
31
32      ep_rank_loc = comm->ep_comm_ptr->size_rank_info[1].first;
33      num_ep = comm->ep_comm_ptr->size_rank_info[1].second;
34
35      MPI_Barrier(*comm);
36
37      if(ep_rank_loc == 0)
38      {
39        Debug("comm is EP, mpi_comm_ptr != NULL\n");
40
41        delete comm->my_buffer;
42
43
44        if(comm->ep_barrier != NULL)
45        {
46          comm->ep_barrier->~OMPbarrier();
47          Debug("ep_barrier freed\n");
48        }
49
50
51        if( ! comm->rank_map->empty() )
52        {
53          comm->rank_map->clear();
54          Debug("rank_map emptied\n");
55        }
56
57        for(int i=0; i<num_ep; i++)
58        {
59          comm->ep_comm_ptr->comm_list[i].ep_comm_ptr->message_queue->clear();
60          Debug("message queue freed\n");
61         
62
63          if(comm->ep_comm_ptr->comm_list[i].ep_comm_ptr != NULL)
64          {
65            delete comm->ep_comm_ptr->comm_list[i].ep_comm_ptr;
66            Debug("ep_comm_ptr freed\n");
67          }
68        }
69
70        if( to_mpi_comm(comm->mpi_comm) != *static_cast< ::MPI_Comm*>(MPI_COMM_NULL.mpi_comm) 
71          && to_mpi_comm(comm->mpi_comm) != *static_cast< ::MPI_Comm*>(MPI_COMM_WORLD.mpi_comm))
72        {
73          ::MPI_Comm mpi_comm = to_mpi_comm(comm->mpi_comm);
74          ::MPI_Comm_free(&mpi_comm);
75          Debug("mpi_comm freed\n");
76        }
77
78       if(comm != NULL) {delete[] comm->ep_comm_ptr->comm_list; Debug("comm freed\n");}
79
80      }
81
82      return 0;
83    }
84
85
86
87  }
88
89  int MPI_Comm_free_intercomm(MPI_Comm *comm)
90  {
91    int ep_rank_loc, num_ep;
92
93    ep_rank_loc = comm->ep_comm_ptr->size_rank_info[1].first;
94    num_ep = comm->ep_comm_ptr->size_rank_info[1].second;
95
96    //MPI_Barrier(*comm);
97
98    if(ep_rank_loc == 0)
99    {
100      Debug("comm is EP, mpi_comm_ptr != NULL\n");
101
102
103      if(comm->ep_barrier != NULL)
104      {
105        comm->ep_barrier->~OMPbarrier();
106        Debug("ep_barrier freed\n");
107      }
108
109
110      if( ! comm->rank_map->empty() )
111      {
112        comm->rank_map->clear();
113        Debug("rank_map emptied\n");
114      }
115
116      for(int i=0; i<num_ep; i++)
117      {
118        comm->ep_comm_ptr->comm_list[i].ep_comm_ptr->message_queue->clear();
119        Debug("message queue freed\n");
120
121        #pragma omp critical (memory_free)
122        if(comm->ep_comm_ptr->comm_list[i].ep_comm_ptr->intercomm != NULL)
123        {
124          comm->ep_comm_ptr->comm_list[i].ep_comm_ptr->intercomm->local_rank_map->clear();
125          comm->ep_comm_ptr->comm_list[i].ep_comm_ptr->intercomm->remote_rank_map->clear();
126          comm->ep_comm_ptr->comm_list[i].ep_comm_ptr->intercomm->intercomm_rank_map->clear();
127          Debug("intercomm local/remote/intercomm_rank_map emptied\n");
128        } 
129
130        if(comm->ep_comm_ptr->comm_list[i].ep_comm_ptr != NULL)
131        {
132          delete comm->ep_comm_ptr->comm_list[i].ep_comm_ptr;
133          Debug("ep_comm_ptr freed\n");
134        }
135      }
136
137      if(comm->mpi_comm != static_cast< ::MPI_Comm*>(MPI_COMM_NULL.mpi_comm))
138      {
139        ::MPI_Comm mpi_comm = to_mpi_comm(comm->mpi_comm);
140        ::MPI_Comm_free(&mpi_comm);
141        Debug("mpi_comm freed\n");
142      }
143
144      if(comm->ep_comm_ptr->intercomm->mpi_inter_comm != static_cast< ::MPI_Comm*>(MPI_COMM_NULL.mpi_comm))
145      {
146        ::MPI_Comm mpi_comm = to_mpi_comm(comm->ep_comm_ptr->comm_list->ep_comm_ptr->intercomm->mpi_inter_comm);
147        ::MPI_Comm_free(&mpi_comm);
148        Debug("mpi_intercomm freed\n");
149      }
150
151     if(comm != NULL) {delete[] comm->ep_comm_ptr->comm_list; Debug("comm freed\n");}
152
153    }
154
155   
156   
157    return 0;
158  }
159
160
161
162}
163
164
Note: See TracBrowser for help on using the repository browser.