source: XIOS/dev/dev_ym/XIOS_COUPLING/src/node/grid.hpp @ 1784

Last change on this file since 1784 was 1784, checked in by ymipsl, 2 years ago
  • Preparing coupling functionalities.
  • Make some cleaner things

YM

  • Property copyright set to
    Software name : XIOS (Xml I/O Server)
    http://forge.ipsl.jussieu.fr/ioserver
    Creation date : January 2009
    Licence : CeCCIL version2
    see license file in root directory : Licence_CeCILL_V2-en.txt
    or http://www.cecill.info/licences/Licence_CeCILL_V2-en.html
    Holder : CEA/LSCE (Laboratoire des Sciences du CLimat et de l'Environnement)
    CNRS/IPSL (Institut Pierre Simon Laplace)
    Project Manager : Yann Meurdesoif
    yann.meurdesoif@cea.fr
  • Property svn:executable set to *
File size: 22.9 KB
Line 
1#ifndef __XIOS_CGrid__
2#define __XIOS_CGrid__
3
4/// XIOS headers ///
5#include "xios_spl.hpp"
6#include "group_factory.hpp"
7
8#include "declare_group.hpp"
9#include "domain.hpp"
10#include "axis.hpp"
11#include "scalar.hpp"
12#include "array_new.hpp"
13#include "attribute_array.hpp"
14#include "distribution_server.hpp"
15#include "client_server_mapping.hpp"
16#include "utils.hpp"
17#include "transformation_enum.hpp"
18
19namespace xios {
20
21   /// ////////////////////// Declarations ////////////////////// ///
22
23   class CGridGroup;
24   class CGridAttributes;
25   class CDomainGroup;
26   class CAxisGroup;
27   class CScalarGroup;
28   class CGrid;
29   class CDistributionClient;
30   class CDistributionServer;
31   class CServerDistributionDescription;
32   class CClientServerMapping;
33   class CGridTransformation;
34
35   ///--------------------------------------------------------------
36
37   // Declare/Define CGridAttribute
38   BEGIN_DECLARE_ATTRIBUTE_MAP(CGrid)
39#  include "grid_attribute.conf"
40   END_DECLARE_ATTRIBUTE_MAP(CGrid)
41
42   ///--------------------------------------------------------------
43
44   class CGrid
45      : public CObjectTemplate<CGrid>
46      , public CGridAttributes
47   {
48         /// typedef ///
49         typedef CObjectTemplate<CGrid>   SuperClass;
50         typedef CGridAttributes SuperClassAttribute;
51
52      public:
53
54         typedef CGridAttributes RelAttributes;
55         typedef CGridGroup      RelGroup;
56
57         enum EEventId
58         {
59           EVENT_ID_INDEX, EVENT_ID_ADD_DOMAIN, EVENT_ID_ADD_AXIS, EVENT_ID_ADD_SCALAR
60         };
61
62         /// Constructeurs ///
63         CGrid(void);
64         explicit CGrid(const StdString& id);
65         CGrid(const CGrid& grid);       // Not implemented yet.
66         CGrid(const CGrid* const grid); // Not implemented yet.
67
68         /// Traitements ///
69//         void solveReference(void);
70
71         void checkEligibilityForCompressedOutput();
72
73         void solveDomainAxisRef(bool areAttributesChecked);
74
75         void checkMaskIndex(bool doCalculateIndex);
76
77 //        virtual void toBinary  (StdOStream& os) const;
78//         virtual void fromBinary(StdIStream& is);
79
80         void addRelFileCompressed(const StdString& filename);
81
82         /// Tests ///
83         bool isCompressible(void) const;
84         bool isWrittenCompressed(const StdString& filename) const;
85
86      public:
87
88         /// Accesseurs ///
89         StdSize getDimension(void);
90
91         StdSize  getDataSize(void) const;
92
93         /// Entrees-sorties de champs
94         template <int n>
95         void inputField(const CArray<double,n>& field, CArray<double,1>& stored) const;
96         template <int n>
97         void maskField(const CArray<double,n>& field, CArray<double,1>& stored) const;
98         template <int n>
99         void outputField(const CArray<double,1>& stored, CArray<double,n>& field) const; 
100         template <int n>
101         void uncompressField(const CArray<double,n>& data, CArray<double,1>& outData) const; 
102
103         virtual void parse(xml::CXMLNode& node);
104
105         /// Destructeur ///
106         virtual ~CGrid(void);
107
108      public:
109
110         /// Accesseurs statiques ///
111         static StdString GetName(void);
112         static StdString GetDefName(void);
113
114         static ENodeType GetType(void);
115
116         /// Instanciateurs Statiques ///
117         static CGrid* createGrid(CDomain* domain);
118         static CGrid* createGrid(CDomain* domain, CAxis* axis);
119         static CGrid* createGrid(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
120                                  const CArray<int,1>& axisDomainOrder = CArray<int,1>());
121         static CGrid* createGrid(StdString id, const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
122                                  const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder = CArray<int,1>());
123         static CGrid* createGrid(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
124                                  const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder);
125         static StdString generateId(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
126                                     const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder = CArray<int,1>());
127         static StdString generateId(const CGrid* gridSrc, const CGrid* gridDest);
128         static CGrid* cloneGrid(const StdString& idNewGrid, CGrid* gridSrc);
129
130      public:           
131         void computeIndexServer(void);
132         void computeIndex(void);
133         void computeIndexScalarGrid();
134         void computeWrittenIndex();
135
136         void solveDomainRef(bool checkAtt);
137         void solveAxisRef(bool checkAtt);
138         void solveScalarRef(bool checkAtt);
139         void solveDomainAxisRefInheritance(bool apply = true);
140         void solveTransformations();
141         void solveDomainAxisBaseRef();
142
143         CDomain* addDomain(const std::string& id=StdString());
144         CAxis* addAxis(const std::string& id=StdString());
145         CScalar* addScalar(const std::string& id=StdString());
146         void sendAddDomain(const std::string& id,CContextClient* contextClient);
147         void sendAddAxis(const std::string& id,CContextClient* contextClient);
148         void sendAddScalar(const std::string& id,CContextClient* contextClient);
149         void sendAllDomains(CContextClient* contextClient);
150         void sendAllAxis(CContextClient* contextClient);
151         void sendAllScalars(CContextClient* contextClient);
152
153         static void recvAddDomain(CEventServer& event);
154         void recvAddDomain(CBufferIn& buffer);
155         static void recvAddAxis(CEventServer& event);
156         void recvAddAxis(CBufferIn& buffer);
157         static void recvAddScalar(CEventServer& event);
158         void recvAddScalar(CBufferIn& buffer);
159
160         static bool dispatchEvent(CEventServer& event);
161         static void recvIndex(CEventServer& event);
162         void recvIndex(vector<int> ranks, vector<CBufferIn*> buffers);
163         void sendIndex(void);
164         void sendIndexScalarGrid();
165
166         void setContextClient(CContextClient* contextClient);
167
168         void computeDomConServer();
169         std::map<int, int> getDomConServerSide();
170         std::map<int, StdSize> getAttributesBufferSize(CContextClient* client, bool bufferForWriting = false);
171         std::map<int, StdSize> getDataBufferSize(CContextClient* client, const std::string& id = "", bool bufferForWriting = false);
172         std::vector<StdString> getDomainList();
173         std::vector<StdString> getAxisList();
174         std::vector<StdString> getScalarList();
175         std::vector<CDomain*> getDomains();
176         std::vector<CAxis*> getAxis();
177         std::vector<CScalar*> getScalars();
178         CDomain* getDomain(int domainIndex);
179         CAxis* getAxis(int axisIndex);
180         CScalar* getScalar(int scalarIndex);
181         std::vector<int> getAxisOrder();
182         std::vector<int> getGlobalDimension();
183         bool isScalarGrid() const;         
184
185         bool doGridHaveDataToWrite();
186         bool doGridHaveDataDistributed(CContextClient* client = 0);
187         size_t getWrittenDataSize() const;
188         int getNumberWrittenIndexes() const;
189         int getTotalNumberWrittenIndexes() const;
190         int getOffsetWrittenIndexes() const;
191
192         CDistributionServer* getDistributionServer();
193         CDistributionClient* getDistributionClient();
194         CGridTransformation* getTransformations();
195
196         void transformGrid(CGrid* transformGridSrc);
197         void completeGrid(CGrid* transformGridSrc = 0);
198         void doAutoDistribution(CGrid* transformGridSrc);
199         bool isTransformed();
200         void setTransformed();
201         bool isGenerated();
202         void setGenerated();
203         void addTransGridSource(CGrid* gridSrc);
204         std::map<CGrid*, std::pair<bool,StdString> >& getTransGridSource();
205         bool hasTransform();
206         size_t getGlobalWrittenSize(void) ;
207      public:
208         CArray<int, 1> storeIndex_client;
209         CArray<bool, 1> storeMask_client;
210
211/** Map containing indexes that will be sent in sendIndex(). */
212         std::map<CContextClient*, map<int, CArray<int, 1> > > storeIndex_toSrv;
213
214/** Map storing the number of senders. Key = size of receiver's intracomm */
215         std::map<int, std::map<int,int> > nbSenders;
216
217         std::map<CContextClient*, std::map<int,int> > nbReadSenders;
218
219         map<int, CArray<int, 1> > storeIndex_fromSrv; // Support, for now, reading with level-1 server
220
221         map<int, CArray<size_t, 1> > compressedOutIndexFromClient;
222
223/** Map storing received indexes. Key = sender rank, value = index array. */
224         map<int, CArray<size_t, 1> > outGlobalIndexFromClient;
225
226// Manh Ha's comment: " A client receives global index from other clients (via recvIndex)
227// then does mapping these index into local index of STORE_CLIENTINDEX
228// In this way, store_clientIndex can be used as an input of a source filter
229// Maybe we need a flag to determine whether a client wants to write. TODO "
230
231/** Map storing received data. Key = sender rank, value = data array.
232 *  The map is created in CGrid::computeClientIndex and filled upon receiving data in CField::recvUpdateData() */
233         map<int, CArray<size_t, 1> > outLocalIndexStoreOnClient; 
234
235/** Indexes calculated based on server-like distribution.
236 *  They are used for writing/reading data and only calculated for server level that does the writing/reading.
237 *  Along with localIndexToWriteOnClient, these indexes are used to correctly place incoming data. */
238         CArray<size_t,1> localIndexToWriteOnServer;
239
240/** Indexes calculated based on client-like distribution.
241 *  They are used for writing/reading data and only calculated for server level that does the writing/reading.
242 *  Along with localIndexToWriteOnServer, these indexes are used to correctly place incoming data. */
243         CArray<size_t,1> localIndexToWriteOnClient;
244
245         CArray<size_t,1> indexFromClients;
246
247         bool hasMask(void) const;
248         void checkMask(void);
249         void createMask(void);
250         void modifyMask(const CArray<int,1>& indexToModify, bool valueToModify = false);
251         void modifyMaskSize(const std::vector<int>& newDimensionSize, bool newValue = false);
252
253         void computeGridGlobalDimension(const std::vector<CDomain*>& domains,
254                                         const std::vector<CAxis*>& axis,
255                                         const std::vector<CScalar*>& scalars,
256                                         const CArray<int,1>& axisDomainOrder);
257
258      private:
259       template<int N>
260       void checkGridMask(CArray<bool,N>& gridMask,
261                          const std::vector<CArray<bool,1>* >& domainMasks,
262                          const std::vector<CArray<bool,1>* >& axisMasks,
263                          const CArray<int,1>& axisDomainOrder,
264                          bool createMask = false);
265        template<int N>
266        void modifyGridMask(CArray<bool,N>& gridMask, const CArray<int,1>& indexToModify, bool valueToModify);
267
268        template<int N>
269        void modifyGridMaskSize(CArray<bool,N>& gridMask, const std::vector<int>& eachDimSize, bool newValue);
270
271        void storeField_arr(const double* const data, CArray<double, 1>& stored) const;
272        void restoreField_arr(const CArray<double, 1>& stored, double* const data) const;
273        void uncompressField_arr(const double* const data, CArray<double, 1>& outData) const;
274        void maskField_arr(const double* const data, CArray<double, 1>& stored) const;
275
276        void setVirtualDomainGroup(CDomainGroup* newVDomainGroup);
277        void setVirtualAxisGroup(CAxisGroup* newVAxisGroup);
278        void setVirtualScalarGroup(CScalarGroup* newVScalarGroup);
279
280        void setDomainList(const std::vector<CDomain*> domains = std::vector<CDomain*>());
281        void setAxisList(const std::vector<CAxis*> axis = std::vector<CAxis*>());
282        void setScalarList(const std::vector<CScalar*> scalars = std::vector<CScalar*>());
283
284        CDomainGroup* getVirtualDomainGroup() const;
285        CAxisGroup* getVirtualAxisGroup() const;
286        CScalarGroup* getVirtualScalarGroup() const;
287
288        void checkAttributesAfterTransformation();
289        void setTransformationAlgorithms();
290        void computeIndexByElement(const std::vector<std::unordered_map<size_t,std::vector<int> > >& indexServerOnElement,
291                                   const CContextClient* client,
292                                   CClientServerMapping::GlobalIndexMap& globalIndexOnServer);
293        int computeGridGlobalDimension(std::vector<int>& globalDim,
294                                       const std::vector<CDomain*> domains,
295                                       const std::vector<CAxis*> axis,
296                                       const std::vector<CScalar*> scalars,
297                                       const CArray<int,1>& axisDomainOrder);
298        int getDistributedDimension();
299
300        void computeClientIndex();
301        void computeConnectedClients();
302        void computeClientIndexScalarGrid(); 
303        void computeConnectedClientsScalarGrid(); 
304
305      private:
306
307/** Clients that have to send a grid. There can be multiple clients in case of secondary server, otherwise only one client. */
308        std::list<CContextClient*> clients;
309        std::set<CContextClient*> clientsSet;
310
311        bool isChecked;
312        bool isDomainAxisChecked;
313        bool isIndexSent;
314
315        CDomainGroup* vDomainGroup_;
316        CAxisGroup* vAxisGroup_;
317        CScalarGroup* vScalarGroup_;
318        std::vector<std::string> axisList_, domList_, scalarList_;
319        bool isAxisListSet, isDomListSet, isScalarListSet;
320
321/** Client-like distribution calculated based on the knowledge of the entire grid */
322        CDistributionClient* clientDistribution_;
323
324/** Server-like distribution calculated upon receiving indexes */
325        CDistributionServer* serverDistribution_;
326
327        CClientServerMapping* clientServerMap_;
328        size_t writtenDataSize_;
329        int numberWrittenIndexes_, totalNumberWrittenIndexes_, offsetWrittenIndexes_;
330
331/** Map storing local ranks of connected receivers. Key = size of receiver's intracomm.
332  * It is calculated in computeConnectedClients(). */
333        std::map<int, std::vector<int> > connectedServerRank_;
334
335/** Map storing the size of data to be send. Key = size of receiver's intracomm
336  * It is calculated in computeConnectedClients(). */
337        std::map<int, std::map<int,size_t> > connectedDataSize_;
338
339/** Ranks of connected receivers in case of reading. It is calculated in recvIndex(). */
340        std::vector<int> connectedServerRankRead_;
341
342/** Size of data to be send in case of reading. It is calculated in recvIndex(). */
343        std::map<int,size_t> connectedDataSizeRead_;
344
345        bool isDataDistributed_;       
346         //! True if and only if the data defined on the grid can be outputted in a compressed way
347        bool isCompressible_;
348        std::set<std::string> relFilesCompressed;
349
350        bool isTransformed_, isGenerated_;
351        bool computedWrittenIndex_;
352        std::vector<int> axisPositionInGrid_;
353        CGridTransformation* transformations_;
354        bool hasDomainAxisBaseRef_;       
355        std::map<CGrid*, std::pair<bool,StdString> > gridSrc_;
356        bool hasTransform_;
357
358/** Map storing global indexes of server-like (band-wise) distribution for sending to receivers.
359  * Key = size of receiver's intracomm.
360  */
361//        std::map<CContextClient*, CClientServerMapping::GlobalIndexMap> globalIndexOnServer_;
362        std::map<int, CClientServerMapping::GlobalIndexMap> globalIndexOnServer_;
363
364
365/** List order of axis and domain in a grid, if there is a domain, it will take value 2, axis 1, scalar 0 */
366        std::vector<int> order_;
367
368   }; // class CGrid
369
370   ///--------------------------------------------------------------
371
372   template <int n>
373   void CGrid::inputField(const CArray<double,n>& field, CArray<double,1>& stored) const
374   TRY
375   {
376//#ifdef __XIOS_DEBUG
377      if (this->getDataSize() != field.numElements())
378         ERROR("void CGrid::inputField(const  CArray<double,n>& field, CArray<double,1>& stored) const",
379                << "[ Awaiting data of size = " << this->getDataSize() << ", "
380                << "Received data size = "      << field.numElements() << " ] "
381                << "The data array does not have the right size! "
382                << "Grid = " << this->getId())
383//#endif
384      this->storeField_arr(field.dataFirst(), stored);
385   }
386   CATCH
387
388   template <int n>
389   void CGrid::maskField(const CArray<double,n>& field, CArray<double,1>& stored) const
390   {
391//#ifdef __XIOS_DEBUG
392      if (this->getDataSize() != field.numElements())
393         ERROR("void CGrid::inputField(const  CArray<double,n>& field, CArray<double,1>& stored) const",
394                << "[ Awaiting data of size = " << this->getDataSize() << ", "
395                << "Received data size = "      << field.numElements() << " ] "
396                << "The data array does not have the right size! "
397                << "Grid = " << this->getId())
398//#endif
399      this->maskField_arr(field.dataFirst(), stored);
400   }
401
402   template <int n>
403   void CGrid::outputField(const CArray<double,1>& stored, CArray<double,n>& field) const
404   TRY
405   {
406//#ifdef __XIOS_DEBUG
407      if (this->getDataSize() != field.numElements())
408         ERROR("void CGrid::outputField(const CArray<double,1>& stored, CArray<double,n>& field) const",
409                << "[ Size of the data = " << this->getDataSize() << ", "
410                << "Output data size = "   << field.numElements() << " ] "
411                << "The ouput array does not have the right size! "
412                << "Grid = " << this->getId())
413//#endif
414      this->restoreField_arr(stored, field.dataFirst());
415   }
416   CATCH
417
418   /*!
419     This function removes the effect of mask on received data on the server.
420     This function only serve for the checking purpose. TODO: Something must be done to seperate mask and data_index from each other in received data
421     \data data received data with masking effect on the server
422     \outData data without masking effect
423   */
424   template <int N>
425   void CGrid::uncompressField(const CArray<double,N>& data, CArray<double,1>& outData) const
426   TRY
427   {     
428     uncompressField_arr(data.dataFirst(), outData);
429   }
430   CATCH
431
432   template<int N>
433   void CGrid::checkGridMask(CArray<bool,N>& gridMask,
434                             const std::vector<CArray<bool,1>* >& domainMasks,
435                             const std::vector<CArray<bool,1>* >& axisMasks,
436                             const CArray<int,1>& axisDomainOrder,
437                             bool createMask)
438   TRY
439   {
440     int idx = 0;
441     int numElement = axisDomainOrder.numElements();
442     int dim = domainMasks.size() * 2 + axisMasks.size();
443     std::vector<CDomain*> domainP = this->getDomains();
444     std::vector<CAxis*> axisP = this->getAxis();
445
446     std::vector<int> idxLoop(dim,0), indexMap(numElement), eachDimSize(dim);
447     std::vector<int> currentIndex(dim);
448     int idxDomain = 0, idxAxis = 0;
449    for (int i = 0; i < numElement; ++i)
450    {
451      indexMap[i] = idx;
452      if (2 == axisDomainOrder(i)) {
453          eachDimSize[indexMap[i]]   = domainP[idxDomain]->ni;
454          eachDimSize[indexMap[i]+1] = domainP[idxDomain]->nj;
455          idx += 2; ++idxDomain;
456      }
457      else if (1 == axisDomainOrder(i)) {
458//        eachDimSize[indexMap[i]] = axisMasks[idxAxis]->numElements();
459        eachDimSize[indexMap[i]] = axisP[idxAxis]->n;
460        ++idx; ++idxAxis;
461      }
462      else {};
463    }
464
465    if (!gridMask.isEmpty() && !createMask)
466    {
467      for (int i = 0; i < dim; ++i)
468      {
469        if (gridMask.extent(i) != eachDimSize[i])
470          ERROR("CGrid::checkMask(void)",
471                << "The mask has one dimension whose size is different from the one of the local grid." << std::endl
472                << "Local size of dimension " << i << " is " << eachDimSize[i] << "." << std::endl
473                << "Mask size for dimension " << i << " is " << gridMask.extent(i) << "." << std::endl
474                << "Grid = " << this->getId())
475      }
476    }
477    else {
478        CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
479        gridMask = true;
480    }
481
482    int ssize = gridMask.numElements();
483    idx = 0;
484    while (idx < ssize)
485    {
486      for (int i = 0; i < dim-1; ++i)
487      {
488        if (idxLoop[i] == eachDimSize[i])
489        {
490          idxLoop[i] = 0;
491          ++idxLoop[i+1];
492        }
493      }
494
495      // Find out outer index
496      idxDomain = idxAxis = 0;
497      bool maskValue = true;
498      for (int i = 0; i < numElement; ++i)
499      {
500        if (2 == axisDomainOrder(i))
501        {
502          int idxTmp = idxLoop[indexMap[i]] + idxLoop[indexMap[i]+1] * eachDimSize[indexMap[i]];
503          if (idxTmp < (*domainMasks[idxDomain]).numElements())
504            maskValue = maskValue && (*domainMasks[idxDomain])(idxTmp);
505          else
506            maskValue = false;
507          ++idxDomain;
508        }
509        else if (1 == axisDomainOrder(i))
510        {
511          int idxTmp = idxLoop[indexMap[i]];
512          if (idxTmp < (*axisMasks[idxAxis]).numElements())
513            maskValue = maskValue && (*axisMasks[idxAxis])(idxTmp);
514          else
515            maskValue = false;
516
517          ++idxAxis;
518        }
519      }
520
521      int maskIndex = idxLoop[0];
522      int mulDim = 1;
523      for (int k = 1; k < dim; ++k)
524      {
525        mulDim *= eachDimSize[k-1];
526        maskIndex += idxLoop[k]*mulDim;
527      }
528      *(gridMask.dataFirst()+maskIndex) &= maskValue;
529
530      ++idxLoop[0];
531      ++idx;
532    }
533   }
534   CATCH_DUMP_ATTR
535
536   template<int N>
537   void CGrid::modifyGridMaskSize(CArray<bool,N>& gridMask,
538                                  const std::vector<int>& eachDimSize,
539                                  bool newValue)
540   TRY
541   {
542      if (N != eachDimSize.size())
543      {
544        // ERROR("CGrid::modifyGridMaskSize(CArray<bool,N>& gridMask,
545        //                                  const std::vector<int>& eachDimSize,
546        //                                  bool newValue)",
547        //       << "Dimension size of the mask is different from input dimension size." << std::endl
548        //       << "Mask dimension is " << N << "." << std::endl
549        //       << "Input dimension is " << eachDimSize.size() << "." << std::endl
550        //       << "Grid = " << this->getId())
551      }
552      CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
553      gridMask = newValue;
554   }
555   CATCH_DUMP_ATTR
556                                 
557
558   /*!
559     Modify the current mask of grid, the local index to be modified will take value false
560     \param [in/out] gridMask current mask of grid
561     \param [in] indexToModify local index to modify
562   */
563   template<int N>
564   void CGrid::modifyGridMask(CArray<bool,N>& gridMask, const CArray<int,1>& indexToModify, bool valueToModify)
565   TRY
566   {     
567     int num = indexToModify.numElements();
568     for (int idx = 0; idx < num; ++idx)
569     {
570       *(gridMask.dataFirst()+indexToModify(idx)) = valueToModify;
571     }
572   }
573   CATCH_DUMP_ATTR
574
575   ///--------------------------------------------------------------
576
577
578
579   // Declare/Define CGridGroup and CGridDefinition
580   DECLARE_GROUP(CGrid);
581
582   ///--------------------------------------------------------------
583
584} // namespace xios
585
586#endif // __XIOS_CGrid__
Note: See TracBrowser for help on using the repository browser.