source: XIOS/dev/XIOS_DEV_CMIP6/src/node/grid.hpp @ 1390

Last change on this file since 1390 was 1390, checked in by oabramkina, 4 years ago

Taking into account a possibility of having a hole on the client side (NEMO-like grid).

  • Property copyright set to
    Software name : XIOS (Xml I/O Server)
    http://forge.ipsl.jussieu.fr/ioserver
    Creation date : January 2009
    Licence : CeCCIL version2
    see license file in root directory : Licence_CeCILL_V2-en.txt
    or http://www.cecill.info/licences/Licence_CeCILL_V2-en.html
    Holder : CEA/LSCE (Laboratoire des Sciences du CLimat et de l'Environnement)
    CNRS/IPSL (Institut Pierre Simon Laplace)
    Project Manager : Yann Meurdesoif
    yann.meurdesoif@cea.fr
  • Property svn:executable set to *
File size: 21.6 KB
Line 
1#ifndef __XIOS_CGrid__
2#define __XIOS_CGrid__
3
4/// XIOS headers ///
5#include "xios_spl.hpp"
6#include "group_factory.hpp"
7
8#include "declare_group.hpp"
9#include "domain.hpp"
10#include "axis.hpp"
11#include "scalar.hpp"
12#include "array_new.hpp"
13#include "attribute_array.hpp"
14#include "distribution_server.hpp"
15#include "client_server_mapping.hpp"
16#include "utils.hpp"
17#include "transformation_enum.hpp"
18
19namespace xios {
20
21   /// ////////////////////// Déclarations ////////////////////// ///
22
23   class CGridGroup;
24   class CGridAttributes;
25   class CDomainGroup;
26   class CAxisGroup;
27   class CScalarGroup;
28   class CGrid;
29   class CDistributionClient;
30   class CDistributionServer;
31   class CServerDistributionDescription;
32   class CClientServerMapping;
33   class CGridTransformation;
34
35   ///--------------------------------------------------------------
36
37   // Declare/Define CGridAttribute
38   BEGIN_DECLARE_ATTRIBUTE_MAP(CGrid)
39#  include "grid_attribute.conf"
40   END_DECLARE_ATTRIBUTE_MAP(CGrid)
41
42   ///--------------------------------------------------------------
43
44   class CGrid
45      : public CObjectTemplate<CGrid>
46      , public CGridAttributes
47   {
48         /// typedef ///
49         typedef CObjectTemplate<CGrid>   SuperClass;
50         typedef CGridAttributes SuperClassAttribute;
51
52      public:
53
54         typedef CGridAttributes RelAttributes;
55         typedef CGridGroup      RelGroup;
56
57         enum EEventId
58         {
59           EVENT_ID_INDEX, EVENT_ID_ADD_DOMAIN, EVENT_ID_ADD_AXIS, EVENT_ID_ADD_SCALAR
60         };
61
62         /// Constructeurs ///
63         CGrid(void);
64         explicit CGrid(const StdString& id);
65         CGrid(const CGrid& grid);       // Not implemented yet.
66         CGrid(const CGrid* const grid); // Not implemented yet.
67
68         /// Traitements ///
69//         void solveReference(void);
70
71         void checkEligibilityForCompressedOutput();
72
73         void solveDomainAxisRef(bool areAttributesChecked);
74
75         void checkMaskIndex(bool doCalculateIndex);
76
77 //        virtual void toBinary  (StdOStream& os) const;
78//         virtual void fromBinary(StdIStream& is);
79
80         void addRelFileCompressed(const StdString& filename);
81
82         /// Tests ///
83         bool isCompressible(void) const;
84         bool isWrittenCompressed(const StdString& filename) const;
85
86      public:
87
88         /// Accesseurs ///
89         StdSize getDimension(void);
90
91         StdSize  getDataSize(void) const;
92
93         /// Entrées-sorties de champs
94         template <int n>
95         void inputField(const CArray<double,n>& field, CArray<double,1>& stored) const;
96         template <int n>
97         void outputField(const CArray<double,1>& stored, CArray<double,n>& field) const; 
98         template <int n>
99         void uncompressField(const CArray<double,n>& data, CArray<double,1>& outData) const; 
100
101         virtual void parse(xml::CXMLNode& node);
102
103         /// Destructeur ///
104         virtual ~CGrid(void);
105
106      public:
107
108         /// Accesseurs statiques ///
109         static StdString GetName(void);
110         static StdString GetDefName(void);
111
112         static ENodeType GetType(void);
113
114         /// Instanciateurs Statiques ///
115         static CGrid* createGrid(CDomain* domain);
116         static CGrid* createGrid(CDomain* domain, CAxis* axis);
117         static CGrid* createGrid(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
118                                  const CArray<int,1>& axisDomainOrder = CArray<int,1>());
119         static CGrid* createGrid(StdString id, const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
120                                  const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder = CArray<int,1>());
121         static CGrid* createGrid(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
122                                  const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder);
123         static StdString generateId(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
124                                     const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder = CArray<int,1>());
125         static StdString generateId(const CGrid* gridSrc, const CGrid* gridDest);
126         static CGrid* cloneGrid(const StdString& idNewGrid, CGrid* gridSrc);
127
128      public:           
129         void computeIndexServer(void);
130         void computeIndex(void);
131         void computeIndexScalarGrid();
132         void computeWrittenIndex();
133
134         void solveDomainRef(bool checkAtt);
135         void solveAxisRef(bool checkAtt);
136         void solveScalarRef(bool checkAtt);
137         void solveDomainAxisRefInheritance(bool apply = true);
138         void solveTransformations();
139         void solveDomainAxisBaseRef();
140
141         CDomain* addDomain(const std::string& id=StdString());
142         CAxis* addAxis(const std::string& id=StdString());
143         CScalar* addScalar(const std::string& id=StdString());
144         void sendAddDomain(const std::string& id="");
145         void sendAddAxis(const std::string& id="");
146         void sendAddScalar(const std::string& id="");
147         void sendAllDomains();
148         void sendAllAxis();
149         void sendAllScalars();
150
151         static void recvAddDomain(CEventServer& event);
152         void recvAddDomain(CBufferIn& buffer);
153         static void recvAddAxis(CEventServer& event);
154         void recvAddAxis(CBufferIn& buffer);
155         static void recvAddScalar(CEventServer& event);
156         void recvAddScalar(CBufferIn& buffer);
157
158         static bool dispatchEvent(CEventServer& event);
159         static void recvIndex(CEventServer& event);
160         void recvIndex(vector<int> ranks, vector<CBufferIn*> buffers);
161         void sendIndex(void);
162         void sendIndexScalarGrid();
163
164         void setContextClient(CContextClient* contextClient);
165
166         void computeDomConServer();
167         std::map<int, int> getDomConServerSide();
168         std::map<int, StdSize> getAttributesBufferSize(CContextClient* client, bool bufferForWriting = false);
169         std::map<int, StdSize> getDataBufferSize(CContextClient* client, const std::string& id = "", bool bufferForWriting = false);
170         std::vector<StdString> getDomainList();
171         std::vector<StdString> getAxisList();
172         std::vector<StdString> getScalarList();
173         std::vector<CDomain*> getDomains();
174         std::vector<CAxis*> getAxis();
175         std::vector<CScalar*> getScalars();
176         CDomain* getDomain(int domainIndex);
177         CAxis* getAxis(int axisIndex);
178         CScalar* getScalar(int scalarIndex);
179         std::vector<int> getAxisOrder();
180         std::vector<int> getGlobalDimension();
181         bool isScalarGrid() const;         
182
183         bool doGridHaveDataToWrite();
184         bool doGridHaveDataDistributed(CContextClient* client = 0);
185         size_t getWrittenDataSize() const;
186         int getNumberWrittenIndexes() const;
187         int getTotalNumberWrittenIndexes() const;
188         int getOffsetWrittenIndexes() const;
189
190         CDistributionServer* getDistributionServer();
191         CDistributionClient* getDistributionClient();
192         CGridTransformation* getTransformations();
193
194         void transformGrid(CGrid* transformGridSrc);
195         void completeGrid(CGrid* transformGridSrc = 0);
196         void doAutoDistribution(CGrid* transformGridSrc);
197         bool isTransformed();
198         void setTransformed();
199         bool isGenerated();
200         void setGenerated();
201         void addTransGridSource(CGrid* gridSrc);
202         std::map<CGrid*, std::pair<bool,StdString> >& getTransGridSource();
203         bool hasTransform();
204         size_t getGlobalWrittenSize(void) ;
205
206      public:
207         CArray<int, 1> storeIndex_client;
208
209/** Map containing indexes that will be sent in sendIndex(). */
210         std::map<CContextClient*, map<int, CArray<int, 1> > > storeIndex_toSrv;
211
212/** Map storing the number of senders. Key = size of receiver's intracomm */
213         std::map<int, std::map<int,int> > nbSenders;
214
215         std::map<CContextClient*, std::map<int,int> > nbReadSenders;
216
217         map<int, CArray<int, 1> > storeIndex_fromSrv; // Support, for now, reading with level-1 server
218
219         map<int, CArray<size_t, 1> > outIndexFromClient;  // Deprecated
220
221         map<int, CArray<size_t, 1> > compressedOutIndexFromClient;
222
223/** Map storing received indexes. Key = sender rank, value = index array. */
224         map<int, CArray<size_t, 1> > outGlobalIndexFromClient;
225
226// Manh Ha's comment: " A client receives global index from other clients (via recvIndex)
227// then does mapping these index into local index of STORE_CLIENTINDEX
228// In this way, store_clientIndex can be used as an input of a source filter
229// Maybe we need a flag to determine whether a client wants to write. TODO "
230
231/** Map storing received data. Key = sender rank, value = data array.
232 *  The map is created in CGrid::computeClientIndex and filled upon receiving data in CField::recvUpdateData() */
233         map<int, CArray<size_t, 1> > outLocalIndexStoreOnClient; 
234
235/** Indexes calculated based on server-like distribution.
236 *  They are used for writing/reading data and only calculated for server level that does the writing/reading.
237 *  Along with localIndexToWriteOnClient, these indexes are used to correctly place incoming data. */
238         CArray<size_t,1> localIndexToWriteOnServer;
239
240/** Indexes calculated based on client-like distribution.
241 *  They are used for writing/reading data and only calculated for server level that does the writing/reading.
242 *  Along with localIndexToWriteOnServer, these indexes are used to correctly place incoming data. */
243         CArray<size_t,1> localIndexToWriteOnClient;
244
245         CArray<size_t,1> indexFromClients;
246
247         void checkMask(void);
248         void createMask(void);
249         void modifyMask(const CArray<int,1>& indexToModify, bool valueToModify = false);
250         void modifyMaskSize(const std::vector<int>& newDimensionSize, bool newValue = false);
251
252         void computeGridGlobalDimension(const std::vector<CDomain*>& domains,
253                                         const std::vector<CAxis*>& axis,
254                                         const std::vector<CScalar*>& scalars,
255                                         const CArray<int,1>& axisDomainOrder);
256
257      private:
258       template<int N>
259       void checkGridMask(CArray<bool,N>& gridMask,
260                          const std::vector<CArray<bool,1>* >& domainMasks,
261                          const std::vector<CArray<bool,1>* >& axisMasks,
262                          const CArray<int,1>& axisDomainOrder,
263                          bool createMask = false);
264        template<int N>
265        void modifyGridMask(CArray<bool,N>& gridMask, const CArray<int,1>& indexToModify, bool valueToModify);
266
267        template<int N>
268        void modifyGridMaskSize(CArray<bool,N>& gridMask, const std::vector<int>& eachDimSize, bool newValue);
269
270        void storeField_arr(const double* const data, CArray<double, 1>& stored) const;
271        void restoreField_arr(const CArray<double, 1>& stored, double* const data) const;
272        void uncompressField_arr(const double* const data, CArray<double, 1>& outData) const;
273
274        void setVirtualDomainGroup(CDomainGroup* newVDomainGroup);
275        void setVirtualAxisGroup(CAxisGroup* newVAxisGroup);
276        void setVirtualScalarGroup(CScalarGroup* newVScalarGroup);
277
278        void setDomainList(const std::vector<CDomain*> domains = std::vector<CDomain*>());
279        void setAxisList(const std::vector<CAxis*> axis = std::vector<CAxis*>());
280        void setScalarList(const std::vector<CScalar*> scalars = std::vector<CScalar*>());
281
282        CDomainGroup* getVirtualDomainGroup() const;
283        CAxisGroup* getVirtualAxisGroup() const;
284        CScalarGroup* getVirtualScalarGroup() const;
285
286        void checkAttributesAfterTransformation();
287        void setTransformationAlgorithms();
288        void computeIndexByElement(const std::vector<boost::unordered_map<size_t,std::vector<int> > >& indexServerOnElement,
289                                   const CContextClient* client,
290                                   CClientServerMapping::GlobalIndexMap& globalIndexOnServer);
291        int computeGridGlobalDimension(std::vector<int>& globalDim,
292                                       const std::vector<CDomain*> domains,
293                                       const std::vector<CAxis*> axis,
294                                       const std::vector<CScalar*> scalars,
295                                       const CArray<int,1>& axisDomainOrder);
296        int getDistributedDimension();
297
298        void computeClientIndex();
299        void computeConnectedClients();
300        void computeClientIndexScalarGrid(); 
301        void computeConnectedClientsScalarGrid(); 
302
303      private:
304
305/** Clients that have to send a grid. There can be multiple clients in case of secondary server, otherwise only one client. */
306        std::list<CContextClient*> clients;
307        std::set<CContextClient*> clientsSet;
308
309        bool isChecked;
310        bool isDomainAxisChecked;
311        bool isIndexSent;
312
313        CDomainGroup* vDomainGroup_;
314        CAxisGroup* vAxisGroup_;
315        CScalarGroup* vScalarGroup_;
316        std::vector<std::string> axisList_, domList_, scalarList_;
317        bool isAxisListSet, isDomListSet, isScalarListSet;
318
319/** Client-like distribution calculated based on the knowledge of the entire grid */
320        CDistributionClient* clientDistribution_;
321
322/** Server-like distribution calculated upon receiving indexes */
323        CDistributionServer* serverDistribution_;
324
325        CClientServerMapping* clientServerMap_;
326        size_t writtenDataSize_;
327        int numberWrittenIndexes_, totalNumberWrittenIndexes_, offsetWrittenIndexes_;
328
329/** Map storing local ranks of connected receivers. Key = size of receiver's intracomm.
330  * It is calculated in computeConnectedClients(). */
331        std::map<int, std::vector<int> > connectedServerRank_;
332
333/** Map storing the size of data to be send. Key = size of receiver's intracomm
334  * It is calculated in computeConnectedClients(). */
335        std::map<int, std::map<int,size_t> > connectedDataSize_;
336
337/** Ranks of connected receivers in case of reading. It is calculated in recvIndex(). */
338        std::vector<int> connectedServerRankRead_;
339
340/** Size of data to be send in case of reading. It is calculated in recvIndex(). */
341        std::map<int,size_t> connectedDataSizeRead_;
342
343        bool isDataDistributed_;       
344         //! True if and only if the data defined on the grid can be outputted in a compressed way
345        bool isCompressible_;
346        std::set<std::string> relFilesCompressed;
347
348        bool isTransformed_, isGenerated_;
349        bool computedWrittenIndex_;
350        std::vector<int> axisPositionInGrid_;
351        CGridTransformation* transformations_;
352        bool hasDomainAxisBaseRef_;       
353        std::map<CGrid*, std::pair<bool,StdString> > gridSrc_;
354        bool hasTransform_;
355
356/** Map storing global indexes of server-like (band-wise) distribution for sending to receivers.
357  * Key = size of receiver's intracomm.
358  */
359//        std::map<CContextClient*, CClientServerMapping::GlobalIndexMap> globalIndexOnServer_;
360        std::map<int, CClientServerMapping::GlobalIndexMap> globalIndexOnServer_;
361
362
363/** List order of axis and domain in a grid, if there is a domain, it will take value 1 (true), axis 0 (false) */
364        std::vector<int> order_;
365
366   }; // class CGrid
367
368   ///--------------------------------------------------------------
369
370   template <int n>
371   void CGrid::inputField(const CArray<double,n>& field, CArray<double,1>& stored) const
372   {
373//#ifdef __XIOS_DEBUG
374      if (this->getDataSize() != field.numElements())
375         ERROR("void CGrid::inputField(const  CArray<double,n>& field, CArray<double,1>& stored) const",
376                << "[ Awaiting data of size = " << this->getDataSize() << ", "
377                << "Received data size = "      << field.numElements() << " ] "
378                << "The data array does not have the right size! "
379                << "Grid = " << this->getId())
380//#endif
381      this->storeField_arr(field.dataFirst(), stored);
382   }
383
384   template <int n>
385   void CGrid::outputField(const CArray<double,1>& stored, CArray<double,n>& field) const
386   {
387//#ifdef __XIOS_DEBUG
388      if (this->getDataSize() != field.numElements())
389         ERROR("void CGrid::outputField(const CArray<double,1>& stored, CArray<double,n>& field) const",
390                << "[ Size of the data = " << this->getDataSize() << ", "
391                << "Output data size = "   << field.numElements() << " ] "
392                << "The ouput array does not have the right size! "
393                << "Grid = " << this->getId())
394//#endif
395      this->restoreField_arr(stored, field.dataFirst());
396   }
397
398   /*!
399     This function removes the effect of mask on received data on the server.
400     This function only serve for the checking purpose. TODO: Something must be done to seperate mask and data_index from each other in received data
401     \data data received data with masking effect on the server
402     \outData data without masking effect
403   */
404   template <int N>
405   void CGrid::uncompressField(const CArray<double,N>& data, CArray<double,1>& outData) const
406   {     
407     uncompressField_arr(data.dataFirst(), outData);
408   }
409
410   template<int N>
411   void CGrid::checkGridMask(CArray<bool,N>& gridMask,
412                             const std::vector<CArray<bool,1>* >& domainMasks,
413                             const std::vector<CArray<bool,1>* >& axisMasks,
414                             const CArray<int,1>& axisDomainOrder,
415                             bool createMask)
416   {
417     int idx = 0;
418     int numElement = axisDomainOrder.numElements();
419     int dim = domainMasks.size() * 2 + axisMasks.size();
420     std::vector<CDomain*> domainP = this->getDomains();
421
422     std::vector<int> idxLoop(dim,0), indexMap(numElement), eachDimSize(dim);
423     std::vector<int> currentIndex(dim);
424     int idxDomain = 0, idxAxis = 0;
425    for (int i = 0; i < numElement; ++i)
426    {
427      indexMap[i] = idx;
428      if (2 == axisDomainOrder(i)) {
429          eachDimSize[indexMap[i]]   = domainP[idxDomain]->ni;
430          eachDimSize[indexMap[i]+1] = domainP[idxDomain]->nj;
431          idx += 2; ++idxDomain;
432      }
433      else if (1 == axisDomainOrder(i)) {
434        eachDimSize[indexMap[i]] = axisMasks[idxAxis]->numElements();
435        ++idx; ++idxAxis;
436      }
437      else {};
438    }
439
440    if (!gridMask.isEmpty() && !createMask)
441    {
442      for (int i = 0; i < dim; ++i)
443      {
444        if (gridMask.extent(i) != eachDimSize[i])
445          ERROR("CGrid::checkMask(void)",
446                << "The mask has one dimension whose size is different from the one of the local grid." << std::endl
447                << "Local size of dimension " << i << " is " << eachDimSize[i] << "." << std::endl
448                << "Mask size for dimension " << i << " is " << gridMask.extent(i) << "." << std::endl
449                << "Grid = " << this->getId())
450      }
451    }
452    else {
453        CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
454        gridMask = true;
455    }
456
457    int ssize = gridMask.numElements();
458    idx = 0;
459    while (idx < ssize)
460    {
461      for (int i = 0; i < dim-1; ++i)
462      {
463        if (idxLoop[i] == eachDimSize[i])
464        {
465          idxLoop[i] = 0;
466          ++idxLoop[i+1];
467        }
468      }
469
470      // Find out outer index
471      idxDomain = idxAxis = 0;
472      bool maskValue = true;
473      for (int i = 0; i < numElement; ++i)
474      {
475        if (2 == axisDomainOrder(i))
476        {
477          int idxTmp = idxLoop[indexMap[i]] + idxLoop[indexMap[i]+1] * eachDimSize[indexMap[i]];
478          if (idxTmp < (*domainMasks[idxDomain]).numElements())
479            maskValue = maskValue && (*domainMasks[idxDomain])(idxTmp);
480          else
481            maskValue = false;
482          ++idxDomain;
483        }
484        else if (1 == axisDomainOrder(i))
485        {
486          maskValue = maskValue && (*axisMasks[idxAxis])(idxLoop[indexMap[i]]);
487          ++idxAxis;
488        }
489      }
490
491      int maskIndex = idxLoop[0];
492      int mulDim = 1;
493      for (int k = 1; k < dim; ++k)
494      {
495        mulDim *= eachDimSize[k-1];
496        maskIndex += idxLoop[k]*mulDim;
497      }
498      *(gridMask.dataFirst()+maskIndex) &= maskValue;
499
500      ++idxLoop[0];
501      ++idx;
502    }
503
504   }
505
506   template<int N>
507   void CGrid::modifyGridMaskSize(CArray<bool,N>& gridMask,
508                                  const std::vector<int>& eachDimSize,
509                                  bool newValue)
510   {
511      if (N != eachDimSize.size())
512      {
513        // ERROR("CGrid::modifyGridMaskSize(CArray<bool,N>& gridMask,
514        //                                  const std::vector<int>& eachDimSize,
515        //                                  bool newValue)",
516        //       << "Dimension size of the mask is different from input dimension size." << std::endl
517        //       << "Mask dimension is " << N << "." << std::endl
518        //       << "Input dimension is " << eachDimSize.size() << "." << std::endl
519        //       << "Grid = " << this->getId())
520      }
521      CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
522      gridMask = newValue;
523   }
524                                 
525
526   /*!
527     Modify the current mask of grid, the local index to be modified will take value false
528     \param [in/out] gridMask current mask of grid
529     \param [in] indexToModify local index to modify
530   */
531   template<int N>
532   void CGrid::modifyGridMask(CArray<bool,N>& gridMask, const CArray<int,1>& indexToModify, bool valueToModify)
533   {     
534     int num = indexToModify.numElements();
535     for (int idx = 0; idx < num; ++idx)
536     {
537       *(gridMask.dataFirst()+indexToModify(idx)) = valueToModify;
538     }
539   }
540   ///--------------------------------------------------------------
541
542   // Declare/Define CGridGroup and CGridDefinition
543   DECLARE_GROUP(CGrid);
544
545   ///--------------------------------------------------------------
546
547} // namespace xios
548
549#endif // __XIOS_CGrid__
Note: See TracBrowser for help on using the repository browser.