source: XIOS/dev/XIOS_DEV_CMIP6/src/node/grid.hpp @ 1294

Last change on this file since 1294 was 1294, checked in by oabramkina, 7 years ago

Improvements for the secondary server: each grid is only sent to secondary-server pools that need it.

  • Property copyright set to
    Software name : XIOS (Xml I/O Server)
    http://forge.ipsl.jussieu.fr/ioserver
    Creation date : January 2009
    Licence : CeCCIL version2
    see license file in root directory : Licence_CeCILL_V2-en.txt
    or http://www.cecill.info/licences/Licence_CeCILL_V2-en.html
    Holder : CEA/LSCE (Laboratoire des Sciences du CLimat et de l'Environnement)
    CNRS/IPSL (Institut Pierre Simon Laplace)
    Project Manager : Yann Meurdesoif
    yann.meurdesoif@cea.fr
  • Property svn:executable set to *
File size: 20.9 KB
Line 
1#ifndef __XIOS_CGrid__
2#define __XIOS_CGrid__
3
4/// XIOS headers ///
5#include "xios_spl.hpp"
6#include "group_factory.hpp"
7
8#include "declare_group.hpp"
9#include "domain.hpp"
10#include "axis.hpp"
11#include "scalar.hpp"
12#include "array_new.hpp"
13#include "attribute_array.hpp"
14#include "distribution_server.hpp"
15#include "client_server_mapping.hpp"
16#include "utils.hpp"
17#include "transformation_enum.hpp"
18
19namespace xios {
20
21   /// ////////////////////// Déclarations ////////////////////// ///
22
23   class CGridGroup;
24   class CGridAttributes;
25   class CDomainGroup;
26   class CAxisGroup;
27   class CScalarGroup;
28   class CGrid;
29   class CDistributionClient;
30   class CDistributionServer;
31   class CServerDistributionDescription;
32   class CClientServerMapping;
33   class CGridTransformation;
34
35   ///--------------------------------------------------------------
36
37   // Declare/Define CGridAttribute
38   BEGIN_DECLARE_ATTRIBUTE_MAP(CGrid)
39#  include "grid_attribute.conf"
40   END_DECLARE_ATTRIBUTE_MAP(CGrid)
41
42   ///--------------------------------------------------------------
43
44   class CGrid
45      : public CObjectTemplate<CGrid>
46      , public CGridAttributes
47   {
48         /// typedef ///
49         typedef CObjectTemplate<CGrid>   SuperClass;
50         typedef CGridAttributes SuperClassAttribute;
51
52      public:
53
54         typedef CGridAttributes RelAttributes;
55         typedef CGridGroup      RelGroup;
56
57         enum EEventId
58         {
59           EVENT_ID_INDEX, EVENT_ID_ADD_DOMAIN, EVENT_ID_ADD_AXIS, EVENT_ID_ADD_SCALAR
60         };
61
62         /// Constructeurs ///
63         CGrid(void);
64         explicit CGrid(const StdString& id);
65         CGrid(const CGrid& grid);       // Not implemented yet.
66         CGrid(const CGrid* const grid); // Not implemented yet.
67
68         /// Traitements ///
69//         void solveReference(void);
70
71         void checkEligibilityForCompressedOutput();
72
73         void solveDomainAxisRef(bool areAttributesChecked);
74
75         void checkMaskIndex(bool doCalculateIndex);
76
77 //        virtual void toBinary  (StdOStream& os) const;
78//         virtual void fromBinary(StdIStream& is);
79
80         void addRelFileCompressed(const StdString& filename);
81
82         /// Tests ///
83         bool isCompressible(void) const;
84         bool isWrittenCompressed(const StdString& filename) const;
85
86      public:
87
88         /// Accesseurs ///
89         StdSize getDimension(void);
90
91         StdSize  getDataSize(void) const;
92
93         /// Entrées-sorties de champs
94         template <int n>
95         void inputField(const CArray<double,n>& field, CArray<double,1>& stored) const;
96         template <int n>
97         void outputField(const CArray<double,1>& stored, CArray<double,n>& field) const; 
98         template <int n>
99         void uncompressField(const CArray<double,n>& data, CArray<double,1>& outData) const; 
100
101         virtual void parse(xml::CXMLNode& node);
102
103         /// Destructeur ///
104         virtual ~CGrid(void);
105
106      public:
107
108         /// Accesseurs statiques ///
109         static StdString GetName(void);
110         static StdString GetDefName(void);
111
112         static ENodeType GetType(void);
113
114         /// Instanciateurs Statiques ///
115         static CGrid* createGrid(CDomain* domain);
116         static CGrid* createGrid(CDomain* domain, CAxis* axis);
117         static CGrid* createGrid(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
118                                  const CArray<int,1>& axisDomainOrder = CArray<int,1>());
119         static CGrid* createGrid(StdString id, const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
120                                  const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder = CArray<int,1>());
121         static CGrid* createGrid(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
122                                  const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder);
123         static StdString generateId(const std::vector<CDomain*>& domains, const std::vector<CAxis*>& axis,
124                                     const std::vector<CScalar*>& scalars, const CArray<int,1>& axisDomainOrder = CArray<int,1>());
125         static StdString generateId(const CGrid* gridSrc, const CGrid* gridDest);
126         static CGrid* cloneGrid(const StdString& idNewGrid, CGrid* gridSrc);
127
128      public:           
129         void computeIndexServer(void);
130         void computeIndex(void);
131         void computeIndexScalarGrid();
132         void computeWrittenIndex();
133
134         void solveDomainRef(bool checkAtt);
135         void solveAxisRef(bool checkAtt);
136         void solveScalarRef(bool checkAtt);
137         void solveDomainAxisRefInheritance(bool apply = true);
138         void solveTransformations();
139         void solveDomainAxisBaseRef();
140
141         CDomain* addDomain(const std::string& id=StdString());
142         CAxis* addAxis(const std::string& id=StdString());
143         CScalar* addScalar(const std::string& id=StdString());
144         void sendAddDomain(const std::string& id="");
145         void sendAddAxis(const std::string& id="");
146         void sendAddScalar(const std::string& id="");
147         void sendAllDomains();
148         void sendAllAxis();
149         void sendAllScalars();
150
151         static void recvAddDomain(CEventServer& event);
152         void recvAddDomain(CBufferIn& buffer);
153         static void recvAddAxis(CEventServer& event);
154         void recvAddAxis(CBufferIn& buffer);
155         static void recvAddScalar(CEventServer& event);
156         void recvAddScalar(CBufferIn& buffer);
157
158         static bool dispatchEvent(CEventServer& event);
159         static void recvIndex(CEventServer& event);
160         void recvIndex(vector<int> ranks, vector<CBufferIn*> buffers);
161         void sendIndex(void);
162         void sendIndexScalarGrid();
163
164         void setContextClient(CContextClient* contextClient);
165
166         void computeDomConServer();
167         std::map<int, int> getDomConServerSide();
168         std::map<int, StdSize> getAttributesBufferSize(CContextClient* client);
169         std::map<int, StdSize> getDataBufferSize(CContextClient* client, const std::string& id = "");
170         std::vector<StdString> getDomainList();
171         std::vector<StdString> getAxisList();
172         std::vector<StdString> getScalarList();
173         std::vector<CDomain*> getDomains();
174         std::vector<CAxis*> getAxis();
175         std::vector<CScalar*> getScalars();
176         CDomain* getDomain(int domainIndex);
177         CAxis* getAxis(int axisIndex);
178         CScalar* getScalar(int scalarIndex);
179         std::vector<int> getAxisOrder();
180         std::vector<int> getGlobalDimension();
181         bool isScalarGrid() const;         
182
183         bool doGridHaveDataToWrite();
184         bool doGridHaveDataDistributed(CContextClient* client = 0);
185         size_t getWrittenDataSize() const;
186         int getNumberWrittenIndexes() const;
187         int getTotalNumberWrittenIndexes() const;
188         int getOffsetWrittenIndexes() const;
189
190         CDistributionServer* getDistributionServer();
191         CDistributionClient* getDistributionClient();
192         CGridTransformation* getTransformations();
193
194         void transformGrid(CGrid* transformGridSrc);
195         void completeGrid(CGrid* transformGridSrc = 0);
196         void doAutoDistribution(CGrid* transformGridSrc);
197         bool isTransformed();
198         void setTransformed();
199         bool isGenerated();
200         void setGenerated();
201         void addTransGridSource(CGrid* gridSrc);
202         std::map<CGrid*, std::pair<bool,StdString> >& getTransGridSource();
203         bool hasTransform();
204         size_t getGlobalWrittenSize(void) ;
205
206      public:
207         CArray<int, 1> storeIndex_client;
208
209/** Map containing indexes that will be sent in sendIndex(). */
210         std::map<CContextClient*, map<int, CArray<int, 1> > > storeIndex_toSrv;
211
212/** Map storing the number of senders. Key = size of receiver's intracomm */
213         std::map<int, std::map<int,int> > nbSenders;
214
215         std::map<CContextClient*, std::map<int,int> > nbReadSenders;
216
217         map<int, CArray<int, 1> > storeIndex_fromSrv; // Support, for now, reading with level-1 server
218
219         map<int, CArray<size_t, 1> > outIndexFromClient;  // Deprecated
220
221         map<int, CArray<size_t, 1> > compressedOutIndexFromClient;
222
223/** Map storing received indexes. Key = sender rank, value = index array. */
224         map<int, CArray<size_t, 1> > outGlobalIndexFromClient;
225
226// Manh Ha's comment: " A client receives global index from other clients (via recvIndex)
227// then does mapping these index into local index of STORE_CLIENTINDEX
228// In this way, store_clientIndex can be used as an input of a source filter
229// Maybe we need a flag to determine whether a client wants to write. TODO "
230
231/** Map storing received data. Key = sender rank, value = data array.
232 *  The map is created in CGrid::computeClientIndex and filled upon receiving data in CField::recvUpdateData() */
233         map<int, CArray<size_t, 1> > outLocalIndexStoreOnClient; 
234
235/** Indexes calculated based on server-like distribution.
236 *  They are used for writing/reading data and only calculated for server level that does the writing/reading.
237 *  Along with localIndexToWriteOnClient, these indexes are used to correctly place incoming data. */
238         CArray<size_t,1> localIndexToWriteOnServer;
239
240/** Indexes calculated based on client-like distribution.
241 *  They are used for writing/reading data and only calculated for server level that does the writing/reading.
242 *  Along with localIndexToWriteOnServer, these indexes are used to correctly place incoming data. */
243         CArray<size_t,1> localIndexToWriteOnClient;
244
245         CArray<size_t,1> indexFromClients;
246
247         void checkMask(void);
248         void createMask(void);
249         void modifyMask(const CArray<int,1>& indexToModify, bool valueToModify = false);
250         void modifyMaskSize(const std::vector<int>& newDimensionSize, bool newValue = false);
251
252         void computeGridGlobalDimension(const std::vector<CDomain*>& domains,
253                                         const std::vector<CAxis*>& axis,
254                                         const std::vector<CScalar*>& scalars,
255                                         const CArray<int,1>& axisDomainOrder);
256
257      private:
258       template<int N>
259       void checkGridMask(CArray<bool,N>& gridMask,
260                          const std::vector<CArray<bool,1>* >& domainMasks,
261                          const std::vector<CArray<bool,1>* >& axisMasks,
262                          const CArray<int,1>& axisDomainOrder,
263                          bool createMask = false);
264        template<int N>
265        void modifyGridMask(CArray<bool,N>& gridMask, const CArray<int,1>& indexToModify, bool valueToModify);
266
267        template<int N>
268        void modifyGridMaskSize(CArray<bool,N>& gridMask, const std::vector<int>& eachDimSize, bool newValue);
269
270        void storeField_arr(const double* const data, CArray<double, 1>& stored) const;
271        void restoreField_arr(const CArray<double, 1>& stored, double* const data) const;
272        void uncompressField_arr(const double* const data, CArray<double, 1>& outData) const;
273
274        void setVirtualDomainGroup(CDomainGroup* newVDomainGroup);
275        void setVirtualAxisGroup(CAxisGroup* newVAxisGroup);
276        void setVirtualScalarGroup(CScalarGroup* newVScalarGroup);
277
278        void setDomainList(const std::vector<CDomain*> domains = std::vector<CDomain*>());
279        void setAxisList(const std::vector<CAxis*> axis = std::vector<CAxis*>());
280        void setScalarList(const std::vector<CScalar*> scalars = std::vector<CScalar*>());
281
282        CDomainGroup* getVirtualDomainGroup() const;
283        CAxisGroup* getVirtualAxisGroup() const;
284        CScalarGroup* getVirtualScalarGroup() const;
285
286        void checkAttributesAfterTransformation();
287        void setTransformationAlgorithms();
288        void computeIndexByElement(const std::vector<boost::unordered_map<size_t,std::vector<int> > >& indexServerOnElement,
289                                   const CContextClient* client,
290                                   CClientServerMapping::GlobalIndexMap& globalIndexOnServer);
291        int computeGridGlobalDimension(std::vector<int>& globalDim,
292                                       const std::vector<CDomain*> domains,
293                                       const std::vector<CAxis*> axis,
294                                       const std::vector<CScalar*> scalars,
295                                       const CArray<int,1>& axisDomainOrder);
296        int getDistributedDimension();
297
298        void computeClientIndex();
299        void computeConnectedClients();
300        void computeClientIndexScalarGrid(); 
301        void computeConnectedClientsScalarGrid(); 
302
303      private:
304
305/** Clients that have to send a grid. There can be multiple clients in case of secondary server, otherwise only one client. */
306        std::set<CContextClient*> clients;
307
308        bool isChecked;
309        bool isDomainAxisChecked;
310        bool isIndexSent;
311
312        CDomainGroup* vDomainGroup_;
313        CAxisGroup* vAxisGroup_;
314        CScalarGroup* vScalarGroup_;
315        std::vector<std::string> axisList_, domList_, scalarList_;
316        bool isAxisListSet, isDomListSet, isScalarListSet;
317
318/** Client-like distribution calculated based on the knowledge of the entire grid */
319        CDistributionClient* clientDistribution_;
320
321/** Server-like distribution calculated upon receiving indexes */
322        CDistributionServer* serverDistribution_;
323
324        CClientServerMapping* clientServerMap_;
325        size_t writtenDataSize_;
326        int numberWrittenIndexes_, totalNumberWrittenIndexes_, offsetWrittenIndexes_;
327
328/** Map storing local ranks of connected receivers. Key = size of receiver's intracomm */
329        std::map<int, std::vector<int> > connectedServerRank_;
330
331/** Map storing the size of data to be send. Key = size of receiver's intracomm */
332        std::map<int, std::map<int,size_t> > connectedDataSize_;
333
334        bool isDataDistributed_;       
335         //! True if and only if the data defined on the grid can be outputted in a compressed way
336        bool isCompressible_;
337        std::set<std::string> relFilesCompressed;
338
339        bool isTransformed_, isGenerated_;
340        bool computedWrittenIndex_;
341        std::vector<int> axisPositionInGrid_;
342        CGridTransformation* transformations_;
343        bool hasDomainAxisBaseRef_;       
344        std::map<CGrid*, std::pair<bool,StdString> > gridSrc_;
345        bool hasTransform_;
346
347/** Map storing global indexes of server-like (band-wise) distribution for sending to receivers.
348  * Key = size of receiver's intracomm.
349  */
350//        std::map<CContextClient*, CClientServerMapping::GlobalIndexMap> globalIndexOnServer_;
351        std::map<int, CClientServerMapping::GlobalIndexMap> globalIndexOnServer_;
352
353
354/** List order of axis and domain in a grid, if there is a domain, it will take value 1 (true), axis 0 (false) */
355        std::vector<int> order_;
356
357   }; // class CGrid
358
359   ///--------------------------------------------------------------
360
361   template <int n>
362   void CGrid::inputField(const CArray<double,n>& field, CArray<double,1>& stored) const
363   {
364//#ifdef __XIOS_DEBUG
365      if (this->getDataSize() != field.numElements())
366         ERROR("void CGrid::inputField(const  CArray<double,n>& field, CArray<double,1>& stored) const",
367                << "[ Awaiting data of size = " << this->getDataSize() << ", "
368                << "Received data size = "      << field.numElements() << " ] "
369                << "The data array does not have the right size! "
370                << "Grid = " << this->GetName())
371//#endif
372      this->storeField_arr(field.dataFirst(), stored);
373   }
374
375   template <int n>
376   void CGrid::outputField(const CArray<double,1>& stored, CArray<double,n>& field) const
377   {
378//#ifdef __XIOS_DEBUG
379      if (this->getDataSize() != field.numElements())
380         ERROR("void CGrid::outputField(const CArray<double,1>& stored, CArray<double,n>& field) const",
381                << "[ Size of the data = " << this->getDataSize() << ", "
382                << "Output data size = "   << field.numElements() << " ] "
383                << "The ouput array does not have the right size! "
384                << "Grid = " << this->GetName())
385//#endif
386      this->restoreField_arr(stored, field.dataFirst());
387   }
388
389   /*!
390     This function removes the effect of mask on received data on the server.
391     This function only serve for the checking purpose. TODO: Something must be done to seperate mask and data_index from each other in received data
392     \data data received data with masking effect on the server
393     \outData data without masking effect
394   */
395   template <int N>
396   void CGrid::uncompressField(const CArray<double,N>& data, CArray<double,1>& outData) const
397   {     
398     uncompressField_arr(data.dataFirst(), outData);
399   }
400
401   template<int N>
402   void CGrid::checkGridMask(CArray<bool,N>& gridMask,
403                             const std::vector<CArray<bool,1>* >& domainMasks,
404                             const std::vector<CArray<bool,1>* >& axisMasks,
405                             const CArray<int,1>& axisDomainOrder,
406                             bool createMask)
407   {
408     int idx = 0;
409     int numElement = axisDomainOrder.numElements();
410     int dim = domainMasks.size() * 2 + axisMasks.size();
411     std::vector<CDomain*> domainP = this->getDomains();
412
413     std::vector<int> idxLoop(dim,0), indexMap(numElement), eachDimSize(dim);
414     std::vector<int> currentIndex(dim);
415     int idxDomain = 0, idxAxis = 0;
416    for (int i = 0; i < numElement; ++i)
417    {
418      indexMap[i] = idx;
419      if (2 == axisDomainOrder(i)) {
420          eachDimSize[indexMap[i]]   = domainP[idxDomain]->ni;
421          eachDimSize[indexMap[i]+1] = domainP[idxDomain]->nj;
422          idx += 2; ++idxDomain;
423      }
424      else if (1 == axisDomainOrder(i)) {
425        eachDimSize[indexMap[i]] = axisMasks[idxAxis]->numElements();
426        ++idx; ++idxAxis;
427      }
428      else {};
429    }
430
431    if (!gridMask.isEmpty() && !createMask)
432    {
433      for (int i = 0; i < dim; ++i)
434      {
435        if (gridMask.extent(i) != eachDimSize[i])
436          ERROR("CGrid::checkMask(void)",
437                << "The mask has one dimension whose size is different from the one of the local grid." << std::endl
438                << "Local size of dimension " << i << " is " << eachDimSize[i] << "." << std::endl
439                << "Mask size for dimension " << i << " is " << gridMask.extent(i) << "." << std::endl
440                << "Grid = " << this->GetName())
441      }
442    }
443    else {
444        CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
445        gridMask = true;
446    }
447
448    int ssize = gridMask.numElements();
449    idx = 0;
450    while (idx < ssize)
451    {
452      for (int i = 0; i < dim-1; ++i)
453      {
454        if (idxLoop[i] == eachDimSize[i])
455        {
456          idxLoop[i] = 0;
457          ++idxLoop[i+1];
458        }
459      }
460
461      // Find out outer index
462      idxDomain = idxAxis = 0;
463      bool maskValue = true;
464      for (int i = 0; i < numElement; ++i)
465      {
466        if (2 == axisDomainOrder(i))
467        {
468          maskValue = maskValue && (*domainMasks[idxDomain])(idxLoop[indexMap[i]] + idxLoop[indexMap[i]+1] * eachDimSize[indexMap[i]]);
469          ++idxDomain;
470        }
471        else if (1 == axisDomainOrder(i))
472        {
473          maskValue = maskValue && (*axisMasks[idxAxis])(idxLoop[indexMap[i]]);
474          ++idxAxis;
475        }
476      }
477
478      int maskIndex = idxLoop[0];
479      int mulDim = 1;
480      for (int k = 1; k < dim; ++k)
481      {
482        mulDim *= eachDimSize[k-1];
483        maskIndex += idxLoop[k]*mulDim;
484      }
485      *(gridMask.dataFirst()+maskIndex) &= maskValue;
486
487      ++idxLoop[0];
488      ++idx;
489    }
490
491   }
492
493   template<int N>
494   void CGrid::modifyGridMaskSize(CArray<bool,N>& gridMask,
495                                  const std::vector<int>& eachDimSize,
496                                  bool newValue)
497   {
498      if (N != eachDimSize.size())
499      {
500        // ERROR("CGrid::modifyGridMaskSize(CArray<bool,N>& gridMask,
501        //                                  const std::vector<int>& eachDimSize,
502        //                                  bool newValue)",
503        //       << "Dimension size of the mask is different from input dimension size." << std::endl
504        //       << "Mask dimension is " << N << "." << std::endl
505        //       << "Input dimension is " << eachDimSize.size() << "." << std::endl
506        //       << "Grid = " << this->GetName())
507      }
508      CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
509      gridMask = newValue;
510   }
511                                 
512
513   /*!
514     Modify the current mask of grid, the local index to be modified will take value false
515     \param [in/out] gridMask current mask of grid
516     \param [in] indexToModify local index to modify
517   */
518   template<int N>
519   void CGrid::modifyGridMask(CArray<bool,N>& gridMask, const CArray<int,1>& indexToModify, bool valueToModify)
520   {     
521     int num = indexToModify.numElements();
522     for (int idx = 0; idx < num; ++idx)
523     {
524       *(gridMask.dataFirst()+indexToModify(idx)) = valueToModify;
525     }
526   }
527   ///--------------------------------------------------------------
528
529   // Declare/Define CGridGroup and CGridDefinition
530   DECLARE_GROUP(CGrid);
531
532   ///--------------------------------------------------------------
533
534} // namespace xios
535
536#endif // __XIOS_CGrid__
Note: See TracBrowser for help on using the repository browser.