source: XIOS/dev/XIOS_DEV_CMIP6/src/node/axis.hpp @ 1313

Last change on this file since 1313 was 1249, checked in by mhnguyen, 7 years ago

Various bug fixes on mask and zoom

+) Rearrange local index on the receiving side to be coherent global index
+) Include masking information in compress data (data_index) on the receiving side
+) Correct zoom to work in case there are several (not all) processes participating to write data

Test
+) On Curie
+) Simple test

  • Property copyright set to
    Software name : XIOS (Xml I/O Server)
    http://forge.ipsl.jussieu.fr/ioserver
    Creation date : January 2009
    Licence : CeCCIL version2
    see license file in root directory : Licence_CeCILL_V2-en.txt
    or http://www.cecill.info/licences/Licence_CeCILL_V2-en.html
    Holder : CEA/LSCE (Laboratoire des Sciences du CLimat et de l'Environnement)
    CNRS/IPSL (Institut Pierre Simon Laplace)
    Project Manager : Yann Meurdesoif
    yann.meurdesoif@cea.fr
  • Property svn:executable set to *
File size: 7.3 KB
RevLine 
[591]1#ifndef __XIOS_CAxis__
2#define __XIOS_CAxis__
[219]3
[591]4/// XIOS headers ///
5#include "xios_spl.hpp"
[219]6#include "group_factory.hpp"
[619]7#include "virtual_node.hpp"
[219]8
9#include "declare_group.hpp"
[540]10#include "declare_ref_func.hpp"
[619]11#include "declare_virtual_node.hpp"
[369]12#include "attribute_array.hpp"
[399]13#include "attribute_enum.hpp"
14#include "attribute_enum_impl.hpp"
[567]15#include "server_distribution_description.hpp"
[619]16#include "transformation.hpp"
17#include "transformation_enum.hpp"
[219]18
[335]19namespace xios {
[219]20   /// ////////////////////// Déclarations ////////////////////// ///
21
22   class CAxisGroup;
23   class CAxisAttributes;
24   class CAxis;
25
26   ///--------------------------------------------------------------
27
28   // Declare/Define CAxisAttribute
29   BEGIN_DECLARE_ATTRIBUTE_MAP(CAxis)
[231]30#  include "axis_attribute.conf"
[821]31#  include "axis_attribute_private.conf"
[219]32   END_DECLARE_ATTRIBUTE_MAP(CAxis)
33
34   ///--------------------------------------------------------------
35
36   class CAxis
37      : public CObjectTemplate<CAxis>
38      , public CAxisAttributes
39   {
[987]40               /// typedef ///
41         typedef CObjectTemplate<CAxis>   SuperClass;
42         typedef CAxisAttributes SuperClassAttribute;
43         
[1235]44      public:
[567]45         enum EEventId
46         {
[1144]47           EVENT_ID_DISTRIBUTION_ATTRIBUTE,           
[633]48           EVENT_ID_DISTRIBUTED_VALUE,
[1025]49           EVENT_ID_NON_DISTRIBUTED_VALUE,
50           EVENT_ID_NON_DISTRIBUTED_ATTRIBUTES,
51           EVENT_ID_DISTRIBUTED_ATTRIBUTES
[567]52         } ;
53
[1235]54      public:
[219]55         typedef CAxisAttributes RelAttributes;
56         typedef CAxisGroup      RelGroup;
[621]57         typedef CTransformation<CAxis>::TransformationMapTypes TransMapTypes;
[219]58
[621]59      public:
[219]60         /// Constructeurs ///
61         CAxis(void);
62         explicit CAxis(const StdString & id);
63         CAxis(const CAxis & axis);       // Not implemented yet.
64         CAxis(const CAxis * const axis); // Not implemented yet.
65
[622]66         static CAxis* createAxis();
[1158]67
68         /// Accesseurs ///
69         const std::set<StdString> & getRelFiles(void) const;
70
[1249]71         int getNumberWrittenIndexes(MPI_Comm writtenCom);
72         int getTotalNumberWrittenIndexes(MPI_Comm writtenCom);
73         int getOffsetWrittenIndexes(MPI_Comm writtenCom);
74         CArray<int, 1>& getCompressedIndexToWriteOnServer(MPI_Comm writtenCom);
[676]75
[1236]76         std::map<int, StdSize> getAttributesBufferSize(CContextClient* client);
[731]77
[219]78         /// Test ///
79         bool IsWritten(const StdString & filename) const;
[676]80         bool isWrittenCompressed(const StdString& filename) const;
[594]81         bool isDistributed(void) const;
[676]82         bool isCompressible(void) const;
[219]83
84         /// Mutateur ///
85         void addRelFile(const StdString & filename);
[676]86         void addRelFileCompressed(const StdString& filename);
[219]87
88         /// Vérifications ///
89         void checkAttributes(void);
90
91         /// Destructeur ///
92         virtual ~CAxis(void);
93
[619]94         virtual void parse(xml::CXMLNode & node);
95
[219]96         /// Accesseurs statiques ///
97         static StdString GetName(void);
98         static StdString GetDefName(void);
99         static ENodeType GetType(void);
100
[1235]101         static bool dispatchEvent(CEventServer& event);         
102         
[742]103         void checkAttributesOnClient();
[927]104         void checkAttributesOnClientAfterTransformation(const std::vector<int>& globalDim, int orderPositionInGrid,
105                                                         CServerDistributionDescription::ServerDistributionType distType = CServerDistributionDescription::BAND_DISTRIBUTION);
[567]106         void sendCheckedAttributes(const std::vector<int>& globalDim, int orderPositionInGrid,
107                                    CServerDistributionDescription::ServerDistributionType disType = CServerDistributionDescription::BAND_DISTRIBUTION);
[619]108
[676]109         void checkEligibilityForCompressedOutput();
[1215]110         size_t getGlobalWrittenSize(void) ;
[676]111
[1129]112         void computeWrittenIndex();
[1249]113         void computeWrittenCompressedIndex(MPI_Comm);
[619]114         bool hasTransformation();
115         void solveInheritanceTransformation();
[1144]116         TransMapTypes getAllTransformations();         
[836]117         void duplicateTransformation(CAxis*);
118         CTransformation<CAxis>* addTransformation(ETranformationType transType, const StdString& id="");
[1158]119         bool isEqual(CAxis* axis);
[1202]120         bool zoomByIndex();
[619]121
[1235]122      public: 
123        bool hasValue;       
[1249]124        CArray<size_t,1> localIndexToWriteOnServer;       
[676]125
126      private:
[551]127         void checkData();
128         void checkMask();
[631]129         void checkZoom();
[1158]130         void checkBounds();
131         void checkLabel();
[1099]132         void sendAttributes(const std::vector<int>& globalDim, int orderPositionInGrid,
133                             CServerDistributionDescription::ServerDistributionType distType);
134         void sendDistributionAttribute(const std::vector<int>& globalDim, int orderPositionInGrid,
135                                        CServerDistributionDescription::ServerDistributionType distType);
[1235]136         void computeConnectedClients(const std::vector<int>& globalDim, int orderPositionInGrid,
[815]137                                     CServerDistributionDescription::ServerDistributionType distType);
[595]138
[1025]139         void sendNonDistributedAttributes(void);
140         void sendDistributedAttributes(void);
[619]141
[1025]142         static void recvNonDistributedAttributes(CEventServer& event);
143         static void recvDistributedAttributes(CEventServer& event);
[1235]144         static void recvDistributionAttribute(CEventServer& event);
[1025]145         void recvNonDistributedAttributes(int rank, CBufferIn& buffer);
146         void recvDistributedAttributes(vector<int>& rank, vector<CBufferIn*> buffers);
[1235]147         void recvDistributionAttribute(CBufferIn& buffer);
[1025]148
[621]149         void setTransformations(const TransMapTypes&);
[676]150
[567]151      private:
[219]152         bool isChecked;
[567]153         bool areClientAttributesChecked_;
[927]154         bool isClientAfterTransformationChecked;
[676]155         std::set<StdString> relFiles, relFilesCompressed;
[1143]156         TransMapTypes transformationMap_;         
[676]157         //! True if and only if the data defined on the axis can be outputted in a compressed way
158         bool isCompressible_;
[1236]159         std::map<CContextClient*, map<int,int> > nbSenders; // Mapping of number of communicating client to a server
160         std::map<CContextClient*, boost::unordered_map<int, vector<size_t> > > indSrv_; // Global index of each client sent to server
161         // std::map<int, vector<int> > indWrittenSrv_; // Global written index of each client sent to server
[1025]162         boost::unordered_map<size_t,size_t> globalLocalIndexMap_;
[676]163         std::vector<int> indexesToWrite;
[1249]164         std::map<int,int> numberWrittenIndexes_, totalNumberWrittenIndexes_, offsetWrittenIndexes_;
165         std::map<int, CArray<int, 1> > compressedIndexToWriteOnServer;
[1236]166         std::map<CContextClient*, std::vector<int> > connectedServerRank_;         
[1235]167         bool hasBounds;
[1202]168         bool hasLabel;         
[1235]169         bool computedWrittenIndex_;                 
[1099]170
[836]171       private:
172         static bool initializeTransformationMap(std::map<StdString, ETranformationType>& m);
173         static std::map<StdString, ETranformationType> transformationMapList_;
174         static bool dummyTransformationMapList_;
175
[540]176         DECLARE_REF_FUNC(Axis,axis)
[219]177   }; // class CAxis
178
179   ///--------------------------------------------------------------
180
181   // Declare/Define CAxisGroup and CAxisDefinition
182   DECLARE_GROUP(CAxis);
[335]183} // namespace xios
[219]184
[591]185#endif // __XIOS_CAxis__
Note: See TracBrowser for help on using the repository browser.