source: trunk/libIGCM/libIGCM_post/xios_parser.py @ 1440

Last change on this file since 1440 was 1436, checked in by sdipsl, 6 years ago
  • cosmetics
  • Property svn:executable set to *
  • Property svn:keywords set to Revision Date Author
File size: 13.1 KB
Line 
1#! /usr/bin/env python
2# coding: utf-8
3
4#**************************************************************
5# Author: Sebastien Denvil
6# Contact: Sebastien.Denvil__at__ipsl.jussieu.fr
7# $Revision::                                         $ Revision of last commit
8# $Author::                                           $ Author of last commit
9# $Date::                                             $ Date of last commit
10# IPSL (2006)
11#  This software is governed by the CeCILL licence see libIGCM/libIGCM_CeCILL.LIC
12#
13#**************************************************************
14
15import os, pwd, sys, traceback, argparse
16import xml.etree.ElementTree as ET
17#import readline, rlcompleter
18#readline.parse_and_bind("tab: complete")
19
20indent = 0
21currentDepth = 0
22ignoreElems = []
23fromField=[]
24fromFile=[]
25
26def dump(args):
27    """Dump XIOS xmls files."""
28    # Read and dump xios_def_xml
29    for inputFile in args.file:       
30        # Read the file_def_xml
31        print '\nReading %s \n|' % (inputFile)
32        try:
33            tree = ET.parse(inputFile)
34        except:
35            print "Parse error. Please fix so that it can be parsed."
36            traceback.print_exc(file=sys.stdout)
37            return
38        root=tree.getroot()
39        # Call the recursive print
40        printRecur(root)
41
42def tsquery(args):
43    """query timeseries related parameters from an XIOS xml file."""
44    if args.verbosity >= 1: print 'Reading timeseries_def_xml=',args.file[0]
45    try:
46        tree = ET.parse(args.file[0])
47    except:
48        print "Parse error. Please fix so that it can be parsed."
49        traceback.print_exc(file=sys.stdout)
50        return
51    root=tree.getroot()
52    if args.verbosity >= 3: print root.tag, root.attrib
53    findTimeSeries(root)
54       
55def printRecur(root):
56    """Recursively prints the tree."""
57    global indent
58    global currentDepth
59    if root.tag in ignoreElems:
60        return
61    print ' '*indent + '|--> %s: %s' % (root.tag, root.attrib)
62    currentDepth += 1
63    indent += 4
64    if currentDepth <= args.depth or args.depth == None:
65        for elem in list(root):
66            printRecur(elem)
67    currentDepth -= 1
68    indent -= 4
69
70def findTimeSeries(root):
71    """Recursively find and list field tag with "timeseries", "id", "output_freq" and enable=.TRUE. attribute."""
72    if root.tag == 'file' and root.attrib.get('timeseries'):
73        if root.attrib.get('enabled') == '.TRUE.':
74            print 'output_freq=%-5s,id=%s' % (root.attrib.get('output_freq'), root.attrib.get('id'))
75    elif root.tag == 'file' and root.attrib.get('uuid_name'):
76        print 'output_freq=%-5s,name=%85s' % (root.attrib.get('output_freq'), root.attrib.get('name'))
77    else:
78        for elem in list(root):
79            findTimeSeries(elem)
80   
81def findField(root):
82    """Recursively find and list field tag with "id" or "field_ref" attribute."""
83    global fromField
84    global fromFile
85    if root.tag in ignoreElems:
86        return   
87    if root.tag == 'field' and root.attrib.get('id'):
88        fromField.append(root.attrib.get('id'))
89    elif root.tag == 'field' and root.attrib.get('field_ref'):
90        fromFile.append(root.attrib.get('field_ref'))
91    else:
92        for elem in list(root):
93            findField(elem)
94
95def findFieldToRemove(root, fieldToRemove):
96    """Recursively find tag having a field_ref in fieldToRemove."""
97    if args.verbosity >= 3 and root.tag == 'file' and root.attrib.get('id'):
98        print '\nFIELDS FROM FILE_DEF with id', root.attrib.get('id')
99    for field in root.findall('field'):
100        if args.verbosity >= 3: print 'field_ref=', field.attrib.get('field_ref')
101        if field.attrib.get('field_ref') in fieldToRemove:
102            if args.correction:
103                if args.verbosity >= 2: print 'removing ', field.attrib.get('field_ref')
104                root.remove(field)
105            else:
106                if args.verbosity >= 2: print 'To be removed ', field.attrib.get('field_ref')
107    for elem in list(root):
108        findFieldToRemove(elem, fieldToRemove)
109       
110def check(args):
111    global fromFile
112    exitCode=0
113    # Read the field_def_xml
114    if args.verbosity >= 1: print '\nReading field_def_xml=',args.field[0]
115    try:
116        tree = ET.parse(args.field[0])
117    except:
118        print 'Parse error with %s. Please fix so that it can be parsed.' % (args.field[0])
119        traceback.print_exc(file=sys.stdout)
120        return
121    root=tree.getroot()
122    if args.verbosity >= 3: print root.tag, root.attrib, '\n'
123    # Build a list of field.id from field_def
124    findField(root)
125
126    # Loop over file_def files
127    for inputFile in args.file:       
128        # Read the file_def_xml
129        if args.verbosity >= 1: print '\nReading file_def_xml=',inputFile
130        try:
131            tree = ET.parse(inputFile)
132        except:
133            print "Parse error. Please fix so that it can be parsed."
134            traceback.print_exc(file=sys.stdout)
135            return
136        root=tree.getroot()
137        fromFile=[]
138        if args.verbosity >= 3: print root.tag, root.attrib, '\n'
139
140        # Build a list of field_ref from file_def
141        findField(root)
142        #print '4. fromFile=', fromFile
143       
144        # Compare the two lists. fromField must be a superset of fromFile.
145        if set(fromField).issuperset(set(fromFile)):
146            if args.verbosity >= 1: print '\nALL GOOD with %s' % (inputFile)
147            if args.verbosity >= 3: print 'fromField=', fromField
148            if args.verbosity >= 3: print 'fromFile=', fromFile
149        else:
150            if args.verbosity >= 1: print '\nTROUBLE AHEAD with %s' % (inputFile)
151            if args.verbosity >= 3: print ', '.join(sorted(list(set(fromFile)-set(fromField))))
152            # Identify fields in fromFile but not in fromField
153            fieldToRemove=list(set(fromFile)-set(fromField))
154            if args.verbosity >= 3: print 'fieldToRemove=', fieldToRemove
155            #
156            # And now locate and remove them if the modify command has been called
157            findFieldToRemove(root, fieldToRemove)
158            # Final steps
159            if args.correction: tree.write('modified.'+inputFile)
160            if not len(fieldToRemove) == 0 and not args.correction:
161                exitCode=1
162    # The end
163    sys.exit(exitCode)
164
165def showtime(args):
166    """
167    prints table of formatted text format options
168    """
169    for style in xrange(6):
170        for fg in xrange(30,36):
171            s1 = ''
172            for bg in xrange(40,46):
173                format = ';'.join([str(style), str(fg), str(bg)])
174                s1 += '\x1b[%sm %s \x1b[0m' % (format, pwd.getpwuid(os.getuid())[4]+' is on fire')
175            print s1
176        print '\n'
177   
178def modifyPath(args):
179    """Recursively find tree element with file tag and change the path prefix of the name attribute."""
180
181    # Loop over file_def files
182    for inputFile in args.file:
183        # Read the file_def_xml
184        if args.verbosity >= 1: print '\nReading dr2xml_def_xml=',inputFile
185        try:
186            tree = ET.parse(inputFile)
187        except:
188            print "Parse error. Please fix so that it can be parsed."
189            traceback.print_exc(file=sys.stdout)
190            return
191        root=tree.getroot()
192        if args.verbosity >= 3: print root.tag, root.attrib, '\n'
193
194        # Change file name prefix to point where we want
195        for elem in tree.iter(tag='file'):
196            if not elem.attrib.get('mode') == 'read':
197                name=elem.attrib.get('name')
198                elem.set('name', os.path.normpath(args.newPath[0]) + '/' + os.path.normpath(name))
199                if args.verbosity >= 2: print elem.tag, elem.attrib
200
201        # Write out the results
202        if args.verbosity >= 1: print '\nWriting dr2xml_def_xml=','modified.' + inputFile
203        try:
204            tree.write ('modified.' + inputFile)
205        except:
206            print "Write error. Please fix so that it can be parsed."
207            traceback.print_exc(file=sys.stdout)
208            return
209
210def modifyDR2XML(args):
211    """Recursively find tree element with file tag and change the path prefix of the name attribute."""
212
213    cospTuple=('CMIP6_albisccp', 'CMIP6_cfadDbze94', 'CMIP6_cfadLidarsr532', 'CMIP6_clcalipso2', 'CMIP6_clcalipsoice', 'CMIP6_climodis', 'CMIP6_clisccp', 'CMIP6_clmisr', 'CMIP6_cltmodis', 'CMIP6_clwmodis', 'CMIP6_jpdftaureicemodis', 'CMIP6_jpdftaureliqmodis', 'CMIP6_pctisccp', 'CMIP6_parasolRefl', 'CMIP6_clcalipso', 'CMIP6_clhcalipso', 'CMIP6_cllcalipso', 'CMIP6_clmcalipso', 'CMIP6_cltcalipso', 'CMIP6_cltisccp')
214   
215    # Loop over file_def files
216    for inputFile in args.file:
217        write=False
218        # Read the file_def_xml
219        if args.verbosity >= 1: print '\nReading dr2xml_def_xml=',inputFile
220        try:
221            tree = ET.parse(inputFile)
222        except:
223            print "Parse error. Please fix so that it can be parsed."
224            traceback.print_exc(file=sys.stdout)
225            return
226        root=tree.getroot()
227        if args.verbosity >= 3: print root.tag, root.attrib, '\n'
228
229        # Change some elements to overrule dr2xml
230        for elem in tree.iter(tag='field'):
231            if elem.attrib.get('id') is not None:
232                if elem.attrib.get('id') == 'CMIP6_siconc_Scaltypesi':
233                    write=True
234                    elem.set('freq_op', '2ts')
235                    elem.set('freq_offset', '0ts')
236                    if args.verbosity >= 2: print elem.tag, elem.attrib
237                elif (elem.attrib.get('id').startswith(cospTuple)):
238                    write=True
239                    elem.set('freq_op', '3h')
240                    elem.set('freq_offset', '0ts')
241                    if args.verbosity >= 2: print elem.tag, elem.attrib
242
243        if write:
244            # Write out the results
245            if args.verbosity >= 1: print '\nWriting dr2xml_def_xml=','modified.' + inputFile
246            try:
247                tree.write ('modified.' + inputFile)
248            except:
249                print "Write error. Please fix so that it can be parsed."
250                traceback.print_exc(file=sys.stdout)
251                return
252
253if __name__ == '__main__':
254
255    try:
256        # Create the top-level parser
257        parser = argparse.ArgumentParser(description='XIOS2 xml files tooling and ironsmith')
258        subparsers = parser.add_subparsers(description='Dump, check or modify xios xml files')
259
260        # create the parser for the "dump" command
261        parser_dump = subparsers.add_parser('dump',help='Dump the xml content without all the xml\'s ironsmith')
262        parser_dump.add_argument('-d', '--depth', type=int, default=None, help='How deep do we go. Full tree by default')
263        parser_dump.add_argument('file', nargs='+', help='XIOS xml file(s) to dump')
264        parser_dump.set_defaults(func=dump)
265
266        # create the parser for the "tsquery" command
267        parser_check = subparsers.add_parser('tsquery', help='query timeseries related parameters from an xml file')
268        parser_check.add_argument('--file', nargs=1, required=True, help='XIOS xml timeseries_def type')
269        parser_check.set_defaults(func=tsquery)
270       
271        # create the parser for the "check" command
272        parser_check = subparsers.add_parser('check', help='Check consistency between field_def and file_def files')
273        parser_check.add_argument('--field', nargs=1, required=True, help='XIOS xml field_def type')
274        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml file_def type')
275        parser_check.set_defaults(func=check, correction=False)
276       
277        # create the parser for the "modify" command
278        parser_check = subparsers.add_parser('modify', help='Will make sure field_def is a superset of file_def')
279        parser_check.add_argument('--field', nargs=1, required=True, help='XIOS xml field_def type')
280        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml file_def type')
281        parser_check.set_defaults(func=check, correction=True)
282
283        # create the parser for the "modifyPath" command
284        parser_check = subparsers.add_parser('modifyPath', help='Will make sure dr2xml write files where it should be')
285        parser_check.add_argument('--newPath', nargs=1, required=True, help='Directory output for file produced from dr2xml_file type')
286        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml dr2xml_file type')
287        parser_check.set_defaults(func=modifyPath)
288
289        # create the parser for the "modifyDR2XML" command
290        parser_check = subparsers.add_parser('modifyDR2XML', help='Fine tune dr2xml files for CMIP6 production')
291        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml dr2xml_file type')
292        parser_check.set_defaults(func=modifyDR2XML)
293       
294        # create the parser for the "showtime" command
295        parser_check = subparsers.add_parser('showtime', help='Just want to make sure you feel good today')
296        parser_check.set_defaults(func=showtime)
297       
298        # Each possible option
299        parser.add_argument('-v', '--verbosity', action='count', default=0)
300
301        # Parse the args.
302        args = parser.parse_args()
303
304        # And call whatever function was selected
305        args.func(args)
306    except KeyboardInterrupt:
307        print "Shutdown requested...exiting"
308    except Exception:
309        traceback.print_exc(file=sys.stdout)
310    sys.exit(0)
Note: See TracBrowser for help on using the repository browser.