source: trunk/libIGCM/libIGCM_post/xios_parser.py @ 1525

Last change on this file since 1525 was 1467, checked in by sdipsl, 6 years ago
  • Add option dr2xmlFilePrefix under the [Post] section of config.card. It will add the JobName? as the prefix of CMIP6 files produced by the WF.
  • Property svn:executable set to *
  • Property svn:keywords set to Revision Date Author
File size: 15.1 KB
Line 
1#! /usr/bin/env python
2# coding: utf-8
3
4#**************************************************************
5# Author: Sebastien Denvil
6# Contact: Sebastien.Denvil__at__ipsl.jussieu.fr
7# $Revision::                                         $ Revision of last commit
8# $Author::                                           $ Author of last commit
9# $Date::                                             $ Date of last commit
10# IPSL (2006)
11#  This software is governed by the CeCILL licence see libIGCM/libIGCM_CeCILL.LIC
12#
13#**************************************************************
14
15import os, pwd, sys, traceback, argparse
16import xml.etree.ElementTree as ET
17#import readline, rlcompleter
18#readline.parse_and_bind("tab: complete")
19
20indent = 0
21currentDepth = 0
22ignoreElems = []
23fromField=[]
24fromFile=[]
25
26def dump(args):
27    """Dump XIOS xmls files."""
28    # Read and dump xios_def_xml
29    for inputFile in args.file:       
30        # Read the file_def_xml
31        print '\nReading %s \n|' % (inputFile)
32        try:
33            tree = ET.parse(inputFile)
34        except:
35            print "Parse error. Please fix so that it can be parsed."
36            traceback.print_exc(file=sys.stdout)
37            return
38        root=tree.getroot()
39        # Call the recursive print
40        printRecur(root)
41
42def tsquery(args):
43    """query timeseries related parameters from an XIOS xml file."""
44    if args.verbosity >= 1: print 'Reading timeseries_def_xml=',args.file[0]
45    try:
46        tree = ET.parse(args.file[0])
47    except:
48        print "Parse error. Please fix so that it can be parsed."
49        traceback.print_exc(file=sys.stdout)
50        return
51    root=tree.getroot()
52    if args.verbosity >= 3: print root.tag, root.attrib
53    findTimeSeries(root)
54       
55def printRecur(root):
56    """Recursively prints the tree."""
57    global indent
58    global currentDepth
59    if root.tag in ignoreElems:
60        return
61    print ' '*indent + '|--> %s: %s' % (root.tag, root.attrib)
62    currentDepth += 1
63    indent += 4
64    if currentDepth <= args.depth or args.depth == None:
65        for elem in list(root):
66            printRecur(elem)
67    currentDepth -= 1
68    indent -= 4
69
70def findTimeSeries(root):
71    """Recursively find and list field tag with "timeseries", "id", "output_freq" and enable=.TRUE. attribute."""
72    if root.tag == 'file' and root.attrib.get('timeseries'):
73        if root.attrib.get('enabled') == '.TRUE.':
74            print 'output_freq=%-5s,id=%s' % (root.attrib.get('output_freq'), root.attrib.get('id'))
75    elif root.tag == 'file' and root.attrib.get('uuid_name'):
76        print 'output_freq=%-5s,name=%85s' % (root.attrib.get('output_freq'), root.attrib.get('name'))
77    else:
78        for elem in list(root):
79            findTimeSeries(elem)
80   
81def findField(root):
82    """Recursively find and list field tag with "id" or "field_ref" attribute."""
83    global fromField
84    global fromFile
85    if root.tag in ignoreElems:
86        return   
87    if root.tag == 'field' and root.attrib.get('id'):
88        fromField.append(root.attrib.get('id'))
89    elif root.tag == 'field' and root.attrib.get('field_ref'):
90        fromFile.append(root.attrib.get('field_ref'))
91    else:
92        for elem in list(root):
93            findField(elem)
94
95def findFieldToRemove(root, fieldToRemove):
96    """Recursively find tag having a field_ref in fieldToRemove."""
97    if args.verbosity >= 3 and root.tag == 'file' and root.attrib.get('id'):
98        print '\nFIELDS FROM FILE_DEF with id', root.attrib.get('id')
99    for field in root.findall('field'):
100        if args.verbosity >= 3: print 'field_ref=', field.attrib.get('field_ref')
101        if field.attrib.get('field_ref') in fieldToRemove:
102            if args.correction:
103                if args.verbosity >= 2: print 'removing ', field.attrib.get('field_ref')
104                root.remove(field)
105            else:
106                if args.verbosity >= 2: print 'To be removed ', field.attrib.get('field_ref')
107    for elem in list(root):
108        findFieldToRemove(elem, fieldToRemove)
109       
110def check(args):
111    global fromFile
112    exitCode=0
113    # Read the field_def_xml
114    if args.verbosity >= 1: print '\nReading field_def_xml=',args.field[0]
115    try:
116        tree = ET.parse(args.field[0])
117    except:
118        print 'Parse error with %s. Please fix so that it can be parsed.' % (args.field[0])
119        traceback.print_exc(file=sys.stdout)
120        return
121    root=tree.getroot()
122    if args.verbosity >= 3: print root.tag, root.attrib, '\n'
123    # Build a list of field.id from field_def
124    findField(root)
125
126    # Loop over file_def files
127    for inputFile in args.file:       
128        # Read the file_def_xml
129        if args.verbosity >= 1: print '\nReading file_def_xml=',inputFile
130        try:
131            tree = ET.parse(inputFile)
132        except:
133            print "Parse error. Please fix so that it can be parsed."
134            traceback.print_exc(file=sys.stdout)
135            return
136        root=tree.getroot()
137        fromFile=[]
138        if args.verbosity >= 3: print root.tag, root.attrib, '\n'
139
140        # Build a list of field_ref from file_def
141        findField(root)
142        #print '4. fromFile=', fromFile
143       
144        # Compare the two lists. fromField must be a superset of fromFile.
145        if set(fromField).issuperset(set(fromFile)):
146            if args.verbosity >= 1: print '\nALL GOOD with %s' % (inputFile)
147            if args.verbosity >= 3: print 'fromField=', fromField
148            if args.verbosity >= 3: print 'fromFile=', fromFile
149        else:
150            if args.verbosity >= 1: print '\nTROUBLE AHEAD with %s' % (inputFile)
151            if args.verbosity >= 3: print ', '.join(sorted(list(set(fromFile)-set(fromField))))
152            # Identify fields in fromFile but not in fromField
153            fieldToRemove=list(set(fromFile)-set(fromField))
154            if args.verbosity >= 3: print 'fieldToRemove=', fieldToRemove
155            #
156            # And now locate and remove them if the modify command has been called
157            findFieldToRemove(root, fieldToRemove)
158            # Final steps
159            if args.correction: tree.write('modified.'+inputFile)
160            if not len(fieldToRemove) == 0 and not args.correction:
161                exitCode=1
162    # The end
163    sys.exit(exitCode)
164
165def showtime(args):
166    """
167    prints table of formatted text format options
168    """
169    for style in xrange(6):
170        for fg in xrange(30,36):
171            s1 = ''
172            for bg in xrange(40,46):
173                format = ';'.join([str(style), str(fg), str(bg)])
174                s1 += '\x1b[%sm %s \x1b[0m' % (format, pwd.getpwuid(os.getuid())[4]+' is on fire')
175            print s1
176        print '\n'
177   
178def modifyPath(args):
179    """Recursively find tree element with file tag and change the path prefix of the name attribute."""
180
181    # Loop over file_def files
182    for inputFile in args.file:
183        # Read the file_def_xml
184        if args.verbosity >= 1: print '\nReading dr2xml_def_xml=',inputFile
185        try:
186            tree = ET.parse(inputFile)
187        except:
188            print "Parse error. Please fix so that it can be parsed."
189            traceback.print_exc(file=sys.stdout)
190            return
191        root=tree.getroot()
192        if args.verbosity >= 3: print root.tag, root.attrib, '\n'
193
194        # Change file name prefix to point where we want
195        for elem in tree.iter(tag='file'):
196            if not elem.attrib.get('mode') == 'read':
197                name=elem.attrib.get('name')
198                if args.filePrefix is not None:
199                    elem.set('name', os.path.normpath(args.newPath[0]) + '/' + args.filePrefix[0] + '_' + os.path.normpath(name))
200                else:
201                    elem.set('name', os.path.normpath(args.newPath[0]) + '/' + os.path.normpath(name))
202                if args.verbosity >= 2: print elem.tag, elem.attrib
203                   
204        # Write out the results
205        if args.verbosity >= 1: print '\nWriting dr2xml_def_xml=','modified.' + inputFile
206        try:
207            tree.write ('modified.' + inputFile)
208        except:
209            print "Write error. Please fix so that it can be parsed."
210            traceback.print_exc(file=sys.stdout)
211            return
212
213def modifyDR2XML(args):
214    """Recursively find tree element with file tag and change the path prefix of the name attribute."""
215    # Need to fine tune their freq_op and freq_offset
216    cospTuple=('CMIP6_albisccp', 'CMIP6_cfadDbze94', 'CMIP6_cfadLidarsr532', 'CMIP6_clcalipso2', 'CMIP6_clcalipsoice', 'CMIP6_climodis', 'CMIP6_clisccp', 'CMIP6_clmisr', 'CMIP6_cltmodis', 'CMIP6_clwmodis', 'CMIP6_jpdftaureicemodis', 'CMIP6_jpdftaureliqmodis', 'CMIP6_pctisccp', 'CMIP6_parasolRefl', 'CMIP6_clcalipso', 'CMIP6_clhcalipso', 'CMIP6_cllcalipso', 'CMIP6_clmcalipso', 'CMIP6_cltcalipso', 'CMIP6_cltisccp')
217    # Dont touch those when fine tuning cfsites field freq_op
218    excluded_field=('CMIP6_ap', 'CMIP6_b', 'CMIP6_b_bnds', 'CMIP6_ap_bnds')
219   
220    # Loop over file_def files
221    for inputFile in args.file:
222        write=False
223        # Read the file_def_xml
224        if args.verbosity >= 1: print '\nReading dr2xml_def_xml=',inputFile
225        try:
226            tree = ET.parse(inputFile)
227        except:
228            print "Parse error. Please fix so that it can be parsed."
229            traceback.print_exc(file=sys.stdout)
230            return
231        root=tree.getroot()
232        if args.verbosity >= 3: print root.tag, root.attrib, '\n'
233
234        # Change some elements to overrule dr2xml
235        for elem in tree.iter(tag='field'):
236            if elem.attrib.get('id') is not None:
237                if elem.attrib.get('id') == 'CMIP6_siconc_Scaltypesi':
238                    write=True
239                    elem.set('freq_op', '2ts')
240                    elem.set('freq_offset', '0ts')
241                    if args.verbosity >= 2: print elem.tag, elem.attrib
242                elif (elem.attrib.get('id').startswith(cospTuple)):
243                    write=True
244                    elem.set('freq_op', '3h')
245                    elem.set('freq_offset', '0ts')
246                    if args.verbosity >= 2: print elem.tag, elem.attrib
247        # Change elements related to CFsubhr files
248        for elem in tree.iter(tag='file'):
249            if elem.attrib.get('id') is not None:
250                if ("_CFsubhr_" in elem.attrib.get('id')):
251                    write=True
252                    elem.set('output_freq', '2ts')
253                    elem.set('split_start_offset', '2ts')
254                    if args.verbosity >= 2: print elem.tag, elem.attrib
255                    for childElem in elem.iter(tag='field'):
256                        if childElem.attrib.get('field_ref') is not None:
257                            if childElem.attrib.get('field_ref') not in excluded_field:
258                                childElem.set('freq_op', '2ts')
259                                if args.verbosity >= 2: print childElem.tag, childElem.attrib
260        # Changes related to cth16
261        for elem in tree.iter(tag='grid'):
262            if elem.attrib.get('id') is not None:
263                if elem.attrib.get('id') == 'grid4Dmisr_greordered':
264                    write=True
265                    if args.verbosity >= 2: print elem.tag, elem.attrib
266                    for childElem in elem.iter(tag='axis'):
267                        if args.verbosity >= 2: print childElem.tag, childElem.attrib
268                        if childElem.attrib.get('axis_ref') is not None:
269                            if childElem.attrib.get('axis_ref') == 'cth16':
270                                childElem.set('axis_ref', 'cth')
271        # Ready
272        if write:
273            # Write out the results
274            if args.verbosity >= 1: print '\nWriting dr2xml_def_xml=','modified.' + inputFile
275            try:
276                tree.write ('modified.' + inputFile)
277            except:
278                print "Write error. Please fix so that it can be parsed."
279                traceback.print_exc(file=sys.stdout)
280                return
281
282if __name__ == '__main__':
283
284    try:
285        # Create the top-level parser
286        parser = argparse.ArgumentParser(description='XIOS2 xml files tooling and ironsmith')
287        subparsers = parser.add_subparsers(description='Dump, check or modify xios xml files')
288
289        # create the parser for the "dump" command
290        parser_dump = subparsers.add_parser('dump',help='Dump the xml content without all the xml\'s ironsmith')
291        parser_dump.add_argument('-d', '--depth', type=int, default=None, help='How deep do we go. Full tree by default')
292        parser_dump.add_argument('file', nargs='+', help='XIOS xml file(s) to dump')
293        parser_dump.set_defaults(func=dump)
294
295        # create the parser for the "tsquery" command
296        parser_check = subparsers.add_parser('tsquery', help='query timeseries related parameters from an xml file')
297        parser_check.add_argument('--file', nargs=1, required=True, help='XIOS xml timeseries_def type')
298        parser_check.set_defaults(func=tsquery)
299       
300        # create the parser for the "check" command
301        parser_check = subparsers.add_parser('check', help='Check consistency between field_def and file_def files')
302        parser_check.add_argument('--field', nargs=1, required=True, help='XIOS xml field_def type')
303        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml file_def type')
304        parser_check.set_defaults(func=check, correction=False)
305       
306        # create the parser for the "modify" command
307        parser_check = subparsers.add_parser('modify', help='Will make sure field_def is a superset of file_def')
308        parser_check.add_argument('--field', nargs=1, required=True, help='XIOS xml field_def type')
309        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml file_def type')
310        parser_check.set_defaults(func=check, correction=True)
311
312        # create the parser for the "modifyPath" command
313        parser_check = subparsers.add_parser('modifyPath', help='Will make sure dr2xml write files where it should be')
314        parser_check.add_argument('--newPath', nargs=1, required=True, help='Directory output for file produced from dr2xml_file type')
315        parser_check.add_argument('--filePrefix', nargs=1, required=False, help='Prefix to be added to file produced from dr2xml_file type')
316        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml dr2xml_file type')
317        parser_check.set_defaults(func=modifyPath)
318
319        # create the parser for the "modifyDR2XML" command
320        parser_check = subparsers.add_parser('modifyDR2XML', help='Fine tune dr2xml files for CMIP6 production')
321        parser_check.add_argument('--file', nargs='+', required=True, help='XIOS xml dr2xml_file type')
322        parser_check.set_defaults(func=modifyDR2XML)
323       
324        # create the parser for the "showtime" command
325        parser_check = subparsers.add_parser('showtime', help='Just want to make sure you feel good today')
326        parser_check.set_defaults(func=showtime)
327       
328        # Each possible option
329        parser.add_argument('-v', '--verbosity', action='count', default=0)
330
331        # Parse the args.
332        args = parser.parse_args()
333
334        # And call whatever function was selected
335        args.func(args)
336    except KeyboardInterrupt:
337        print "Shutdown requested...exiting"
338    except Exception:
339        traceback.print_exc(file=sys.stdout)
340    sys.exit(0)
Note: See TracBrowser for help on using the repository browser.