source: TOOLS/ConsoGENCMIP6/bin/plot_store.py @ 2717

Last change on this file since 2717 was 2717, checked in by labetoulle, 8 years ago

allow two sub-allocation periods, part 1

  • Property svn:executable set to *
File size: 10.3 KB
Line 
1#!/usr/bin/env python
2# -*- coding: utf-8 -*-
3
4# this must come first
5from __future__ import print_function, unicode_literals, division
6
7# standard library imports
8from argparse import ArgumentParser
9import os
10import os.path
11import numpy as np
12# import matplotlib.pyplot as plt
13# from matplotlib.backends.backend_pdf import PdfPages
14
15# Application library imports
16from libconso import *
17
18
19########################################
20class DirVolume(object):
21  #---------------------------------------
22  def __init__(self, date, login, dirname, size, date_init, dirsize_init):
23    self.date = date
24    self.login = login
25    self.dirname = dirname
26    self.dirsize = size
27    self.date_init = date_init
28    self.dirsize_init = dirsize_init
29
30  #---------------------------------------
31  def __repr__(self):
32    return "{}={}-{}".format(self.dirname, self.dirsize, self.dirsize_init)
33
34
35########################################
36class StoreDict(dict):
37  #---------------------------------------
38  def __init__(self):
39    self = {}
40
41  #---------------------------------------
42  def fill_data(self, filein, fileinit):
43    """
44    """
45    try:
46      data = np.genfromtxt(
47        filein,
48        skip_header=1,
49        converters={
50          0: string_to_date,
51          1: str,
52          2: string_to_size_unit,
53          3: str,
54        },
55        missing_values="nan",
56      )
57    except Exception as rc:
58      print("Problem with file {} :\n{}".format(filein, rc))
59      exit(1)
60
61    try:
62      init = np.genfromtxt(
63        fileinit,
64        skip_header=1,
65        converters={
66          0: string_to_date,
67          1: str,
68          2: string_to_size_unit,
69          3: str,
70        },
71        missing_values="nan",
72      )
73    except Exception as rc:
74      print("Problem with file {} :\n{}".format(filein, rc))
75      exit(1)
76
77    for (date, login, dirsize, dirname), \
78        (date_init, _, dirsize_init, _) in zip(data, init):
79      self.add_item(
80        date, login, dirsize, dirname,
81        date_init, dirsize_init
82      )
83
84  #---------------------------------------
85  def add_item(self, date, login, dirsize, dirname, date_init, dirsize_init):
86    """
87    """
88    if login not in self:
89      self[login] = Login(date, login)
90    self[login].add_directory(
91      date, login, dirsize, dirname,
92      date_init, dirsize_init
93    )
94
95  #---------------------------------------
96  def get_items(self):
97    """
98    """
99    items = (subitem for item in self.itervalues()
100                     for subitem in item.listdir)
101    items = sorted(items, key=lambda item: item.login)
102
103    return items
104
105  #---------------------------------------
106  def get_items_by_name(self, pattern):
107    """
108    """
109    items = (subitem for item in self.itervalues()
110                     for subitem in item.listdir
111                      if pattern in subitem.dirname)
112    items = sorted(items, key=lambda item: item.login)
113
114    return items
115
116
117########################################
118class Login(object):
119  #---------------------------------------
120  def __init__(self, date, login):
121    self.date  = date
122    self.login = login
123    self.total = SizeUnit(0., "K")
124    self.listdir = []
125
126  #---------------------------------------
127  def __repr__(self):
128    return "{}/{:%F}: {}".format(self.login, self.date, self.listdir)
129
130  #---------------------------------------
131  def add_to_total(self, dirsize):
132    """
133    """
134    somme = self.total.convert_size("K").size + \
135            dirsize.convert_size("K").size
136    self.total = SizeUnit(somme, "K")
137
138  #---------------------------------------
139  def add_directory(self, date, login, dirsize, dirname,
140                    date_init, dirsize_init):
141    """
142    """
143    self.listdir.append(DirVolume(date, login, dirname, dirsize,
144                                  date_init, dirsize_init))
145    if isinstance(dirsize, SizeUnit):
146      self.add_to_total(dirsize)
147    elif args.verbose:
148      print("No size for {}, {}".format(login, dirname))
149
150
151########################################
152def plot_init():
153  paper_size  = np.array([29.7, 21.0])
154  fig, ax = plt.subplots(figsize=(paper_size/2.54))
155
156  return fig, ax
157
158
159########################################
160def plot_data(ax, coords, ylabels, values, values_init):
161  """
162  """
163  ax.barh(coords, values, align="center", color="orange",
164          linewidth=0.1, label="volume sur STORE ($To$)")
165  ax.barh(coords, values_init, align="center", color="linen",
166          linewidth=0.1, label="volume initial sur STORE ($To$)")
167
168
169########################################
170def plot_config(ax, coords, ylabels, dirnames, title,
171                tot_volume, tot_volume_init, delta):
172  """
173  """
174  from matplotlib.ticker import AutoMinorLocator
175
176  # ... Config axes ...
177  # -------------------
178  # 1) Range
179  ymin, ymax = coords[0]-1, coords[-1]+1
180  ax.set_ylim(ymin, ymax)
181
182  # 2) Ticks labels
183  ax.ticklabel_format(axis="x", style="sci", scilimits=(0, 0))
184  ax.set_yticks(coords, minor=False)
185  ax.set_yticklabels(ylabels, size="x-small", fontweight="bold")
186  ax.invert_yaxis()
187
188  minor_locator = AutoMinorLocator()
189  ax.xaxis.set_minor_locator(minor_locator)
190
191  xmin, xmax = ax.get_xlim()
192  xpos = xmin + (xmax-xmin)/50.
193  for (ypos, text) in zip(coords, dirnames):
194    ax.text(s=text, x=xpos, y=ypos, va="center", ha="left",
195                size="xx-small", color="gray", style="italic")
196
197  # 3) Define axes title
198  ax.set_xlabel("$To$", fontweight="bold")
199
200  # ... Main title and legend ...
201  # -----------------------------
202  ax.set_title(title, fontweight="bold", size="large")
203  ax.legend(loc="best", fontsize="x-small", frameon=False)
204
205  tot_label = "prod {} = {}\n({} - {})".format(
206    projet.project.upper(),
207    delta,
208    tot_volume,
209    tot_volume_init,
210  )
211  plt.figtext(x=0.95, y=0.93, s=tot_label, backgroundcolor="linen",
212              ha="right", va="bottom", fontsize="small")
213
214
215########################################
216def get_arguments():
217  parser = ArgumentParser()
218  parser.add_argument("-v", "--verbose", action="store_true",
219                      help="verbose mode")
220  parser.add_argument("-f", "--full", action="store_true",
221                      help="plot all the directories in IGCM_OUT" +
222                           "(default: plot IPSLCM6 directories)")
223  parser.add_argument("-p", "--pattern", action="store",
224                      default="IPSLCM6",
225                      help="plot the whole period")
226  parser.add_argument("-s", "--show", action="store_true",
227                      help="interactive mode")
228  parser.add_argument("-d", "--dods", action="store_true",
229                      help="copy output on dods")
230
231  return parser.parse_args()
232
233
234########################################
235if __name__ == '__main__':
236
237  # .. Initialization ..
238  # ====================
239  # ... Command line arguments ...
240  # ------------------------------
241  args = get_arguments()
242
243  # ... Turn interactive mode off ...
244  # ---------------------------------
245  if not args.show:
246    import matplotlib
247    matplotlib.use('Agg')
248
249  import matplotlib.pyplot as plt
250  # from matplotlib.backends.backend_pdf import PdfPages
251
252  if not args.show:
253    plt.ioff()
254
255  # ... Files and directories ...
256  # -----------------------------
257  project_name, DIR, OUT = parse_config("bin/config.ini")
258
259  (file_param, file_utheo, file_data) = \
260      get_input_files(DIR["SAVEDATA"],
261                      [OUT["PARAM"], OUT["UTHEO"], OUT["STORE"]])
262
263  (file_init, ) = \
264      get_input_files(DIR["DATA"], [OUT["SINIT"]])
265
266  img_name = os.path.splitext(
267               os.path.basename(__file__)
268             )[0].replace("plot_", "")
269
270  today = os.path.basename(file_param).strip(OUT["PARAM"])
271
272  if args.verbose:
273    fmt_str = "{:10s} : {}"
274    print(fmt_str.format("args", args))
275    print(fmt_str.format("today", today))
276    print(fmt_str.format("file_param", file_param))
277    print(fmt_str.format("file_utheo", file_utheo))
278    print(fmt_str.format("file_data", file_data))
279    print(fmt_str.format("file_init", file_init))
280    print(fmt_str.format("img_name", img_name))
281
282  # .. Get project info ..
283  # ======================
284  projet = Project(project_name)
285  projet.fill_data(file_param)
286  projet.get_date_init(file_utheo)
287
288  # .. Fill in data ..
289  # ==================
290  stores = StoreDict()
291  stores.fill_data(file_data, file_init)
292
293  # .. Extract data depending on C.L. arguments ..
294  # ==============================================
295  if args.full:
296    selected_items = stores.get_items()
297  else:
298    selected_items = stores.get_items_by_name(args.pattern)
299
300  if args.verbose:
301    for item in selected_items:
302      fmt_str = "{:8s} " + 2*"{:%F} {} {:>18s} " + "{} "
303      print(
304        fmt_str.format(
305          item.login,
306          item.date,
307          item.dirsize,
308          item.dirsize.convert_size("K"),
309          item.date_init,
310          item.dirsize_init,
311          item.dirsize_init.convert_size("K"),
312          item.dirname,
313        )
314      )
315
316  # .. Compute data to be plotted ..
317  # ================================
318  ylabels = [item.login for item in selected_items]
319  values = np.array(
320    [item.dirsize.convert_size("T").size for item in selected_items],
321    dtype=float
322  )
323  values_init = np.array(
324    [item.dirsize_init.convert_size("T").size for item in selected_items],
325    dtype=float
326  )
327  dirnames = [item.dirname for item in selected_items]
328  date = selected_items[0].date
329
330  nb_items = len(ylabels)
331  coords  = np.linspace(1, nb_items, num=nb_items)
332
333  # .. Plot stuff ..
334  # ================
335  # ... Initialize figure ...
336  # -------------------------
337  (fig, ax) = plot_init()
338
339  # ... Plot data ...
340  # -----------------
341  plot_data(ax, coords, ylabels, values, values_init)
342
343  # ... Tweak figure ...
344  # --------------------
345  title = "Occupation {} de STORE par login\n{:%d/%m/%Y}".format(
346    projet.project.upper(),
347    date
348  )
349 
350  tot_volume = np.sum(values)
351  tot_volume_init = np.sum(values_init)
352  delta = tot_volume - tot_volume_init
353 
354  plot_config(ax, coords, ylabels, dirnames, title,
355              SizeUnit(tot_volume, "T"),
356              SizeUnit(tot_volume_init, "T"),
357              SizeUnit(delta, "T"))
358
359  # ... Save figure ...
360  # -------------------
361  img_in  = os.path.join(DIR["PLOT"], "{}.pdf".format(img_name))
362  img_out = os.path.join(DIR["SAVEPLOT"],
363                         "{}_{}.pdf".format(img_name, today))
364
365  plot_save(img_in, img_out, title, DIR)
366
367  # ... Publish figure on dods ...
368  # ------------------------------
369  if args.dods:
370    if args.verbose:
371      print("Publish figure on dods")
372    dods_cp(img_in, DIR)
373
374  if args.show:
375    plt.show()
376
377  exit(0)
378
Note: See TracBrowser for help on using the repository browser.