Neues Plotsystem für FHEM

Begonnen von Prof. Dr. Peter Henning, 20 November 2026, 13:13:44

Vorheriges Thema - Nächstes Thema

Prof. Dr. Peter Henning

Ziel: Das etwas in die Jahre gekommene Plotsystem von FHEM zu modernisieren. Dabei sollen alle vorhandenen Features von 98_SVG.pm und 98_logProxy.pm erhalten bleiben und ergänzt werden.

Zum Rendern bleibe ich erst einmal bei SVG, das kann aber problemlos durch andere Renderer (z.B. eCharts) ersetzt werden.

Zunächst bezieht sich das auf die Plotdefinition. Dafür schlage ich ein YAML-Format vor, mit den folgenden Grundsätzen:
- Ein einfacher Plot soll mit möglichst wenigen Angaben auskommen.
- Datenquellen und grafische Objekte bleiben voneinander getrennt.
- Achsen und Koordinatensysteme werden bei Bedarf automatisch ergänzt.
- Komplexe Darstellungen dürfen explizit konfiguriert werden.
- Die YAML-Datei enthält keine unmittelbar auszuführenden Perl-Anweisungen.

Drei Beispiele. Im ersten Beispiel soll ein Zeitreihendiagramm mit Außen- und Innentemperatur aus verschiedenen Quellen gezeichnet werden
Zitatversion: 1
plot:
  title: Temperaturen

sources:
  outdoor:
    type: FileLog
    device: FileLog_Wetter
    reading: temperature

  indoor:
    type: DbLog
    device: Wohnzimmer
    reading: temperature

axes:
  x:
    type: time

  y:
    label: Temperatur
    unit: °C

objects:
  - type: line
    source: outdoor
    label: Außentemperatur
    color: "#0088cc"

  - type: line
    source: indoor
    label: Innentemperatur
    color: "#cc4400"

Im zweiten Beispiel soll ein allgemeines x-y-Diagramm gezeichnet werden, aus statisch vorgegebenen Daten. Und zwar Linie zuzüglich Punkten
Zitatversion: 1
plot:
  title: Strom-Spannungs-Kennlinie

sources:
  characteristic:
    type: static
    columns: [voltage, current]
    values:
      - [0.0, 0.0]
      - [0.5, 0.2]
      - [1.0, 0.8]
      - [1.5, 1.7]
      - [2.0, 3.1]
      - [2.5, 4.8]

axes:
  x:
    type: linear
    label: Spannung
    unit: V
    min: 0
    max: 3

  y:
    type: linear
    label: Strom
    unit: A
    min: 0
    max: 6

objects:
  - type: line
    source: characteristic
    x: voltage
    y: current
    label: Kennlinie
    color: "#0066cc"
    width: 2

  - type: points
    source: characteristic
    x: voltage
    y: current
    symbol: circle
    size: 4
    color: "#0066cc"

Selbstverständlich soll es auch möglich sein, die Datenwerte aus verschiedenen Readings gegeneinander zu plotten - in einer Datenaufbereitungsroutine werden unterschiedliche Zeitstempel behandelt.

Im dritten Beispiel soll für eine Wallbox dargestellt werden:
- Ladeleistung in kW.
- Netzbezug in kW.
- Batterieladezustand in Prozent.
- Eine horizontale Leistungsgrenze.
- Eine vertikale Markierung des Ladebeginns.
- Eine farbig hinterlegte Ladephase.

Zitatversion: 1

plot:
  title: Wallbox – Ladevorgang
  height: 400
  legend: bottom

sources:
  charging:
    type: FileLog
    device: FileLog_Wally
    reading: power

  grid:
    type: DbLog
    device: PowerFlow
    reading: grid_power

  soc:
    type: DbLog
    device: ID7
    reading: soc

axes:
  time:
    type: time
    position: bottom
    format: "%H:%M"
    grid: true

  power:
    type: linear
    position: left
    label: Leistung
    unit: kW
    min: 0
    grid: true

  battery:
    type: linear
    position: right
    label: Ladezustand
    unit: "%"
    min: 0
    max: 100

coordinates:
  charging:
    x: time
    y: power

  battery:
    x: time
    y: battery

objects:
  - id: charging_power
    type: line
    source: charging
    coordinates: charging
    label: Ladeleistung
    color: "#0088cc"
    width: 2

  - id: grid_power
    type: line
    source: grid
    coordinates: charging
    label: Netzbezug
    color: "#cc4400"
    width: 2

  - id: soc
    type: line
    source: soc
    coordinates: battery
    label: Ladezustand
    color: "#008800"
    width: 2

  - id: power_limit
    type: hline
    coordinates: charging
    y: 11
    label: Leistungsgrenze
    color: red
    dash: dashed

  - id: charging_start
    type: vline
    coordinates: charging
    x: "2026-11-20T10:30:00+01:00"
    label: Ladebeginn
    color: green

  - id: charging_period
    type: region
    coordinates: charging
    x:
      from: "2026-11-20T10:30:00+01:00"
      to: "2026-11-20T12:00:00+01:00"
    fill: "#ccffcc"
    opacity: 0.25

Das YAML-Konfigurationsformat umfasst also folgende Bereiche
Zitatversion: 1

plot: {}

sources: {}

datasets: {}

axes: {}

coordinates: {}

viewports: {}

objects: []

layout: {}

Davon wären lediglich version und objects grundsätzlich erforderlich. Das Definitionsformat unterstützt bereits

- Zeitreihen und allgemeine X/Y-Diagramme.
- Mehrere Datenquellen.
- Beliebig viele benannte Achsen.
- Unterschiedliche Koordinatensysteme.
- Mehrere grafische Objekte aus demselben Datensatz.
- Horizontale und vertikale Referenzlinien.
- Dynamische statistische Referenzwerte.
- Datenverarbeitung und mathematische Funktionen.
- Mehrere Viewports.
- Automatisches und explizites Layout.

LG

pah

Dr. Boris Neubert

Syntax by Example finde ich gut!

Fragen:
  • Was macht coordinates?
  • Beispiel für Layout habe ich nicht gefunden.
  • Wie definiere ich mehrere y-Achsen, deren Reihenfolge ich bestimme? Z.B. Links1 Temperatur, Rechts1 Absolute Feuchte, Rechts2 Relative Feuchte
  • Im Wallbox-Beispiel ist ein Zeitfenster hardkodiert. Der Plot würde dann für das zugehörige Objekt immer den festen Zeitraum zeigen? Verstehe ich das richtig?
  • Wie macht man Vorlagen? Über Platzhalter und berechnete Werte? Wie würde man das Äquivalent von Title={ sprintf("Raumname %.1f °C %.0f %, $data{currval1}, $data{currval2}) } im title bilden, wobei Raumname auch ein Platzhalter sein soll z.B. für den Alias des Gerätes (wobei weder SVG noch das Konzept hier aktuell das Gerät überhaupt kennen, auf das sich das Log bezieht, zumal mehrere Geräte in ein Log schreiben können). Insgesamt sehe ich in der Vorlagenbildung einen wichtigen Bedarf. Man hat 10 vom Typ identische Heizkörperthermostate, die z.B. Thermostat_xxx heißen und in FileLog_Thermostat_xxx loggen. Mit der Benennung von xxx als Platzhalter und einer passenden Thermostat-Vorlage sollte es getan sein.
FHEM-Developer seit 2007, Mitgründer und Förder-Mitglied des FHEM e.V.
Bitte keine unaufgeforderten privaten Nachrichten!

Prof. Dr. Peter Henning

#2
Gemach, alles in Arbeit.

Einfache Plots mit mehreren Achsen sind schon möglich. Als Beispiel unten ein herkömmlicher FHEM-Plot, darunter das, was jetzt schon mit dem neuen Format geht. Mit etwas Fantasie erkennt man die Übereinstimmung (wobei der 2. Plot noch zeitverschoben ist).

Die dabei verwendete YAML-Definition lautet

Zitat# FHEM Plot-Engine
# Beispielkonfiguration für GDayNew
# Entspricht dem FileLog-Test mit Version 8

api_version: 1

canvas:
  width: 900
  height: 350
  title: "Gas – letzte 24 Stunden"
  background: white

sources:
  energy_7:
    type: filelog
    device: GasD
    spec: '7:G.Verb.energy\x3a:0:'
    range: last_24h

  power:
    type: filelog
    device: GasD
    spec: '4:G.Verb.power.av\x3a:0:'
    range: last_24h

  energy_4:
    type: filelog
    device: GasD
    spec: '4:G.Verb.energy\x3a:0:'
    range: last_24h

  energy_ac:
    type: filelog
    device: GasD
    spec: '4:G.Verb.energy_AC\x3a:0:'
    range: last_24h

axes:
  time:
    type: time
    position: bottom
    label: Uhrzeit
    range: last_24h

  energy_7:
    type: linear
    position: left
    label: "Energy (Spalte 7)"

  power:
    type: linear
    position: right
    label: Power

  energy_4:
    type: linear
    position: left
    label: "Energy (Spalte 4)"

  energy_ac:
    type: linear
    position: right
    label: "Energy AC"

viewports:
  main:
    layout: auto

coordinates:
  energy_7:
    type: cartesian
    viewport: main
    x_axis: time
    y_axis: energy_7

  power:
    type: cartesian
    viewport: main
    x_axis: time
    y_axis: power

  energy_4:
    type: cartesian
    viewport: main
    x_axis: time
    y_axis: energy_4

  energy_ac:
    type: cartesian
    viewport: main
    x_axis: time
    y_axis: energy_ac

objects:
  - type: line
    dataset: energy_7
    x: x
    y: y
    coordinates: energy_7
    style:
      stroke: "#0088cc"
      width: 1.6

  - type: line
    dataset: power
    x: x
    y: y
    coordinates: power
    style:
      stroke: "#cc4400"
      width: 1.6

  - type: line
    dataset: energy_4
    x: x
    y: y
    coordinates: energy_4
    style:
      stroke: "#339966"
      width: 1.6

  - type: line
    dataset: energy_ac
    x: x
    y: y
    coordinates: energy_ac
    style:
      stroke: "#8844aa"
      width: 1.6

Daran sieht man so etwa, was "coordinates" macht: Es definiert ein oder mehrere Koordinatensysteme - und ein "object" wird einem solchen Koordinatensystem zugeordnet.
"axes" wiederum ist ebenfalls komplett unabhängig davon. Da ich hier den "order"-Parameter weggelassen habe, werden sie nur "left" oder "right" angeordnet, in der Reihenfolge ihrer Definition.
Die Datenquellen sind in "sources" definiert, sie haben auch eigene symbolische Namen.

"canvas" ist die gesamte Zeichenfläche, und in diesem Fall haben wir nur einen einzelnen "viewport" - das könnten auch mehrere sein, um komplexe Definitionen zu erlauben.

Jetzt bitte nicht das Aussehen kritisieren - daran ist natürlich noch viel zu arbeiten.

Und noch ein Hinweis: Die Architektur ist im Moment darauf ausgelegt, dass die Plot-Engine ein Perl-Programm ist, das mit "BlockingCall" nebenher läuft. Das Ganze ist so gestaltet, dass ich das auch einen Python-Prozess übergeben könnte. Und auch der Renderer ist austauschbar, derzeit einfach SVG.

LG

pah

P.S.: Natürlich mit einem LLM gemacht. CO2-Footprint heute nachmittag: 0,5 kg CO2, davon 40% durch den Betrieb meines eigenen Laptops.

Dr. Boris Neubert

Ich freu mich auf Weihnachten :-)

objects.type würde dann neben line noch hsteps, steps, usw. ermöglichen?

Noch eine Anregung: Themes, bezogen auf Farben. Statt die Farben explizit anzugeben über ihren RGB-Code alternativ einen Verweis in eine Lookup-Tabelle, die global an der Plot-Engine definiert wird. Anwendungsfall: die für mich natürliche Farbwahl für die Datenpunkte bei einem Temperatur-Feuchte-Sensor ist Rot für Temperatur und Blau für Feuchte. Das ist gut lesbar auf weißem Hintergrund. Bei dunklem Hintergrund sind Hellrot und Hellblau die bessere Wahl. Im Theme "light" mycolorblue := #0000ff und im Theme "dark" mycolorblue := #6666ff. In der Definition dann style.stroke: ^mycolorblue. Warum mit ^ Pointer? Damit es erweiterbar wird, falls mal jemand auf die Idee kommt, HTML-Farbangaben zu wünschen ;-) style.stroke: "royalblue"

Sind die Anführungszeichen um die Farbcodes Absicht? Beim SVG-Gerät hat mich schon in den Wahnsinn getrieben, dass Anführungszeichen in der Syntax in einigen Fällen nötig waren, und nur der Inhalt dazwischen genommen wurde, und in anderen Fällen die Anführungszeichen mit ausgegegeben wurden.
FHEM-Developer seit 2007, Mitgründer und Förder-Mitglied des FHEM e.V.
Bitte keine unaufgeforderten privaten Nachrichten!

Prof. Dr. Peter Henning

#4
Ich bin schon wieder weiter...

Nein, das mit den Anführungszeichen muss ich noch bereinigen.

Zitatobjects.type würde dann neben line noch hsteps, steps, usw. ermöglichen?
Ja.
Farben aus Themes sind geplant.

Was inzwischen schon ganz gut funktioniert:
1. Ich habe eine Datei gasd.xplot, die steht in /opt/fhem/www/xplot (und kann, wenn man editFileList ergänzt, problemlos mit dem File-Editor von FHEM geändert werden. Inhalt:
Zitat# Xplot v11: GasD, four FileLog data series
api_version: 1
canvas:
  width: 600
  height: 300
  title: 'Gas'
  background: white
  frame: rounded
viewports:
  main:
    layout: auto
sources:
  power:
    type: filelog
    device: GasD
    spec:
      regex: 'G.Verb.energy:'
      column: 7
    range: day
  power.av:
    type: filelog
    device: GasD
    spec:
      regex: 'G.Verb.power.av:'
      column: 4
    range: day
  energy:
    type: filelog
    device: GasD
    spec:
      regex: 'G.Verb.energy:'
      column: 4
    range: day
  energy_ac:
    type: filelog
    device: GasD
    spec:
      regex: 'G.Verb.energy_AC:'
      column: 4
    range: day
axes:
  time:
    type: time
    position: bottom
    label: Uhrzeit
    range: day
  energy:
    type: linear
    position: right
    label: 'V [m³]'
    range:
      min: 0
      max: 20
  power:
    type: linear
    position: left
    label: 'P [m³/h]'
    range:
      min: 0
      max: 3
coordinates:
  energy:
    type: cartesian
    viewport: main
    x_axis: time
    y_axis: energy
  power:
    type: cartesian
    viewport: main
    x_axis: time
    y_axis: power
objects:
  - type: line
    dataset: power
    x: x
    y: y
    coordinates: power
    style:
      stroke: '#cc0000'
      width: 0.3
  - type: line
    dataset: power.av
    x: x
    y: y
    coordinates: power
    style:
      stroke: '#cc0000'
      width: 1.6
  - type: line
    dataset: energy
    x: x
    y: y
    coordinates: energy
    style:
      stroke: '#339966'
      width: 1.6
  - type: line
    dataset: energy_ac
    x: x
    y: y
    coordinates: energy
    style:
      stroke: '#8844aa'
      width: 1.6

2. Dann gibt es natürlich ein FileLog:
Zitat2026-11-21_08:09:27 G.Verb energy: 1.560  m³ power: 0.240  m³/h meter: 1085.730  m³ rate: 0.240  m³/h
2026-11-21_08:09:27 G.Verb power.av: 0.280
2026-11-21_08:14:27 G.Verb energy: 1.640  m³ power: 0.960  m³/h meter: 1085.810  m³ rate: 0.960  m³/h
2026-11-21_08:14:27 G.Verb power.av: 0.340
2026-11-21_08:19:27 G.Verb energy: 1.720  m³ power: 0.960  m³/h meter: 1085.890  m³ rate: 0.960  m³/h
2026-11-21_08:19:27 G.Verb power.av: 0.400
2026-11-21_08:24:15 G.Verb energy_AC: 0
2026-11-21_08:24:15 G.Verb power.av: 0.520

3. Dann muss ich in FHEM nur definieren

define Gasdefine GDay Xplot gasd
und bekomme eine wunderbare Anzeige. Rechts im Bild die neue, links die alte Darstellung mit 98_SVG.pm

LG

pah

Dr. Boris Neubert

Was mir noch einfällt: der Umgang mit den Rändern benötigt im Vergleich mit SVG noch etwas Liebe.

Bei xy-Plots ist der Plot ein Ausschnitt [x1;x2] x [y1;y2] aus der unendlichen xy-Ebene. Für die Darstellung relevant sind dann noch der Wert beim größten x <= x1 und beim kleinsten x >= x2. SVG geht hier in der Zeit eine gewisse Strecke entlang der x-Richtung zurück (hier hatte Rudi auf meine Bitte den Suchbereich ausgedehnt), um den Wert zu finden. Das genügt bei meinen Anwendungsfällen nicht immer: bei geschalteten Lasten (alles, was ich mit Shelly mit Leistungsmessung realisiere) und Bodenfeuchtesensoren hinterlege ich im Plot den Bereich, mit angeschalteter Last bzw. feuchtem Boden von unten bis oben mit Farbe. Wenn das Gerät aber schon lange an ist oder der Boden schon eine Weile feucht, findet das Get den letzten Wert nicht, weil er so lange zurückliegt. Hier wäre es sinnvoll, das gesamte Log zu durchsuchen (und bei Glued Logs auch die vorherigen), und den Wert zu cachen, weil die Suche sehr lange dauern kann.
FHEM-Developer seit 2007, Mitgründer und Förder-Mitglied des FHEM e.V.
Bitte keine unaufgeforderten privaten Nachrichten!