Bedarfsgerechte Einschränkung der Events und Logfile-Einträge

[DasQ]

Kannst mir nochmal kurz erklären wie dein Aufbau ist?

Als Beispiel

Ich hab nenn SML ir lesekopf an tasmota und lese so mein smartmeter aus. (Mir scheint bei dir ist das ähnlich)
Ich kann in dem tasmota zum einen vorfiltern und konzentrieren. Vorfiltern nur relevante Werte. Konzentrieren, die Daten zu einem mqtt packet (json) zusammenpacken und nur die alle 5 o. 10minuten senden.

Dann als Anregung (weil auf lange Sicht, wirst bei der Menge Daten, mit einem statischen Speicher wie einer sd Karte, tot unglücklich)
Was hälst du von einer Datenbank?

[sunrise]

Ich habe 2 Devices (MyObis1 und MyObis2) definiert für 2 Hichi USB IR an 2 Stromzählern. Beide hängen direkt am RPi2 (sorry, Tasmota kenne ich nur von Hörensagen), und ich sah bisher alle relevanten Werte im Logfile und Plots. Für Plots machten bisher nur die Leistungen (power) Sinn, weil die Verbräuche (total_consumption) ja ständig steigen - ohne Statistiken mit Stunden-, Tages- etc. Werte sind Plots da sinnlos. Das wollte ich nun ändern, und dabei fiel mir halt auf, dass plötzlich fast alle Werte minütlich kommen.

Irgendwann werde ich evtl. vom Logfile auf DB wechseln, falls es hilft, aber die Lernkurve ist für mich steil.

Außerdem habe ich einen RPi4 mit Home Assistant, wo ich schon einige Werte meiner Heizung und meines Stroms von FHEM via MQTT sehe. Aber ich möchte das jetzt noch nicht weiter aufbohren, weil ich sonst zu viele Baustellen gleichzeitig habe. Auch kann ich nicht FHEM und HA auf ein Gerät bringen.

Erstmal möchte ich dahin kommen, dass Werte in FHEM so selten wie möglich und so häufig wie nötig ins Obis Logfile geschrieben werden und Stromverbrauchswerte pro h/d/m/y für einen Plot verfügbar sind.

Ich hoffe, ich habe mein Setup verständlich erläutert. Ansonsten lege ich gerne noch nach. 😉

Jedenfalls nochmals herzlichen Dank für's Interesse und die Hilfe! 👍

[KölnSolar]

Es ist viel zu tun. Packen wirs an.

Die Werte sind in Watt mit einer Nachkommestelle.

Fragte ich, um ein Gefühl für die Häufigkeit von Änderungen zu bekommen. Es sind dann Wattstunden u. bei minütlichen Werten u. Zehnteln hast Du bereits Änderungen/min, weshalb event-on-change wenig Sinn macht. Wie Du schon selber festgestellt hast.

Noch eine Verständnisfrage zu event-on-change-reading: Muss ich das nicht weglassen, weil sich der Strom-Verbrauch ja laufend ändert? Das würde doch nur Sinn machen z.B. bei einer Wetterstation, wo sich die Temperatur nicht jede Minute ändert.

event-on-change hat aber noch einen anderen Effekt. Den hast Du auch schon erkannt.

Einzig Hersteller_ID und Geraetekennung kommen wie erwartet alle 5 Minuten - wobei ich das dringend abstellen muss, denn die bleiben ja stets gleich. Das würde ich dann wohl so mache

Also filtern von events. In Deinem Fall nicht

Code Auswählen Erweitern

attr MyObis1 event-on-change-reading .*,(?!Hersteller_ID).*,(?!Geraetekennung).*sondern

Code Auswählen Erweitern

attr MyObis1 event-on-change-reading .*consumption.*,power.*alle anderen readings erzeugen nun keine events mehr, können weder gelogged, noch als trigger benutzt werden.

timestamp-on-change-reading

braucht man eher nicht.

Code Auswählen Erweitern

attr MyStatObis1 event-min-interval .*:300
attr MyStatObis1 event-on-change-reading .*Auf die Idee wäre ich nie gekommen. Lass es weg, denn das device ist nur zum definieren. Die readings/events sind ja im Zählerdevice.

Das erst einmal als "Grundausstattung" und dann sehen wir weiter...

[KölnSolar]

RPi2

würd ich schleunigst ersetzen. Zum Einstieg noch ok, aber Deine Plots werden erschreckend langsam werden.

Die events haben wir bereits auf das wesentliche reduziert, um das System zu schonen.
Du hast aber noch viel zu viel logging, was der SD u. dem plotten schadet. Also dort weiter reduzieren. Die Statistik-readings willst Du gar nicht loggen, also

Code Auswählen Erweitern

define .... FileLog .... (power|total).*

[KölnSolar]

aber stündlich willst Du sie halt doch. Unbedingt im selben File oder vielleicht ein separates ?

userreadings und ein eigenes reading helfen

Code Auswählen Erweitern

attr MyObis1 userReadings DeinReadinghour:statTotal_consumptionHourLast difference {ReadingsVal($name,'statTotal_consumptionHourLast',0)}

Logging im selben file

Code Auswählen Erweitern

define .... FileLog .... (power|total|Dein).*

[sunrise]

Danke für Deine großartige Geduld! 😊

Wenn ich es richtig verstehe, muss die RegEx so aussehen, dass nur noch folgende Readings von den bisherigen kommen:

Geraetekennung
Hersteller_ID
power
statPowerDay
statPowerDayLast
statPowerMonth
statPowerYear
statTotal_consumption
statTotal_consumptionDay
statTotal_consumptionDayLast
statTotal_consumptionHour
statTotal_consumptionHourLast
statTotal_consumptionLast
state
total_consumption
total_feed

Evtl. könnte ich auch noch die in Rot hervorgehobenen Parameter rausfiltern, da ich sie m.E. für keine Plots u.a. benötige. Mein 24h-Plot benötigt nur statTotal_consumptionHourLast und mein Monatsplot (wenn genügend Werte vorhanden sind) wird nur statTotal_consumptionDayLast benötigen, wenn ich das richtig sehe.

Der Parameter state (opened) taucht im Logfile aber ohnehin nicht auf.
Der Parameter total_feed ist für mich (noch) nicht relevant, da ich (noch) nichts einspeise.

Ich verstehe die RegEx MyObis1:(power|total).* so, dass dann aber weiterhin auch total_feed geloggt würde, weshalb ich das wohl anders formulieren muss:

Code Auswählen Erweitern

define FileLog_MyObis1 FileLog /opt/fhem/log/MyObis1-%Y-%m.log MyObis1:(power|statTotal_consumptionDayLast|statTotal_consumptionHourLast|total_consumption)
Ich habe einige Wikis und Tutorials zu Perl RegEx gelesen, bin mir aber nicht sicher, ob ich hier richtig liege. So wie ich es nun formuliert habe, ist es eigentlich keine echte RegEx mehr, weil die 3 gewünschten Parameter voll ausgeschrieben in Klammern stehen (mal von den Pipes abgesehen). Aber wenn ich nur die 3 Parameter möchte (und auch hier hoffe ich, dass ich damit richtig liege), ist die Schreibweise so ok?

EDIT1:

Die Statistik-readings willst Du gar nicht loggen, also

Code Auswählen Erweitern

define .... FileLog .... (power|total).*

Gar nicht? Ich dachte, ich benötige 2-3 davon, um nachher etwas plotten zu können. 🤔 (EDIT-Ende)


Device und Logfile sind nun wie folgt definiert (unter der Annahme, dass das, was ich oben schrieb, korrekt ist und unter Berücksichtigung Deiner Hinweise):

Code Auswählen Erweitern

define MyObis1 OBIS /dev/serial/by-id/usb-Silicon_Labs_CP2102_USB_to_UART_Bridge_Controller_0041-if00-port0@9600,8,N,1,SML
attr MyObis1 channels {\
"1.0.96.50.1.1"=>"Hersteller_ID",\
"1.0.96.1.0.255"=>"Geraetekennung"}   # Obis-spezifisch, einzelne Kanal-Readings umbenennen
attr MyObis1 pollingMode on  # Obis-spezifisch, Umstellung von Direktbenachrichtigung auf Polling, damit Smartmeter nicht im Sekundentakt Daten sendet
attr MyObis1 interval 60  # Obis-spezifisch, Daten nur alle 60 Sekunden - ggf. noch auf 300 erhöhen (5 Minuten)
attr MyObis1 unitReadings off  # Obis-spezifisch, keine Einheiten anhängen
attr MyObis1 event-min-interval .*:300
attr MyObis1 event-on-change-reading .*consumption.*,power.*
attr MyObis1 alias Haushalts-Strom
attr MyObis1 icon stromzaehler_icon@red
attr MyObis1 room Strom
attr MyObis1 verbose 3

define FileLog_MyObis1 FileLog /opt/fhem/log/MyObis1-%Y-%m.log MyObis1:(power|statTotal_consumptionDayLast|statTotal_consumptionHourLast|total_consumption)
attr FileLog_MyObis1 archivedir /opt/fhem/log/archive/
attr FileLog_MyObis1 createGluedFile 1
attr FileLog_MyObis1 nrarchive 2

EDIT2:
Jetzt sehe ich ein Problem. Während des (längeren) Schreibens meines Beitrags und Anpassungen in FHEM sehe ich jetzt (10:43), dass die letzten Obis Logfile Einträge von 10:27 sind. Das ist definitiv zu wenig/selten. Irgendwo habe ich wohl bereits um 10:27 etwas verändert, was zu viel des Guten war => Plot-Abriss. (EDIT-Ende)


Deine Idee, verschiedene Logfiles zu nutzen, gefällt mir, und darum kümmere ich mich in einem nächsten Schritt.

Ich finde es sehr freundlich, dass Du Dir Deine Zeit nimmst, mir (und anderen Mitstreitern) weiterzuhelfen. Tausend Dank! 😀👍

[sunrise]

Wenn ich es richtig verstehe, muss die RegEx so aussehen, dass nur noch folgende Readings von den bisherigen kommen:

Geraetekennung
Hersteller_ID
power
statPowerDay
statPowerDayLast
statPowerMonth
statPowerYear
statTotal_consumption
statTotal_consumptionDay
statTotal_consumptionDayLast
statTotal_consumptionHour
statTotal_consumptionHourLast
statTotal_consumptionLast
state
total_consumption
total_feed

Nun schaue ich mir nochmal die Zeile an:

Code Auswählen Erweitern

attr MyObis1 event-on-change-reading .*consumption.*,power.*
Das .* vor und hinter consumption bedeutet doch, dass alle Readings betroffen sind, die irgendwo im Namen consumption enthalten. Das .* nur hinter power, dass alle Readings betroffen sind, die mit power im Namen beginnen.

Letzteres bedeutet, dass nur das Reading power berücksichtigt wird, nicht aber die anderen power im Namen enthaltenden Readings, die oben in Rot dargestellt sind. Das ist ja soweit ok, denke ich.

Ersteres bedeutet doch aber, dass auch Readings in Rot dabei wären, d.h. statTotal_consumption, statTotal_consumptionDay, statTotal_consumptionHour und statTotal_consumptionLast. Will ich das wirklich oder können die auch weg? Dann müsste ich die RegEx in der o.g. Zeile nochmal anpassen oder nicht?

Sorry, ich blicke bei den RegEx nicht ganz durch und mir ist auch nicht ganz klar, welche Parameter wirklich zwingend nötig sind, wenn ich Stunden-, Tages-, Monats- und irgendwann auch Jahres-Werte in Plots darstellen möchte (neben dem gerade aktuellen Verbrauch als Zahl). 😳

[KölnSolar]

Ein Punkt im regexp bedeutet genau ein beliebiges Zeichen. Mit folgendem Stern, also .*, bedeutet beliebig viele beliebige Zeichen.

Letzteres bedeutet, dass nur das Reading power berücksichtigt wird, nicht aber die anderen power im Namen enthaltenden Readings, die oben in Rot dargestellt sind. Das ist ja soweit ok, denke ich.

Ja. Zumal die anderen readings nicht power sondern Power enthalten.

Ersteres bedeutet doch aber, dass auch Readings in Rot dabei wären, d.h. statTotal_consumption, statTotal_consumptionDay, statTotal_consumptionHour und statTotal_consumptionLast. Will ich das wirklich oder können die auch weg? Dann müsste ich die RegEx in der o.g. Zeile nochmal anpassen oder nicht?

Da hast Du recht. Aber nicht, dass die etwas im statistics-Modul triggern.    Also erst einmal drin lassen. Optimierungsversuche kann man dann immer noch schrittweise machen.

Wichtig, und deshalb hatte ich es in 3 Beiträgen geschrieben:
1. Schritt: welche events soll mein device erzeugen ? (fürs logging, aber auch als trigger für z.B. statistics, notify, userReadings...) evtl. mehr als ich im Logfile haben möchte
2. Schritt: was möchte ich plotten(filelog) oder sonstwie historisch auswerten

Daher hatte ich bei meinem event-on-change-regexp auch die statTotal... eingeschlossen.
Und erst beim filelog-regexp habe ich die statTotal... gefiltert.

Klarer ?

So wie Du es jetzt machen möchtest, könnte der Code so aussehen(wenn ich nichts übersehen habe)

Code Auswählen Erweitern

attr MyObis1 event-on-change-reading .*consumption.*,power.*

Code Auswählen Erweitern

define FileLog_MyObis1 FileLog /opt/fhem/log/MyObis1-%Y-%m.log MyObis1:(power|.*Last|total_consumption).*

[sunrise]

Ja. Zumal die anderen readings nicht power sondern Power enthalten.

Oja, ist case sensitive - danke für die Erinnerung!

Daher hatte ich bei meinem event-on-change-regexp auch die statTotal... eingeschlossen.
Und erst beim filelog-regexp habe ich die statTotal... gefiltert.

Der Groschen ist bei mir gefallen, denke ich. Wobei ich noch eine andere Fragen offen habe (s.u.).


Nach den entsprechenden Anpassungen (s.u.) sehe ich nun im Obis Logile keine neunen statTotal Werte mehr.
EDIT: Wie gewünscht, gibt es nun zur vollen Stunde:

Code Auswählen Erweitern

2024-01-25_16:59:55 MyObis1 statTotal_consumptionLast: Hour: xxx0.9 Day: xxxx2.3 Month: - Year: - (since: 2024-01-24_09:21:25 )
2024-01-25_16:59:55 MyObis1 statTotal_consumptionHourLast: xxx0.9(EDIT-Ende)

Allerdings tauchen total_consumption und power dort immer noch minütlich auf. Das würde ich gerne auch noch reduzieren (auf alle 5 Minuten, damit die Plots eine einigermaßen gute Auflösung haben). Nur verstehe ich nicht, weshalb die dort überhaupt minütlich auftauchen. Ich habe doch attr MyObis1 event-min-interval .*:300 gesetzt. Demnach sollten doch alle(?) Readings nur alle 5 Minuten kommen und können dann nicht häufiger im Obis Logile auftreten, oder irre ich mich? Liegt's am Modul-spezifischen Polling und 60 Sekunden-Intervall? 🤔 Ich hatte angenommen, dass trotzdem die Readings gemäß event-min-interval .*:300 nur alle 5 Minuten kommen.

Code Auswählen Erweitern

define MyObis1 OBIS /dev/serial/by-id/usb-Silicon_Labs_CP2102_USB_to_UART_Bridge_Controller_0041-if00-port0@9600,8,N,1,SML
attr MyObis1 alias Haushalts-Strom
attr MyObis1 channels {\
"1.0.96.50.1.1"=>"Hersteller_ID",\
"1.0.96.1.0.255"=>"Geraetekennung"}
attr MyObis1 event-min-interval .*:300
attr MyObis1 event-on-change-reading .*consumption.*,power.*
attr MyObis1 icon stromzaehler_icon@red
attr MyObis1 interval 60
attr MyObis1 pollingMode on
attr MyObis1 room Strom
attr MyObis1 unitReadings off
attr MyObis1 verbose 3

define FileLog_MyObis1 FileLog /opt/fhem/log/MyObis1-%Y-%m.log MyObis1:(power|.*Last|total_consumption).*
attr FileLog_MyObis1 archivedir /opt/fhem/log/archive/
attr FileLog_MyObis1 createGluedFile 1
attr FileLog_MyObis1 nrarchive 2

[KölnSolar]

Demnach sollten doch alle(?) Readings nur alle 5 Minuten kommen und können dann nicht häufiger im Obis Logile auftreten, oder irre ich mich?

Du irrst. event-on-change UND min-interval haben eine Oder-Verknüpfung. Es zieht also immer die Änderung des readings, die ja vermutlich minütlich stattfindet.
min-interval nimmt man hingegen dafür, dass, obwohl keine Änderung stattgefunden hat, das event erzeugt wird. Macht z.B. Plots lesbarer, wo selten Änderungen der readings stattfinden.

Wenn Du also sowieso nur einen 5-Minuten-Rythmus zum plotten haben willst und auch sonst keine weiteren Abhängigkeiten(notify....) hast, dann setz doch das interval am device auf 300. 

Stunde ist um. Passt es jetzt ?

Edit: Dein Edit beantwortet es.
Edit2: Anstatt meinem Vorschlag, könntest Du Dich auch noch an min-interval, aber einem zusätzlichen threshold bei event-on-change versuchen. Dann löst entweder threshold oder spätestens min-interval aus.

Code Auswählen Erweitern

attr MyObis1 event-min-interval .*:300
attr MyObis1 event-on-change-reading .*consumption.*:10,power.*

[sunrise]

Du irrst. event-on-change UND min-interval haben eine Oder-Verknüpfung. Es zieht also immer die Änderung des readings, die ja vermutlich minütlich stattfindet.
min-interval nimmt man hingegen dafür, dass, obwohl keine Änderung stattgefunden hat, das event erzeugt wird. Macht z.B. Plots lesbarer, wo selten Änderungen der readings stattfinden.

Danke! Wer lesen kann, ist klar im Vorteil - ich hätte es halt nur lesen müssen:
https://wiki.fhem.de/wiki/Event-min-interval

Wenn Du also sowieso nur einen 5-Minuten-Rythmus zum plotten haben willst und auch sonst keine weiteren Abhängigkeiten(notify....) hast, dann setz doch das interval am device auf 300. 

Anstatt meinem Vorschlag, könntest Du Dich auch noch an min-interval, aber einem zusätzlichen threshold bei event-on-change versuchen. Dann löst entweder threshold oder spätestens min-interval aus.
Code Auswählen Erweitern

Code Auswählen Erweitern

attr MyObis1 event-min-interval .*:300
attr MyObis1 event-on-change-reading .*consumption.*:10,power.*

Das Device interval habe ich auf 300 gesetzt. Die Sache mit dem threshold schaue ich mir morgen an, wenn ich einen neuen Blick auf's Logfile werfen kann. Bis dahin lasse ich es so:

Code Auswählen Erweitern

define MyObis1 OBIS /dev/serial/by-id/usb-Silicon_Labs_CP2102_USB_to_UART_Bridge_Controller_0041-if00-port0@9600,8,N,1,SML
attr MyObis1 alias Haushalts-Strom
attr MyObis1 channels {\
"1.0.96.50.1.1"=>"Hersteller_ID",\
"1.0.96.1.0.255"=>"Geraetekennung"}
attr MyObis1 event-min-interval .*:300
attr MyObis1 event-on-change-reading .*consumption.*,power.*
attr MyObis1 icon stromzaehler_icon@red
attr MyObis1 interval 300
attr MyObis1 pollingMode on
attr MyObis1 room Strom
attr MyObis1 unitReadings off
attr MyObis1 verbose 3
Nochmals meinen ganz herzlichen Dank für Deine Engelsgeduld - wünsche Dir und Euch allen einen entspannten Abend! 🌝

[sunrise]

RPi2

würd ich schleunigst ersetzen. Zum Einstieg noch ok, aber Deine Plots werden erschreckend langsam werden.

Was kommt denn außer z.B. RPi 3/4 noch in Betracht? Es muss ja nur ein Desktop-loses OS drauf laufen können mit mehr CPU-Leistung für FHEM, ggf. auch mehr Speicher. Sorry, es wird etwas OT, merke ich. 😉

PS: Die Daten kommen jetzt wie gewünscht nur noch alle 5 Minuten bzw. zur vollen Stunde, und die Plots sehen trotzdem immer noch prima aus. Einen Threshold benötige ich wohl nicht. 😊 Würde eine Aufteilung auf 2 separate Logfiles irgendwelche Vorteile bringen?

[DasQ]

Ne frage vom Geldbeutel. Ich nutz nen bj2011 Mac mini mit ubuntu drauf.(Core i5 mit 16gb ram und ssd)

Viele hier setzten micro pcs wie eine NUC ein.

Zum log, ja kann man machen, muß aber nicht. Viel wichtiger ist die Logs zeitlich zu trennen(-%Y-%m-%d). Und sie mit creategluedfiles wieder zusammenkleben, für die svg Plots.

Werden die logfiles zu groß wird das parsen langsam. Hilft auch das nicht, sollte man auf ne Datenbank setzen.

[sunrise]

NUCs haben wir, aber schon anderweitig im Beschlag. 😉 Außerdem könnte ich eine VM auf meiner Synology nutzen. Dazu müsste ich das RS232-USB-Adapterkabel deutlich verlängern für den Weg vom Zählerstand zum Netzwerkschrank und zur Heizung. Aber es wäre möglich.

Logfiles erstelle ich alle monatlich und glue diese. Bisher werden alle Plots flott genug erstellt, wobei ich den einen oder anderen noch via MQTT nach Home Assistant sende und (auch) dort plotte.

Außerdem habe ich regelmäßig automatische Backups von FHEM für den Fall, dass die SD-Karte kaputt geht (ist übrigens eine Transcend High Endurance 128 GB, TS128GUSD350V).

[KölnSolar]

Ein RPi3 verrichtet hier problemlos seine Dienste. Der macht nur FHEM und ein bißchen pi-hole(lokaler DNS).
Was da alles so dranhängt siehst Du ja in meiner Signatur.