Strommessung- Logfille Auswerten - historisch + besserer Prozess für die Zukunft

[Sammy51]

Hallo zusammen,

lese einen Pafal Stromzähler (HT, NT, Summe). Das sind Arbeitswerte alle x Minuten (auch Momentanwerte aber die taugen vermutlich weniger). Ggf. ist aus dem Logfile eigentlich nur jeder zeitstempel "Pafal-WP___Total" relevant bzw. sinnvolle Basis für die weitere Auwertung.

Die Daten werden seit ca. November 22 geschrieben. Log Beispiel siehe unten.

Würde da nun gerne ein Leistungszeitreihe draus erstellen mit kW 15min Werten.
1.) Habt ihr Tipps wie man das am besten anstellt?

2.) Wie kann ich ggf. das loggin verbessern um künftig einfacher an die Daten zu kommen und ggf. direkt in FHEM zu visualiseren?

Lösung für 1 kann gerne extern sein in Excel oder so. Oder gibt es dafür sogar etwas vorgefertiges / eine Anleitung die ich beim Suchern übersehen habe? Wo?

Vielen Dank für die Hilfe!
Beste Grüße
Sammy

Code Auswählen Erweitern

2022-12-31_23:53:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:53:10 Strommessung_WP Pafal-WP___Total_night: 7161.29
2022-12-31_23:53:10 Strommessung_WP Pafal-WP___Total: 30133.75
2022-12-31_23:53:10 Strommessung_WP Time: 2022-12-31T23:53:10
2022-12-31_23:53:10 Strommessung_WP power_WP_in: 0
2022-12-31_23:53:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:53:10 Strommessung_WP power_WP_in_NT: 0
2022-12-31_23:54:10 Strommessung_WP UptimeSec: 2634647
2022-12-31_23:54:10 Strommessung_WP Uptime: 30T11:50:47
2022-12-31_23:54:10 Strommessung_WP MqttCount: 26
2022-12-31_23:54:10 Strommessung_WP Heap: 21
2022-12-31_23:54:10 Strommessung_WP Time: 2022-12-31T23:54:10
2022-12-31_23:54:10 Strommessung_WP Wifi_AP: 1
2022-12-31_23:54:10 Strommessung_WP Wifi_Channel: 6
2022-12-31_23:54:10 Strommessung_WP Wifi_RSSI: 90
2022-12-31_23:54:10 Strommessung_WP Wifi_BSSId:
2022-12-31_23:54:10 Strommessung_WP Wifi_Mode: 11n
2022-12-31_23:54:10 Strommessung_WP Wifi_LinkCount: 3
2022-12-31_23:54:10 Strommessung_WP Sleep: 50
2022-12-31_23:54:10 Strommessung_WP Wifi_SSId:
2022-12-31_23:54:10 Strommessung_WP LoadAvg: 19
2022-12-31_23:54:10 Strommessung_WP SleepMode: Dynamic
2022-12-31_23:54:10 Strommessung_WP POWER: OFF
2022-12-31_23:54:10 Strommessung_WP Wifi_Downtime: 0T00:00:22
2022-12-31_23:54:10 Strommessung_WP Wifi_Signal: -55
2022-12-31_23:54:10 Strommessung_WP Time: 2022-12-31T23:54:10
2022-12-31_23:54:10 Strommessung_WP Pafal-WP___Total_night: 7161.29
2022-12-31_23:54:10 Strommessung_WP Pafal-WP___Total: 30133.75
2022-12-31_23:54:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:54:10 Strommessung_WP power_WP_in: 0
2022-12-31_23:54:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:54:10 Strommessung_WP power_WP_in_NT: 0
2022-12-31_23:55:10 Strommessung_WP MqttCount: 26
2022-12-31_23:55:10 Strommessung_WP Time: 2022-12-31T23:55:10
2022-12-31_23:55:10 Strommessung_WP Heap: 21
2022-12-31_23:55:10 Strommessung_WP Wifi_AP: 1
2022-12-31_23:55:10 Strommessung_WP UptimeSec: 2634707
2022-12-31_23:55:10 Strommessung_WP Uptime: 30T11:51:47
2022-12-31_23:55:10 Strommessung_WP Wifi_Mode: 11n
2022-12-31_23:55:10 Strommessung_WP Wifi_LinkCount: 3
2022-12-31_23:55:10 Strommessung_WP Wifi_RSSI: 90
2022-12-31_23:55:10 Strommessung_WP Wifi_Channel: 6
2022-12-31_23:55:10 Strommessung_WP Wifi_BSSId:
2022-12-31_23:55:10 Strommessung_WP LoadAvg: 19
2022-12-31_23:55:10 Strommessung_WP Wifi_SSId:
2022-12-31_23:55:10 Strommessung_WP Sleep: 50
2022-12-31_23:55:10 Strommessung_WP Wifi_Signal: -55
2022-12-31_23:55:10 Strommessung_WP SleepMode: Dynamic
2022-12-31_23:55:10 Strommessung_WP Wifi_Downtime: 0T00:00:22
2022-12-31_23:55:10 Strommessung_WP POWER: OFF
2022-12-31_23:55:10 Strommessung_WP Time: 2022-12-31T23:55:10
2022-12-31_23:55:10 Strommessung_WP Pafal-WP___Total_night: 7161.31
2022-12-31_23:55:10 Strommessung_WP Pafal-WP___Total: 30133.77
2022-12-31_23:55:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:55:10 Strommessung_WP power_WP_in: 1.19883549319116
2022-12-31_23:55:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:55:10 Strommessung_WP power_WP_in_NT: 1.19883549319116
2022-12-31_23:56:10 Strommessung_WP Wifi_SSId:
2022-12-31_23:56:10 Strommessung_WP Sleep: 50
2022-12-31_23:56:10 Strommessung_WP LoadAvg: 19
2022-12-31_23:56:10 Strommessung_WP SleepMode: Dynamic
2022-12-31_23:56:10 Strommessung_WP POWER: OFF
2022-12-31_23:56:10 Strommessung_WP Wifi_Downtime: 0T00:00:22
2022-12-31_23:56:10 Strommessung_WP Wifi_Signal: -55
2022-12-31_23:56:10 Strommessung_WP UptimeSec: 2634767
2022-12-31_23:56:10 Strommessung_WP Uptime: 30T11:52:47
2022-12-31_23:56:10 Strommessung_WP Time: 2022-12-31T23:56:10
2022-12-31_23:56:10 Strommessung_WP Heap: 21
2022-12-31_23:56:10 Strommessung_WP MqttCount: 26
2022-12-31_23:56:10 Strommessung_WP Wifi_AP: 1
2022-12-31_23:56:10 Strommessung_WP Wifi_Channel: 6
2022-12-31_23:56:10 Strommessung_WP Wifi_RSSI: 90
2022-12-31_23:56:10 Strommessung_WP Wifi_BSSId:
2022-12-31_23:56:10 Strommessung_WP Wifi_LinkCount: 3
2022-12-31_23:56:10 Strommessung_WP Wifi_Mode: 11n
2022-12-31_23:56:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:56:10 Strommessung_WP Time: 2022-12-31T23:56:10
2022-12-31_23:56:10 Strommessung_WP Pafal-WP___Total: 30133.80
2022-12-31_23:56:10 Strommessung_WP Pafal-WP___Total_night: 7161.34
2022-12-31_23:56:10 Strommessung_WP power_WP_in: 1.80153280259036
2022-12-31_23:56:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:56:10 Strommessung_WP power_WP_in_NT: 1.80153280259036
2022-12-31_23:57:10 Strommessung_WP Wifi_Signal: -55
2022-12-31_23:57:10 Strommessung_WP Wifi_Downtime: 0T00:00:22
2022-12-31_23:57:10 Strommessung_WP POWER: OFF
2022-12-31_23:57:10 Strommessung_WP SleepMode: Dynamic
2022-12-31_23:57:10 Strommessung_WP LoadAvg: 19
2022-12-31_23:57:10 Strommessung_WP Wifi_SSId: qQareNzs
2022-12-31_23:57:10 Strommessung_WP Sleep: 50
2022-12-31_23:57:10 Strommessung_WP Wifi_LinkCount: 3
2022-12-31_23:57:10 Strommessung_WP Wifi_Mode: 11n
2022-12-31_23:57:10 Strommessung_WP Wifi_BSSId:
2022-12-31_23:57:10 Strommessung_WP Wifi_RSSI: 90
2022-12-31_23:57:10 Strommessung_WP Wifi_Channel: 6
2022-12-31_23:57:10 Strommessung_WP Wifi_AP: 1
2022-12-31_23:57:10 Strommessung_WP Heap: 21
2022-12-31_23:57:10 Strommessung_WP Time: 2022-12-31T23:57:10
2022-12-31_23:57:10 Strommessung_WP MqttCount: 26
2022-12-31_23:57:10 Strommessung_WP Uptime: 30T11:53:47
2022-12-31_23:57:10 Strommessung_WP UptimeSec: 2634827
2022-12-31_23:57:10 Strommessung_WP Pafal-WP___Total: 30133.83
2022-12-31_23:57:10 Strommessung_WP Pafal-WP___Total_night: 7161.35
2022-12-31_23:57:10 Strommessung_WP Time: 2022-12-31T23:57:10
2022-12-31_23:57:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:57:10 Strommessung_WP power_WP_in: 1.79934492118486
2022-12-31_23:57:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:57:10 Strommessung_WP power_WP_in_NT: 0.599781640394954
2022-12-31_23:58:10 Strommessung_WP Wifi_SSId:
2022-12-31_23:58:10 Strommessung_WP Sleep: 50
2022-12-31_23:58:10 Strommessung_WP LoadAvg: 19
2022-12-31_23:58:10 Strommessung_WP Wifi_Downtime: 0T00:00:22
2022-12-31_23:58:10 Strommessung_WP POWER: OFF
2022-12-31_23:58:10 Strommessung_WP SleepMode: Dynamic
2022-12-31_23:58:10 Strommessung_WP Wifi_Signal: -55
2022-12-31_23:58:10 Strommessung_WP Uptime: 30T11:54:47
2022-12-31_23:58:10 Strommessung_WP UptimeSec: 2634887
2022-12-31_23:58:10 Strommessung_WP Wifi_AP: 1
2022-12-31_23:58:10 Strommessung_WP MqttCount: 26
2022-12-31_23:58:10 Strommessung_WP Time: 2022-12-31T23:58:10
2022-12-31_23:58:10 Strommessung_WP Heap: 21
2022-12-31_23:58:10 Strommessung_WP Wifi_BSSId:
2022-12-31_23:58:10 Strommessung_WP Wifi_RSSI: 90
2022-12-31_23:58:10 Strommessung_WP Wifi_Channel: 6
2022-12-31_23:58:10 Strommessung_WP Wifi_Mode: 11n
2022-12-31_23:58:10 Strommessung_WP Wifi_LinkCount: 3
2022-12-31_23:58:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:58:10 Strommessung_WP Pafal-WP___Total: 30133.84
2022-12-31_23:58:10 Strommessung_WP Pafal-WP___Total_night: 7161.38
2022-12-31_23:58:10 Strommessung_WP Time: 2022-12-31T23:58:10
2022-12-31_23:58:10 Strommessung_WP power_WP_in: 0.600280611561558
2022-12-31_23:58:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:58:10 Strommessung_WP power_WP_in_NT: 1.80084183468467
2022-12-31_23:59:10 Strommessung_WP Wifi_RSSI: 90
2022-12-31_23:59:10 Strommessung_WP Wifi_Channel: 6
2022-12-31_23:59:10 Strommessung_WP Wifi_BSSId:
2022-12-31_23:59:10 Strommessung_WP Wifi_Mode: 11n
2022-12-31_23:59:10 Strommessung_WP Wifi_LinkCount: 3
2022-12-31_23:59:10 Strommessung_WP UptimeSec: 2634947
2022-12-31_23:59:10 Strommessung_WP Uptime: 30T11:55:47
2022-12-31_23:59:10 Strommessung_WP MqttCount: 26
2022-12-31_23:59:10 Strommessung_WP Heap: 21
2022-12-31_23:59:10 Strommessung_WP Time: 2022-12-31T23:59:10
2022-12-31_23:59:10 Strommessung_WP Wifi_AP: 1
2022-12-31_23:59:10 Strommessung_WP SleepMode: Dynamic
2022-12-31_23:59:10 Strommessung_WP Wifi_Downtime: 0T00:00:22
2022-12-31_23:59:10 Strommessung_WP POWER: OFF
2022-12-31_23:59:10 Strommessung_WP Wifi_Signal: -55
2022-12-31_23:59:10 Strommessung_WP Sleep: 50

2022-12-31_23:59:10 Strommessung_WP LoadAvg: 19
2022-12-31_23:59:10 Strommessung_WP Pafal-WP___Total_day: 22972.46
2022-12-31_23:59:10 Strommessung_WP Pafal-WP___Total_night: 7161.39
2022-12-31_23:59:10 Strommessung_WP Pafal-WP___Total: 30133.85
2022-12-31_23:59:10 Strommessung_WP Time: 2022-12-31T23:59:10
2022-12-31_23:59:10 Strommessung_WP power_WP_in: 0.599847167330892
2022-12-31_23:59:10 Strommessung_WP power_WP_in_HT: 0
2022-12-31_23:59:10 Strommessung_WP power_WP_in_NT: 0.599847167330892

Anmerkung: Geht am Ende darum mit PV Einspeisung/Überschuss zu vergleichen um besser abschätzen zu können - was es bringt/kostet wenn ich auf den separaten WP Stromzähler künftig verzichte.

[betateilchen]

Ggf. ist aus dem Logfile eigentlich nur jeder zeitstempel "Pafal-WP___Total" relevant bzw. sinnvolle Basis für die weitere Auwertung.

Dann solltest Du als erste Maßnahme die regex anpassen, die vom FileLog verwendet mit. Damit kannst Du erreichen, dass nur die Werte gelogged werden, mit denen Du überhaupt arbeiten möchtest.
Und im FileLog device kannst Du auch das Attribut filelog-event-min-interval verwenden, um überhaupt nur alle 15 Minuten Werte ins Log zu schreiben.

Alternativ kannst Du auch gar nichts automatisch loggen und arbeitest mit addLog direkt im FileLog device. Welchen Weg man da wählt, ist mehr oder weniger Geschmacksache.

Die nicht benötigten Zeilen im vorhandenen Logfile kannst Du auf Betriebssystemebene z.B. mit sed entfernen. Anleitungen dafür findest Du in großer Zahl im Internet.

Würde da nun gerne ein Leistungszeitreihe draus erstellen mit kW 15min Werten.
1.) Habt ihr Tipps wie man das am besten anstellt?

Warum willst Du das nicht einfach mit einem SVG device als Visualisierung machen?


Anmerkung:

Grundsätzlich wäre Deine Aufgabenstellung mit einem DbLog viel einfacher zu lösen, da stehen die gesamten Funktionen zum Bereinigen historischer Logs out-of-the-box zur Verfügung.
Es ist übrigens kein Problem, die Daten aus einem bestehenden FileLog in ein DbLog zu überführen, auch dafür stehen entsprechende Funktionen zur Verfügung.

[Sammy51]

Klingt alles gut .. auch DBLog. Weiß nicht genau was SVG-Device macht aber vermutlich zu wenig für mein primäres Ziel @betateilchen

Was ich am Ende will ist eben nicht nur ein visualisieren sondern vor allem der mathematische und dann grafische Abgleich mit Daten der PV Anlage. Hatte bislang angedacht das außerhalb von FHEM zu machen.

Allerdings sind die PV-Anlagendaten über das Senec Plugin hier aus dem Forum tendenziell auch in FHEM verfügbar. Wenn es also Vergleichs und Differenzfunktionen für Zeitreihen gibt - die man zuvor vom Format angeglichen hat, dann geht das ggf. auch innerhalb von FHEM.

Edit: Mit DBLog werd ich mich definitiv mal beschäftigen. Vielleicht gelingt es ja jetzt im Urlaub mich da einzulesen und das einzurichten. Wäre insgesamt netter als die ganze text log-files und vereinfacht hoffentlich dann weitere Analysen, Arbeiten und visualisierungen. SQLite lokal genügt oder? Anderes vermutlich noch aufwändiger on Soft- und Hardware konfig + Backupstrategie.

[betateilchen]

Für den Anfang ist sqlite sicher ausreichend. Irgendwann wirst Du an den Punkt kommen, an dem Du aus Performancegründen über Alternativen nachdenken wirst. Insbesondere, wenn Du Daten für lange Zeit vorhalten willst.

Was Deine mathematischen Betrachtungen angeht, dafür gibt es inzwischen auch in FHEM schon jede Menge Möglichkeiten. Das fängt schon beim Loggen selbst an, wo man zum Zeitpunkt des Entstehen eines Datensatzes bereits Aggregations-, Differenz- oder Durchschnittsdaten erzeugen und gleichzeitig mit loggen kann.

SVG ist das benötigte Modul, um aus geloggten Daten innerhalb von FHEM plots, bunte Grafiken und Verläufe darzustellen.

Natürlich kann man vieles auch außerhalb von FHEM machen, aber zwingend notwendig ist das m.E. nicht.