[gelöst] Skript für Import von FileLog-Daten in DB für Auswertung in Grafana

[FhemPiUser]

Hallo,

Ich würde gerne (insbesondere historische) FileLog-Daten in Grafana auswerten, aber möchte fhem nicht FileLog auf DBLog umstellen.

Da ich ohnehin jede Nacht die FileLogs mit meinem NAS synchronisiere war eine Idee, ob man nicht auf dem NAS regelmäßig ein von fhem devices unabhängiges, generisches  Importskript laufen lassen kann, welches alle neuen FileLog-Dateien in eine DB auf dem NAS einliest, von der Grafana auf dem NAS dann Auswertungen fahren kann. also quasi eine separate Reporting-DB auf dem NAS unabhängig von fhem.

Hat das mal jemand gemacht und wäre das mit vertretbarem Aufwand möglich?

[Beta-User]

Vorab: Man muss nicht "umstellen", man kann auch FileLog und DBLog parallel nutzen, wobei es ggf. ausreicht, DBLog dazu zu nutzen, die in den FileLog geschriebenen Daten von FHEM aus in die Datenbank zu schieben... (Ob jetzt nur die historischen oder ggf. auch "Tagesfiles")

Na ja, jedenfalls wäre ggf. ein möglicher Ansatz, "FileLogConvert" (siehe https://forum.fhem.de/index.php?topic=66383.0). Dazu hatte ich mal eine Option dazugefrickelt, mehrere Files nacheinander abarbeiten zu können, siehe forum.fhem.de/index.php?msg=990144. Vielleicht hilft dir das weiter.

Ggf. kannst du den Ipmort-Teil aus FileLogConvert in ein eigenes Perl-script auszulagern und das so umzufrickeln, wie du das brauchst (Der Code ist aus heutiger Sicht grottig, funktioniert aber).

 in und sei es nur, um

[FhemPiUser]

Danke für die Tipps.
Ich wollte es mal ausprobieren. Ich habe Influxdb und Grafana auf meinem NAS in Docker installiert und ein kleines python-Skript geschrieben, welches die Fhem-Log-Dateien einliest und in die influxdb schreibt. Diese kann man dann über die Influxdb-UI oder über Grafana auswerten. Funktioniert in einer ersten Version.

[FhemPiUser]

Habe das Skript jetzt zum Download eingestellt unter diesem Link.