Logging Optimierung / event-on-change-reading "global"

[slaecker]

Hi zusammen,

ich habe seit einigen Monaten FHEM auf einem Raspberry Pi laufen und einige HM-CC-RT-DN Heizungsregler mit HM-TC-IT-WM-W-EU Thermostaten.

Nun habe ich vor, das Logging von FHEM zu optimieren um die Schreibzugriffe auf die Speicherkarte zu minimieren.

Dazu wollte ich das FHEM Log-Verzeichnis als TMPFS/RamDisk mounten. Beim Analysieren fiel mir auf, dass im aktuellen Jahr die Logfiles der HM-TC-IT-WM-W-EU bereits > 11 MB betragen.
Ich arbeite bei einer Structure bereits mit dem Attribut event-on-change-reading um Benachrichtigungen über Statuswechsel nur einmal zu erhalten.

Spricht irgend etwas dagegen, "even-on-change-reading .*" bei allen Heizungsreglern und Thermostaten zu setzen, um generell nur Änderungen zu loggen? Somit sollten die Logfiles ja wesentlich langsamer wachsen, was ja auch der Performance der Graphen-Erstellung zu Gute kommt.

Oder habt ihr andere Gute Ideen um das Logging zu optimieren?

Wollte mir erstmal etwas Feedback der erfahrenen Hasen holen bevor ich mir hier irgendetwas kaputt mache.

Gruße,
slaecker

[Tommy82]

Hi, ich würde mich hier mal anschliessen, da meine Plots des HM-CC-RT-DN teilweise recht lange brauchen um aufgebaut zu werden, hab ich mir auch mal die Log Daten angesehen, und der 2015er Log von nur einem meiner HM-CC-RT-DN jetzt schon über 40MB hat, und die anderen haben ähnliche größen, was bei 5 HM-CC-RT-DN dann schon rund 200 MB ausmacht, dazu kommen diese werden dann für die Graphen erstellung genutzt.

Wie kann ich die Log größe verkleinern?
würde ein

Code Auswählen Erweitern

attr Heizung_Tuer  event-on-chance-reading   auf das Device da helfen?

Wie würde sich die Performance ändern wenn ich von Filelog auf DBLog umstellen würde?

Danke

[Phill]

Wie würde sich die Performance ändern wenn ich von Filelog auf DBLog umstellen würde?

Bei mir wurde es um einiges schneller. Ich habe es zwar noch nicht lange mit DBLOG laufen aber nach meinem Verständnis von Datenbanken sollte die Größe der Datenbank sich nicht so dramatisch auf die Plotzeiten auswirken wie bei normalen Text-Dateien.

Gruß

[Tommy82]

Ok, wie hast du von Filelog auf DBLOG umgestellt? Was muss in den Plots dann geändert werden? Was muss ich beachten?

Aber das event-on-change-reading auf dem Device sollte doch eigentlich auch helfen, die Datenlast zu reduzieren?!

[Puschel74]

Nach Eingabe von DBLog in das Suchfeld bekomme ich jede Menge Treffer - war da nichts dabei?
Zumindest dieser Beitrag ist mir gleich ins Auge gesprungen:
http://www.fhemwiki.de/wiki/SVG-Plots_von_FileLog_auf_DbLog_umstellen
Jepp, es gibt sogar ein Wiki dafür.
Und wie DBlog installiert wird findest du auch im Wiki unter Charting Frontend.
Das darfst du aber nun selbst versuchen zu suchen.

[Tommy82]

Hi, ich habe jetzt wie hier beschrieben
http://www.fhemwiki.de/wiki/Neues_Charting_Frontend#Installation_auf_einem_Raspberry_Pi_.28Anleitung_von_.22Puschel.22.29
Nach einem fhem nesustart steht im Log

Code Auswählen Erweitern

2015.05.17 18:57:50.663 3: Connecting to database SQLite:dbname=/opt/fhem/fhem.db with user
2015.05.17 18:57:50.719 3: Connection to db SQLite:dbname=/opt/fhem/fhem.db established for pid 20760
2015.05.17 18:57:50.730 3: Connection to db SQLite:dbname=/opt/fhem/fhem.db established
Sieht also glaub ich gut aus.

Bedeutet das das jetzt alles in der dbLOg geloggt wird und die Filelogs überflüssig sind?

Werd dann jetzt mal noch hier mit http://www.fhemwiki.de/wiki/SVG-Plots_von_FileLog_auf_DbLog_umstellen die Plots umstellen

[Puschel74]

Bedeutet das das jetzt alles in der dbLOg geloggt wird und die Filelogs überflüssig sind?

Wenn du alle dort beschriebenen Schritte (die sich mit DBLog befassen) durchgeführt hast dann ja.
Wenn nicht dann nein - logischerweise.
Ich denke mal das meine Beschreibung nicht wirklich sooo schwer zu lesen und verstehen ist 
Die Teile die sich auf das Charting Frontend beziehen kannst du logischerweise überspringen - aber NUR diese.

[Tommy82]

Ne, deine Beschreibung da ist sogar sehr gut, und selbst für mich verständlich 

Aber dürften meine Plots dann jetzt sich nicht mehr aktualieren bis ich sie auf dblog umgestellt habe? Allerdings werden die Plots noch aktualisiert!?

[Puschel74]

Ich rate einfach mal ins Blaue:
Solange deine FileLogs noch existieren wird doppelt geloggt 

Edith: In einer ruhigen Minute kannst du auch mal deine ganzen Frage-Beiträge zum Stromzähler aktualisieren.
Du bekommst noch Antworten obwohl deine Frage im Homematicbereich beantwortet sein dürfte.
Wenn du Fragen schon breit fächerst dann denk auch dran die anderen Beiträge zu schliessen mit dem Hinweis auf die Antwort.

[duke-f]

Edith. In einer ruhigen Minute .....

:-[Wer ist Edith?

[Tommy82]

Hi,
ja werd den Beitrag morgen mal Editieren, jetzt will ich erstmal diese Baustelle hier schließen.

Solange deine FileLogs noch existieren wird doppelt geloggt

Heisst ich lösche alle bestehenden Filelogs? Auch das Globalelogfile und FileLog_ActionDetector?
Was passiert wenn ich FileLog_sysmon und FileLog_YahooWetter lösche? Muss den Modulen doch wahrscheinlich mitteilen wo der Log dann hin soll bzw. zu finden ist!?

Um nochmal auf die Ausgangs frage zurückzukommen, würde das event-on-change-reading das log aufkommen bei den HM-CC-RT-DN und Hm-Sec-RHS mindern ohne die nutzung einzuschränken?

Danke für die Hilfe

[Tommy82]

bekomme beim fhem start im log jetzt diese meldung:

Code Auswählen Erweitern

given is experimental at ./FHEM/93_DbLog.pm line 1101, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1103, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1111, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1121, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1129, <$fh> line 1651.
given is experimental at ./FHEM/93_DbLog.pm line 1134, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1135, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1136, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1137, <$fh> line 1651.
when is experimental at ./FHEM/93_DbLog.pm line 1150, <$fh> line 1651.

[Puschel74]

Falscher Forenbereich - siehe Maintainer.txt für DbLog.

[Tommy82]

Hi Puschel,
danke für den Hinweis, habs korregiert, um bei dem Thread hier zu bleiben

würde das event-on-change-reading das log aufkommen bei den HM-CC-RT-DN und Hm-Sec-RHS mindern ohne die nutzung einzuschränken?

Danke