Hallo,
seit ungefähr 4 Tagen logge ich alles in ein DBlog-File. Ich habe mich hierbei an die Anleitung im Wiki gehalten und logge derzeit erstmal alles. Jetzt habe ich mir mal die größte des Files angeschaut. Da kommt in ein paar Tagen schon ordentlich was zusammen! Ich habe mittlerweile ein größer von 46MB erreicht.
Sollte ich jetzt vielleicht mal anfangen bestimmte Daten nicht mehr zu loggen? Wie groß kann / darf das File werden? Bei einer 16GB Karte im Raspberry habe ich noch genügend platz, allerdings Frage ich mich auch, ab wann spürbare Performanceprobleme zu erwarten sind.
Das Problem hatte ich auch. Nach kurzer Zeit war dann fhem richtig zäh. Jetzt habe ich wieder alles schön im Logfile, mit dem Unterschied, dass fhem jetzt auf einem Banana PI mit SSD läuft. Da macht loggen und graphen richtig Freude. Du kennst ja das Problem mit dem wiederholten Schreiben auf SD. Wenn möglich, solltest Du auch nicht benötigte Events vom Loggen ausschließen.
Joachim
Zitat von: bjoernbo am 13 Januar 2015, 18:43:48
Sollte ich jetzt vielleicht mal anfangen bestimmte Daten nicht mehr zu loggen? Wie groß kann / darf das File werden? Bei einer 16GB Karte im Raspberry habe ich noch genügend platz, allerdings Frage ich mich auch, ab wann spürbare Performanceprobleme zu erwarten sind.
Wenn du etwas loggen willst nur weil du es loggen kannst, dann macht das wenig Sinn. Du solltest aber auch selbst wissen welche Daten für Dich wirklich relevant sind. Wenn Du nicht gerade vor hast google lokal vor Ort Konkurrenz zu machen bedarf es nur einem gut durchdachten Konzept und keiner neuen Hardware.
fürs erste mal ein Gedankenanstoss wie man es machen könnte:
/DbLog.conf .*:.*(ValvePosition|desired-temp|measured-temp|temperature|humidity|power).*
das ganze um deine relevanten Informationen ergänzen und nach einem Tag mal in die DB reinschauen wer sich da so alles verewigt hat und dann die Devices, die gänzlich nicht zu schreiben brauchen, mit einem DbLogExclude versehen.
ich werde wohl nur meinen Stromverbrauch in die DB loggen und den Rest wie Thermostate etc. in ganz normale LogFiles.
Meine Datenbank ist seit Anfang Mai gewachsen.
Jetzt sind es ca. 2,8GB im mysql-Ordner.
Es werden seit Anfang Dezember pro Std ca 3300 Datensätze geloggt.
Ich habe keine Probleme mit meiner sql Datenbank unter fhem.
Meine Grafiken lasse ich von einer 2. Fhem-Instance berechnen.
Zitat von: bjoernbo am 13 Januar 2015, 20:21:07
ich werde wohl nur meinen Stromverbrauch in die DB loggen und den Rest wie Thermostate etc. in ganz normale LogFiles.
du kannst auch deine Thermostate in DbLog mit aufnehmen, nur schau dir einfach mal die erfassten Daten an... brauchst du wirklich alles? In welchen Zeitabständen kommen die Daten, wie viele Stellen hinter dem Komma werden erfasst...? -> hier möglicherweise der Ansatz ein userReading einzurichten, mit nur einer Nachkommastelle und dieses Reading zu loggen; beim Stromverbrauch könnte man auf das statistics Modul zurückgreifen (hatten wir doch noch letzte Wochen einen Beitrag dazu) und nur stündlich die Werte aufzunehmen.
Praktisches Beispiel dazu... Power aus den FB-DECT kommt mit zwei Nachkommastellen und erzeugt dadurch natürlich ständig Events weil sich selbst bei den stabilsten Verbrauchern die zweite Nachkommastelle mal ändert. Nur ist es von Interesse wenn 0.01 Watt mehr benötigt wird? Da es zur Ausgabe und Darstellung eh ein dummy bedarf, habe ich den Wert mit 2 Nachkommastellen im state, und über power {sprintf("%.1f", ReadingsVal($name,"state",0))} ein reading mit nur einer Nachkommastelle eingefügt welches ich dann auch bei Änderungen in die BD schreibe. Das Eventfreudige FB-DECT wird dabei in der DB gar nicht mehr erfasst.
Man kann es natürlich mit der Sparsamkeit der Datenerfassung auch so wie ich übertreiben, so dass die Plots am Ende nicht mehr korrekt angezeigt werden (http://forum.fhem.de/index.php/topic,31896.msg244567.html#msg244567)... aber versuche für Dich da den goldenen Mittelwert zu finden. Andere Daten in LogFiles auszulagern kostet auch Speicherplatz.
Erst grübeln, dann dübeln!
Zitat von: stromer-12 am 13 Januar 2015, 21:31:55
Meine Datenbank ist seit Anfang Mai gewachsen.
Jetzt sind es ca. 2,8GB im mysql-Ordner.
Es werden seit Anfang Dezember pro Std ca 3300 Datensätze geloggt.
Ich habe keine Probleme mit meiner sql Datenbank unter fhem.
Meine Grafiken lasse ich von einer 2. Fhem-Instance berechnen.
Du hast auch schon etwas mehr an Hardware am laufen, zudem ist deine Hardware performanter. Wenn man schon zu beginn seiner fhem-Karriere gnadenlos alles erfasst, was man erfassen kann, dann wird das irgendwann in ein Extremum ausarten was nur noch schwer kontrollierbar ist oder in eine riesige Aufräumaktion endet.
Auch mit dem Cubie hatte ich schon früher Probleme bei den Plots wenn man Monatsdiagramme mit ungefilterten Daten erstellt.
Da hing fhem schon etwas. mit der 2. Instants kann die 1. locker ihre Daten wegschreiben, während die 2. die Grafiken zusammenstellt. Mit plotfork hatte ich Probleme.
>:( kann ich im Nachhinein nicht mehr konfigurieren was geloggt werden soll ???
AKTUELL:
Zitat/opt/fhem/db.conf .*:.*
wenn ich nun über "modify myDbLog" auf
Zitat
/opt/fhem/db.conf .*:.*(actual|day|month|actual |year|max|hour).*
ändern will, erhalte ich die Meldung:
Zitatwrong syntax: define <name> DbLog configuration regexp
du hast da ein Leerzeichen zuviel.
alter Verwalter ! Sorry. hatte ich nicht gesehen :-/