93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)

[Loredo]

Bitte aus meinem contrib laden:

Könntest ja auch die DEV Version in META.json verlinken

[DS_Starter]

@Bernd,   

Ist das attr shutdownWait nicht mehr aktiv?

Ja, das ist obsolet. Siehe den Beitrag #772

@Loredo,

Könntest ja auch die DEV Version in META.json verlinken

ah cool, das probiere ich mal aus wie das geht.

[ToKa]

Hallo zusammen,

die Version 3.14 läuft problemlos, bin nur über das fehlende shutdown Attribut gestolpert.

FHEMInstaller weist bei mir auf eine fehlende Perl Bibliothek hin:

Code Auswählen Erweitern

Recommended
Item Type Used by
DBD::Pg Perl DbLog
These dependencies are strongly encouraged and should be installed for full functionality of the listed FHEM modules, except in resource constrained environments.

Diese lässt sich aber nicht installieren, da ich kein postgress sondern mysql verwende. Sicherlich nur ein Schönheitsfehler...

Beste Grüße
Torsten

[DS_Starter]

Moin Torsten,

die Version 3.14 läuft problemlos, bin nur über das fehlende shutdown Attribut gestolpert.  Attribut gestolpert.

Ich vermute du meinst die 3.14.1 (?).
Ja, das Attribut shutdownWait ist obsolet geworden ... siehe oben.

FHEMInstaller weist bei mir auf eine fehlende Perl Bibliothek hin ...

Ja, das ist noch ein Unschönheit weil ich momentan in der Meta.json alle Bibliothejen angegeben habe die man für DbLog brauchen könnte, wobei ich eigentlich nur die angeben müsste die der User entsprechend seines Setup benötigt. Das weiß ich aber vorher nicht.
Vielleicht hat Loredo eine passende Idee dazu ...

Danke für deinen Test und Meldung !
Heiko

[Loredo]

Vielleicht hat Loredo eine passende Idee dazu ...

Darauf bin ich ja hier schonmal eingegangen. 
Grundsätzlich gibt es keine "wenn dann, oder sonst" Abhängigkeiten. Es gibt nur "zwingend notwendig", "empfohlen" und "optional". Derzeit sind wohl alle Datenbank Typen als "zwingend notwendig" hinterlegt.
Der Installer würde auch alle installieren und gut ist. Das gleiche würde ich also auch dir, Torsten, empfehlen. Man muss ja nun wirklich nicht päpstlicher sein als der Papst, man redet ja hier nicht von Gigabytes mehr Daten. Ansonsten kann Heiko natürlich auch die Datenbank Typen alle oder teilweise als "empfohlen" hinterlegen. Das impliziert, dass man sie installieren _sollte_, aber nicht muss. Dass man irgendeinen davon mindestens braucht, sagt einem das Modul ja ohnehin dann schon, wenn man es benutzen will. Eine Hellsehen-Fähigkeit, wie jemand FHEM zu benutzen plant, gibts im Installer wohl nie... 

[DS_Starter]

Ansonsten kann Heiko natürlich auch die Datenbank Typen alle oder teilweise als "empfohlen" hinterlegen.

Das wird wohl tendenziell das Beste sein.
Im nächsten Release ändere ich die Abhängigkeiten entsprechend ab.

[DS_Starter]

Hallo zusammen,

die getestete Version 3.14.1 habe ich soeben eingecheckt und ist morgen früh im Regelupdate enthalten.

In der Zwischenzeit habe ich ein weiteres ToDo umgesetzt.
Ein User hatte angeregt die Schreibgeschwindigkeit bei Masseninserts zu beschleunigen.
Dazu habe ich die Schreibroutinen überarbeitet und einen bulkInsert-Mode implementiert. Die stark gesteigerte Schreibperformance ist besonders spürbar, wenn man die Datenbank im asynchronen Modus längere Zeit mit "reopen" geschlossen hält, d.h. wenn sich eine größere Menge Events angesammelt hat, die nach DB-Öffnung weggeschrieben werden sollen.

Um diesen Mode einzuschalten gibt es ein Attribut:

* bulkInsert

    attr <device> bulkInsert [1|0]
   
Schaltet den Insert-Modus zwischen "Array" (default) und "Bulk" um. Der Bulk Modus führt beim Insert von sehr vielen Datensätzen in die history-Tabelle zu einer erheblichen Performancesteigerung vor allem im asynchronen Mode. Um die volle Performancesteigerung zu erhalten, sollte in diesem Fall das Attribut "DbLogType" nicht die current-Tabelle enthalten.

Weiterhin habe ich noch einen Bugfix integriert der ein aufgetretenes Problem mit plotfork und MySQL behoben hat.
Siehe -> https://forum.fhem.de/index.php/topic,99719.0.html

Da sich doch recht viel geändert hat, werde ich diese Version zunächst längere Zeit zum Test aus meinem contrib zur Verfügung stellen:

https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter  (Downloadbutton benutzen)

Grüße,
Heiko

[Pyromane]

Nabend Heiko,

mein Testsystem mit der Testversion versehen.
DbLogType von SampleFill/History auf History umgestellt
bulkInsert 1 gesetzt

Grüße
Pyro

[DS_Starter]

Nabend Pyro,

DbLogType von SampleFill/History auf History umgestellt

Das hättest du so lassen können, nur die Current sollte nicht beschrieben werden, also nicht "Current/History".

Ansonsten ok ... schauen wir mal. 

Gute Nacht ...
Heiko

[Pyromane]

Hallo Heiko,

das Testsystem hat sich absolut unauffällig verhalten.
Performacegewinn konnte ich keinen feststellen, das dürfte aber an meinem Testsystem liegen (zu wenig Datensätze die geschrieben werden nach einem Reopen).

Grüße
Pyro

[DS_Starter]

Moin Pyro,

danke für deine Rückmeldung.
Ja, die Performancesteigerung macht sich dann bemerkbar wenn sehr viele Daten auf einmal eingefügt werden sollen.
Also wenn sehr viele Events im Speicher gehalten wurden, z.B. weil die Verbindung zur DB geschlossen war, oder ähnliche Fälle.

LG,
Heiko

[DS_Starter]

Habe die getestete Version 4.1.0 soeben eingecheckt und ist morgen früh im Regelupdate entahlten.

Grüße,
Heiko

[JoeALLb]

Grüß Euch,

kann berichten, dass am RaspberryPI 3 das speichern von 300 Logs
mit langsamer SD-Karte und MariaDB (Debian) von durchschnittlich 1,2s auf die Hälfte gesenkt hat,
durch die Nutzung von blkinsert!
Sehr schönes Ergebnis, herzlichen Dank für das tolle Feature!!

Vor diesem Hintergrund halte ich das Feature durch aus auch für weniger als "sehr viele Daten" für Sinnvoll

Joe

[DS_Starter]

Danke für die RückInfo Joe !
Die Ergebnisse sind offensichtlich recht unterschiedlich abhängig von der DB und der jeweiligen Umgebung.
Hauptsache es hilft und man kann Vorteile für sein FHEM generieren 

Grüße,
Heiko

[JoeALLb]

Hallo Heiko,
Anbei ein Screenshot zur Veranschaulichung.
Blau die Speicherzeiten, pink Anzahl der Datensätze.

Dazwischen die Zeit des Updates...  (in der die Datensätze von 300 auf 15000 anstieg

man sieht schön, dass die blaue Linie deutlich weiter unten bleibt!!!


sG Joe