93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)

[JoeALLb]

Hallo Heiko,

das ist mal wieder eine tolle Weiterentwicklung, herzlichen Dank!

Ich habe es auf meinem älteren rpi1 getestet und dort läuft es wunderbar, lediglich

(konsequenterweise müsste ich im DbLog das Attr DbLogType noch um eine Auswahlmöglichkeit "samplefill/history" ergänzen. Bei dieser Auswahl wird die current nicht aktiv geloggt, aber bei der SVG-Erstellung ausgewertet. Damit könnte man sie ausschließlich regelmäßig über DbRep füllen).

diese Erweiterung bräuchte ich noch da die current-Tabelle den doch recht langsamen rpi1 mit seiner riesigen Datenbank (>20GB) doch recht stark belastet.
Um dies dennoch testen zu können habe ich für den Test einfach die SQL-Statements auskommentiert!

beste Grüße,
Joe

[DS_Starter]

Hallo Pyro und Joe,

danke für eure Rückmeldungen.
Das Attr in DbLog werde ich noch erweitern.

Habe heute festgestellt dass meine verwendete Syntax für mysql und sqlite prima klappt, aber für postgre schiefgeht.
Es braucht ofensichtlich eine etwas abgewandelte Syntax.
Ihr seht das Statement mit verbose 4 im DbRep.
Vllt könnt ihr mir helfen und den richtigen Aufruf für Postgre eruieren.
Habe grad wenig Zeit ...

LG
Heiko

[DS_Starter]

Hallo zusammen,

für PostgreSQL habe ich nun auch ein passendes  Statement gefunden. Getestet habe ich es auf Postgre ohne primary key. Leider ist mein Postgre-Release zu klein um mit PK testen zu können.
In DbLog habe ich Attr DbLogType um die Auswahl "SampleFill/History" ergänzt. Damit ist die Zusammenarbeit zwischen beiden Modulen an dieser Stelle so wie ich es mir vorstelle. Ist diese Auswahl eingestellt, wird nur in die History geloggt, die current Tabelle wird aber bei der SVG-Erstellung ausgewertet sofern mit "DbRep set tableCurrentFillup" aufgefüllt wurde und damit Werte enthält.

Der Einfachheit halber sind beide Module zum Test hier angehängt.
Freue mich auf eure Ergebnisse dazu.

Grüße
Heiko   

[JoeALLb]

Hallo Heiko,

ich habe die neue Version gerade au einem größeren System getestet.
Funktioniert toll, DANKE!

Gerade das Einschränken der current-Tabelle über die Devices ist ein mächtiges Feature, kann aber auch zu Missverständnissen führen.
GGf. sollte man darauf in der Statusnachricht des Readings hinweisen. (da sogar der Purge-Befehl nur die dort genannten Devices löscht)

Verwirrend finde ich (vielleicht denke ich gerade falsch) einen Teil der Logausgabe.
Aggregation wird (denke ich) nicht verwendet, sollte dort demnach auch nicht ausgegeben werden.

Auch Meldungen wie (die zweite Zeile)

Code Auswählen Erweitern


2017.10.11 09:03:09 4: DbRep CurrentTable - Command: tableCurrentPurge
2017.10.11 09:03:09 5: DbRep CurrentTable - Daylight savings changed: 0 (on Sat Mar  4 00:00:00 2017)
machen bei" tableCurrentPurge" denke ich keinen Sinn, oder?

beste Grüße
Joe

[DS_Starter]

Hi Joe,

ja ich kann statecnoch etwas aufbessern. Bis verbose 5 hatte ich noch garnicht getestet 

Aber purge löscht jeden Inhalt der current. Siehst du auch am Statement. Schau da bitte nochmal.

Ist ein einfaches "delete from current".

LG
Heiko

[JoeALLb]

Ist ein einfaches "delete from current".

Nein...

Auszug aus dem Log

Code Auswählen Erweitern

2017.10.11 10:03:10 4: DbRep CurrentTable - SQL execute: Delete FROM current where DEVICE = 'Manuell' AND READING = 'Strom' AND 1;
2017.10.11 10:03:10 5: DbRep CurrentTable - Number of deleted rows: 0

Und die Tabelle wurde nicht leer! Nach dem Löschen des Attributs Device und Reading hat es funktioniert.

sG
Joe

[DS_Starter]

Uuups .... ändere ich .... danke ! 

[JoeALLb]

Bei der Befüllung der Current wird dies auch verwendet, da sehe ich es aber eher als Vorteil, da ich zB über "excludes" Dinge ausnehmen kann, die ich da eigentlich nicht haben möchte
(wie zB Wetterdaten).

sG
Joe

[DS_Starter]

Ja da wollte ich es auch so haben, beim Löschen nicht

[DS_Starter]

Hi Joe,

habe die DbRep 5.7.1 in #482  nachgebessert und neu hochgeladen.
Bitte teste erneut.

VG
Heiko

[DS_Starter]

Hallo zusammen,

inzwischen habe ich die neuen DbRep/DbLog-Versionen noch etwas getestet und auch die commandref ergänzt.
Spricht aus eurer Sicht etwas dagegen  diese Versionen einzuchecken ?

( Vllt. sollten wir noch auf die Ergebnisse von Pyro warten, aber ich weiß nicht wie lange er noch "out of order" sein wird.)

VG
Heiko

[Pyromane]

Guten Abend die Runde,

mangels Testsystem hab ich vorhin die Module in meinem Livesystem eingespielt und werde sie über Nacht testen.
Morgen folgt ein kurzer Bericht.

Wünsche einen angenehmen Start ins Wochenende
Pyro

[Pyromane]

Hallo Heiko,

an erster Stelle muss ich ein herzliches DANKE aussprechen, die Funktion verhält sich wie gewünscht und ich konnte keine Seiteneffekte entdecken

Mein Langzeitarchiv enthält derzeit ca. 40 Mio Einträge, das füllen der "current" Tabelle dauert gerade mal 40 Sekunden und umfasst dann ca. 960 Einträge. SVG Diagramme erstellen oder editieren funktioniert absolut problemlos und deutlich komfortabler als bisher.
Einzig die Device und readings sind durcheinander, da würde ich vorschlagen an die Abfrage hinten noch ein

Code Auswählen Erweitern

ORDER BY 2 ASC, 3 ASC(PostgreSQL) dranzuhängen, dann sind die devices sowie die readings alle sortiert.

Danke und gute Nacht
Pyro

[JoeALLb]

Hallo, also bei mir läuft die neue Version ebenfalls sehr unauffällig!

Beste Grüße, Joe

[DS_Starter]

Guten Morgen allerseits,

sieht ja schon gut aus.

@Pyro, ich habe die DbRep in #482 so wie von dir vorgeschlagen modifiziert. Kannst du bitte nochmal checken ob es jetzt wie gewünscht funktioniert ?

VG
Heiko