Autor Thema: 93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)  (Gelesen 81695 mal)

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #840 am: 15 Oktober 2019, 10:15:26 »
Ja  für die Zukunft würde ich es auch so machen. Ich dachte jetzt mit meiner Anmerkung eher an den bestehenden Sachverhalt.  ;)
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Offline Nighthawk

  • Full Member
  • ***
  • Beiträge: 197
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #841 am: 15 Oktober 2019, 10:46:35 »
Hallo zusammen,

danke für die Rückmeldung.

Erwartet hätte ich eigentlich die Differenz des Tages, in etwa so:

2019-10-02 00:00:29 Stromzaehler OBIS total_consumption: 6.39221171 total_consumption 6.39221171und
2019-10-02 23:59:56 Stromzaehler OBIS total_consumption: 14.2591381 total_consumption 14.2591381
also 14.2591381 - 6.39221171

Warum wird hier der Vortag mit herangezogen und kann ich da nicht über einfache Wertemanipulation in der DB das Ganze bereinigen (das wäre mir am liebsten)?

Gruß
Alex

PS
ich habe hier noch mal den SQL Export mit angehängt

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #842 am: 15 Oktober 2019, 18:19:51 »
Hallo Alex,

Zitat
Warum wird hier der Vortag mit herangezogen ...
Zunächst mal sind es historische Gründe, d.h. man hatte sich irgenwann einmal entschlossen die Selektion so zu gestalten und ich möchte sie aus Kompatibilitätsgründen auch nicht komplett umstoßen.
Es erscheint mir auch logisch, da man z.B. auch keine realistischen Werte bekommt, wenn der Vortag mit einem niedrigen Wert endet, der neue Tag mit einem vergleichsweise hohen Wert beginnt und dieser vlt. sogar kaum eine Steigerung erfährt. Dann wäre die ausgegebene Diff sehr klein,  was nicht stimmt wenn man vom Vortageswert ausgeht.
(Joe wird sich vllt. noch erinnern wie wir am diffValue im DbRep gefeilt haben um die Logik auszuprägen 8) )

Es war bisher ebenfalls so implementiert, dass bei den Diff-Berechnungen die vorherige Periode, also Tag oder Stunde bei delta-h, mit berücksichtigt wurde. Kannst gerne mal einen Vergleich mit der aktuell offiziell eingecheckten Version 4.7.5 durchführen.

Die Werte nachträglich zu manipulieren wäre m.M. nach wie schon angedeutet mit einem diffValue (mit der aggregation day) im DbRep problemloas möglich. Das Ganze mit der Option "writeToDB". Dann hast du für jeden Tag die Differenz als fertigen Wert in der DB stehen und brauchst nur noch im SVG anzeigen. Die Definition kannst du z.B. jede Nacht (4:00)  für den Vortag laufen lassen. Man müsste das natürlich vorher auf einer TestDB laufen lassen ob das Ergebnis den Wünschen entspricht. Aber es wäre ein möglicher Weg denke ich.

LG,
Heiko
« Letzte Änderung: 15 Oktober 2019, 19:11:42 von DS_Starter »
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Offline Nighthawk

  • Full Member
  • ***
  • Beiträge: 197
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #843 am: 17 Oktober 2019, 06:41:51 »
Hallo Heiko,

danke, ich versuche es mit DiffValue.

Gruß
Alex

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #844 am: 19 Oktober 2019, 13:40:23 »
Hallo zusammen,

ich möchte nochmal die Bitte erneuern, die DbLog-Version aus meinem contrib zu testen. Ist jetzt vllt. nach den letzten Beiträgen etwas untergegangen.
Es ist die SVG Erstellung bzgl. delta-h und delta-d geändert.

Einfacher Download mit diesem Befehl in der FHEM Kommandozeile. Bitte so komplett mit den Ausführungszeichen am Anfang und Ende eingeben!!!

Zitat
"wget -qO ./FHEM/93_DbLog.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/93_DbLog.pm"

Grüße,
Heiko
 
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter
Hilfreich Hilfreich x 1 Liste anzeigen

Offline Nighthawk

  • Full Member
  • ***
  • Beiträge: 197
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #845 am: 20 Oktober 2019, 13:59:01 »
Hallo Heiko,

läuft bei mir seit einigen Tagen ohne Auffälligkeiten.

Gruß
Alex

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #846 am: 20 Oktober 2019, 14:25:10 »
Hallo Alex,

danke für die Rückmeldung !

LG,
Heiko
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Offline frober

  • Full Member
  • ***
  • Beiträge: 231
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #847 am: 20 Oktober 2019, 19:49:31 »
Hallo Heiko,

auch bei mir sieht alles super aus, danke nochmal.

Gruß Bernd
Raspi 3b mit Raspbian Jessie und Fhem,  einiges umgesetzt, vieles in Planung :-)

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #848 am: 20 Oktober 2019, 19:59:13 »
Danke Bernd !

Mal schauen ob sich noch Vertreter der SQLite und Postgre "Fraktion" melden.
Ansonsten checke ich die Version bald ein. Überlege nur noch den richtigen Zeitpunkt. Da ich in Kürze ein paar Tage Urlaub mache, wird es wahrscheinlich erst danach. Bei einer so zentralen Änderung möchte ich gerne verfügbar sein nach dem check-In .  :)

Grüße,
Heiko
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Offline frober

  • Full Member
  • ***
  • Beiträge: 231
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #849 am: 20 Oktober 2019, 22:36:40 »
Von mit aus, mach dir keinen Stress.
Genieße lieber den Urlaub.
Raspi 3b mit Raspbian Jessie und Fhem,  einiges umgesetzt, vieles in Planung :-)

Offline Pyromane

  • Full Member
  • ***
  • Beiträge: 226
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #850 am: 25 Oktober 2019, 02:50:38 »
Hallo Heiko,

Einfacher Download mit diesem Befehl in der FHEM Kommandozeile. Bitte so komplett mit den Ausführungszeichen am Anfang und Ende eingeben!!!
danke für den Tipp, der macht Tests soooooooooo viel einfacher!

Zitat
Mal schauen ob sich noch Vertreter der SQLite und Postgre "Fraktion" melden.
Ich habs bei meinem Testsystem eingespielt, sollte ich keinen Aufschrei tätigen hat wie gewohnt alles funktioniert :)

Wünsch einen schönen Urlaub.

Grüße
Pyro
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #851 am: 03 November 2019, 17:55:21 »
Guten Abend zusammen,

nach nun gut zweiwöchiger Testzeit habe ich soeben die DbLog-Version 4.8.0 eingecheckt und ist morgen früh im Regelupdate enthalten.

Danke an alle die mitgeholfen und getestet haben !!
Hoffen wir, dass es bei allen anderen Nutzern ebenfalls so gut läuft wie im Testerkreis.

Grüße und einen guten Wochenstart,
Heiko
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline DS_Starter

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4523
Antw:93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)
« Antwort #852 am: 10 November 2019, 09:28:02 »
Hallo zusammen,

ich habe meine ToDo weiter abgearbeitet und Feature Request von obi aus #804 umgesetzt.
In der V 4.9.0 gibt es nun ein Attribut defaultMinInterval mit dem man global für alle Devices ein MinIntervall einstellen kann.

Auszug aus ComRef:

defaultMinInterval

    attr <device> defaultMinInterval <devspec>::<MinInterval>[::force],[<devspec>::<MinInterval>[::force]] ...

    Mit diesem Attribut wird ein Standard Minimum Intervall für devspec festgelegt. Ist defaultMinInterval angegeben, wird der Logeintrag nicht geloggt, wenn das Intervall noch nicht erreicht und der Wert des Readings sich nicht verändert hat. Ist der optionale Parameter "force" hinzugefügt, wird der Logeintrag auch dann nicht nicht geloggt, wenn sich der Wert des Readings verändert hat.
    Eventuell im Quelldevice angegebene Spezifikationen DbLogExclude / DbLogInclude haben Vorrag und werden durch defaultMinInterval nicht überschrieben.
    Die Eingabe kann mehrzeilig erfolgen.

    Beispiele
    attr dblog defaultMinInterval .*::120::force
    # Events aller Devices werden nur geloggt, wenn 120 Sekunden zum letzten Logeintrag vergangen sind ist (Reading spezifisch)
    attr dblog defaultMinInterval (Weather|SMA)::300
    # Events der Devices "Weather" und "SMA" werden nur geloggt wenn 300 Sekunden zum letzten Logeintrag vergangen sind (Reading spezifisch) und sich der Wert nicht geändert hat.
    attr dblog defaultMinInterval TYPE=CUL_HM::600::force
    # Events aller Devices des Typs "CUL_HM" werden nur geloggt, wenn 600 Sekunden zum letzten Logeintrag vergangen sind ist (Reading spezifisch)

Einfacher Download mit diesem Befehl in der FHEM Kommandozeile. Bitte so komplett mit den Ausführungszeichen am Anfang und Ende eingeben!!!

"wget -qO ./FHEM/93_DbLog.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/93_DbLog.pm"
Wer mag bitte mal testen.

LG und schönen Sonntag ...
Heiko
ESXi 6.5 auf NUC6i5SYH mit FHEM auf Debian 9/64 Bit  (Stretch), DbLog/DbRep mit MariaDB auf Synology 415+
Maintainer: SSCam, DbLog/DbRep, Log2Syslog, SMAPortal, Watches, Dashboard
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

 

decade-submarginal