[gelöst] DbLog: delta-h(d) funktioniert nicht mehr

Begonnen von frober, 03 April 2019, 11:31:20

Vorheriges Thema - Nächstes Thema

DS_Starter

Hallo Bernd,

danke für die Daten, schaue ich mir an.

ZitatIch habe noch ein kleines Problem, wie matche ich per regex Umlaute auf 0|1?
Letztes Jahr wurden plötzlich vom Luxtronik-Device nicht mehr ae sondern ä geliefert.
Ich habe es mit set utf8, ascii-Code usw. probiert.

Dafür kannst du das Attribut useCharfilter = 1 benutzen. Damit werden Umlaute in ae, ue usw. umgesetzt und du kannst dein bisheriges Regex nutzen.

ZitatWas mich wundert, genau meine Definition hat bis vor einigen Wochen problemlos funktioniert.
Das kann ich auch nicht nachvollziehen.
Du kannst gerne mal die angehängte Version vom November letzten Jahres probieren. Nach dem Download umbenennen und FHEM restarten.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

frober

Hallo Heiko,

danke, ich werde morgen Mal die alte Version testen.

Schönen Abend noch.
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

DS_Starter

Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

frober

Hallo Heiko,

viele Tests, aber erfolgreich :), zumindest was die "Fehlerursache" betrifft.

Deine alte Version hat nichts gebracht :(
Ich habe mein Testsystem, zum Glück noch mit SQLite benutzt. Die Daten des KS300 migriert und auf neuesten Stand gebracht, wobei Stand 01/18 auch schon funktionierte.

Die Definitionen kopiert und siehe da:
Timestamp: Device, Type, Event, Reading, Value, Unit
=====================================================
2019-04-09 00:30:00: KS300, KS300, state: T: 7.2  H: 92  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 01:30:00: KS300, KS300, state: T: 7.0  H: 93  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 02:30:00: KS300, KS300, state: T: 6.2  H: 93  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 03:30:00: KS300, KS300, state: T: 6.5  H: 94  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 04:30:00: KS300, KS300, state: T: 6.5  H: 94  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 05:30:00: KS300, KS300, state: T: 6.4  H: 94  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 06:30:00: KS300, KS300, state: T: 7.0  H: 94  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 07:30:00: KS300, KS300, state: T: 9.2  H: 93  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 08:30:00: KS300, KS300, state: T: 9.8  H: 91  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 09:30:00: KS300, KS300, state: T: 12.3  H: 82  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 10:30:00: KS300, KS300, state: T: 13.1  H: 81  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 11:30:00: KS300, KS300, state: T: 14.7  H: 72  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 12:30:00: KS300, KS300, state: T: 15.3  H: 68  W: 1.1  R: 1416.3  IR: no  Wi: 1, data, 0, 
2019-04-09 13:30:00: KS300, KS300, state: T: 16.0  H: 64  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 14:30:00: KS300, KS300, state: T: 16.6  H: 62  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 15:30:00: KS300, KS300, state: T: 16.2  H: 65  W: 0.0  R: 1416.3  IR: no  Wi: 0, data, 0, 
2019-04-09 16:30:00: KS300, KS300, state: T: 12.4  H: 85  W: 0.0  R: 1417.0  IR: yes  Wi: 0, data, 0, 
2019-04-09 17:30:00: KS300, KS300, state: T: 12.8  H: 90  W: 0.0  R: 1417.0  IR: no  Wi: 0, data, 0.7, 
2019-04-09 18:30:00: KS300, KS300, state: T: 12.8  H: 90  W: 0.0  R: 1417.0  IR: no  Wi: 0, data, 0, 
2019-04-09 19:30:00: KS300 KS300 state: T: 12.8  H: 90  W: 0.0  R: 1417.0  IR: no  Wi: 0 data 0 
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]*).*/$1/eg
Timestamp: Device, Type, Event, Reading, Value, Unit
=====================================================
2019-04-09 12:00:00: KS300 KS300 state: T: 12.8  H: 90  W: 0.0  R: 1417.0  IR: no  Wi: 0 data 0.7 
#KS300:data::delta-d:$val=~s/.*\sR..([\d.]*).*/$1/eg


Dann war es doch die Umstellung von SQLite auf MySQL...

Siehst du hier eine Korrekturmöglichkeit, oder muß ich die Einzelreadings loggen?

Gruß Bernd

P.S.  Das Attribut useCharfilter = 1 wandelt es die Daten zum loggen um, oder funktioniert es auch beim Abrufen der alten Daten?
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

DS_Starter

Hallo Bernd,

na das ist ja ein Ding.
Dann muss ich erstmal herausbekommen worin der Unterschied bei der Behandlung durch beide DB-Typen besteht. Denn die get-Funktion ist für alle DB's identisch. Einzig die Generierung der SQLs berücksichtigt DB Spezifika. Dann muss es dieses Problem eigentlich schon immer geben, allerding fällt es wahrscheinlich nur auf wenn man eine solche Konstellation wie du benutzt.
Ich habe ja deine Daten. Vielleicht gelingt es mir damit. Dauert aber etwas, das wird nicht so leicht zu finden sein ...

ZitatDas Attribut useCharfilter = 1 wandelt es die Daten zum loggen um, oder funktioniert es auch beim Abrufen der alten Daten?
Nein, es betrifft nur neu geloggte Daten. Altdaten werden nicht beeinflusst.

Güße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

frober

Hallo Heiko,

schon mal Danke für deine Mühe, falls ich helfen kann....

Meine Daten musst du etwas modifizieren, der Startwert vom Vortag fehlt. Aktuell wird  mit 0 gerechnet.
Kann dir die Daten aber auch nochmal exportieren.
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

DS_Starter

ZitatKann dir die Daten aber auch nochmal exportieren.
Ja, dann mach das mal bitte. Je identischere Daten ich habe, desto besser.

LG
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

frober


So, habe die Daten nochmal exportiert.
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

DS_Starter

Danke, melde mich wenn ich etwas bewegen konnte.

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Hallo Bernd,

ich konnte das Problem identifizieren und lösen.
Den Download dieser Version mit der Bitte um Test findest du hier:

https://forum.fhem.de/index.php/topic,65860.msg929642.html#msg929642

Grüße
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

frober

Hallo Heiko,

das ging ja flott, wow. :)

Funktioniert, die Deltas werden wieder angezeigt. :)

Ich stelle diesen Thread auf gelöst.

Gruß und danke
Bernd
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

DS_Starter

Moin Bernd,

prima :)
Mit dem Einchecken warte ich noch ein bisschen. Ich möchte eventuelle Meldungen anderer User noch abwarten.
Vermutlich gibt es keine unerwünschten Nebenwirkungen, aber es wäre mir lieb es kämen noch ein paar Rückmeldungen.
Ansonsten mache ich das in den nächsten Tagen.
Falls dir noch was auffallen sollte, kannst du gerne in dem anderen Thread antworten.

Schönes WE,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

frober

Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

frober

Hallo Heiko,

zu dem hier gelösten Problem ist mir noch eine Kleinigkeit aufgefallen.

Das Regengesamtmenge (delta-d) wird am nächsten Tag um 0:30 als delta-h ausgewiesen (siehe Screenshots).
Soweit ich es nach vollziehen konnten, ist nur die Regenmenge ab ca. 12 Uhr des Vortages betroffen.

Die Regenmenge des Vortags wird dadurch bei der Regengesamtmenge das aktuellen Tages mit angezeigt.

Vielleicht kannst du das noch korrigieren.

Die Logdaten und mein Gplot-File habe ich mit angehängt.

Gruß und danke Bernd
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

DS_Starter

Hallo Bernd,

bin mir unsicher ob ich da direkt im DbLog etwas machen kann.
Mach mal bitte einen Auszug mit verbose 4 im DbLog wenn du das SVG aufrufst.
Und dazu auch noch ein "Preprocessed Input" aus dem SVG-Editor.

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter