93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)

Begonnen von JoeALLb, 27 Januar 2017, 22:16:19

Vorheriges Thema - Nächstes Thema

DS_Starter

ZitatVielleicht wäre das was für die COmmandref?

Danke für das schöne Beispiel.  Habe ich natürlich gleich in die Beschreibung integriert.

VG
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

JoeALLb

Meine Tests sind erfolgreich, würde diese Version für einen Checkin vorschlagen!! Ist ein schönes Ostergeschenk :D
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

JoeALLb

#272
Zuf Info, fall interesse besteht: Anbei ein Beispiel für valueFn, um das Logging des Whatsapp-Moduls(yowsup) zu korrigieren.
  if($DEVICETYPE eq "YOWSUP" && $EVENT =~ m/chatstate: received from: (.*)/){
    $READING = "from";
    $VALUE = $1;
    $UNIT = "Nr.";
  }
  if($DEVICETYPE eq "YOWSUP" && $VALUE =~ m/(composing|paused)/){
    $IGNORE = 1
  }
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

DS_Starter

Hallo miteinander,

die V2.16.3 ist eingecheckt und steht morgen früh im Update zur Verfügung.

VG
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

JoeALLb

Noch eine Frage zu addLog: Sollte hier nicht der Timer, der hinter dbLogExclude:<Zeit> angegeben wird, mit zurückgesetzt werden?
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

DS_Starter

Morgen Joe,

Da wird es sicherlich unterschiedliche Sichtweisen geben. Eine ist, dass es sich um einen ZUSÄTZLICHEN Logeintrag handelt der außer der Reihe eingefügt wird. In diesem Kontext wäre der Timer nicht zu ändern.
Wie gesagt, das wäre eine Sichtweise ...

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

JoeALLb

Guten morgen Heiko,

da hast Du bestimmt recht, darum war es als Frage formuliert...

Meine Verständnis wäre: Ich regle damit, dass ich zumindest alle X Sekunden einen Logeintrag bekomme. Üblicherweise mache ich das um Plots ordentlich darzustellen.
Die Zeit gibt nur vor, wie lange ich darauf verzichten kann, den selben Wert immer wieder zu loggen.

Da ich jetzt mit addLog einen neuen zusätzlichen Wert habe, möchte ich eigentlich nicht, dass es vielleicht schon kurze Zeit später diesen Wert nochmals loggt. Bei einer Datenbankbereinigung ist es für mich recht aufwändig, diesen einen Logeintrag zu finden und wieder zu löschen.

Da ich keinen Vorteil des zusätzlichen Loggings sehe, jedoch den oben genannten Nachteil, plädiere ich für "zurücksetzen". :D
(kann aber mit der aktuellen Variante auch leben!)


FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

DS_Starter

Hallo miteinander,

wegen dem von Eldrik hier https://forum.fhem.de/index.php/topic,70537.msg621403.html?PHPSESSID=kk377u53al2tt4mfat4uff9su1#msg621403  gemeldeteten Problem mit der PK-Ermittlung auf seiner PostgreSQL habe ich die neue Version 2.16.5 ersttellt.
Bei dieser Version gibt es auch ein Attribut "noSupportPK", welches die Unterstützung von PK im Modul explizit ausschaltet. Das kann evtl. für eine Fehlersuche oder einen schnellen Workaround nützlich sein.

Die Version checke ich dann auch ein.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Hallo Joe, @all,

ich habe die Version 2.16.5 eingecheckt. Sie ist dann morgen früh im Update verfügbar.

@Joe, ich habe hier noch die V 2.16.6 angehängt in der ich so wie du vorgeschlagen hast im AddLog die Zeit und auch den Value im Quelldevice setze damit es entsprechende Auswirkungen auf MinIntervall von DbLogInclude / DbLogExclude hat.

Probiert es mal bitte intensiv aus ob so funktioniert wie gewünscht und keine negativen Effekte hat.
Ich komme selbst die nächste Zeit nicht zu Tests und weiteren Entwicklungen ...

viele Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

JoeALLb

Hallo Heiko,

ich bin am testen! Da meine Thesholds recht hoch sind benötige ich dafür eine etwas längere zeit, vorallem auch, da mein Standardwert > ein Tag ist!
Ich werde das für diesen Test heruntersetzen.

sG Joe
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

JoeALLb

@Heiko: 2.16.6 bekomme ich leider folgende Fehlermeldung. Eine schnelle Korrektur habe ich nicht gefunden.
2017.04.20 10:16:18 1: reload: Error:Modul 93_DbLog deactivated:
Global symbol "$now" requires explicit package name at ./FHEM/93_DbLog.pm line 2736, <$fh> line 4392.
2017.04.20 10:16:18 0: Global symbol "$now" requires explicit package name at ./FHEM/93_DbLog.pm line 2736, <$fh> line 4392.
2017.04.20 10:16:19 1: configfile: Cannot load module DbLog

Meine Devices habe ich umkonfiguriert, einem Test steht ansonsten nichts mehr im Weg.

Noch etwas ist mir gerade aufgefallen:
Ich bin gerade über die verschiedene Schreibweisen von devspec bei
readingsgroup und dbLog:addLog gestoßen, den ich automatisch aus Gewohnheit so definiert habe.

Bei readingsgroup werden die Readings direkt mit : angehängt, bei dbLog mit ,
IODev=HMLAN(1|2|3):batteryLevel,HMLAN1_RSSI

schöne Grüße
Joe
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

DS_Starter

Hi Joe,

Den $now Fehler fixe ich heute Abend noch schnell damit du/ihr testen könnt.

Die andere Sache sollten wir auch vereinheitlichen, stimmt. Aber das nehmen wir uns Mal für nach meinem Urlaub für eine nächste Version vor.

Bis später ....
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Hallo Joe,

anbi nun die Version 2.16.7 mit dem Fix

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

JoeALLb

Danke Heiko,
Tests laufen!

Wünsch Dir eine schöne Urlaubszeit!!

Joe
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270

JoeALLb

#284
Die Neuerungen des Moduls funktionieren toll, hie rkann ich im Moment nur positives finden!
Danke für die erneute Verbesserung des Moduls!


Generell habe ich mit DbLogExclude experimentiert, und komme mit der Einschränkung des Regex dort nicht ganz klar.
Dies hängt aber nicht mit den Neuerungen zusammen und ist wohl ein älteres Problem:

Folgendes sollte alle Readings matchen, außer precense. (als negativer look-around).
Separate Tests mit diesem Regex funktionieren.

Demnach sollte mit diesem Regex NUR precensegeloggt werden.
attr rr_ DbLogExclude ^((?!precense).)*$
Dies funktioniert aber nicht, geloggt wird dann gar nicht mehr.

Nun weiß ich, dass bei zB userReadings  REGEXE automatisch mit ^ und $ umschlossen werden (scheint hier in Zeile 1101 ausch so zu sein).
Jedoch bin ich mit anderen genannte Kombinationen auch nicht erfolgreich gewesen.
attr rr_ DbLogExclude ((?!precense).)*


Edit: Entwarnung, ich bin wohl diesem Problem aufgesessen, denn der Wert  des Attributs hat sich unsichtbar verändert. Nach Update scheint es jetzt wie gewünscht zu funktionieren.
https://svn.fhem.de/trac/changeset?old_path=%2F&old=14046&new_path=%2F&new=14046
FHEM-Server auf IntelAtom+Debian (8.1 Watt), KNX,
RasPi-2 Sonos-FHEM per FHEM2FHEM,RasPi-3 Versuchs-RasPi für WLAN-Tests
Gateways: DuoFern Stick, CUL866 PCA301, CUL HM, HMLan, JeeLink, LaCrosse,VCO2
Synology. Ardurino UNO für 1-Wire Tests, FB7270