DbLog - fehlende records in current

Begonnen von HCS, 03 Dezember 2017, 21:57:52

Vorheriges Thema - Nächstes Thema

HCS

Hi,

hat jemand eine Idee, woran es liegen könnte, dass ich für meine Max events keine Datensätze in current habe. In history sind sie drin

Kleiner gefilterter Auszug aus history:

2017-12-03 14:11:03 Max0Bedroom MAX valveposition: 12 valveposition 12 %
2017-12-03 14:11:05 Max0LivingRoom MAX valveposition: 13 valveposition 13 %
2017-12-03 14:11:18 Max0LivingRoom MAX valveposition: 13 valveposition 13 %
2017-12-03 14:13:03 Max0Bedroom MAX valveposition: 0 valveposition 0 %
2017-12-03 14:13:20 Max0LivingRoom MAX valveposition: 6 valveposition 6 %
2017-12-03 14:18:41 Max1LivingRoom MAX valveposition: 7 valveposition 7 %
2017-12-03 14:21:29 Max0LivingRoom MAX valveposition: 7 valveposition 7 %
2017-12-03 14:23:31 Max0LivingRoom MAX valveposition: 8 valveposition 8 %


In current sind meine ganzen LaCrosse, EC3000, usw. aber keiner der Max-Thermostate und somit fehlen sie dann in der Auswahl im SVG-Editor.
DB ist SQLite.
Nach dem leeren der current kamen alle wieder rein, nur die Max fehlen hartnäckig.

HCS

Hier noch, was ich mit verbose 4 von meinen Max sehe:


2017.12.03 22:30:29 4: DbLog commonLog -> ################################################################
2017.12.03 22:30:29 4: DbLog commonLog -> ###              start of new Logcycle                       ###
2017.12.03 22:30:29 4: DbLog commonLog -> ################################################################
2017.12.03 22:30:29 4: DbLog commonLog -> amount of events received: 7 for device: Max0LivingRoom
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: mode: manual
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: battery: ok
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: desiredTemperature: 16.5
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: temperature: 16.5
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: valveposition: 9
2017.12.03 22:30:29 4: DbLog commonLog -> added event - Timestamp: 2017-12-03 22:30:29, Device: Max0LivingRoom, Type: MAX, Event: valveposition: 9, Reading: valveposition, Value: 9, Unit: %
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: state: 16.5 °C
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: RSSI: -55

DS_Starter

#2
Hi HCS,

ich kenne die MAX nicht, aber es scheint das Eventsplitting nicht mehr zu funktionieren.
Dafür kann es m.M: nach zwei Fehlerquellen geben, einmal im DbLog die Splitting-Funktion. Die ist aber unverändert.
Zweite Möglichkeit wäre dass im Max-Modul die DbLog-Splitting-Funktion eingebaut wurde, die das Splitting nicht richtig macht.
Dblog werden für Max keine Readings, Value übergeben, außer für den Satz:

check Device: Max0LivingRoom , Event: valveposition: 9
added event - Timestamp: 2017-12-03 22:30:29, Device: Max0LivingRoom, Type: MAX, Event: valveposition: 9, Reading: valveposition, Value: 9, Unit: %


Zwischen dem "check" und dem "added event" liegt genau die Splitting funktion, die auch zur DbLog_splitFn des Quellmoduls verzweigt sofern es sie gibt.
Ich tippe mal stark in diese Richtung mal auf die Schnelle.

EDIT: der Änderungsstand der module ist auch schon alt wie ich gesehen habe, kann also auch nicht sein. Bleibt eigentlich nur dass der Regex im DEF zuschlägt.


Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 03 Dezember 2017, 22:53:36
Bleibt eigentlich nur dass der Regex im DEF zuschlägt.
Kann eigentlich nicht sein:
defmod commonLog DbLog ./dbLog/commonLog.conf .*:.*
attr commonLog DbLogSelectionMode Include
attr commonLog DbLogType Current/History
attr commonLog asyncMode 1
attr commonLog cacheLimit 500
attr commonLog disable 0
attr commonLog group CommonLog
attr commonLog room System
attr commonLog syncInterval 60
attr commonLog verbose 3


Alle MAXe haben ein
attr MaxSonstwas DbLogInclude valveposition
was auch funktioniert, da ich die Daten ja in history bekomme.


10_MAX.pm hat eine DbLog_splitFn


$hash->{DbLog_splitFn} = "MAX_DbLog_splitFn";
.
.
.

sub
MAX_DbLog_splitFn($)
{
  my ($event) = @_;
  my ($reading, $value, $unit) = "";

  my @parts = split(/ /,$event);
  $reading = shift @parts;
  $reading =~ tr/://d;
  $value = $parts[0];
  $value = $parts[1] if(defined($value) && lc($value) =~ m/auto/);
  $unit = "\xB0C" if(lc($reading) =~ m/temp/);
  $unit = "%" if(lc($reading) =~ m/valve/);
  return ($reading, $value, $unit);
}


DS_Starter

ZitatAlle MAXe haben ein
attr MaxSonstwas DbLogInclude valveposition

Dann gehen aber nur Events durch, deren Reading = "valveposition" ist. Und das deckt sich auch mit dem Log aus deinem 2. Beitrag.
Willst du alle Max-Sätze haben, musst du das attr DbLogInclude allgemeiner halten.

Das hängt damit zusammen dass du dein DbLog auf SelectionMode "Include" umgestellt hast, dann wird die Regex im DEF nicht beachtet.
Auszug aus commandref:
Zitat
Include: Es wird nur das geloggt was ueber die RegExp in DbLogInclude eingeschlossen wird.
Das Attribut DbLogExclude wird in diesem Fall ebenso wenig beruecksichtigt wie die Regex im DEF.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 04 Dezember 2017, 13:21:34
Dann gehen aber nur Events durch, deren Reading = "valveposition" ist. Und das deckt sich auch mit dem Log aus deinem 2. Beitrag.

Ja, das ist genau das, was ich will. Von den MAX nur die valveposition.
Von LaCrosse usw. andere readings. Das funktioniert ja auch schon ewig lange tadellos.
Nur die MAX valveposition, die ich gestern mit aufgeommen habe, gehen nicht, also in der Form, dass sie nur in history aber nicht in current ankommen.

DS_Starter

ZitatNur die MAX valveposition, die ich gestern mit aufgeommen habe, gehen nicht, also in der Form, dass sie nur in history aber nicht in current ankommen.

Es gibt aber keine Regex-Unterscheidung zwischen history und current.

Wenn die Einträge ankommen sollen darf dieses Log:


2017.12.03 22:30:29 4: DbLog commonLog -> ################################################################
2017.12.03 22:30:29 4: DbLog commonLog -> ###              start of new Logcycle                       ###
2017.12.03 22:30:29 4: DbLog commonLog -> ################################################################
2017.12.03 22:30:29 4: DbLog commonLog -> amount of events received: 7 for device: Max0LivingRoom
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: mode: manual
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: battery: ok
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: desiredTemperature: 16.5
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: temperature: 16.5
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: valveposition: 9
2017.12.03 22:30:29 4: DbLog commonLog -> added event - Timestamp: 2017-12-03 22:30:29, Device: Max0LivingRoom, Type: MAX, Event: valveposition: 9, Reading: valveposition, Value: 9, Unit: %
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: state: 16.5 °C
2017.12.03 22:30:29 4: DbLog commonLog -> check Device: Max0LivingRoom , Event: RSSI: -55


nicht nur den Event "valveposition" adden, sondern auch die anderen. Wenn kein add event zu sehen ist, wurde der Event gefiltert.
Die Daten dürfen auch garnicht in der history erscheinen bei dieser Konstellation.

Sobald MAx-Events aufgetreten sind, kannst du ja mal den Cache mit "set ... listCache" anzeigen.
Da sieht man ja was zur Verarbeitung beim nächsten Sync ansteht.
EInen PK hast du dir nicht zufällig auf der current gesetzt ?
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 04 Dezember 2017, 13:41:02
EInen PK hast du dir nicht zufällig auf der current gesetzt ?
Nein, die current hat keinerlei index

Es kamen valveposition events.

in der history-Tabelle ist der Datensatz aufgetaucht (die Liste ist gefiltert auf einige MAX, die restlichen knapp 3 Mio. Datensätze willst Du sicher nicht sehen):
2017-12-04 17:31:30   Max0LivingRoom   MAX   valveposition: 12   valveposition   12   %
2017-12-04 17:30:42   Max1LivingRoom   MAX   valveposition: 19   valveposition   19   %
2017-12-04 17:29:55   MaxCellar   MAX   valveposition: 0   valveposition   0   %
2017-12-04 17:29:28   Max0LivingRoom   MAX   valveposition: 11   valveposition   11   %
2017-12-04 17:27:43   Max1LivingRoom   MAX   valveposition: 2   valveposition   2   %

set ... listCache führt ihn auch auf:
16994 => 2017-12-04 17:27:29|WS1600|LACROSSE|windSpeedKMH: 7.92|windSpeedKMH|7.92|
16995 => 2017-12-04 17:27:29|EC3000_7AE4|EC3000|power: 0.2|power|0.2|
16996 => 2017-12-04 17:27:29|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
16997 => 2017-12-04 17:27:29|EC3000_HMS|EC3000|power: 9.6|power|9.6|
16998 => 2017-12-04 17:27:31|EC3000_7E43|EC3000|power: 0.3|power|0.3|
16999 => 2017-12-04 17:27:33|WS1600|LACROSSE|windSpeedKMH: 7.56|windSpeedKMH|7.56|
17000 => 2017-12-04 17:27:34|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
17001 => 2017-12-04 17:27:34|EC3000_HMS|EC3000|power: 7.2|power|7.2|
17002 => 2017-12-04 17:27:36|EC3000_7E43|EC3000|power: 0.3|power|0.3|
17003 => 2017-12-04 17:27:38|WS1600|LACROSSE|windSpeedKMH: 7.92|windSpeedKMH|7.92|
17004 => 2017-12-04 17:27:38|WS1600|LACROSSE|windGustKMH: 12.24|windGustKMH|12.24|
17005 => 2017-12-04 17:27:39|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
17006 => 2017-12-04 17:27:39|EC3000_HMS|EC3000|power: 8.5|power|8.5|
17007 => 2017-12-04 17:27:41|EC3000_7E43|EC3000|power: 0.3|power|0.3|
17008 => 2017-12-04 17:27:43|Max1LivingRoom|MAX|valveposition: 2|valveposition|2|%
17009 => 2017-12-04 17:27:44|EC3000_7CA8|EC3000|consumption: 57.152|consumption|57.152|
17010 => 2017-12-04 17:27:44|EC3000_7CA8|EC3000|power: 1.1|power|1.1|
17011 => 2017-12-04 17:27:44|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
17012 => 2017-12-04 17:27:44|EC3000_HMS|EC3000|power: 6.7|power|6.7|

Aber in der current kommt er nicht an
Die current hat aber 62 Datensätze mit aktuellen timestamps, nur keinen von MAX


Showing rows 0 - 61, Total: 62 (Query took 0.0038 sec)
SELECT * FROM "current" LIMIT 0, 100
TIMESTAMP DEVICE TYPE EVENT READING VALUE UNIT
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:19 EC3000_HCS EC3000 power: 4 power 4
Edit Delete 2017-12-04 17:55:26 EC3000_7E43 EC3000 power: 0.3 power 0.3
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windGustKMH: 19.8 windGustKMH 19.8
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:26 EC3000_7E43 EC3000 power: 0.3 power 0.3
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windGustKMH: 19.8 windGustKMH 19.8
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:26 EC3000_7E43 EC3000 power: 0.3 power 0.3
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:26 EC3000_7E43 EC3000 power: 0.3 power 0.3
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:19 EC3000_HCS EC3000 power: 4 power 4
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:26 EC3000_7E43 EC3000 power: 0.3 power 0.3
Edit Delete 2017-12-04 17:54:07 EC3000_7CA8 EC3000 consumption: 57.152 consumption 57.152
Edit Delete 2017-12-04 17:54:07 EC3000_7CA8 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:51:29 WS1600 LACROSSE temperature: 1.1 temperature 1.1 °C
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windGustKMH: 19.8 windGustKMH 19.8
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2
Edit Delete 2017-12-04 17:55:29 EC3000_9EE4 EC3000 power: 1.6 power 1.6
Edit Delete 2017-12-04 17:55:24 EC3000_HMS EC3000 power: 7 power 7
Edit Delete 2017-12-04 17:55:26 EC3000_7E43 EC3000 power: 0.3 power 0.3
Edit Delete 2017-12-04 17:55:23 WS1600 LACROSSE windSpeedKMH: 13.68 windSpeedKMH 13.68
Edit Delete 2017-12-04 17:55:29 EC3000_7AE4 EC3000 power: 0.2 power 0.2


Ist mir ein Rätsel, warum das ausgerechnet mit MAX nicht geht, alles andere was ich drin haben will geht.

DS_Starter

#8
ZitatIst mir ein Rätsel, warum das ausgerechnet mit MAX nicht geht, alles andere was ich drin haben will geht.
Kann es mir auch nicht erklären ... riecht nach Magie  ;)

Du kannst mal die aktuelle Entwicklungsversion V3.0.0 verwenden, die ich zum Test hier bereitgestellt habe:
https://forum.fhem.de/index.php/topic,65860.msg725367.html#msg725367

Funktional hat sich nichts geändert, aber bei der V habe ich auf jeden Fall den Output im Logfile noch etwas aufgebohrt (verbose 4/5). Vielleicht hilft es das Problem zu erkennen.
Es gibt dort auch auch ein attr autocommit mit dem man das autocommit-Verhalten der DB steuern kann. Wird zwar normalerweise nicht benötigt, aber genau für solche Fälle wie diesen hier habe ich es eingebaut damit es ändern kann.


Grüße
Heiko

ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 04 Dezember 2017, 18:25:38
Kann es mir auch nicht erklären ... riecht nach Magie  ;)
Das kenne ich nur zu gut ...

Zitat von: DS_Starter am 04 Dezember 2017, 18:25:38
Du kannst mal die aktuelle Entwicklungsversion V3.0.0 verwenden, die ich zum Test hier bereitgestellt habe:
https://forum.fhem.de/index.php/topic,65860.msg725367.html#msg725367
Kann ich mal probieren.

Vermute ich richtig, dass es, da es im cache gelistst ist, irgendwo auf dem Weg von da in die Datenbank klemmt?

DS_Starter

Zitatermute ich richtig, dass es, da es im cache gelistst ist, irgendwo auf dem Weg von da in die Datenbank klemmt?
Ja, ab diesem Zeitpunkt kommt nur noch der Schreibzyklus in die DB. Klemmen ist vllt. der falsche Ausdruck. Ich vermute dass aus irgendwelchen Gründen deine DB diesen Datensatz nicht committed und er deswegen nicht persistiert wird.
Ich hatte an Feldlängen gedacht, aber soviel ich weiß ist SQLite diesbezüglich unempfindlich. Dennoch kannst da ja mal prüfen ob die Feldlängen in der current denen der history entsprechen.
Das Autocommit hatte ich auch im Verdacht, aber da es nur um dieses spezielle Device/Reading geht kann es daran auch nicht liegen.
Bin da momentan echt reatlos ....
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Die Feldlängen hatte ich auch schon im Verdacht, aber die sind identisch.

Beide so:

TIMESTAMP TIMESTAMP No None No
DEVICE    varchar(32) No None No
TYPE varchar(32) No None No
EVENT varchar(512) No None No
READING varchar(32) No None No
VALUE varchar(32) No None No
UNIT varchar(32) No None No


Ich bekomme auch einen Datensatz mit den entsprechenden Daten von Hand angelegt:
INSERT INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ("2017-12-04 21:02:05","Max0Bedroom","MAX","valveposition: 10","valveposition","10","%")
legt den Datensatz korrekt an

Mit 3.0.0 keine Änderung im Verhalten

Ich glaube ich muss das auf dem Testsystem nachbauen und dann mit dem Debugger ran
Das wird mir langsam zu heiß auf produktiv.

DS_Starter

ZitatMit 3.0.0 keine Änderung im Verhalten
Naja , ich dachte eher an evtl. mehr Infos mit verbose 4/5. Nichts zu sehen ?

Echt komisch wieso ausgerechnet dieser Datensatz nicht mag. An dem ist ja auch nichts außergwöhnliches ....
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 04 Dezember 2017, 21:50:50
Naja , ich dachte eher an evtl. mehr Infos mit verbose 4/5. Nichts zu sehen ?
Damit sehe ich eine gefühlte Million "start of new Logcycle" aber leider nichts, das helfen würde.

Lass es mich mal auf der Testumgebung nachbauen (hoffentlich funktioniert es da dann auch nicht), dann melde ich mich wieder hier.

DS_Starter

Damit du nur das Wichtigste siehst, gehe bitte so vor:

* setze verbose 4
* damit du nur die Datenbankprozesszyklen siehst (und nicht die Logcycles) , das attr verbose4Devs auf ein Device was es bei dir nicht gibt, z.b. "ddddd".

Dann tauchen nur noch die DB-Zyklen auf:

Zitat
2017.12.04 22:41:53.792 4: DbLog LogSQLITE -> ################################################################
2017.12.04 22:41:53.793 4: DbLog LogSQLITE -> ###      New database processing cycle - asynchronous        ###
2017.12.04 22:41:53.794 4: DbLog LogSQLITE -> ################################################################
2017.12.04 22:41:53.795 4: DbLog LogSQLITE -> MemCache contains 11 entries to process
2017.12.04 22:41:53.795 4: DbLog LogSQLITE -> DbLogType is: Current/History
2017.12.04 22:41:53.820 4: DbLog LogSQLITE -> AutoCommit mode: ON
2017.12.04 22:41:53.836 4: DbLog LogSQLITE -> 11 of 11 events inserted into table history
2017.12.04 22:41:53.840 4: DbLog LogSQLITE -> insert history committed
2017.12.04 22:41:53.845 4: DbLog LogSQLITE -> 11 of 11 events updated in table current
2017.12.04 22:41:53.848 4: DbLog LogSQLITE -> insert or update current committed
2017.12.04 22:42:38.810 4: DbLog LogSQLITE -> ################################################################
2017.12.04 22:42:38.812 4: DbLog LogSQLITE -> ###      New database processing cycle - asynchronous        ###
2017.12.04 22:42:38.813 4: DbLog LogSQLITE -> ################################################################
2017.12.04 22:42:38.814 4: DbLog LogSQLITE -> MemCache contains 48 entries to process
2017.12.04 22:42:38.814 4: DbLog LogSQLITE -> DbLogType is: Current/History
2017.12.04 22:42:38.849 4: DbLog LogSQLITE -> AutoCommit mode: ON
2017.12.04 22:42:38.867 4: DbLog LogSQLITE -> 48 of 48 events inserted into table history
2017.12.04 22:42:38.872 4: DbLog LogSQLITE -> insert history committed
2017.12.04 22:42:38.877 4: DbLog LogSQLITE -> Failed to update in current, try to insert - TS: 2017-12-04 22:42:06, Device: SMA_Energymeter, Reading: Einspeisung_Wirkleistung, Status = 0
2017.12.04 22:42:38.878 4: DbLog LogSQLITE -> Failed to update in current, try to insert - TS: 2017-12-04 22:42:34, Device: Einspeisung, Reading: state, Status = 0
2017.12.04 22:42:38.879 4: DbLog LogSQLITE -> Failed to update in current, try to insert - TS: 2017-12-04 22:42:34, Device: recalc_Einspeisung, Reading: state, Status = 0
2017.12.04 22:42:38.880 4: DbLog LogSQLITE -> Failed to update in current, try to insert - TS: 2017-12-04 22:42:34, Device: Einspeisung, Reading: state, Status = 0
2017.12.04 22:42:38.880 4: DbLog LogSQLITE -> Failed to update in current, try to insert - TS: 2017-12-04 22:42:34, Device: Verguetung, Reading: state, Status = 0
2017.12.04 22:42:38.881 4: DbLog LogSQLITE -> Failed to update in current, try to insert - TS: 2017-12-04 22:42:34, Device: Verguetung, Reading: state, Status = 0
2017.12.04 22:42:38.882 4: DbLog LogSQLITE -> 6 of 6 events inserted into table current
2017.12.04 22:42:38.884 4: DbLog LogSQLITE -> insert or update current committed

Wenn du sehen willst welche Datensätze prozessiert werden, schalte verbose 5 ein.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Ich habe schon mal das, was mit dem MAX zu tun hat, rot markiert.

Da scheint noch mehr in current zu fehlen.
"64 events inserted or replaced in table current" aber sie hat aktuell nur 16 Datensätze (hatte sie gestern nochmal geleert, und bisher nur die 16 wieder bekommen)

Kannst Du mir mal die Stelle sagen, an der der das SQL-Statement, das die Datensätze in die current schreibt, gebildet ist?
Dann gebe ich mir das mal aus und schaue, ob das funktioniert oder warum das die nicht alle in die Tabelle bekommt.

Ich glaube, das ist eher Zufall, wieviel in der current ankommt, gestern vor dem Leeren waren das noch ca. 60
Davor hatte ich sie aber auch schon mal leer gemacht und die ca. 60 kamen direkt wieder rein, heute nur noch 16.

Zitat2017.12.05 09:03:48 4: DbLog commonLog -> ################################################################
2017.12.05 09:03:48 4: DbLog commonLog -> ###      New database processing cycle - asynchronous        ###
2017.12.05 09:03:48 4: DbLog commonLog -> ################################################################
2017.12.05 09:03:48 4: DbLog commonLog -> MemCache contains 41 entries to process
2017.12.05 09:03:48 4: DbLog commonLog -> DbLogType is: Current/History
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:49|WS1600|LACROSSE|temperature: 2.8|temperature|2.8|°C
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:50|EC3000_HMS|EC3000|power: 8.1|power|8.1|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:51|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:54|WS1600|LACROSSE|windSpeedKMH: 6.84|windSpeedKMH|6.84|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:54|WS1600|LACROSSE|windGustKMH: 11.16|windGustKMH|11.16|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:55|EC3000_7AE4|EC3000|power: 0.2|power|0.2|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:55|EC3000_HMS|EC3000|power: 7|power|7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:56|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:02:58|WS1600|LACROSSE|temperature: 2.9|temperature|2.9|°C
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:00|EC3000_HMS|EC3000|power: 8.1|power|8.1|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:01|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:03|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:06|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:11|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:12|WS1600|LACROSSE|windGustKMH: 6.84|windGustKMH|6.84|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:16|EC3000_HMS|EC3000|power: 6.9|power|6.9|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:16|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:16|WS1600|LACROSSE|windGustKMH: 10.08|windGustKMH|10.08|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:18|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:21|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:21|WS1600|LACROSSE|windSpeedKMH: 7.56|windSpeedKMH|7.56|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:23|EC3000_7E43|EC3000|power: 0.3|power|0.3|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:25|WS1600|LACROSSE|windSpeedKMH: 8.64|windSpeedKMH|8.64|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:25|WS1600|LACROSSE|windGustKMH: 13.68|windGustKMH|13.68|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:25|EC3000_HMS|EC3000|power: 6.7|power|6.7|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:26|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:30|WS1600|LACROSSE|windSpeedKMH: 8.28|windSpeedKMH|8.28|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:30|EC3000_HMS|EC3000|power: 7.8|power|7.8|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:31|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:34|WS1600|LACROSSE|windSpeedKMH: 8.64|windSpeedKMH|8.64|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:35|EC3000_HMS|EC3000|power: 6.8|power|6.8|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:36|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:39|WS1600|LACROSSE|windSpeedKMH: 9.36|windSpeedKMH|9.36|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:40|EC3000_7AE4|EC3000|power: 0|power|0|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:40|EC3000_HMS|EC3000|power: 8.1|power|8.1|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:41|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:43|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:43|WS1600|LACROSSE|windSpeedKMH: 10.08|windSpeedKMH|10.08|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:43|WS1600|LACROSSE|windGustKMH: 15.12|windGustKMH|15.12|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:46|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:03:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:48|EC3000_7E43|EC3000|power: 0.3|power|0.3|
2017.12.05 09:03:48 5: DbLog commonLog -> DbLog_PushAsync called with timeout: 86400
2017.12.05 09:03:48 5: DbLog commonLog -> Start DbLog_PushAsync
2017.12.05 09:03:48 5: DbLog commonLog -> DbLogType is: Current/History
2017.12.05 09:03:48 4: DbLog commonLog -> AutoCommit mode: ON
2017.12.05 09:03:48 5: DbLog commonLog -> Primary Key used in /opt/fhem/dbLog/commonLog.db.history: none
2017.12.05 09:03:48 5: DbLog commonLog -> Primary Key used in /opt/fhem/dbLog/commonLog.db.current: none
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:49, Device: WS1600, Type: LACROSSE, Event: temperature: 2.8, Reading: temperature, Value: 2.8, Unit: °C
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:50, Device: EC3000_HMS, Type: EC3000, Event: power: 8.1, Reading: power, Value: 8.1, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:51, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:54, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 6.84, Reading: windSpeedKMH, Value: 6.84, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:54, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 11.16, Reading: windGustKMH, Value: 11.16, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:55, Device: EC3000_7AE4, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:55, Device: EC3000_HMS, Type: EC3000, Event: power: 7, Reading: power, Value: 7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:56, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:02:58, Device: WS1600, Type: LACROSSE, Event: temperature: 2.9, Reading: temperature, Value: 2.9, Unit: °C
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:00, Device: EC3000_HMS, Type: EC3000, Event: power: 8.1, Reading: power, Value: 8.1, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:01, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:03, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:06, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:11, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:12, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 6.84, Reading: windGustKMH, Value: 6.84, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:16, Device: EC3000_HMS, Type: EC3000, Event: power: 6.9, Reading: power, Value: 6.9, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:16, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:16, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 10.08, Reading: windGustKMH, Value: 10.08, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:18, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:21, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:21, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 7.56, Reading: windSpeedKMH, Value: 7.56, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:23, Device: EC3000_7E43, Type: EC3000, Event: power: 0.3, Reading: power, Value: 0.3, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:25, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 8.64, Reading: windSpeedKMH, Value: 8.64, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:25, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 13.68, Reading: windGustKMH, Value: 13.68, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:25, Device: EC3000_HMS, Type: EC3000, Event: power: 6.7, Reading: power, Value: 6.7, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:26, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:30, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 8.28, Reading: windSpeedKMH, Value: 8.28, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:30, Device: EC3000_HMS, Type: EC3000, Event: power: 7.8, Reading: power, Value: 7.8, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:31, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:34, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 8.64, Reading: windSpeedKMH, Value: 8.64, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:35, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:36, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:39, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 9.36, Reading: windSpeedKMH, Value: 9.36, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:40, Device: EC3000_7AE4, Type: EC3000, Event: power: 0, Reading: power, Value: 0, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:40, Device: EC3000_HMS, Type: EC3000, Event: power: 8.1, Reading: power, Value: 8.1, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:41, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:43, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:43, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 10.08, Reading: windSpeedKMH, Value: 10.08, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:43, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 15.12, Reading: windGustKMH, Value: 15.12, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:46, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:03:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:48, Device: EC3000_7E43, Type: EC3000, Event: power: 0.3, Reading: power, Value: 0.3, Unit:
2017.12.05 09:03:48 4: DbLog commonLog -> 41 of 41 events inserted into table history
2017.12.05 09:03:48 4: DbLog commonLog -> insert history committed
2017.12.05 09:03:48 4: DbLog commonLog -> 41 events inserted or replaced in table current
2017.12.05 09:03:48 4: DbLog commonLog -> insert or update current committed
2017.12.05 09:03:48 5: DbLog commonLog -> DbLog_PushAsync finished
2017.12.05 09:03:48 5: DbLog commonLog -> Start DbLog_PushAsyncDone
2017.12.05 09:03:48 5: DbLog commonLog -> DbLog_PushAsyncDone finished
2017.12.05 09:03:50 4: Processing Statement: SELECT
                  TIMESTAMP,
                  DEVICE,
                  READING,
                  VALUE
                   FROM history WHERE 1=1 AND DEVICE  = 'Max0Bedroom' AND READING = 'valveposition' AND TIMESTAMP >= '2017-12-05 00:00:00' AND TIMESTAMP < '2017-12-06 00:00:01' ORDER BY TIMESTAMP

2017.12.05 09:04:48 4: DbLog commonLog -> ################################################################
2017.12.05 09:04:48 4: DbLog commonLog -> ###      New database processing cycle - asynchronous        ###
2017.12.05 09:04:48 4: DbLog commonLog -> ################################################################
2017.12.05 09:04:48 4: DbLog commonLog -> MemCache contains 64 entries to process
2017.12.05 09:04:48 4: DbLog commonLog -> DbLogType is: Current/History
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:50|EC3000_HMS|EC3000|power: 8.4|power|8.4|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:51|EC3000_9EE4|EC3000|power: 1.5|power|1.5|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:52|WS1600|LACROSSE|windSpeedKMH: 9.36|windSpeedKMH|9.36|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:52|WS1600|LACROSSE|windGustKMH: 2.88|windGustKMH|2.88|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:55|EC3000_7AE4|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:56|EC3000_HMS|EC3000|power: 6.8|power|6.8|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:56|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:57|WS1600|LACROSSE|windSpeedKMH: 9|windSpeedKMH|9|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:58|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:03:59|Max1BathRoom|MAX|valveposition: 95|valveposition|95|%
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:01|EC3000_HMS|EC3000|power: 7.6|power|7.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:01|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:01|WS1600|LACROSSE|windSpeedKMH: 8.28|windSpeedKMH|8.28|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:02|Max1BathRoom|MAX|valveposition: 95|valveposition|95|%
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:03|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:06|EC3000_HMS|EC3000|power: 6.8|power|6.8|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:06|WS1600|LACROSSE|windSpeedKMH: 7.2|windSpeedKMH|7.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:06|WS1600|LACROSSE|windGustKMH: 3.6|windGustKMH|3.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:06|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:08|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:10|WS1600|LACROSSE|windSpeedKMH: 6.84|windSpeedKMH|6.84|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:11|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:11|EC3000_HMS|EC3000|power: 7.2|power|7.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:15|WS1600|LACROSSE|windSpeedKMH: 6.48|windSpeedKMH|6.48|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:16|EC3000_HMS|EC3000|power: 6.8|power|6.8|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:16|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:17|lgw210|LACROSSEGATEWAY|temperature: 25|temperature|25|°C
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:17|lgw210|LACROSSEGATEWAY|humidity: 39|humidity|39|%
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:17|lgw210|LACROSSEGATEWAY|pressure: 1038|pressure|1038|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:17|lgw209|LACROSSEGATEWAY|RSSI: -74|RSSI|-74|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:17|lgw209|LACROSSEGATEWAY|FramesPerMinute: 79|FramesPerMinute|79|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:18|EC3000_7E43|EC3000|power: 0.3|power|0.3|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:19|WS1600|LACROSSE|windSpeedKMH: 5.4|windSpeedKMH|5.4|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:19|WS1600|LACROSSE|windGustKMH: 7.2|windGustKMH|7.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:20|EC3000_7AE4|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:21|EC3000_HMS|EC3000|power: 8.2|power|8.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:21|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:23|lgw209|LACROSSEGATEWAY|temperature: 14.5|temperature|14.5|°C
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:23|lgw209|LACROSSEGATEWAY|humidity: 70|humidity|70|%
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:24|WS1600|LACROSSE|windSpeedKMH: 5.04|windSpeedKMH|5.04|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:25|EC3000_7AE4|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:25|EC3000_HMS|EC3000|power: 7.1|power|7.1|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:26|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:28|EC3000_7E43|EC3000|power: 0.3|power|0.3|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:28|WS1600|LACROSSE|windSpeedKMH: 4.68|windSpeedKMH|4.68|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:28|WS1600|LACROSSE|windGustKMH: 8.28|windGustKMH|8.28|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:30|EC3000_HMS|EC3000|power: 8.1|power|8.1|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:31|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:33|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:33|WS1600|LACROSSE|windSpeedKMH: 5.76|windSpeedKMH|5.76|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:33|WS1600|LACROSSE|windGustKMH: 14.4|windGustKMH|14.4|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:35|EC3000_HMS|EC3000|power: 7.4|power|7.4|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:36|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:37|WS1600|LACROSSE|windSpeedKMH: 6.48|windSpeedKMH|6.48|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:38|EC3000_7E43|EC3000|power: 0.2|power|0.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:41|EC3000_HMS|EC3000|power: 7.2|power|7.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:41|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:42|WS1600|LACROSSE|windSpeedKMH: 7.2|windSpeedKMH|7.2|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:43|EC3000_7E43|EC3000|power: 0.3|power|0.3|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:45|EC3000_7AE4|EC3000|power: 0|power|0|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:45|EC3000_HMS|EC3000|power: 6.8|power|6.8|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:46|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:46|WS1600|LACROSSE|windSpeedKMH: 7.92|windSpeedKMH|7.92|
2017.12.05 09:04:48 5: DbLog commonLog -> MemCache contains: 2017-12-05 09:04:48|EC3000_7E43|EC3000|power: 0.3|power|0.3|
2017.12.05 09:04:48 5: DbLog commonLog -> DbLog_PushAsync called with timeout: 86400
2017.12.05 09:04:48 5: DbLog commonLog -> Start DbLog_PushAsync
2017.12.05 09:04:48 5: DbLog commonLog -> DbLogType is: Current/History
2017.12.05 09:04:48 4: DbLog commonLog -> AutoCommit mode: ON
2017.12.05 09:04:48 5: DbLog commonLog -> Primary Key used in /opt/fhem/dbLog/commonLog.db.history: none
2017.12.05 09:04:48 5: DbLog commonLog -> Primary Key used in /opt/fhem/dbLog/commonLog.db.current: none
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:50, Device: EC3000_HMS, Type: EC3000, Event: power: 8.4, Reading: power, Value: 8.4, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:51, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.5, Reading: power, Value: 1.5, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:52, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 9.36, Reading: windSpeedKMH, Value: 9.36, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:52, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 2.88, Reading: windGustKMH, Value: 2.88, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:55, Device: EC3000_7AE4, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:56, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:56, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:57, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 9, Reading: windSpeedKMH, Value: 9, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:58, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:59, Device: Max1BathRoom, Type: MAX, Event: valveposition: 95, Reading: valveposition, Value: 95, Unit: %
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:01, Device: EC3000_HMS, Type: EC3000, Event: power: 7.6, Reading: power, Value: 7.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:01, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:01, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 8.28, Reading: windSpeedKMH, Value: 8.28, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:02, Device: Max1BathRoom, Type: MAX, Event: valveposition: 95, Reading: valveposition, Value: 95, Unit: %
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:03, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:06, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:06, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 7.2, Reading: windSpeedKMH, Value: 7.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:06, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 3.6, Reading: windGustKMH, Value: 3.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:06, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:08, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:10, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 6.84, Reading: windSpeedKMH, Value: 6.84, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:11, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:11, Device: EC3000_HMS, Type: EC3000, Event: power: 7.2, Reading: power, Value: 7.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:15, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 6.48, Reading: windSpeedKMH, Value: 6.48, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:16, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:16, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:17, Device: lgw210, Type: LACROSSEGATEWAY, Event: temperature: 25, Reading: temperature, Value: 25, Unit: °C
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:17, Device: lgw210, Type: LACROSSEGATEWAY, Event: humidity: 39, Reading: humidity, Value: 39, Unit: %
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:17, Device: lgw210, Type: LACROSSEGATEWAY, Event: pressure: 1038, Reading: pressure, Value: 1038, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:17, Device: lgw209, Type: LACROSSEGATEWAY, Event: RSSI: -74, Reading: RSSI, Value: -74, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:17, Device: lgw209, Type: LACROSSEGATEWAY, Event: FramesPerMinute: 79, Reading: FramesPerMinute, Value: 79, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:18, Device: EC3000_7E43, Type: EC3000, Event: power: 0.3, Reading: power, Value: 0.3, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:19, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 5.4, Reading: windSpeedKMH, Value: 5.4, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:19, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 7.2, Reading: windGustKMH, Value: 7.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:20, Device: EC3000_7AE4, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:21, Device: EC3000_HMS, Type: EC3000, Event: power: 8.2, Reading: power, Value: 8.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:21, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:23, Device: lgw209, Type: LACROSSEGATEWAY, Event: temperature: 14.5, Reading: temperature, Value: 14.5, Unit: °C
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:23, Device: lgw209, Type: LACROSSEGATEWAY, Event: humidity: 70, Reading: humidity, Value: 70, Unit: %
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:24, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 5.04, Reading: windSpeedKMH, Value: 5.04, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:25, Device: EC3000_7AE4, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:25, Device: EC3000_HMS, Type: EC3000, Event: power: 7.1, Reading: power, Value: 7.1, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:26, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:28, Device: EC3000_7E43, Type: EC3000, Event: power: 0.3, Reading: power, Value: 0.3, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:28, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 4.68, Reading: windSpeedKMH, Value: 4.68, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:28, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 8.28, Reading: windGustKMH, Value: 8.28, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:30, Device: EC3000_HMS, Type: EC3000, Event: power: 8.1, Reading: power, Value: 8.1, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:31, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:33, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:33, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 5.76, Reading: windSpeedKMH, Value: 5.76, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:33, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 14.4, Reading: windGustKMH, Value: 14.4, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:35, Device: EC3000_HMS, Type: EC3000, Event: power: 7.4, Reading: power, Value: 7.4, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:36, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:37, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 6.48, Reading: windSpeedKMH, Value: 6.48, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:38, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:41, Device: EC3000_HMS, Type: EC3000, Event: power: 7.2, Reading: power, Value: 7.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:41, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:42, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 7.2, Reading: windSpeedKMH, Value: 7.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:43, Device: EC3000_7E43, Type: EC3000, Event: power: 0.3, Reading: power, Value: 0.3, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:45, Device: EC3000_7AE4, Type: EC3000, Event: power: 0, Reading: power, Value: 0, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:45, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:46, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:46, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 7.92, Reading: windSpeedKMH, Value: 7.92, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:48, Device: EC3000_7E43, Type: EC3000, Event: power: 0.3, Reading: power, Value: 0.3, Unit:
2017.12.05 09:04:48 4: DbLog commonLog -> 64 of 64 events inserted into table history
2017.12.05 09:04:48 4: DbLog commonLog -> insert history committed
2017.12.05 09:04:48 4: DbLog commonLog -> 64 events inserted or replaced in table current
2017.12.05 09:04:48 4: DbLog commonLog -> insert or update current committed
2017.12.05 09:04:48 5: DbLog commonLog -> DbLog_PushAsync finished
2017.12.05 09:04:48 5: DbLog commonLog -> Start DbLog_PushAsyncDone
2017.12.05 09:04:48 5: DbLog commonLog -> DbLog_PushAsyncDone finished

DS_Starter

Guten Morgen,

das ist ab ca. Zeile 1823 (je nach Version) :


  if (lc($DbLogType) =~ m(current) ) {
      # insert current mit/ohne primary key, insert-values für current werden generiert
  if ($usepkc && $hash->{MODEL} eq 'MYSQL') {
          eval { $sth_ic = $dbh->prepare("INSERT IGNORE INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)"); };  
  } elsif ($usepkc && $hash->{MODEL} eq 'SQLITE') {
      eval { $sth_ic = $dbh->prepare("INSERT OR IGNORE INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)"); };
  } elsif ($usepkc && $hash->{MODEL} eq 'POSTGRESQL') {
      eval { $sth_ic = $dbh->prepare("INSERT INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?) ON CONFLICT DO NOTHING"); };
  } else {
      # old behavior
      eval { $sth_ic = $dbh->prepare("INSERT INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)"); };
  }
  if ($@) {
      # Eventliste zurückgeben wenn z.B. Disk I/O error bei SQLITE
          $error = encode_base64($@,"");
          Log3 ($name, 2, "DbLog $name - Error: $@");
          Log3 ($name, 5, "DbLog $name -> DbLog_PushAsync finished");
  $dbh->disconnect();
          return "$name|$error|0|$rowlist";
      }
  if ($usepkc && $hash->{MODEL} eq 'MYSQL') {
      # update current (mit PK), insert-values für current wird generiert
  $sth_uc = $dbh->prepare("REPLACE INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)");
      $sth_uc->bind_param_array(1, [@timestamp]);
          $sth_uc->bind_param_array(2, [@device]);
          $sth_uc->bind_param_array(3, [@type]);
          $sth_uc->bind_param_array(4, [@event]);
  $sth_uc->bind_param_array(5, [@reading]);
          $sth_uc->bind_param_array(6, [@value]);
          $sth_uc->bind_param_array(7, [@unit]); 
  } elsif ($usepkc && $hash->{MODEL} eq 'SQLITE') { 
      # update current (mit PK), insert-values für current wird generiert
  $sth_uc = $dbh->prepare("INSERT OR REPLACE INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)");
      $sth_uc->bind_param_array(1, [@timestamp]);
          $sth_uc->bind_param_array(2, [@device]);
          $sth_uc->bind_param_array(3, [@type]);
          $sth_uc->bind_param_array(4, [@event]);
  $sth_uc->bind_param_array(5, [@reading]);
          $sth_uc->bind_param_array(6, [@value]);
          $sth_uc->bind_param_array(7, [@unit]);


ZitatDa scheint noch mehr in current zu fehlen.
"64 events inserted or replaced in table current" aber sie hat aktuell nur 16 Datensätze (hatte sie gestern nochmal geleert, und bisher nur die 16 wieder bekommen)

Aber lass dich nicht täuschen !  Wenn mitgeteilt wird das 64 events inserted oder upgedated werden heißt das im Falle der current nicht dass auch 64 Datensätze in der current entstehen ! Das kommt dadurch dass Sätze mit gleichem Device/Reading überschrieben werden.


Beispiel:

2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:50, Device: EC3000_HMS, Type: EC3000, Event: power: 8.4, Reading: power, Value: 8.4, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:51, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.5, Reading: power, Value: 1.5, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:52, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 9.36, Reading: windSpeedKMH, Value: 9.36, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:52, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 2.88, Reading: windGustKMH, Value: 2.88, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:55, Device: EC3000_7AE4, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:56, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:56, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:57, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 9, Reading: windSpeedKMH, Value: 9, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:58, Device: EC3000_7E43, Type: EC3000, Event: power: 0.2, Reading: power, Value: 0.2, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:59, Device: Max1BathRoom, Type: MAX, Event: valveposition: 95, Reading: valveposition, Value: 95, Unit: %
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:01, Device: EC3000_HMS, Type: EC3000, Event: power: 7.6, Reading: power, Value: 7.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:01, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:01, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 8.28, Reading: windSpeedKMH, Value: 8.28, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:04:02, Device: Max1BathRoom, Type: MAX, Event: valveposition: 95, Reading: valveposition, Value: 95, Unit: %


Dieser Zyklus würde im Besten Fall nur 4 Datensätze erzeugen, je nachdem ob es diese Device/Reading Kombis in der current schon gibt. Die Logmeldung würde natürlich viel mehr angeben, da es die upgedateten DS mit einschließt.


2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:50, Device: EC3000_HMS, Type: EC3000, Event: power: 8.4, Reading: power, Value: 8.4, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:52, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 9.36, Reading: windSpeedKMH, Value: 9.36, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:52, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 2.88, Reading: windGustKMH, Value: 2.88, Unit:
2017.12.05 09:04:48 5: DbLog commonLog -> processing event Timestamp: 2017-12-05 09:03:59, Device: Max1BathRoom, Type: MAX, Event: valveposition: 95, Reading: valveposition, Value: 95, Unit: %


Schau dir doch mal den tatsächlichen Inhalt der current an. Zum Beispiel mit einem "set ... fetchrows current" mit Hilfe eines DbRep-Devices oder mit deinem Admin-Tool.

Ich teste bei meiner Test SQLite mal folgendes. Ich setze mein Syncinterval/cachelimit auf einen hohen Wert und exportiere dann den cache. Dann füge ich mal deine MAX-Sätze dort ein und importiere dann das cachefile. Dann werden diese Schritte alle durchlufen. Mal sehen wie es dann aussieht.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Also, ich habe das mit meiner SQLite getestet.
cachefile exportiert und deine beiden Max-Sätze hinzugefügt, die current Tabelle gepurched.


.....
2017-12-05 10:18:41|SMA_Energymeter|SMAEM|Einspeisung_Wirkleistung_Zaehler: 5714.7294|Einspeisung_Wirkleistung_Zaehler|5714.7294|kWh
2017-12-05 10:18:41|MySTP_5000|SMAINVERTER|etotal: 18286.102|etotal|18286.102|
2017-12-05 10:18:41|MySTP_5000|SMAINVERTER|etoday: 0.181|etoday|0.181|
2017-12-05 10:18:41|MySTP_5000|SMAINVERTER|total_pac: 0.119|total_pac|0.119|
2017-12-05 10:18:41|MySTP_5000|SMAINVERTER|state: 0.119|state|0.119|
2017-12-05 10:18:41|Dum.Energy|DUMMY|PV: 119.0|PV|119.0|
2017-12-05 10:18:41|Dum.Energy|DUMMY|TotalConsumption: 631.9|TotalConsumption|631.9|
2017-12-05 10:18:41|Dum.Energy|DUMMY|AutarkyQuote: 18.8|AutarkyQuote|18.8|
2017-12-05 10:18:50|USV|NUT|state: OL|state|OL|
2017-12-05 09:04:02|Max1BathRoom|MAX|valveposition: 95|valveposition|95|%|
2017-12-05 09:03:59|Max1BathRoom|MAX|valveposition: 95|valveposition|95|%|


Dann import cachefile und die Datensätze ich DbRep "fetchrows current angezeigt" (Screenshot).

Hat alles funktioniert und der Datensatz wird im SVG Auswahlmenü auch angezeigt. (screenshot)

Hmm....

Grüße
Heiko

ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Hi,

ich habe DbLog und den Befaehl "set ... addCacheLine <line>" erweitert.

Die Syntax für die Line ist so wie man es in listCache sieht:

2017-12-05 17:03:59|Max1BathRoom|MAX|valveposition: 95|valveposition|95|%

Damit kann man nun einen Eintrag im Cache hinzufügen, der anschließend wie gewohnt prozessiert wird.
Vielleicht hilft es dir bei der Fehlersuche weiter und generell ist es sicherlich hilfreich.

Ich abe es bei mir mit deinen Datensätzen getestet und läuft einwandfrei auch in die current rein.

Version 3.1.0 anbei.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 05 Dezember 2017, 11:16:58
Hmm....
Möglicherweise kann ich aus dem "Hmm..." inzwischen ein "Ah..." machen  ;D

Aus einer Eingebung heraus habe ich mal verschiedene Varianten getestet.
Ich habe die current vor jedem Test mit den verschiedenen Einstellungen geleert.

asyncMode 0
funktioniert
Die erwarteten Datensätze trudeln nacheinander ein, auch die MAX

asyncMode 1
cacheLimit 2
syncInterval 60
funktioniert
Die erwarteten Datensätze trudeln paarweise nacheinander ein, auch die MAX

asyncMode 1
cacheLimit 500
syncInterval 60 (Das ist die ursprüngliche Einstellung)
funktioniert nicht

Beim ersten PushAsync bekomme ich 43 (was halt gerade anstand) Datensätze in die current, aber ich habe den Eindruck, dass bei jedem weiteren PushAsync sich die Anzahl nicht mehr ändert sondern nur noch die Daten der schon vorhandene Datensätze aktualisiert werden.
Wenn ich dann cacheLimit auf 2 runtersetze, kommen beim nächsten Event weitere Datensätze (eben waren es gerade die MAX)

Das bedeutet wohl, dass es nichts mit MAX zu tun hat, das sah nur so aus, weil es selten ist, dass beim ersten PushAsync MAX dabei sind, die valveposition ändert sich ja nur recht selten.
Wenn ich das mehrmals teste, ist da manchmal auch direkt ein MAX dabei.


Das ist ein Ausschnitt der Datensätze, die ich beim ersten PushAsync in die current bekomme.
Da sind sofort Duplikate drin. Oder soll das so sein?

TIMESTAMP   DEVICE   TYPE   EVENT   READING   VALUE   UNIT
   Edit   Delete   2017-12-05 17:33:23   Max0Bedroom   MAX   valveposition: 10   valveposition   10   %
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8   
   Edit   Delete   2017-12-05 17:33:35   WS1600   LACROSSE   rain: 426.5   rain   426.5   
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8   
   Edit   Delete   2017-12-05 17:33:35   WS1600   LACROSSE   stat.RainHour: 0.0   stat.RainHour   0.0   
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8   
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8   
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8   
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8   
   Edit   Delete   2017-12-05 17:36:21   WS1600   LACROSSE   windSpeedKMH: 1.8   windSpeedKMH   1.8


Wäre es denkbar, dass ich ein häufig feuerndes Event habe, das etwas beinhaltet, das den insert into ruiniert?
Das würde dann bei sync oder async mit sehr kleinem cacheLimit nur einen oder zwei Datensätze verhindern, bei einem großen cacheLimit (bei mir sind immer so zw. 30 und 50 im Cache) eine entsprechend große Menge betreffen.




DS_Starter

#20
ZitatDas ist ein Ausschnitt der Datensätze, die ich beim ersten PushAsync in die current bekomme.
Da sind sofort Duplikate drin. Oder soll das so sein?
Das soll nicht so sein, ergibt sich aber automatisch wenn in dem aufgelaufenen Cache die Sätze drin sind. Die Datensätze werden als Bulkinsert bzw. Update in die current eingefügt. Bei jedem weiteren Lauf wird nur noch ein update auf vorhandene Sätze ausgeführt oder, falls nicht vorhanden, ein insert.

ZitatWäre es denkbar, dass ich ein häufig feuerndes Event habe, das etwas beinhaltet, das den insert into ruiniert?
Das würde dann bei sync oder async mit sehr kleinem cacheLimit nur einen oder zwei Datensätze verhindern, bei einem großen cacheLimit (bei mir sind immer so zw. 30 und 50 im Cache) eine entsprechend große Menge betreffen.
Das ist absolut möglich und auch eine heiße Fährte. Sowas kann uns die Transaktion kaputt machen.
Und das würde auch absolut zum Erscheinungsbild passen.

In der angehängten Version ist ein Characterfilter eingebaut der unerwünschte Zeichen ausfiltert bevor die Line in den Cache eingefügt wird.
Versuchs mal.
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 05 Dezember 2017, 20:22:39
In der angehängten Version ist ein Characterfilter eingebaut der unerwünschte Zeichen ausfiltert bevor die Line in den Cache eingefügt wird.
Versuchs mal.
Ändert leider nichts. Die Theorie war gut aber scheinbar nicht zutreffend.

Das ist eine wirklich seltsame Geschichte ...

Mit cacheLimit 10 ist es auch zu beobachten, also teste ich damit mal weiter, da ist es überschaubarer, was drin ist.

Mit:
asyncMode 1
cacheLimit 10
syncInterval 60

Ich habe einen Eintrag in den cache gepackt mit
set commonLog addLog 2017-12-06 05:15:29|Dummy|Test|TestValue: 11|TestValue|11|%

Im Log:
Zitat2017.12.06 05:21:00 3: DbLog commonLog -> added by addCacheLine - TS: 2017-12-06 05:15:29, Device: Dummy, Type: Test, Event: TestValue: 11, Reading: TestValue, Value: 11, Unit: %
2017.12.06 05:21:07 5: DbLog commonLog -> Number of cache entries reached cachelimit 10 - start database sync.
2017.12.06 05:21:07 4: DbLog commonLog -> ################################################################
2017.12.06 05:21:07 4: DbLog commonLog -> ###      New database processing cycle - asynchronous        ###
2017.12.06 05:21:07 4: DbLog commonLog -> ################################################################
2017.12.06 05:21:07 4: DbLog commonLog -> MemCache contains 10 entries to process
2017.12.06 05:21:07 4: DbLog commonLog -> DbLogType is: Current/History
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:20:59|EC3000_7CA8|EC3000|power: 0|power|0|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:00|WS1600|LACROSSE|windSpeedKMH: 1.44|windSpeedKMH|1.44|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:00|WS1600|LACROSSE|windGustKMH: 4.68|windGustKMH|4.68|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:15:29|Dummy|Test|TestValue: 11|TestValue|11|%
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:01|EC3000_HMS|EC3000|power: 8.9|power|8.9|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:02|EC3000_9EE4|EC3000|power: 1.6|power|1.6|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:04|EC3000_7CA8|EC3000|consumption: 57.153|consumption|57.153|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:04|EC3000_7CA8|EC3000|power: 1|power|1|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:06|EC3000_HMS|EC3000|power: 6.8|power|6.8|
2017.12.06 05:21:07 5: DbLog commonLog -> MemCache contains: 2017-12-06 05:21:07|EC3000_9EE4|EC3000|power: 1.7|power|1.7|
2017.12.06 05:21:07 5: DbLog commonLog -> DbLog_PushAsync called with timeout: 86400
2017.12.06 05:21:07 5: DbLog commonLog -> Start DbLog_PushAsync
2017.12.06 05:21:07 5: DbLog commonLog -> DbLogType is: Current/History
2017.12.06 05:21:07 4: DbLog commonLog -> AutoCommit mode: ON
2017.12.06 05:21:07 5: DbLog commonLog -> Primary Key used in /opt/fhem/dbLog/commonLog.db.history: none
2017.12.06 05:21:07 5: DbLog commonLog -> Primary Key used in /opt/fhem/dbLog/commonLog.db.current: none
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:20:59, Device: EC3000_7CA8, Type: EC3000, Event: power: 0, Reading: power, Value: 0, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:00, Device: WS1600, Type: LACROSSE, Event: windSpeedKMH: 1.44, Reading: windSpeedKMH, Value: 1.44, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:00, Device: WS1600, Type: LACROSSE, Event: windGustKMH: 4.68, Reading: windGustKMH, Value: 4.68, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:15:29, Device: Dummy, Type: Test, Event: TestValue: 11, Reading: TestValue, Value: 11, Unit: %
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:01, Device: EC3000_HMS, Type: EC3000, Event: power: 8.9, Reading: power, Value: 8.9, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:02, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.6, Reading: power, Value: 1.6, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:04, Device: EC3000_7CA8, Type: EC3000, Event: consumption: 57.153, Reading: consumption, Value: 57.153, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:04, Device: EC3000_7CA8, Type: EC3000, Event: power: 1, Reading: power, Value: 1, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:06, Device: EC3000_HMS, Type: EC3000, Event: power: 6.8, Reading: power, Value: 6.8, Unit:
2017.12.06 05:21:07 5: DbLog commonLog -> processing event Timestamp: 2017-12-06 05:21:07, Device: EC3000_9EE4, Type: EC3000, Event: power: 1.7, Reading: power, Value: 1.7, Unit:
2017.12.06 05:21:07 4: DbLog commonLog -> 10 of 10 events inserted into table history
2017.12.06 05:21:07 4: DbLog commonLog -> insert history committed
2017.12.06 05:21:07 4: DbLog commonLog -> 10 events inserted or replaced in table current
2017.12.06 05:21:07 4: DbLog commonLog -> insert or update current committed
2017.12.06 05:21:07 5: DbLog commonLog -> DbLog_PushAsync finished
2017.12.06 05:21:07 5: DbLog commonLog -> Start DbLog_PushAsyncDone
2017.12.06 05:21:07 5: DbLog commonLog -> DbLog_PushAsyncDone finished

Und der Datensatz ist nicht in der current angekommen.
Wenn ich mir die 10 cache-Einträge so anschaue, ist an denen aber nichts verdächtig, die sehen doch gut aus.
Zumindest belegt dieser Test nun endgültig, dass es mit MAX nichts zu tun hat.

Kann es sein, dass der insert generell dann nicht klappt, wenn andere Datensätzte aus dem cache ein update erfahren?
Ich bin noch nicht ganz sicher, aber gewinne langsam den Eindruck, dass es immer dann funktioniert, wenn im cache nur neue readings sind.

DS_Starter

ZitatKann es sein, dass der insert generell dann nicht klappt, wenn andere Datensätzte aus dem cache ein update erfahren?
Ich bin noch nicht ganz sicher, aber gewinne langsam den Eindruck, dass es immer dann funktioniert, wenn im cache nur neue readings sind.
Nein, kann eigentlich nicht sein. Das habe ich noch nicht festgestellt, aber ich mache unter dem Gesichtspunkt bei mir mal ein paar Tests und prüfe genauer auf diesen Aspekt.
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

So, jetzt habe ich umfangreiche Tests gemacht und das Ergebnis heißt ... du hast recht, so ist es !

Allerdings gilt das, mal wieder, nur für SQLite. Bei MYSQL/MariaDB/Postegre klappt das einwandfrei.
Deswegen ist es mir auch nicht aufgefallen.

Problem erkannt würde ich sagen.
Ich baue an der Lösung ...

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Zitat von: DS_Starter am 06 Dezember 2017, 09:34:25
Problem erkannt würde ich sagen.
Ich baue an der Lösung ...
Mann, bin ich froh. Ich dachte schon, dass ich hier Mist baue und es nicht merke ...

Lass Dir Zeit, das eilt nicht, ich habe ja eine Lösung, wie ich das, was ich gerade mal in der current brauche, hineinbekomme.

DS_Starter

ZitatMann, bin ich froh. Ich dachte schon, dass ich hier Mist baue und es nicht merke ...
Kommt mir sehr bekannt vor ...  ;)

Habe auch schon die Lösung gefunden und erfolgreich getestet. Auch mit den anderen Typen.

Jetzt mache ich die neue Version aber erstmal rund, teste sie nochmals und stelle sie dir hier zur Verfügung.
Wenn dann alles klappt, checke ich sie ein.

Melde mich ...

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Hi,

habe nach intensiven Test und entsprechenden Umbauten die Version hier zum Download eingestellt:

https://forum.fhem.de/index.php/topic,65860.msg727105.html#msg727105

Bitte schau mal ob wir das Problem jetzt erledigt haben.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

HCS

Hi, gerade erst zum Testen gekommen.

Jaaaaaaa, es funktioniert.  8)

DS_Starter

:D ... falls dir noch etwas auffallen sollte gib bitte Bescheid. Ansonsten checke ich die Version am WE ein.

LG
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter