93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)

[frober]

Nein, die Daten sind von heute. War auf die schnelle mit dem Tablet.

Hier vom 25.09.

2019-09-25_00:30:00 -9.22337e+18
2019-09-25_01:30:00 0
2019-09-25_02:30:00 0
2019-09-25_03:30:00 0
2019-09-25_04:30:00 0.3
2019-09-25_05:30:00 0
2019-09-25_06:30:00 0
2019-09-25_07:30:00 0
2019-09-25_08:30:00 0
2019-09-25_09:30:00 0
2019-09-25_10:30:00 0
2019-09-25_11:30:00 0.2
2019-09-25_12:30:00 0
2019-09-25_13:30:00 0
2019-09-25_14:30:00 0
2019-09-25_15:30:00 1.3
2019-09-25_16:30:00 0
2019-09-25_17:30:00 0
2019-09-25_18:30:00 0
2019-09-25_19:30:00 2.1
2019-09-25_20:30:00 0.5
2019-09-25_21:30:00 0
2019-09-25_22:30:00 0
2019-09-25_23:30:00 0
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]*).*/$1/eg
2019-09-25_12:00:00 -9.22337e+18

Verbose 5 habe ich als Datei angehängt, sind zu viele Daten.
Und ein paar Bilder.

Hier noch der 06.10. Bild im Anhang

2019-10-06_00:30:00 -1.84467e+19
2019-10-06_01:30:00 0
2019-10-06_02:30:00 0
2019-10-06_03:30:00 0
2019-10-06_04:30:00 0
2019-10-06_05:30:00 0
2019-10-06_06:30:00 0
2019-10-06_07:30:00 0
2019-10-06_08:30:00 9.22337e+18
2019-10-06_09:30:00 0.5
2019-10-06_10:30:00 2.3
2019-10-06_11:30:00 1
2019-10-06_12:30:00 1.8
2019-10-06_13:30:00 1.5
2019-10-06_14:30:00 2
2019-10-06_15:30:00 0.5
2019-10-06_16:30:00 0.3
2019-10-06_17:30:00 2
2019-10-06_18:30:00 0.8
2019-10-06_19:30:00 1.3
2019-10-06_20:30:00 3.3
2019-10-06_21:30:00 0.8
2019-10-06_22:30:00 0
2019-10-06_23:30:00 0
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]*).*/$1/eg
2019-10-06_12:00:00 -9.22337e+18

Ich habe einige Tage mit und ohne Regen durchgeschaut, die -9.22337e+18 o.ä. ist jedes Mal vorhanden.

Gruß Bernd

[frober]

Hier noch Verbose 5 vom 06.10.

[DS_Starter]

Das ist was :

2019.10.09 22:04:31 4: DbLog logdb -> ################################################################
2019.10.09 22:04:31 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.10.09 22:04:31 4: DbLog logdb -> ################################################################
2019.10.09 22:04:31 4: DbLog logdb -> main PID: 5757, secondary PID: 5757
2019.10.09 22:04:31 4: logdb - Processing Statement:
SELECT Z.TIMESTAMP, Z.DEVICE, Z.READING, Z.VALUE from (SELECT DATE_FORMAT(TIMESTAMP, '%Y-%m-%d %H:%i:%s') AS TIMESTAMP,
                    DEVICE AS DEVICE,
                    READING AS READING,
                    VALUE AS VALUE FROM history WHERE 1=1 AND DEVICE  = 'KS300' AND READING = 'data' AND TIMESTAMP < STR_TO_DATE('2019-10-06 00:00:00', '%Y-%m-%d %H:%i:%s') AND TIMESTAMP > DATE_SUB(STR_TO_DATE('2019-10-06 00:00:00', '%Y-%m-%d %H:%i:%s'),INTERVAL 1 DAY) ORDER BY TIMESTAMP DESC LIMIT 1 ) AS Z
                   UNION ALL SELECT
                   MAX(DATE_FORMAT(TIMESTAMP, '%Y-%m-%d %H:%i:%s')) AS TIMESTAMP,
                   MAX(DEVICE) AS DEVICE,
                   MAX(READING) AS READING,
                   MAX(VALUE)
                    FROM history WHERE 1=1 AND DEVICE  = 'KS300' AND READING = 'data' AND TIMESTAMP >= STR_TO_DATE('2019-10-06 00:00:00', '%Y-%m-%d %H:%i:%s') AND TIMESTAMP <= STR_TO_DATE('2019-10-07 00:00:00', '%Y-%m-%d %H:%i:%s') GROUP BY DATE_FORMAT(TIMESTAMP, '%Y-%m-%d %H') ORDER BY TIMESTAMP
2019.10.09 22:04:31 5: logdb - SQL-result -> TS: 2019-10-06 08:59:45, DEV: KS300, RD: data, VAL: T: 8.5  H: 90  W: 0.0  R: 1698.6  IR: no  Wi: 0
2019.10.09 22:04:31 5: logdb - Output delta-h -> TS: 08, LASTTS: 00, OUTTS: 2019-10-06 00:30:00, OUTVAL: -1.84467e+19
2019.10.09 22:04:31 5: logdb - SQL-result -> TS: 2019-10-06 09:50:36, DEV: KS300, RD: data, VAL: T: 8.6  H: 91  W: 0.0  R: 1699.1

Ich muss mir das in Ruhe anschauen. Kannst du mir noch aktuelle Daten exportieren die ich in meine DB importieren kann ?

[DS_Starter]

Bei mir kommt das übrigens nicht (preprocessed input):

Code Auswählen Erweitern


get myProxy1 CURRENT INT 2019-09-24_00:00:00 2019-09-24_23:59:59 DbLog:LogDB:KS300:data::delta-h:$val=~s/.*\sR..([\d.]+)\s.*/$1/eg DbLog:LogDB:KS300:data::delta-d:$val=~s/.*\sR..([\d.]+)\s.*/$1/eg

2019-09-24_00:30:00 0
2019-09-24_01:30:00 0
2019-09-24_02:30:00 0
2019-09-24_03:30:00 0
2019-09-24_04:30:00 0
2019-09-24_05:30:00 0
2019-09-24_06:30:00 0
2019-09-24_07:30:00 0
2019-09-24_08:30:00 0
2019-09-24_09:30:00 0
2019-09-24_10:30:00 0
2019-09-24_11:30:00 0
2019-09-24_12:30:00 0
2019-09-24_13:30:00 0
2019-09-24_14:30:00 0
2019-09-24_15:30:00 0
2019-09-24_16:30:00 0
2019-09-24_17:30:00 0
2019-09-24_18:30:00 0.5
2019-09-24_19:30:00 0.8
2019-09-24_20:30:00 0.5
2019-09-24_21:30:00 0.2
2019-09-24_22:30:00 0.5
2019-09-24_23:30:00 0
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]+)\s.*/$1/eg
2019-09-24_12:00:00 2.5
#KS300:data::delta-d:$val=~s/.*\sR..([\d.]+)\s.*/$1/eg


[frober]

Ich muss mir das in Ruhe anschauen. Kannst du mir noch aktuelle Daten exportieren die ich in meine DB importieren kann ?

Heute Abend....
Da es fast täglich regnet, werde ich dir einen längeren Zeitraum exportieren.

Gruß Bernd

P.S. werde die Daten beim ex-, importieren, eventuell verändert String/numerisch etc.?
Oder gibt es bezgl. SQL Installation/Konfiguration Unterschiede?
Ich werde mal SQLite auf den Testsystem benutzen...

[frober]

So, mal wieder der selbe Mist. 
Bei SQlite auf dem Testsystem ist alles TOP:

2019-10-10_00:30:00 0
2019-10-10_01:30:00 0
2019-10-10_02:30:00 0.7
2019-10-10_03:30:00 0.3
2019-10-10_04:30:00 0
2019-10-10_05:30:00 0
2019-10-10_06:30:00 1.3
2019-10-10_07:30:00 0.5
2019-10-10_08:30:00 0.2
2019-10-10_09:30:00 0.3
2019-10-10_10:30:00 0
2019-10-10_11:30:00 0
2019-10-10_12:30:00 0
2019-10-10_13:30:00 0
2019-10-10_14:30:00 0.2
2019-10-10_15:30:00 0
2019-10-10_16:30:00 0
2019-10-10_17:30:00 1.8
2019-10-10_18:30:00 0
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]*).*/$1/eg
2019-10-10_12:00:00 5.3
#KS300:data::delta-d:$val=~s/.*\sR..([\d.]*).*/$1/eg

Die ex. Daten sind im Anhang.

Die Konfig. bis auf die Datenbank ist auf beiden Systemen gleich.

Welche Datenbank nutzt du eigentlich?

Grüße Bernd

[frober]

Da fällt mir noch ein, logproxy hatte ich vor der aktuellen Änderung komplett aus dem gplot-File entfernt.
Das hatte keine Auswirkung.

[DS_Starter]

Hi Bernd,

Welche Datenbank nutzt du eigentlich?

Produktiv nutze ich MySQL/MariaDB. Aber zum Testen habe ich alles zur Verfügung, auch SQLite und Postgre.
Den Test bei mir habe ich mit MariaDB gemacht.

Naja, werden wir schon hinkriegen ...

[DS_Starter]

Habe deine Daten importiert und läuft auf meiner MariaDB astrein.
Einerseits gut, hilft mir bloß nicht. 
Hmm, mal weiterschauen ...

[DS_Starter]

Ich habe etwas justiert und bei mir getestet. Es hat zunächst keinerlei negativen Einfluß.
Jetzt kommt es nur noch darauf an, dass es bei dir funktioniert.

Bei dieser Testversion wirst du im Log so etwas sehen wenn ein SVG aufgerufen wird:

Code Auswählen Erweitern


2019.10.10 22:05:43.029 1: LogDB1 - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.10 22:05:43.275 1: LogDB1 - Maxval result: 1727.4 , Minval result: 1727.4
2019.10.10 22:05:43.276 1: LogDB1 - Maxval result: 1727.4 , Minval result: 1727.4
2019.10.10 22:05:43.277 1: LogDB1 - Maxval result: 1728.1 , Minval result: 1727.4
2019.10.10 22:05:43.278 1: LogDB1 - Maxval result: 1728.4 , Minval result: 1728.1
2019.10.10 22:05:43.279 1: LogDB1 - Maxval result: 1728.4 , Minval result: 1728.4
2019.10.10 22:05:43.280 1: LogDB1 - Maxval result: 1728.4 , Minval result: 1728.4
2019.10.10 22:05:43.280 1: LogDB1 - Maxval result: 1729.7 , Minval result: 1728.4
2019.10.10 22:05:43.281 1: LogDB1 - Maxval result: 1730.2 , Minval result: 1729.7
2019.10.10 22:05:43.282 1: LogDB1 - Maxval result: 1730.4 , Minval result: 1730.2
2019.10.10 22:05:43.282 1: LogDB1 - Maxval result: 1730.7 , Minval result: 1730.4
2019.10.10 22:05:43.283 1: LogDB1 - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.10 22:05:43.283 1: LogDB1 - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.10 22:05:43.284 1: LogDB1 - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.10 22:05:43.284 1: LogDB1 - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.10 22:05:43.285 1: LogDB1 - Maxval result: 1730.9 , Minval result: 1730.7
2019.10.10 22:05:43.285 1: LogDB1 - Maxval result: 1730.9 , Minval result: 1730.9
2019.10.10 22:05:43.286 1: LogDB1 - Maxval result: 1732.7 , Minval result: 1730.9
2019.10.10 22:05:43.288 1: LogDB1 - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807


Das kommt dann wieder raus, will nur wissen was bei dir ausgedruckt wird.
Liegt im contrib.

Grüße,
Heiko

[frober]

Hallo Heiko,

hier das Log für den 10.10.

2019.10.11 18:26:49 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.11 18:26:49 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.11 18:26:49 1: logdb - Maxval result: 1727.4 , Minval result: 9223372036854775807
2019.10.11 18:26:49 1: logdb - Maxval result: 1727.4 , Minval result: 1727.4
2019.10.11 18:26:49 1: logdb - Maxval result: 1728.1 , Minval result: 1727.4
2019.10.11 18:26:49 1: logdb - Maxval result: 1728.4 , Minval result: 1728.1
2019.10.11 18:26:49 1: logdb - Maxval result: 1728.4 , Minval result: 1728.4
2019.10.11 18:26:49 1: logdb - Maxval result: 1728.4 , Minval result: 1728.4
2019.10.11 18:26:49 1: logdb - Maxval result: 1729.7 , Minval result: 1728.4
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.2 , Minval result: 1729.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.4 , Minval result: 1730.2
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.7 , Minval result: 1730.4
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.7 , Minval result: 1730.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.9 , Minval result: 1730.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1730.9 , Minval result: 1730.9
2019.10.11 18:26:49 1: logdb - Maxval result: 1732.7 , Minval result: 1730.9
2019.10.11 18:26:49 1: logdb - Maxval result: 1732.7 , Minval result: 1732.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1732.7 , Minval result: 1732.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1732.7 , Minval result: 1732.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1732.7 , Minval result: 1732.7
2019.10.11 18:26:49 1: logdb - Maxval result: 1732.7 , Minval result: 1732.7
2019.10.11 18:26:49 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.11 18:26:49 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807

Bei delta-h sind um 00:30 keine Daten 

2019-10-10_00:30:00 
2019-10-10_01:30:00 0
2019-10-10_02:30:00 0.7
2019-10-10_03:30:00 0.3
2019-10-10_04:30:00 0
2019-10-10_05:30:00 0
2019-10-10_06:30:00 1.3
2019-10-10_07:30:00 0.5
2019-10-10_08:30:00 0.2
2019-10-10_09:30:00 0.3
2019-10-10_10:30:00 0
2019-10-10_11:30:00 0
2019-10-10_12:30:00 0
2019-10-10_13:30:00 0
2019-10-10_14:30:00 0.2
2019-10-10_15:30:00 0
2019-10-10_16:30:00 0
2019-10-10_17:30:00 1.8
2019-10-10_18:30:00 0
2019-10-10_19:30:00 0
2019-10-10_20:30:00 0
2019-10-10_21:30:00 0
2019-10-10_22:30:00 0
2019-10-10_23:30:00 0
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]*).*/$1/eg
2019-10-10_12:00:00 -9.22337e+18
#KS300:data::delta-d:$val=~s/.*\sR..([\d.]*).*/$1/eg

für den 06.10.

2019-10-06_00:30:00 0
2019-10-06_01:30:00 0
2019-10-06_02:30:00 0
2019-10-06_03:30:00 0
2019-10-06_04:30:00 0
2019-10-06_05:30:00 0
2019-10-06_06:30:00 0
2019-10-06_07:30:00 0
2019-10-06_08:30:00 9.22337e+18
2019-10-06_09:30:00 0.5
2019-10-06_10:30:00 2.3
2019-10-06_11:30:00 1
2019-10-06_12:30:00 1.8
2019-10-06_13:30:00 1.5
2019-10-06_14:30:00 2
2019-10-06_15:30:00 0.5
2019-10-06_16:30:00 0.3
2019-10-06_17:30:00 2
2019-10-06_18:30:00 0.8
2019-10-06_19:30:00 1.3
2019-10-06_20:30:00 3.3
2019-10-06_21:30:00 0.8
2019-10-06_22:30:00 0
2019-10-06_23:30:00 0
#KS300:data::delta-h:$val=~s/.*\sR..([\d.]*).*/$1/eg
2019-10-06_12:00:00 -9.22337e+18
#KS300:data::delta-d:$val=~s/.*\sR..([\d.]*).*/$1/eg

2019.10.11 18:36:19 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.11 18:36:19 1: logdb - Maxval result: -9223372036854775807 , Minval result: 9223372036854775807
2019.10.11 18:36:19 1: logdb - Maxval result: 1698.6 , Minval result: -9223372036854775807
2019.10.11 18:36:19 1: logdb - Maxval result: 1699.1 , Minval result: 1698.6
2019.10.11 18:36:19 1: logdb - Maxval result: 1701.4 , Minval result: 1699.1
2019.10.11 18:36:19 1: logdb - Maxval result: 1702.4 , Minval result: 1701.4
2019.10.11 18:36:19 1: logdb - Maxval result: 1704.2 , Minval result: 1702.4
2019.10.11 18:36:19 1: logdb - Maxval result: 1705.7 , Minval result: 1704.2
2019.10.11 18:36:19 1: logdb - Maxval result: 1707.7 , Minval result: 1705.7
2019.10.11 18:36:19 1: logdb - Maxval result: 1708.2 , Minval result: 1707.7
2019.10.11 18:36:19 1: logdb - Maxval result: 1708.5 , Minval result: 1708.2
2019.10.11 18:36:19 1: logdb - Maxval result: 1710.5 , Minval result: 1708.5
2019.10.11 18:36:19 1: logdb - Maxval result: 1711.3 , Minval result: 1710.5
2019.10.11 18:36:19 1: logdb - Maxval result: 1712.6 , Minval result: 1711.3
2019.10.11 18:36:19 1: logdb - Maxval result: 1715.9 , Minval result: 1712.6
2019.10.11 18:36:19 1: logdb - Maxval result: 1716.7 , Minval result: 1715.9
2019.10.11 18:36:19 1: logdb - Maxval result: 1716.7 , Minval result: 1716.7
2019.10.11 18:36:19 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.11 18:36:19 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807

Sieht schon etwas besser aus..
Die erste und letzte Zeile vom Log ist doppelt, variiert jedoch zu Teil.

Gruß Bernd

[DS_Starter]

Hallo Bernd,

bitte teste nochmal mit der neuen Version aus dem contrib.
Ich verstehe ehrlich nicht wieso bei dir minval nicht gleichermaßen wie maxval ersetzt wird zu Beginn.

Code Auswählen Erweitern

2019.10.11 18:26:49 1: logdb - Maxval result: 1727.4 , Minval result: 9223372036854775807

Vielleicht wird es jetzt deutlicher.

Grüße,
Heiko

[frober]

Hallo Heiko,

die Logs habe ich angehängt.

Gruß Bernd

[DS_Starter]

Hallo Bernd,

danke für die Logs.

2019.10.12 10:57:53 4: DbLog logdb -> ################################################################
2019.10.12 10:57:53 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.10.12 10:57:53 4: DbLog logdb -> ################################################################
2019.10.12 10:57:53 4: DbLog logdb -> main PID: 23866, secondary PID: 23866
2019.10.12 10:57:53 1: logdb - Init Maxval: -9223372036854775807 , Init Minval: 9223372036854775807
2019.10.12 10:57:53 4: logdb - Processing Statement:
SELECT Z.TIMESTAMP, Z.DEVICE, Z.READING, Z.VALUE from (SELECT DATE_FORMAT(TIMESTAMP, '%Y-%m-%d %H:%i:%s') AS TIMESTAMP,
                    DEVICE AS DEVICE,
                    READING AS READING,
                    VALUE AS VALUE FROM history WHERE 1=1 AND DEVICE  = 'KS300' AND READING = 'data' AND TIMESTAMP < STR_TO_DATE('2019-10-10 00:00:00', '%Y-%m-%d %H:%i:%s') AND TIMESTAMP > DATE_SUB(STR_TO_DATE('2019-10-10 00:00:00', '%Y-%m-%d %H:%i:%s'),INTERVAL 1 DAY) ORDER BY TIMESTAMP DESC LIMIT 1 ) AS Z
                   UNION ALL SELECT
                   MAX(DATE_FORMAT(TIMESTAMP, '%Y-%m-%d %H:%i:%s')) AS TIMESTAMP,
                   MAX(DEVICE) AS DEVICE,
                   MAX(READING) AS READING,
                   MAX(VALUE)
                    FROM history WHERE 1=1 AND DEVICE  = 'KS300' AND READING = 'data' AND TIMESTAMP >= STR_TO_DATE('2019-10-10 00:00:00', '%Y-%m-%d %H:%i:%s') AND TIMESTAMP <= STR_TO_DATE('2019-10-11 00:00:00', '%Y-%m-%d %H:%i:%s') GROUP BY DATE_FORMAT(TIMESTAMP, '%Y-%m-%d %H') ORDER BY TIMESTAMP
2019.10.12 10:57:53 5: logdb - SQL-result -> TS: 2019-10-10 00:51:27, DEV: KS300, RD: data, VAL: T: 9.0  H: 92  W: 0.0  R: 1727.4  IR: no  Wi: 0
2019.10.12 10:57:53 1: logdb - SQL-result -> TS: 2019-10-10 00:51:27, DEV: KS300, RD: data, VAL: T: 9.0  H: 92  W: 0.0  R: 1727.4  IR: no  Wi: 0
2019.10.12 10:57:53 5: logdb - SQL-result -> TS: 2019-10-10 01:54:59, DEV: KS300, RD: data, VAL: T: 8.9  H: 92  W: 0.0  R: 1727.4  IR: no  Wi: 0
2019.10.12 10:57:53 1: logdb - SQL-result -> TS: 2019-10-10 01:54:59, DEV: KS300, RD: data, VAL: T: 8.9  H: 92  W: 0.0  R: 1727.4  IR: no  Wi: 0
2019.10.12 10:57:53 1: logdb - delta-h - TS result: 2019-10-10 00:30:00 , Maxval result: 1727.4 , Minval result: 1727.4 , WRITEOUT: 1
2019.10.12 10:57:53 5: logdb - Output delta-h -> TS: 01, LASTTS: 00, OUTTS: 2019-10-10 00:30:00, OUTVAL: -9.22337e+18

Ich hoffe, ich komme damit weiter. Schaue ich mir heute Abend an. Will jetzt erst einmal diesen wunderschönen Tag in der Natur verbringen.
Nebenbei ... deine Graphen müssten jetzt meiner Meinung nach aber ok aussehen ?

LG,
Heiko

[frober]

Leider sind die Grafiken noch nicht ok, um 00:30 sind die Balken noch da.