93_DbLog - Überlegungen zur Optimierung (RPI und andere Systeme)

[DS_Starter]

Kleiner gedanken noch: Sollte man beim Index ggf. auch auf den DbRep-Index prüfen, wenn das Modul DbRep genutzt wird?

Ja, ich schau mal ob/wie ich das hinbekomme.

LG
Heiko

[DS_Starter]

Hallo zusammen,

anbei die V 2.18.2 mit der ebenfalls der DbRep-Index geprüft wird wenn dieses Modul genutzt wird.
(checkConfig ist z.Zt. verfügbar für MySQL, PostgreSQL)

Grüße
Heiko

[DeeSPe]

Gaaaaanz großes Lob für configCheck!
Sehr übersichtlich und informativ!
Hat ein paar Minuten bei mir gedauert das VALUE auf 128 zu altern.
Nun ist aber alles chic...

Danke Heiko für die Umsetzung dieses sehr nützlichen Features!

Gruß
Dan

[SusisStrolch]

Prima! Sehr schön.

Ich hätte da eine Idee (Wunsch): Maintenance Modus für DbLog

Bei größeren Datenbanken (hmm - genauer - bei den 11GB auf meiner Synology) können DB-Operationen doch schon mal mehrere Stunden dauern.
(Das letzte Anlegen eines Index hat ca 10Std. gedauert  - Ursache habe ich noch nicht gefunden  )

Ablauf:
CURRENT wird in einer eigenen Datenbank gehalten (bspw. SQLite).
Sobald DbLog in den Maintenance-Modus gesetzt wird, wird  nur noch CURRENT zum Schreiben / Lesen verwendet.
Nach dem Deaktivieren werden die Daten aus CURRENT nach HISTORY kopiert und CURRENT wieder "normal" verwendet.

[JoeALLb]

@SusisStrolch: Hast Du dir den async-Modus angesehen?
Der speichert die Daten im RAM. Das geht auch über 10 Stunden.
Um die Daten auch bei einem Stromausfall abzusichern kannst Du ja alle 10 Minuten per doif ein exportCache machen und die Daten in einer Datei zwischenspeichern.

[SusisStrolch]

Nun, genau das mit den 10Std ging ja leider nicht, sonst wäre ich nicht auf diese Idee gekommen.

Code Auswählen Erweitern

defmod logdb DbLog ./contrib/dblog/db.conf .*:.*
attr logdb DbLogExclude .*
attr logdb DbLogType Current/History
attr logdb asyncMode 1
attr logdb cacheEvents 2
attr logdb colEvent 512
attr logdb colReading 64
attr logdb colValue 64
attr logdb event-on-change-reading CacheUsage,background_processing_time
attr logdb icon security
attr logdb room DbLog
attr logdb showNotifyTime 1
attr logdb showproctime 1
attr logdb timeout 1800
attr logdb verbose 3


Ich hatte zwei Operationen auf die Datenbank gestartet (via mysql):

Code Auswählen Erweitern

CREATE INDEX Search_Idx ON `history` (DEVICE, READING, TIMESTAMP);
alter table history modify DEVICE varchar(64);

Die Erste war nach ca. 10Std fertig. Während dieser Phase wurde so ca. alle 30min (== timeout?) ein einzelner Wert weggeschrieben.
Nach dem "CREATE INDEX" wurden die gecachten Daten weitgehendst geschrieben - allerding nicht mit dem Timestamp als der Event auftrat.
Beim "alter table" wurde wieder nur alle 30s ein Wert weggeschrieben.

Daher eben die Idee mit "CURRENT", damit die Timestamps des Event beibehalten werden.

[JoeALLb]

Ich verstehe das Problem nicht, in meinem Test geht es problemlos. Kannst Du details schicken?

[SusisStrolch]

Jo - hier ein Export aus dem fraglichen Zeitraum:

Code Auswählen Erweitern

| 2017-07-13 13:11:37 | Waermepumpe_Umwaelzung        | ESPEASY         | Del: 0.0 Pum: 0.0 Rue: 18.6 Vor: 23.1                            | Del                   | 0.0 Pum: 0.0 Rue: 18.6 Vor: 23.1 |              |
| 2017-07-13 13:11:37 | Waermepumpe_Umwaelzung        | ESPEASY         | Delta: 0.0                                                       | Delta                 | 0.0                              |              |
| 2017-07-13 13:11:37 | Waermepumpe_Umwaelzung        | ESPEASY         | Pumpe: 0.0                                                       | Pumpe                 | 0.0                              |              |
| 2017-07-13 13:11:37 | Waermepumpe_Umwaelzung        | ESPEASY         | Ruecklauf: 18.6                                                  | Ruecklauf             | 18.6                             |              |
| 2017-07-13 13:11:37 | Waermepumpe_Umwaelzung        | ESPEASY         | Vorlauf: 23.1                                                    | Vorlauf               | 23.1                             |              |
| 2017-07-13 13:11:38 | ESPEasy.BME280                | ESPEASY         | temperature.bme280: 22.34                                        | temperature.bme280    | 22.34                            | °C          |
| 2017-07-13 13:12:08 | LCG.Outdoor                   | LACROSSEGATEWAY | humidity: 65                                                     | humidity              | 65                               | %            |
| 2017-07-13 13:42:09 | ESPEasy.DHT22                 | ESPEASY         | temperature.dht22: 21.6                                          | temperature.dht22     | 21.6                             | °C          |
| 2017-07-13 14:12:09 | Verbrauch.Homeoffice          | EC3000          | power: 111.8                                                     | power                 | 111.8                            |              |
| 2017-07-13 14:42:13 | Verbrauch.Lab                 | EC3000          | power: 9.2                                                       | power                 | 9.2                              |              |
| 2017-07-13 15:12:13 | LCG.Lab.BME280                | LACROSSE        | dewpoint: 7.6                                                    | dewpoint              | 7.6                              |              |
| 2017-07-13 15:42:13 | FritzBox                      | FRITZBOX        | user18_thisMonthTime: 12d 0:54                                   | user18_thisMonthTime  | 12d 0:54                         |              |
| 2017-07-13 16:12:16 | Verbrauch.Lab                 | EC3000          | power: 9.3                                                       | power                 | 9.3                              |              |
| 2017-07-13 16:42:18 | Umwaelzung_sysinfo            | ESPEASY         | RSSI: -88.00                                                     | RSSI                  | -88.00                           |              |
| 2017-07-13 17:12:16 | Verbrauch.Lab                 | EC3000          | power: 9.3                                                       | power                 | 9.3                              |              |
| 2017-07-13 18:11:01 | Umwaelzung_sysinfo            | ESPEASY         | RSSI: -86.00                                                     | RSSI                  | -86.00                           |              |
| 2017-07-13 18:12:17 | Verbrauch.Multimedia          | EC3000          | power: 22.1                                                      | power                 | 22.1                             |              |
| 2017-07-13 18:42:18 | ESPEasy.DHT22                 | ESPEASY         | deltaT: 0.29                                                     | deltaT                | 0.29                             |              |
| 2017-07-13 19:12:19 | ESPEasy.BME280                | ESPEASY         | humidity.bme280: 37.1356121977295                                | humidity.bme280       | 37.1356121977295                 | %            |
| 2017-07-13 19:42:20 | Verbrauch.Lab                 | EC3000          | power: 9.4                                                       | power                 | 9.4                              |              |
| 2017-07-13 20:12:23 | LCG.Lab.BME280                | LACROSSE        | temperature: 22.7                                                | temperature           | 22.7                             | °C          |
| 2017-07-13 20:42:24 | Thermostat.Esszimmer          | FBDECT          | temperature: 21.5 C (measured)                                   | temperature           | 21.5                             | C (measured) |
| 2017-07-13 21:12:26 | Verbrauch.Lab                 | EC3000          | power: 9.4                                                       | power                 | 9.4                              |              |
| 2017-07-13 21:42:26 | LCG.Garten.BME280             | LACROSSE        | humidity: 60                                                     | humidity              | 60                               | %            |
| 2017-07-13 22:12:27 | ESPEasy.DHT22                 | ESPEASY         | temperature.dht22: 21.9                                          | temperature.dht22     | 21.9                             | °C          |
| 2017-07-13 22:42:26 | ESPEasy.DHT22                 | ESPEASY         | deltaT: 0.01                                                     | deltaT                | 0.01                             |              |
| 2017-07-13 23:12:28 | ESPEasy.DHT22                 | ESPEASY         | deltaT: -0.04                                                    | deltaT                | -0.04                            |              |
| 2017-07-13 23:12:28 | ESPEasy.DHT22                 | ESPEASY         | hum: 43.8 tem: 21.7                                              | hum                   | 43.8 tem                         | 21.7         |
| 2017-07-13 23:12:28 | ESPEasy.DHT22                 | ESPEASY         | temperature.dht22: 21.7                                          | temperature.dht22     | 21.7                             | °C          |
| 2017-07-13 23:12:28 | ESPEasy.ESP_Proto_4MB         | ESPEASY         | temperature.dht22: 21.7                                          | temperature.dht22     | 21.7                             | °C          |
| 2017-07-13 23:12:28 | Verbrauch.Homeoffice          | EC3000          | power: 77.1                                                      | power                 | 77.1                             |              |
| 2017-07-13 23:12:29 | ESPEasy.DS18B20_001D          | ESPEASY         | presence: present                                                | presence              | present                          |              |
| 2017-07-13 23:12:29 | ESPEasy.DS18B20_001D          | ESPEASY         | tem: 21.87                                                       | tem                   | 21.87                            |              |
| 2017-07-13 23:12:29 | ESPEasy_ESP_Proto_4MB_sysinfo | ESPEASY         | RSS: -62.00 upt: 2232.00                                         | RSS                   | -62.00 upt                       | 2232.00      |
| 2017-07-13 23:12:29 | ESPEasy_ESP_Proto_4MB_sysinfo | ESPEASY         | RSSI: -62.00                                                     | RSSI                  | -62.00                           |              |
| 2017-07-13 23:12:30 | ESPEasy_ESP_Proto_4MB_sysinfo | ESPEASY         | RSS: -62.00 upt: 2232.00                                         | RSS                   | -62.00 upt                       | 2232.00      |
| 2017-07-13 23:12:30 | ESPEasy_ESP_Proto_4MB_sysinfo | ESPEASY         | presence: present                                                | presence              | present                          |              |
| 2017-07-13 23:12:30 | ESPEasy_ESP_Proto_4MB_sysinfo | ESPEASY         | uptime: 2233.00                                                  | uptime                | 2233.00                          |              |
| 2017-07-13 23:12:30 | LCG.Lab.BME280                | LACROSSE        | T: 22.5 H: 43 D: 9.3                                             | T                     | 22.5 H: 43 D: 9.3                |              |
| 2017-07-13 23:12:30 | LCG.Lab.BME280                | LACROSSE        | deltaT: 0.76                                                     | deltaT                | 0.76                             |              |
| 2017-07-13 23:12:30 | LCG.Lab.BME280                | LACROSSE        | dewpoint: 9.3                                                    | dewpoint              | 9.3                              |              |
| 2017-07-13 23:12:30 | LCG.Lab.BME280                | LACROSSE        | temperature: 22.5                                                | temperature           | 22.5                             | °C          |
| 2017-07-13 23:12:30 | Verbrauch.Lab                 | EC3000          | power: 9.2                                                       | power                 | 9.2                              |              |
| 2017-07-13 23:12:30 | Verbrauch.Multimedia          | EC3000          | power: 115.8                                                     | power                 | 115.8                            |              |
| 2017-07-13 23:12:37 | Thermostat.Arbeitszimmer      | FBDECT          | temperature: 22.0 C (measured)                                   | temperature           | 22.0                             | C (measured) |
| 2017-07-13 23:12:37 | Thermostat.Esszimmer          | FBDECT          | temperature: 21.5 C (measured)                                   | temperature           | 21.5                             | C (measured) |
| 2017-07-13 23:12:37 | Thermostat.Wohnzimmer         | FBDECT          | temperature: 21.5 C (measured)                                   | temperature           | 21.5                             | C (measured) |
| 2017-07-13 23:12:41 | LCG.Garten.BME280             | LACROSSE        | T: 17 H: 64 D: 10.1                                              | T                     | 17 H: 64 D: 10.1                 |              |
| 2017-07-13 23:12:41 | LCG.Garten.BME280             | LACROSSE        | dewpoint: 10.1                                                   | dewpoint              | 10.1                             |              |
| 2017-07-13 23:12:41 | LCG.Garten.BME280             | LACROSSE        | humidity: 64                                                     | humidity              | 64                               | %            |
| 2017-07-13 23:12:41 | LCG.Garten.BME280             | LACROSSE        | pressure: 1020                                                   | pressure              | 1020                             |              |
| 2017-07-13 23:12:41 | LCG.Garten.BME280             | LACROSSE        | temperature: 17                                                  | temperature           | 17                               | °C          |
| 2017-07-13 23:12:41 | LCG.Lab.BME280                | LACROSSE        | T: 22.5 H: 44 D: 9.6                                             | T                     | 22.5 H: 44 D: 9.6                |              |
| 2017-07-13 23:12:41 | LCG.Lab.BME280                | LACROSSE        | deltaT: 0.76                                                     | deltaT                | 0.76                             |              |
| 2017-07-13 23:12:41 | LCG.Lab.BME280                | LACROSSE        | dewpoint: 9.6                                                    | dewpoint              | 9.6                              |              |
| 2017-07-13 23:12:41 | LCG.Lab.BME280                | LACROSSE        | temperature: 22.5                                                | temperature           | 22.5                             | °C          |
| 2017-07-13 23:12:41 | Verbrauch.Homeoffice          | EC3000          | power: 76.6                                                      | power                 | 76.6                             |              |
| 2017-07-13 23:12:41 | Verbrauch.Lab                 | EC3000          | power: 9.3                                                       | power                 | 9.3                              |              |
| 2017-07-13 23:12:41 | Verbrauch.Multimedia          | EC3000          | power: 115.8                                                     | power                 | 115.8                            |              |
| 2017-07-13 23:12:44 | ESPEasy.BME280                | ESPEASY         | deltaT: 0.49                                                     | deltaT                | 0.49                             |              |
| 2017-07-13 23:12:44 | ESPEasy.BME280                | ESPEASY         | hum: 43.17 pre: 1013.37 tem: 22.23                               | hum                   | 43.17 pre: 1013.37 tem: 22.23    |              |
| 2017-07-13 23:12:44 | ESPEasy.BME280                | ESPEASY         | temperature.bme280: 22.23                                        | temperature.bme280    | 22.23                            | °C          |
| 2017-07-13 23:12:44 | ESPEasy.DHT22                 | ESPEASY         | deltaT: -0.04                                                    | deltaT                | -0.04                            |              |
| 2017-07-13 23:12:44 | ESPEasy.DHT22                 | ESPEASY         | hum: 43.7937460661376 tem: 21.7                                  | hum                   | 43.7937460661376 tem             | 21.7         |
| 2017-07-13 23:12:44 | ESPEasy.DHT22                 | ESPEASY         | humidity.dht22: 43.7937460661376                                 | humidity.dht22        | 43.7937460661376                 | %            |
| 2017-07-13 23:12:44 | ESPEasy.DHT22                 | ESPEASY         | presence: present                                                | presence              | present                          |              |
| 2017-07-13 23:12:44 | ESPEasy.DHT22                 | ESPEASY         | temperature.dht22: 21.7                                          | temperature.dht22     | 21.7                             | °C          |
| 2017-07-13 23:12:44 | ESPEasy.DS18B20_001D          | ESPEASY         | tem: 21.87                                                       | tem                   | 21.87                            |              |
| 2017-07-13 23:12:44 | ESPEasy.ESP_Proto_4MB         | ESPEASY         | temperature.bme280: 22.23                                        | temperature.bme280    | 22.23                            | °C          |
| 2017-07-13 23:12:44 | ESPEasy.ESP_Proto_4MB         | ESPEASY         | temperature.dht22: 21.7                                          | temperature.dht22     | 21.7                             | °C          |
| 2017-07-13 23:12:44 | ESPEasy_sonoff_01_Switch      | ESPEASY         | presence: absent                                                 | presence              | absent                           |              |
| 2017-07-13 23:12:44 | Hauptzaehler                  | ESPEASY         | Gli: 194173 Pow: 2744.27 Tim: 17491 Tot: 9493                    | Gli                   | 194173 Pow: 2744.27 Tim: 17491 T |              |
| 2017-07-13 23:12:44 | Hauptzaehler                  | ESPEASY         | Glitches: 194173                                                 | Glitches              | 194173                           |              |
| 2017-07-13 23:12:44 | Hauptzaehler                  | ESPEASY         | PowerWh: 2744.27                                                 | PowerWh               | 2744.27                          |              |
| 2017-07-13 23:12:44 | Hauptzaehler                  | ESPEASY         | Time: 17491                                                      | Time                  | 17491                            |              |
| 2017-07-13 23:12:44 | Hauptzaehler                  | ESPEASY         | Total: 9493                                                      | Total                 | 9493                             |              |


Ab 23:12 trommeln die Werte herein, allerdings ohne den echten Event-Zeitpunkt zu reflektieren.

[JoeALLb]

Das sollte eigentlich korrekt gehen, mein letzter Test dies bezüglich war erfolgreich! Ich kann es nur gerade nicht testen...

Welche dbLog-Version nutzt du? Welche Datenbank?
Hast Du jemals ein Update auf die Datenbank gemacht? (bei MySQL wird aktuell ein default für Timestamp in der
Tabelle angelegt, was hie rnicht hilfreich wäre...)

[SusisStrolch]

Code Auswählen Erweitern

DbLog: Version 2.19.0
MariaDB5: Version 5.5.54-0079 (die aktuellste von Synology).

Update auf MariaDB10 steht an...

Ach ja - hab nochmal etwas selektiver in den Logs nachgeschaut. Mir sind tatsächlich alle Daten zwischen 13:11 und 23:xx abhanden gekommen, d.h. der Cache wurde nicht sauber weggeschrieben (sysinfo liefert alle 60s die Uptime...).

Code Auswählen Erweitern

2017-07-13 13:07:56 Hauptzaehler_sysinfo ESPEASY uptime: 11710.00 uptime 11710.00
2017-07-13 13:08:56 Hauptzaehler_sysinfo ESPEASY uptime: 11711.00 uptime 11711.00
2017-07-13 13:09:57 Hauptzaehler_sysinfo ESPEASY uptime: 11712.00 uptime 11712.00
2017-07-13 13:10:57 Hauptzaehler_sysinfo ESPEASY uptime: 11713.00 uptime 11713.00
2017-07-13 23:12:44 Hauptzaehler_sysinfo ESPEASY uptime: 12315.00 uptime 12315.00
2017-07-13 23:13:47 Hauptzaehler_sysinfo ESPEASY uptime: 12316.00 uptime 12316.00
2017-07-13 23:14:46 Hauptzaehler_sysinfo ESPEASY uptime: 12317.00 uptime 12317.00
2017-07-13 23:15:45 Hauptzaehler_sysinfo ESPEASY uptime: 12318.00 uptime 12318.00
2017-07-13 23:16:45 Hauptzaehler_sysinfo ESPEASY uptime: 12319.00 uptime 12319.00
2017-07-13 23:17:46 Hauptzaehler_sysinfo ESPEASY uptime: 12320.00 uptime 12320.00
2

[SusisStrolch]

Öhem - und noch was...
Ich bekomme ab und an einen seltsamen State (DbLog 2.19.0) angezeigt:

Code Auswählen Erweitern

STATE ��y�h�{�ׯz{l�{h�+-���y�h���


[DS_Starter]

Mir sind tatsächlich alle Daten zwischen 13:11 und 23:xx abhanden gekommen, d.h. der Cache wurde nicht sauber weggeschrieben (sysinfo liefert alle 60s die Uptime...).

Das liegt an den Timeouts. Setze das Attribut timeout auf einen sehr hohen Wert (z.B. 3 Tage) wenn du derart lang laufende Aktivitäten vorhast.
Der timeout soll lediglich verhindern dass ein geforkter Prozess "ewig" im System rumhängt.

Meine MariaDB  5.5.54-0079 liegt auch auf Syno. MariaDB 10 habe ich für testdevice laufen, ohne Probs.

Übrigens .... das Anlegen eines Index dauert bei meinen 1,5 GB wenige Minuten (< 5 Min) . Bei 11GB und 10 Stunden ist das schon sehr merkwürdig. Ich habe allerdings die Parametrisierug der DB dahingehend geändert, dass sie mehr RAM verwendet.

Grüße
Heiko

[SusisStrolch]

Meine MariaDB  5.5.54-0079 liegt auch auf Syno. MariaDB 10 habe ich für testdevice laufen, ohne Probs.

Hast Du auch Performance-Probleme mit dem Teil?
Wie schon gesagt braucht meine FHEM-Table (11GB) >10Std. um einen Index zu generieren.
(Ich geb' zu dass ich da mal aufräumen müsste...)

[DS_Starter]

Hatte ich gerade oben noch ergänzt ... Index geht bei mir recht schnell....

[SusisStrolch]

Nun, meine 1515+ hat 16GB Memory, und ich habe die Buffers auf 1GB gesetzt.

Code Auswählen Erweitern

aria_pagecache_buffer_size = 1G
innodb_buffer_pool_size = 1G

Kannst Du mal Deine my.conf hier reinlegen, damit ich bei mir nachtrimmen kann?

Ich tue mir ein wenig schwer die korrekten Tuning-Parameter zu finden...