SVG, Grafana plotten keine älteren Daten

[andremar6918]

Hallo,

nach einem erfolgreichen Restore der Datenbank MariaDB zeigen die plots mit SVG und auch Grafana keine alten Daten.
Nur die Daten von heute werden geplottet. Vor dem DB-Restore lief das ohne Probleme. ConfigCheck zeigt, dass alles OK ist.
Die DB hat eine Größe von ca. 1GB. Woran kann das liegen?

Gruß

Andreas

[DS_Starter]

Du müsstest mal schauen, ob Daten überhaupt vorhanden sind.
Im einfachsten Fall liest du die Daten im DbRep mit einem "fetchrows" und entsprechenden EInstellungen der Zeitgrenzen aus.

Im SVG gibt es den Botton "Show preporocessed Input". Damit werden ebenfalls Daten angezeigt die von der DB geliefert werden.

Grüße,
Heiko

[andremar6918]

Hallo Heiko,

es ist merkwürdig. Ein fetchrows mit den Zeitgrenzen z.B. von letzter Woche liefert 0. Ein Count über alle Daten liefert:

Code Auswählen Erweitern

__COUNT_history__no_aggregation 5475668 2022-02-25 11:31:03
Wenn ich mit einem anderen Programm die DB auslese, bekomme ich auch die ca. 5 Mio Zeilen, d.h. die Daten sind vorhanden.
Zum Hintergrund: Ein misslungenes DBRep delEntries 90 löschte alle Daten, nicht nur die älter 90 Tage, siehe:
https://forum.fhem.de/index.php/topic,126412.msg1210241.html#msg1210241
Daraufhin habe ich die alte DB über Restore wiederhergestellt (ohne Fehler durchgelaufen). Jetzt gibt das Verhalten,
dass nur die Daten seit der Löschung mit delEntries 90 angezeigt werden können.

Gruß
Andreas

[andremar6918]

Hallo Heiko,

Ergänzung zur letzten Meldung: Ich habe den Fehler gefunden. Es gibt eine "Lücke" in den Daten von etwa 3 Monaten.
Vermutlich hierdurch verursacht:

Code Auswählen Erweitern

2022.02.21 19:11:35 2: DbRep DBReport - Database dump aborted: "Timeout: process terminated"
Deshalb war wohl das dump-file nicht vollständig und diese Daten fehlen jetzt.
Pech gehabt, aber am Ende selbst verschuldet, da die DB nicht korrekt gesichert war.
Nebenbei, mit einem Raspberry ist das Handling von DB mit 1 GB Größe doch sehr zeitaufwendig, da sollte man rechtzeitig dafür sorgen, dass sie nicht zu groß wird.

VG
Andreas

[ch.eick]

Nebenbei, mit einem Raspberry ist das Handling von DB mit 1 GB Größe doch sehr zeitaufwendig, da sollte man rechtzeitig dafür sorgen, dass sie nicht zu groß wird.

Hallo Andreas,
auf einem RPI4 4 GB mit Oracle MySQL Comminity Edition 8.0.28 im Docker Container habe ich keinerlei Probleme.
Mein Hauptvolumen kommt durch das Monitoring einer PV-Anlage mit zwei Wechselrichtern im Minuten Takt.
Auch das Darstellen der Graphen ist in Grafana, auch als Docker Container, kein Problem.
Selbst auf dem RPI mit Desktop kann man es sich noch adäquat anschauen, wenn das ganze Java Zeugs geladen ist.

Code Auswählen Erweitern


mysql> SELECT table_schema "DB Name",
    ->        Round(Sum(data_length + index_length) / 1024 / 1024, 1) "DB Size in MB"
    ->   FROM  information_schema.tables
    ->   GROUP BY table_schema;
+--------------------+---------------+
| DB Name            | DB Size in MB |
+--------------------+---------------+
| fhem               |        6267.9 |
| information_schema |           0.0 |
+--------------------+---------------+
2 rows in set (0.08 sec)

Die Datensicherung mache ich mit MySQL Workbench 8.0 CE als Voll Dump.
Damit ist das Dump File wesendlich kleiner, da ein anderes INSER Kommand generiert wird.
Für den Restore kann man das Dump File mit grep in kleinere Teile zerschneiden. Das lässt sich dann noch besser handhaben.

Viele Grüße
     Christian