76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

Begonnen von DS_Starter, 11 Februar 2024, 14:11:00

Vorheriges Thema - Nächstes Thema

peterboeckmann

#5295
Hallo Heiko,

Zitat von: DS_Starter am 06 März 2026, 16:53:19Du kannst diese Dinge auch hier posten und ich kann dann auch eine Analyse laufen lassen. Das meiste steht ja schon da, nur das Log des Traings fehlt

vielen Dank für das freundliche Angebot.

Log und Screenshot habe ich als Dateien angehängt.

Den Copilot habe ich dann gefragt:
Ich benutze das FHEM Modul SolarForecast mit AI::FANN zur Prognose meines Energieverbrauchs.
  Die erreichten Kennwerte erscheinen sehr gut zu sein, das Ergebnis der Prognose ist jedoch unrealistisch hoch, insbesondere in den Nachtstunden.
  Anbei ist das Trainingslog, die erreichten Kennwerte und die Visualisierung. Ich möchte eine Bewertung und Vorschläge zur Verbesserung.

nformationen zum neuronalen Netz der Verbrauchsvorhersage

letztes KI-Training: 07.03.2026 09:48:46 / Laufzeit in Sekunden: 1558
KI Abfragestatus: ok
letzte KI-Ergebnis Generierungsdauer: 20.76 ms
Verbrauchernummer Wärmepumpe: -

=== Modellparameter ===

Normierungsgrenzen: PV=11440 Wh, Hausverbrauch: Min=0 Wh / Max=15960 Wh
Trainingsdaten: 7726 Datensätze (Training=6180, Validation=1546)
Architektur: Inputs=69, Hidden Layers=80-40-20, Outputs=1
Hyperparameter: Learning Rate=0.005, Momentum=0.5, BitFail-Limit=0.35
Aktivierungen: Hidden=SIGMOID, Steepness=0.9, Output=LINEAR
Trainingsalgorithmus: INCREMENTAL, Registry Version=v1_common_active_pv
Zufallsgenerator: Mode=2, Period=10

=== Trainingsmetriken ===

bestes Modell bei Epoche: 2785 (max. 15000)
Training MSE: 0.000304
Validation MSE: 0.000849
Validation MSE Average: 0.000778
Validation MSE Standard Deviation: 0.000042
Validation Bit_Fail: 0
Model Bias: 286 Wh
Model Slope: 0.9
Trainingsbewertung: Retrain

=== Fehlermaße der Prognosen ===

MAE: 279.25 Wh
MedAE: 81.72 Wh
RMSE: 338.42 Wh
RMSE relative: 48 %
RMSE Rating: acceptable
MAPE: 35.83 %
MdAPE: 11.24 %
R²: 0.84

=== Rauschen ===

Rauschen Bewertung: borderline
Empfehlung für Bit_Fail: 0.34 (Einstellung von aiControl->aiConBitFailLimit)

=== Drift-Kennzahlen ===

Drift Score: -
Drift RMSE ratio: -
Drift Slope: -
Drift Bias: -
Drift Bewertung: -

und er hat geantwortet:
Die Kernaussage vorweg: **Dein Modell trainiert hervorragend, aber es generalisiert in der Nacht massiv falsch**, weil die Eingangsmerkmale und die Normalisierung nicht zu den realen Verbrauchsdynamiken in der Nacht passen. Die Trainingsmetriken sehen gut aus, aber das Modell produziert systematische Fehlvorhersagen – ein klassisches Beispiel für *metrisch gutes, praktisch schlechtes* Verhalten.

Damit du klar siehst, woher das kommt und was du konkret verbessern kannst, gehe ich strukturiert vor.

---

## 🔍 Was im Log und in den Kennzahlen auffällt

### 1) **Die Trainingsmetriken sind gut – aber nicht stabil**
Aus dem Log (z. B. *,,Train MSE=0.000304, Val MSE=0.000849"* und *,,R²=0.84"*) sieht man, dass das Modell sauber konvergiert. 
Aber gleichzeitig:

- **VAL/TRAIN MSE Ratio = 2.79 (Limit 2.5)** 
- **Retrain-Entscheidung = Retrain** 
- **Rauschen = borderline** 
- **Model Bias ≈ +285 Wh** 
- **Slope ≈ 0.90** 

Das bedeutet: 
Das Modell ist *leicht unterfit* und *leicht verzerrt*, aber nicht katastrophal. 
Die Nachtfehler kommen also nicht von schlechtem Training, sondern von **systematischer Fehleinschätzung bestimmter Situationen**.

---

## 🌙 Warum die Nachtwerte völlig unrealistisch hoch sind

### 1) **Die Normalisierung ist extrem breit**
Aus dem Log:

> *,,Normierungsgrenzen: Hausverbrauch Min=0 / Max=15960 Wh"*

Dein echter Nachtverbrauch liegt vermutlich bei **100–400 W**, aber das Modell rechnet im Bereich **0–15960**. 
Das führt dazu, dass kleine reale Unterschiede in der Nacht im Normalisierungsraum praktisch verschwinden.

### 2) **Die Eingangsmerkmale sind stark PV-lastig**
Die Features im Log zeigen:

- `lag1`, `lag24`, `hppf`, `tmp*`, `rollstd`, `up/down`, `pvX` 
- Viele davon hängen direkt oder indirekt mit PV-Erzeugung zusammen.

In der Nacht sind diese Features:

- konstant 
- verrauscht 
- nicht informativ 

Das Modell hat also **keine echten Signale**, um den Nachtverbrauch zu unterscheiden. 
Es extrapoliert dann aus Tagesmustern → und landet bei absurden Werten.

### 3) **Die Trainingsdaten haben 1553 Lücken**
Zitat:

> *,,1553 Records skipped due to incomplete or invalid data"*

Das ist **20 % der Daten**. 
Wenn diese Lücken ungleichmäßig verteilt sind (z. B. nachts häufiger), entsteht ein Bias.

### 4) **Der Bias von +285 Wh wirkt nachts besonders stark**
Ein Bias von +285 Wh ist tagsüber unkritisch. 
Aber nachts, wo der reale Verbrauch vielleicht 200 Wh ist, bedeutet das:

- 200 Wh + 285 Wh = 485 Wh 
- nach Rücktransformation und Slope ≈ 0.9 → noch höher 
- plus Ausreißerbehandlung → noch höher 

Das erklärt die extremen Nachtwerte.

---

## 📊 Warum die Visualisierung so extrem aussieht

Die Grafik zeigt:

- ab 22:00 Uhr steigen die Werte massiv 
- bis 00:00 Uhr auf über 11 kWh 
- danach langsam fallend

Das ist ein typisches Muster, wenn:

- das Modell **keine Nachtmerkmale** hat 
- die Normalisierung **zu breit** ist 
- der Bias **positiv** ist 
- die PV-Features **irrelevant** sind 
- die Historie **nicht genug Nachtvariation** enthält

---

## 🛠� Konkrete Verbesserungen (praxisnah für FHEM / SolarForecast)

### 1) **Normalisierung enger setzen**
Statt:

- Max = 15960 Wh

Besser:

- Max = 6000–8000 Wh (realistische Spitzen)
- oder automatische p99-Normalisierung aktivieren

Das verbessert die Auflösung im unteren Bereich massiv.

---

### 2) **Nacht-spezifische Features hinzufügen**
Aktuell fehlen:

- Wochentag
- Uhrzeit (sin/cos)
- Feiertag
- Temperatur (falls WP)
- Haushaltslasten (falls verfügbar)
- Rolling mean der letzten 7 Nächte
- Rolling min/max der letzten 24h

Ohne diese kann das Modell Nachtverhalten nicht lernen.

---

### 3) **PV-Features nachts deaktivieren oder maskieren**
PV-Features sind nachts reines Rauschen. 
SolarForecast kann PV-Inputs nachts auf 0 setzen – das solltest du aktivieren.

---

### 4) **BitFail-Limit leicht senken**
Empfehlung im Log:

> *,,Empfehlung für Bit_Fail: 0.34"*

Aktuell: 0.35 
→ Setze auf **0.30–0.32**

Das zwingt das Modell zu stabileren Vorhersagen.

---

### 5) **Datenqualität verbessern**
1553 fehlende Datensätze sind zu viel. 
Prüfe:

- ob nachts häufiger Lücken sind 
- ob bestimmte Sensoren ausfallen 
- ob PV-Daten nachts fehlerhaft sind 
- ob Hausverbrauch nachts auf 0 springt (Fehler!)

---

### 6) **Modellarchitektur vereinfachen**
80–40–20 Neuronen sind für 7726 Datensätze sehr groß. 
Das führt zu:

- Overfitting 
- Instabilität 
- Nacht-Extrapolationen 

Empfehlung:

- 40–20–10 
oder 
- 30–15–5

---

### 7) **Trainingsdaten splitten: Sommer/Winter getrennt**
Nachtverbrauch im Sommer ≠ Nachtverbrauch im Winter. 
SolarForecast unterstützt saisonale Modelle → aktivieren.

---

## 🧭 Zusammenfassung

**Das Modell ist gut trainiert, aber die Eingangsmerkmale und die Normalisierung sind nicht geeignet, um Nachtverbrauch korrekt vorherzusagen.** 
Die extremen Nachtwerte entstehen durch:

- zu breite Normalisierung 
- fehlende Nacht-Features 
- PV-lastige Inputs 
- Bias + Slope 
- Datenlücken 
- zu große Modellarchitektur 

Mit den oben genannten Maßnahmen bekommst du realistische Nachtwerte.

---

Wenn du möchtest, kann ich dir im nächsten Schritt **eine konkrete, optimierte SolarForecast-Konfiguration** vorschlagen, basierend auf deinen Daten und deinem Setup.

Ich lese da drei Maßnahmen für mich heraus:
- aiConHiddenLayers=40–20–10
- aiConBitFailLimit=0.32
- aiConProfile=v1_common_active

Verstehe ich das richtig?

Edit:
@300P,
Zitat von: 300P am 06 März 2026, 17:36:20Es dauert halt manchmal etwas ehe man sieht wie das ,,System" regariert.
Auch Dir vielen Dank für Deinen Rat. Ich versuche es erstmal mit dem LLM, wie Heiko empfohlen hat.

Vielen Dank und viele Grüße,
Peter

Parallix

#5296
Zitat von: DS_Starter am 07 März 2026, 09:53:56...
Zitat@Heiko: Hast Du denn auch die bislang doch korrekt funktionierende Skalierung angepackt?
Nicht explizit. Die diskreten Rundungen sind in zentrale Rundungsfunktionen überführt.
Was genau meinst du bzgl. der Skalierung?
Dann schaue ich an der Stelle nochmal nach ob bei der Umstellung etwas übersehen wurde.
Wenn Du Dir die von mir eingestellte Grafik anschaust, dann siehst Du in den Bins prognostizierte Verbrauchswerte von 0 kWh. 0,1 kWh, 4,2 kWh und 8.4 kWh. Alle führen zu gleich hohen Balken. Das war früher nicht so. Achtung: Dieser Fehler taucht nur sporadisch auf!
FHEM: Debian/Testing BananaPro - AVM: 7490 (7.62) und 7591 (8.21) - Goodwe: GW25K-ET (DSP V10 / ARM V12) - Trina TSM 405: (#East, #South, #West) = (12,16,12) - BYD: 2 x HVS 7.7 (BMS V3.31-B, BMU V3.26-B) - EnOcean - Z-Wave - FS20/HMS

peterboeckmann

Zitat von: Parallix am 07 März 2026, 10:38:40Wenn Du Dir die von mir eingestellte Grafik anschaust, dann siehst Du in den Bins prognostizierte Verbrauchswerte von 0 kWh. 0,1 kWh, 4,2 kWh und 8.4 kWh. Alle führen zu gleich hohen Balken. Das war früher nicht so. Achtung: Dieser Fehler taucht nur sporadisch auf!

Eine gewisse Mindesthöhe der Balken scheint durch die Beschriftung vorgegeben zu sein.
Edit: Ich meine, das war schon immer so.

@Heiko: was hältst du davon, die Beschriftung des niedrigeren Balkens unter den Balken zu schreiben und die des höheren Balkens über den Balken?
Dadurch sollten die Balkenhöhen genauer den jeweiligen Wert darstellen, oder?

Viele Grüße,
Peter

Parallix

#5298
Zitat von: peterboeckmann am 07 März 2026, 12:27:03
Zitat von: Parallix am 07 März 2026, 10:38:40Wenn Du Dir die von mir eingestellte Grafik anschaust, dann siehst Du in den Bins prognostizierte Verbrauchswerte von 0 kWh. 0,1 kWh, 4,2 kWh und 8.4 kWh. Alle führen zu gleich hohen Balken. Das war früher nicht so. Achtung: Dieser Fehler taucht nur sporadisch auf!

Eine gewisse Mindesthöhe der Balken scheint durch die Beschriftung vorgegeben zu sein.
Edit: Ich meine, das war schon immer so.

Ja, meine Anmerkung bezog sich aber nicht auf die Mindesthöhe!

Zitat@Heiko: was hältst du davon, die Beschriftung des niedrigeren Balkens unter den Balken zu schreiben und die des höheren Balkens über den Balken?
Dadurch sollten die Balkenhöhen genauer den jeweiligen Wert darstellen, oder?
...
Auch wenn Deine Frage an Heiko ging, möchte ich darauf wie folgt eingehen: Den prognostizierten Verbrauch unter den Balken zu schreiben kollidiert mit der dort bereits angegebenen Uhrzeit. Da die Darstellung bis dato in Ordnung war, sollten wir hier vielleicht auch keine neue Aspekte abseits des Bug-Fixings hineinbringen.

PS: Wenn überhaupt, so könnte man die Grafik vielleicht aus SF herausziehen und über ein separates (z.B. FTUI3-basiertes) Darstellungsmodul SFV (für SolarForecastVisualization) realisieren. Das würde Heiko vielleicht (mittelfristig) auch entlasten.
FHEM: Debian/Testing BananaPro - AVM: 7490 (7.62) und 7591 (8.21) - Goodwe: GW25K-ET (DSP V10 / ARM V12) - Trina TSM 405: (#East, #South, #West) = (12,16,12) - BYD: 2 x HVS 7.7 (BMS V3.31-B, BMU V3.26-B) - EnOcean - Z-Wave - FS20/HMS

peterboeckmann

Zitat von: Parallix am 07 März 2026, 12:42:31Ja, meine Anmerkung bezog sich aber nicht auf die Mindesthöhe!

Ach ja, jetzt sehe ich es auch.
Die gesamte Fläche des zweiten Balkendiagramms hat da irgendwie zu wenig Höhe bekommen.

Hat vielleicht auch mit dem geringen Wert im ersten Balken zu tun?

Viele Grüße,
Peter

300P

Zitat von: peterboeckmann am 07 März 2026, 10:23:48Ich lese da drei Maßnahmen für mich heraus:
- aiConHiddenLayers=40–20–10
- aiConBitFailLimit=0.32
- aiConProfile=v1_common_active

Verstehe ich das richtig?

Ja - ist empfehlenswert für den nächsten Lauf. ich würde aber schon auf BitFailLimit 0.25 setzen



Dies Nachfolgende
2026.03.07 09:22:48 1: SolarForecast DEBUG> AI FANN - [b][u]There are 1553 Records skipped [/u][/b]due to incomplete or invalid data. Index: .......
sollte aber zuerst einmal ordentlich bereinigt werden !
Die Einträge sind absolut sinnlos, da sie nicht alle Parameter enthalten die benötigt werden oder sie sind fehlerhaft eingetragen.

Nutze dazu (Beispielhaft) "set <Devicename> reset aiData <Devicename> delIndex=2025013023,2025013024,..................."


Als Nächstes suche die Werte die wirklich unnormal hoch sind und beseitige diese:

(suche mir z.B. alle Werte die größer als z.B. 8000 Watt im Verbrauch sind)
"set <Devicename> reset aiData searchValue=con>=8000"

Auch hier - wenn diese nicht sinnhaft sind  >:( - einzeln oder durch Filterung löschen (siehe Erläuterung zum Set-Befehl)!

Danach dann aber auf jeden Fall neues Training des NN. ;D
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.

peterboeckmann

Hallo 300P,

Danke für die Antwort.
Ich habe die Parameter jetzt so gesetzt und lasse das Training nochmal laufen.
aiTrainStart=3 aiStorageDuration=18250 aiTreesPV=30 aiConActivate=1 aiConProfile=v1_common_active aiConHiddenLayers=40-20-10 aiConBitFailLimit=0.25
Für das bereinigen der übersprungenen Datensätze muss ich mir mal Zeit nehmen. Da sie ohnehin übersprungen werden, sehe ich das nicht so kritisch.

Die Verbrauchswerte über 8 kWh/h sind bei mir mit BEV nicht grundsätzlich unrealistisch. Daher habe ich diese zunächst nicht gelöscht.

Viele Grüße,
Peter

peterboeckmann

Zitat von: peterboeckmann am 07 März 2026, 16:02:06Ich habe die Parameter jetzt so gesetzt und lasse das Training nochmal laufen

Ich habe das Training abgeschlossen. Log und Ergebnis anbei.

Damit fragte ich den Copilot im gleichen Chat wie vorhin:
Ich habe folgende Konfiguration verwendet:
aiTrainStart=3 aiStorageDuration=18250 aiTreesPV=30 aiConActivate=1 aiConProfile=v1_common_active aiConHiddenLayers=40-20-10 aiConBitFailLimit=0.25

Das nachfolgende Training hatte die Logausgabe im Textfile anbei. Das Ergebnis ist im SCreenshot anbei zu sehen. Leider hat es sich gegenüber dem vorherigen Training nicht verbessert. Was kann ich noch tun?

Die Antwort:
Du hast das schon ziemlich gut seziert – und ja, du hast die Kernmaßnahmen richtig verstanden, aber ein paar Stellschrauben fehlen noch, damit die Nächte nicht mehr ,,durchdrehen".

Ich gehe kurz durch, was dein aktuelles Setup macht und was ich konkret ändern würde.

---

### 1. Was dein aktuelles Training wirklich macht

Aus dem Log:

> `Registry version=v1_common_active` 
> `hidden Neurons=40-20-10` 
> `BitFail limit: 0.25`   

Das heißt:

- **Profil:** `v1_common_active` (ohne PV‑Bias, das ist gut)
- **Netz:** kleiner (40‑20‑10, auch gut)
- **BitFail:** 0.25 → eher streng, aber noch im Standardbereich

Trotzdem siehst du nachts weiterhin völlig unrealistische Werte – also liegt das Problem nicht mehr nur an der Architektur, sondern an:

- Datenverteilung (p99/p99.5, starke Peaks)
- Trainingsdynamik (Shuffle, Lernrate)
- fehlender Dämpfung durch Legacy‑Anteil

---

### 2. Konkrete neue Empfehlung für die Parameter

Ich würde jetzt **nicht** wieder alles umbauen, sondern gezielt drei Dinge ändern:

#### **a) Shuffle‑Verhalten korrigieren**

Aktuell laut Log:

> `Data shuffle=2 (period=10)`   

Empfehlung:

```text
aiConShuffleMode    1
aiConShufflePeriod  10
```

**Warum:** 
Mode 2 mischt komplett durch, bevor gesplittet wird – zeitliche Strukturen (Tag/Nacht) gehen verloren. 
Mode 1 trennt chronologisch und mischt erst danach → das Netz ,,versteht" besser, was Nacht ist und was Tag.

---

#### **b) BitFail noch etwas strenger ziehen**

Du bist bei 0.25, das ist schon okay, aber deine Daten haben starke Peaks (p99.5 bei 12277, max 15960).   

Empfehlung:

```text
aiConBitFailLimit   0.20
```

Effekt:

- Ausreißer/Peaks werden härter bestraft
- das Netz wird gezwungen, ,,normale" Bereiche besser zu treffen
- typischerweise werden Nächte weniger überzogen

---

#### **c) KI‑Anteil etwas einbremsen**

Du hast bisher:

```text
aiConAlpha = 1
```

Also **100 % KI, 0 % Legacy**.

Empfehlung:

```text
aiConAlpha = 0.7
```

Effekt:

- KI dominiert weiterhin (70 %), aber
- Legacy‑Prognose dämpft extreme Fehlgriffe (insbesondere nachts)
- du bekommst ein robusteres, ,,erdigeres" Ergebnis

Wenn dir das immer noch zu wild ist, kannst du testweise sogar auf `0.4` gehen und schauen, wie sich die Nächte verhalten.

---

### 3. Optionale, aber sinnvolle Feintuning‑Schritte

Wenn du nach den drei Änderungen immer noch unzufrieden bist:

#### **ActFunc anpassen**

```text
aiConActFunc = SIGMOID_SYMMETRIC
```

Das hilft, wenn dein Verbrauch stark um einen ,,Normalzustand" schwankt (typisch bei Haushalten ohne extrem harte Schaltspitzen).

#### **Lernrate entschärfen**

```text
aiConLearnRate = 0.001
```

Das macht das Training ruhiger, weniger sprunghaft – kann helfen, wenn das Netz zu stark auf einzelne Ausreißer reagiert.

---

### 4. Wie du jetzt konkret vorgehst

1. **Parameter setzen:**

   ```text
   aiConShuffleMode    1
   aiConBitFailLimit   0.20
   aiConAlpha          0.7
   (optional später: aiConActFunc=SIGMOID_SYMMETRIC, aiConLearnRate=0.001)
   ```

2. **Training manuell anstoßen:**

   - `aiConActivate` auf `2` setzen → Trainingsmodus, Prognose wird nicht verwendet.
   - Warten, bis das Training durch ist (Log im Auge behalten).
   - Danach `aiConActivate` wieder auf `1`.

3. **Nach dem Training prüfen:**

   Besonders anschauen:

   - **Model Slope** → ideal nahe 1.0 
   - **Model Bias** → möglichst klein (unter ~200 Wh) 
   - **RMSE rel** → wenn du unter ~40 % kommst, ist das schon ordentlich 
   - und ganz praktisch: Nachtstunden im Plot → liegen die eher im Bereich deines realen Grundlast‑Verbrauchs?

---

Wenn du magst, kannst du nach dem nächsten Training wieder die Kennzahlen + einen Screenshot schicken – dann können wir sehr gezielt entscheiden, ob wir eher an **Profil**, **Aktivierungsfunktion** oder **Lernrate** weiter drehen.

Die moduleigene Bewertung:
Informationen zum neuronalen Netz der Verbrauchsvorhersage

letztes KI-Training: 07.03.2026 16:20:42 / Laufzeit in Sekunden: 1340
KI Abfragestatus: ok
letzte KI-Ergebnis Generierungsdauer: 15.49 ms
Verbrauchernummer Wärmepumpe: -

=== Modellparameter ===

Normierungsgrenzen: PV=11440 Wh, Hausverbrauch: Min=0 Wh / Max=15960 Wh
Trainingsdaten: 7732 Datensätze (Training=6185, Validation=1547)
Architektur: Inputs=61, Hidden Layers=40-20-10, Outputs=1
Hyperparameter: Learning Rate=0.005, Momentum=0.5, BitFail-Limit=0.25
Aktivierungen: Hidden=SIGMOID, Steepness=0.9, Output=LINEAR
Trainingsalgorithmus: INCREMENTAL, Registry Version=v1_common_active
Zufallsgenerator: Mode=2, Period=10

=== Trainingsmetriken ===

bestes Modell bei Epoche: 3591 (max. 15000)
Training MSE: 0.000285
Validation MSE: 0.000877
Validation MSE Average: 0.000623
Validation MSE Standard Deviation: 0.000055
Validation Bit_Fail: 0
Model Bias: 269 Wh
Model Slope: 0.9
Trainingsbewertung: Retrain

=== Fehlermaße der Prognosen ===

MAE: 283.92 Wh
MedAE: 81.93 Wh
RMSE: 339.83 Wh
RMSE relative: 48 %
RMSE Rating: acceptable
MAPE: 36.77 %
MdAPE: 10.90 %
R²: 0.83

=== Rauschen ===

Rauschen Bewertung: borderline
Empfehlung für Bit_Fail: 0.34 (Einstellung von aiControl->aiConBitFailLimit)

=== Drift-Kennzahlen ===

Drift Score: -
Drift RMSE ratio: -
Drift Slope: -
Drift Bias: -
Drift Bewertung: -

Ich setze also zusätzlich
- aiConShuffleMode=1
- aiConBitFailLimit=0.20
- aiConAlpha=0.7

und starte das Training neu.

Viele Grüße,
Peter

300P

Das liest sich mit den Empfehlungen gut - so solltest du handeln und weiter optimieren.
Und wie gesagt - nicht zu viel af einmal ändern - dann siehst du nicht ob und wie dieser eine Wert sich bei dir auswirkt.


Insgesamt bewegst du dich augenscheinlich ja jetzt in die richtige Richtung 👍👍👍
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.

DS_Starter

#5304
ZitatAchtung: Dieser Fehler taucht nur sporadisch auf!

Und in dem Zusammenhang auch zu sehen die Anmerkung von Peter:

ZitatHat vielleicht auch mit dem geringen Wert im ersten Balken zu tun?

Wenn solche Zustände sporadisch auftreten, ist es kein allgemeines Problem, sondern ist situativ und an bestimmte Zustände/Werte gekoppelt.
Peter hat auf den ersten Wert hingewiesen und es gibt weiter vorn auch schon die Beobachtung, dass ein sehr hoher erster Wert eine zu große Skalierung verursacht. Ich vermute hier einen Zusammenhang mit dem ersten Balkenwert in die eine oder andere Richtung.
Bin noch nicht dazu gekommen nachzuforschen, steht aber auf der Agenda. Hat aber auch nichts mit V2.2.3 zu tun, sondern ist genereller Natur.

@Peter, dein AI-Log schaue ich mir noch an, aber ich denke 300P und du kommt schon gut klar und bekommt das in den Griff. Ich würde mir auf jeden Fall Gedanken um die unvollständigen/invaliden Werte machen.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

@Peter, jetzt sehe ich noch deinen Nebensatz:

ZitatDie Verbrauchswerte über 8 kWh/h sind bei mir mit BEV nicht grundsätzlich unrealistisch. Daher habe ich diese zunächst nicht gelöscht.
Du hast einen EV, aber die KI im Modul kann noch keinen Bezug zu einem EV herstellen weil noch nicht implementiert/unterstützt. Das kommt ja erst noch.
Das nur als Hinweis, weil große Verbrauchssprünge momentan u.U. für die KI aus den bereitgestellten Parametern nicht erklärbar sind. Du solltest sie somit auch nicht löschen weil sie später wieder gebraucht werden.
Natürlich solltest du herausbekommen welche Datensätze geskipped werden weil sie unvollständig sind. Vllt. muß ich dazu das Debugging noch ergänzen, mal schauen.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

peterboeckmann

Hallo Heiko,

Zitat von: DS_Starter am 07 März 2026, 19:12:52Natürlich solltest du herausbekommen welche Datensätze geskipped werden weil sie unvollständig sind. Vllt. muß ich dazu das Debugging noch ergänzen, mal schauen.

die gekippten Datensätze liegen, wenn ich das richtig als Zeitstempel yyyyMmddHH interpretiere, zwischen August 2024 und November 2025.

Index:
2024082418, 2024082419, 2024082420, 2024082421, 2024082507, 2024082508, 2024082509, 2024082510, 2024082511, 2024082512, 2024082513, 2024082514, 2024082515, 2024082516, 2024082517, 2024082518, 2024082519, 2024082520, 2024082521, 2024082607, 2024082608, 2024082609, 2024082610, 2024082611, 2024082612, 2024082613, 2024082614, 2024082615, 2024082616, 2024082617, 2024082618, 2024082619, 2024082620, 2024082621, 2024082707, 2024082708, 2024082709, 2024082710, 2024082711, 2024082712, 2024082713, 2024082714, 2024082715, 2024082716, 2024082717, 2024082718, 2024082719, 2024082720, 2024082721, 2024082807, 2024082808, 2024082809, 2024082810, 2024082811, 2024082812, 2024082813, 2024082814, 2024082815, 2024082816, 2024082817, 2024082818, 2024082819, 2024082820, 2024082821, 2024082907, 2024082908, 2024082909, 2024082910, 2024082911, 2024082912, 2024082913, 2024082914, 2024082915, 2024082916, 2024082917, 2024082918, 2024082919, 2024082920, 2024082921, 2024083007, 2024083008, 2024083009, 2024083010, 2024083011, 2024083012, 2024083013, 2024083014, 2024083015, 2024083016, 2024083017, 2024083018, 2024083019, 2024083020, 2024083021, 2024083107, 2024083108, 2024083109, 2024083110, 2024083111, 2024083112, 2024083113, 2024083114, 2024083115, 2024083116, 2024083117, 2024083118, 2024083119, 2024083120, 2024083121, 2024090107, 2024090108, 2024090109, 2024090110, 2024090111, 2024090112, 2024090113, 2024090114, 2024090115, 2024090116, 2024090117, 2024090118, 2024090119, 2024090120, 2024090207, 2024090208, 2024090209, 2024090210, 2024090211, 2024090212, 2024090213, 2024090214, 2024090215, 2024090216, 2024090217, 2024090218, 2024090219, 2024090220, 2024090307, 2024090308, 2024090309, 2024090310, 2024090311, 2024090312, 2024090313, 2024090314, 2024090315, 2024090316, 2024090317, 2024090318, 2024090319, 2024090320, 2024090407, 2024090408, 2024090409, 2024090410, 2024090411, 2024090412, 2024090413, 2024090414, 2024090415, 2024090416, 2024090417, 2024090418, 2024090419, 2024090420, 2024090507, 2024090508, 2024090509, 2024090510, 2024090511, 2024090512, 2024090513, 2024090514, 2024090515, 2024090516, 2024090517, 2024090518, 2024090519, 2024090520, 2024090607, 2024090608, 2024090609, 2024090610, 2024090611, 2024090612, 2024090613, 2024090614, 2024090615, 2024090616, 2024090617, 2024090618, 2024090619, 2024090620, 2024090707, 2024090708, 2024090709, 2024090710, 2024090711, 2024090712, 2024090713, 2024090714, 2024090715, 2024090716, 2024090717, 2024090718, 2024090719, 2024090720, 2024090807, 2024090808, 2024090809, 2024090810, 2024090811, 2024090812, 2024090813, 2024090814, 2024090815, 2024090816, 2024090817, 2024090818, 2024090819, 2024090820, 2024090908, 2024090909, 2024090910, 2024090911, 2024090912, 2024090913, 2024090914, 2024090915, 2024090916, 2024090917, 2024090918, 2024090919, 2024091007, 2024091008, 2024091009, 2024091010, 2024091011, 2024091012, 2024091013, 2024091014, 2024091015, 2024091016, 2024091017, 2024091018, 2024091019, 2024091108, 2024091109, 2024091110, 2024091111, 2024091112, 2024091113, 2024091114, 2024091115, 2024091116, 2024091117, 2024091118, 2024091119, 2024091120, 2024091207, 2024091208, 2024091209, 2024091210, 2024091211, 2024091212, 2024091213, 2024091214, 2024091215, 2024091216, 2024091217, 2024091218, 2024091219, 2024091220, 2024091307, 2024091308, 2024091309, 2024091310, 2024091311, 2024091312, 2024091313, 2024091314, 2024091315, 2024091316, 2024091317, 2024091318, 2024091319, 2024091320, 2024091407, 2024091408, 2024091409, 2024091410, 2024091411, 2024091412, 2024091413, 2024091414, 2024091415, 2024091416, 2024091417, 2024091418, 2024091419, 2024091420, 2024091508, 2024091509, 2024091510, 2024091511, 2024091512, 2024091513, 2024091514, 2024091515, 2024091516, 2024091517, 2024091518, 2024091519, 2024091520, 2024091608, 2024091609, 2024091610, 2024091611, 2024091612, 2024091613, 2024091614, 2024091615, 2024091616, 2024091617, 2024091618, 2024091619, 2024091620, 2024091708, 2024091709, 2024091710, 2024091711, 2024091712, 2024091713, 2024091714, 2024091715, 2024091716, 2024091717, 2024091718, 2024091719, 2024091808, 2024091809, 2024091810, 2024091811, 2024091812, 2024091813, 2024091814, 2024091815, 2024091816, 2024091817, 2024091818, 2024091819, 2024091820, 2024091908, 2024091909, 2024091910, 2024091911, 2024091912, 2024091913, 2024091914, 2024091915, 2024091916, 2024091917, 2024091918, 2024091919, 2024091920, 2024092008, 2024092009, 2024092010, 2024092011, 2024092012, 2024092013, 2024092014, 2024092015, 2024092016, 2024092017, 2024092018, 2024092019, 2024092020, 2024092108, 2024092109, 2024092110, 2024092111, 2024092112, 2024092113, 2024092114, 2024092115, 2024092116, 2024092117, 2024092118, 2024092119, 2024092120, 2024092208, 2024092209, 2024092210, 2024092211, 2024092212, 2024092213, 2024092214, 2024092215, 2024092216, 2024092217, 2024092218, 2024092219, 2024092220, 2024092308, 2024092309, 2024092310, 2024092311, 2024092312, 2024092313, 2024092314, 2024092315, 2024092316, 2024092317, 2024092318, 2024092319, 2024092408, 2024092409, 2024092410, 2024092411, 2024092412, 2024092413, 2024092414, 2024092415, 2024092416, 2024092417, 2024092418, 2024092419, 2024092508, 2024092509, 2024092510, 2024092511, 2024092512, 2024092513, 2024092514, 2024092515, 2024092516, 2024092517, 2024092518, 2024092519, 2024092608, 2024092609, 2024092708, 2024092709, 2024092710, 2024092711, 2024092712, 2024092713, 2024092714, 2024092715, 2024092717, 2024092718, 2024092719, 2024092808, 2024092809, 2024092810, 2024092811, 2024092812, 2024092813, 2024092814, 2024092815, 2024092816, 2024092817, 2024092818, 2024092819, 2024092908, 2024092909, 2024092910, 2024092911, 2024092912, 2024092914, 2024092915, 2024092916, 2024092917, 2024092918, 2024092919, 2024093008, 2024093009, 2024093010, 2024093011, 2024093012, 2024093013, 2024093014, 2024093015, 2024093016, 2024093017, 2024093018, 2024093019, 2024100108, 2024100109, 2024100110, 2024100111, 2024100112, 2024100113, 2024100114, 2024100115, 2024100116, 2024100117, 2024100118, 2024100119, 2024100208, 2024100209, 2024100210, 2024100211, 2024100212, 2024100213, 2024100214, 2024100215, 2024100216, 2024100217, 2024100218, 2024100219, 2024100309, 2024100310, 2024100311, 2024100312, 2024100313, 2024100314, 2024100315, 2024100316, 2024100317, 2024100318, 2024100319, 2024100408, 2024100409, 2024100410, 2024100411, 2024100412, 2024100413, 2024100414, 2024100416, 2024100417, 2024100418, 2024100419, 2024100508, 2024100509, 2024100510, 2024100511, 2024100512, 2024100513, 2024100514, 2024100515, 2024100516, 2024100517, 2024100518, 2024100519, 2024100608, 2024100609, 2024100610, 2024100611, 2024100612, 2024100613, 2024100614, 2024100615, 2024100616, 2024100617, 2024100618, 2024100619, 2024100708, 2024100709, 2024100710, 2024100712, 2024100713, 2024100714, 2024100715, 2024100716, 2024100717, 2024100718, 2024100719, 2024100809, 2024100810, 2024100811, 2024100812, 2024100813, 2024100814, 2024100815, 2024100816, 2024100817, 2024100818, 2024100819, 2024100908, 2024100909, 2024100910, 2024100911, 2024100912, 2024100913, 2024100914, 2024100915, 2024100916, 2024100917, 2024100918, 2024101009, 2024101010, 2024101011, 2024101012, 2024101013, 2024101014, 2024101015, 2024101016, 2024101017, 2024101018, 2024101019, 2024101108, 2024101109, 2024101110, 2024101111, 2024101112, 2024101113, 2024101114, 2024101115, 2024101116, 2024101117, 2024101118, 2024101119, 2024101208, 2024101209, 2024101210, 2024101211, 2024101212, 2024101213, 2024101214, 2024101215, 2024101216, 2024101217, 2024101218, 2024101219, 2024101309, 2024101310, 2024101311, 2024101312, 2024101313, 2024101314, 2024101315, 2024101316, 2024101317, 2024101318, 2024101409, 2024101410, 2024101411, 2024101412, 2024101413, 2024101414, 2024101415, 2024101416, 2024101417, 2024101418, 2024101509, 2024101510, 2024101511, 2024101512, 2024101513, 2024101514, 2024101515, 2024101516, 2024101517, 2024101518, 2024101519, 2024101609, 2024101610, 2024101611, 2024101612, 2024101613, 2024101614, 2024101615, 2024101616, 2024101617, 2024101618, 2024101619, 2024101709, 2024101710, 2024101711, 2024101712, 2024101713, 2024101714, 2024101715, 2024101716, 2024101717, 2024101718, 2024101719, 2024101809, 2024101810, 2024101811, 2024101812, 2024101813, 2024101814, 2024101815, 2024101816, 2024101817, 2024101818, 2024101909, 2024101910, 2024101911, 2024101912, 2024101913, 2024101914, 2024101915, 2024101916, 2024101917, 2024101918, 2024102009, 2024102010, 2024102011, 2024102012, 2024102013, 2024102014, 2024102015, 2024102016, 2024102017, 2024102018, 2024102109, 2024102110, 2024102111, 2024102112, 2024102113, 2024102114, 2024102115, 2024102116, 2024102117, 2024102118, 2024102209, 2024102210, 2024102211, 2024102212, 2024102213, 2024102214, 2024102215, 2024102216, 2024102217, 2024102218, 2024102309, 2024102310, 2024102311, 2024102312, 2024102313, 2024102314, 2024102315, 2024102316, 2024102317, 2024102318, 2024102409, 2024102410, 2024102411, 2024102412, 2024102413, 2024102414, 2024102415, 2024102417, 2024102418, 2024102509, 2024102510, 2024102511, 2024102512, 2024102513, 2024102514, 2024102515, 2024102516, 2024102517, 2024102518, 2024102609, 2024102610, 2024102611, 2024102612, 2024102613, 2024102614, 2024102615, 2024102616, 2024102617, 2024102618, 2024102708, 2024102709, 2024102710, 2024102711, 2024102712, 2024102713, 2024102714, 2024102715, 2024102716, 2024102717, 2024102808, 2024102809, 2024102810, 2024102811, 2024102812, 2024102813, 2024102814, 2024102815, 2024102816, 2024102817, 2024102908, 2024102909, 2024102910, 2024102911, 2024102912, 2024102913, 2024102914, 2024102915, 2024102916, 2024102917, 2024103008, 2024103009, 2024103010, 2024103011, 2024103012, 2024103013, 2024103014, 2024103015, 2024103016, 2024103017, 2024103108, 2024103109, 2024103110, 2024103111, 2024103112, 2024103113, 2024103114, 2024103115, 2024103116, 2024103117, 2024110108, 2024110109, 2024110110, 2024110111, 2024110112, 2024110113, 2024110114, 2024110115, 2024110116, 2024110208, 2024110209, 2024110210, 2024110211, 2024110212, 2024110213, 2024110214, 2024110215, 2024110216, 2024110217, 2024110308, 2024110309, 2024110310, 2024110311, 2024110312, 2024110313, 2024110314, 2024110315, 2024110316, 2024110317, 2024110408, 2024110409, 2024110410, 2024110411, 2024110412, 2024110413, 2024110414, 2024110415, 2024110416, 2024110509, 2024110510, 2024110511, 2024110512, 2024110513, 2024110514, 2024110515, 2024110516, 2024110517, 2024110609, 2024110610, 2024110611, 2024110612, 2024110613, 2024110614, 2024110615, 2024110616, 2024110709, 2024110710, 2024110711, 2024110712, 2024110713, 2024110714, 2024110715, 2024110716, 2024110808, 2024110809, 2024110810, 2024110811, 2024110812, 2024110813, 2024110814, 2024110815, 2024110816, 2024110909, 2024110910, 2024110911, 2024110912, 2024110913, 2024110914, 2024110915, 2024110916, 2024111009, 2024111010, 2024111011, 2024111012, 2024111013, 2024111014, 2024111015, 2024111016, 2024111109, 2024111110, 2024111111, 2024111112, 2024111113, 2024111114, 2024111115, 2024111116, 2024111209, 2024111210, 2024111211, 2024111212, 2024111213, 2024111214, 2024111215, 2024111216, 2024111217, 2024111309, 2024111310, 2024111311, 2024111312, 2024111313, 2024111314, 2024111315, 2024111316, 2024111409, 2024111410, 2024111411, 2024111412, 2024111413, 2024111414, 2024111415, 2024111416, 2024111417, 2024111509, 2024111510, 2024111511, 2024111512, 2024111513, 2024111514, 2024111515, 2024111516, 2024111609, 2024111610, 2024111611, 2024111612, 2024111613, 2024111614, 2024111615, 2024111616, 2024111709, 2024111710, 2024111711, 2024111712, 2024111713, 2024111714, 2024111715, 2024111716, 2024111809, 2024111810, 2024111811, 2024111812, 2024111813, 2024111814, 2024111815, 2024111816, 2024111817, 2024111909, 2024111910, 2024111911, 2024111912, 2024111913, 2024111914, 2024111915, 2024111916, 2024112009, 2024112010, 2024112011, 2024112012, 2024112013, 2024112014, 2024112015, 2024112016, 2024112110, 2024112111, 2024112112, 2024112113, 2024112114, 2024112115, 2024112116, 2024112209, 2024112210, 2024112211, 2024112212, 2024112213, 2024112214, 2024112215, 2024112216, 2024112309, 2024112310, 2024112311, 2024112312, 2024112313, 2024112314, 2024112315, 2024112316, 2024112409, 2024112410, 2024112411, 2024112412, 2024112413, 2024112414, 2024112415, 2024112416, 2024112509, 2024112510, 2024112511, 2024112512, 2024112513, 2024112514, 2024112515, 2024112516, 2024112609, 2024112610, 2024112611, 2024112612, 2024112613, 2024112614, 2024112615, 2024112616, 2024112709, 2024112710, 2024112711, 2024112712, 2024112713, 2024112714, 2024112715, 2024112716, 2024112809, 2024112810, 2024112811, 2024112812, 2024112813, 2024112814, 2024112815, 2024112909, 2024112910, 2024112911, 2024112912, 2024112913, 2024112914, 2024112915, 2024112916, 2024113009, 2024113010, 2024113011, 2024113012, 2024113013, 2024113014, 2024113015, 2024113016, 2024120109, 2024120110, 2024120111, 2024120112, 2024120113, 2024120114, 2024120115, 2024120116, 2024120209, 2024120210, 2024120211, 2024120212, 2024120213, 2024120214, 2024120215, 2024120216, 2024120309, 2024120310, 2024120311, 2024120312, 2024120313, 2024120314, 2024120315, 2024120316, 2024120409, 2024120410, 2024120411, 2024120412, 2024120413, 2024120414, 2024120415, 2024120416, 2024120509, 2024120510, 2024120511, 2024120512, 2024120513, 2024120514, 2024120515, 2024120516, 2024120610, 2024120611, 2024120612, 2024120613, 2024120614, 2024120615, 2024120616, 2024120709, 2024120710, 2024120711, 2024120712, 2024120713, 2024120714, 2024120715, 2024120814, 2024120816, 2024120910, 2024120911, 2024120912, 2024120913, 2024120914, 2024120915, 2024120916, 2024121010, 2024121011, 2024121012, 2024121013, 2024121109, 2024121110, 2024121111, 2024121113, 2024121114, 2024121115, 2024121116, 2024121210, 2024121211, 2024121212, 2024121213, 2024121214, 2024121215, 2024121216, 2024121309, 2024121310, 2024121311, 2024121312, 2024121313, 2024121314, 2024121315, 2024121316, 2024121410, 2024121411, 2024121412, 2024121413, 2024121414, 2024121415, 2024121509, 2024121510, 2024121511, 2024121512, 2024121513, 2024121514, 2024121515, 2024121610, 2024121611, 2024121612, 2024121613, 2024121614, 2024121615, 2024121616, 2024121709, 2024121710, 2024121711, 2024121712, 2024121713, 2024121714, 2024121715, 2024121716, 2024121810, 2024121811, 2024121812, 2024121813, 2024121814, 2024121815, 2024121816, 2024121910, 2024121911, 2024121912, 2024121913, 2024121914, 2024121915, 2024121916, 2024122009, 2024122010, 2024122011, 2024122012, 2024122013, 2024122014, 2024122015, 2024122016, 2024122110, 2024122111, 2024122112, 2024122113, 2024122114, 2024122115, 2024122116, 2024122210, 2024122211, 2024122212, 2024122213, 2024122214, 2024122215, 2024122216, 2024122310, 2024122311, 2024122312, 2024122313, 2024122314, 2024122315, 2024122316, 2024122409, 2024122410, 2024122411, 2024122412, 2024122413, 2024122414, 2024122415, 2024122416, 2024122510, 2024122511, 2024122512, 2024122513, 2024122514, 2024122515, 2024122516, 2024122610, 2024122611, 2024122612, 2024122613, 2024122614, 2024122615, 2024122616, 2024122710, 2024122711, 2024122712, 2024122713, 2024122714, 2024122715, 2024122716, 2024122810, 2024122811, 2024122812, 2024122813, 2024122814, 2024122815, 2024122816, 2024122910, 2024122911, 2024122912, 2024122913, 2024122914, 2024122915, 2024122916, 2024123010, 2024123011, 2024123012, 2024123013, 2024123014, 2024123015, 2024123016, 2024123110, 2024123111, 2024123112, 2024123113, 2024123114, 2024123115, 2025010110, 2025010111, 2025010112, 2025010113, 2025010114, 2025010115, 2025010116, 2025010209, 2025010210, 2025010211, 2025010212, 2025010213, 2025010214, 2025010215, 2025010216, 2025010309, 2025010310, 2025010311, 2025010312, 2025010313, 2025010314, 2025010315, 2025010316, 2025010410, 2025010411, 2025010412, 2025010413, 2025010414, 2025010415, 2025010416, 2025010510, 2025010511, 2025010512, 2025010513, 2025010514, 2025010515, 2025010516, 2025010610, 2025010611, 2025010612, 2025010613, 2025010614, 2025010615, 2025010616, 2025010709, 2025010710, 2025010711, 2025010712, 2025010713, 2025010714, 2025010715, 2025010716, 2025010809, 2025010810, 2025010811, 2025010812, 2025010813, 2025010814, 2025010815, 2025010816, 2025010909, 2025010910, 2025010911, 2025010912, 2025010913, 2025010914, 2025010915, 2025010916, 2025011010, 2025011011, 2025011012, 2025011013, 2025011014, 2025011015, 2025011016, 2025011109, 2025011110, 2025011111, 2025011112, 2025011113, 2025011114, 2025011115, 2025011116, 2025011117, 2025011209, 2025011210, 2025011211, 2025011212, 2025011213, 2025011214, 2025011215, 2025011216, 2025011217, 2025011309, 2025011310, 2025011311, 2025011312, 2025011313, 2025011314, 2025011315, 2025011316, 2025011317, 2025011410, 2025011411, 2025011412, 2025011413, 2025011414, 2025011415, 2025011509, 2025011510, 2025011511, 2025011512, 2025011513, 2025011514, 2025011515, 2025011516, 2025011517, 2025011610, 2025011611, 2025011612, 2025011613, 2025011614, 2025011615, 2025011616, 2025011710, 2025011711, 2025011712, 2025011713, 2025011714, 2025011715, 2025011716, 2025011717, 2025011810, 2025011811, 2025011812, 2025011813, 2025011814, 2025011815, 2025011816, 2025011909, 2025011910, 2025011911, 2025011912, 2025011913, 2025011914, 2025011915, 2025011916, 2025011917, 2025012009, 2025012010, 2025012011, 2025012012, 2025012013, 2025012014, 2025012015, 2025012016, 2025012109, 2025012110, 2025012111, 2025012112, 2025012113, 2025012114, 2025012115, 2025012116, 2025012117, 2025012209, 2025012210, 2025012211, 2025012212, 2025012213, 2025012214, 2025012215, 2025012216, 2025012217, 2025012310, 2025012311, 2025012312, 2025012313, 2025012314, 2025012315, 2025012316, 2025012317, 2025012409, 2025012410, 2025012411, 2025012412, 2025012413, 2025012414, 2025012415, 2025012416, 2025012417, 2025012510, 2025012511, 2025012512, 2025012513, 2025012514, 2025012515, 2025012516, 2025012517, 2025012610, 2025012611, 2025012612, 2025012613, 2025012614, 2025012615, 2025012616, 2025012617, 2025012710, 2025012711, 2025012712, 2025012713, 2025012714, 2025012715, 2025012716, 2025012717, 2025012809, 2025012810, 2025012811, 2025012812, 2025012813, 2025012814, 2025012815, 2025012816, 2025012817, 2025012909, 2025012910, 2025012911, 2025012912, 2025012913, 2025012914, 2025012915, 2025012916, 2025013009, 2025013010, 2025013011, 2025013012, 2025013013, 2025013014, 2025013015, 2025013016, 2025013017, 2025013110, 2025013111, 2025013112, 2025013113, 2025013114, 2025013115, 2025013116, 2025013117, 2025050420, 2025050421, 2025050422, 2025050423, 2025050424, 2025060516, 2025060517, 2025060518, 2025060519, 2025060520, 2025070412, 2025070413, 2025070414, 2025070415, 2025070915, 2025070916, 2025070919, 2025092309, 2025100211, 2025110311, 2025111818

Wo setze ich jetzt an in der Ursachenforschung für die Unvollständigkeit?
Können dafür auch neu hinzugekommene oder entfernte Verbraucher verantwortlich sein?

Viele Grüße,
Peter

DS_Starter

#5307
Zitatdie gekippten Datensätze liegen, wenn ich das richtig als Zeitstempel yyyyMmddHH interpretiere, zwischen August 2024 und November 2025.
Ja, das ist richtig.

ZitatWo setze ich jetzt an in der Ursachenforschung für die Unvollständigkeit?
Können dafür auch neu hinzugekommene oder entfernte Verbraucher verantwortlich sein?
Ich denke das ist mit den momentanen Mitteln schwer herauszubekommen.
Mache mir mal Gedanken welche Werkzeuge ich dafür verfügbar machen kann.

Du kannst aber ein "get ... valDecTree aiRawData" aufrufen und einen Auszug des relevanten Zeitraums posten.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

peterboeckmann

Zitat von: DS_Starter am 07 März 2026, 20:03:28Du kannst aber ein "get ... valDecTree aiRawData" aufrufen und einen Auszug des relevanten Zeitraums posten.

Below are  of a total of 9297 records are displayed.

2024082418 => hod: 18, dayname: -, sunaz: 255, sunalt: 25, rad1h: 1070, wcc: 50, weatherid: -, rr1c: 0.00, temp: 30, socwhsum: -
              windspeed: -, pvrl: 2799, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082419 => hod: 19, dayname: -, sunaz: 267, sunalt: 15, rad1h: 670, wcc: 45, weatherid: -, rr1c: 0.00, temp: 30, socwhsum: -
              windspeed: -, pvrl: 2435, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082420 => hod: 20, dayname: -, sunaz: 280, sunalt: 5, rad1h: 240, wcc: 35, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 816, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082421 => hod: 21, dayname: -, sunaz: 292, sunalt: 0, rad1h: 30, wcc: 30, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 8, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082507 => hod: 07, dayname: -, sunaz: 75, sunalt: 5, rad1h: 30, wcc: 90, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 79, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082508 => hod: 08, dayname: -, sunaz: 87, sunalt: 10, rad1h: 190, wcc: 90, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 648, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082509 => hod: 09, dayname: -, sunaz: 99, sunalt: 20, rad1h: 540, wcc: 80, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 1080, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082510 => hod: 10, dayname: -, sunaz: 112, sunalt: 30, rad1h: 920, wcc: 75, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 1702, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082511 => hod: 11, dayname: -, sunaz: 127, sunalt: 35, rad1h: 1240, wcc: 75, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 3540, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082512 => hod: 12, dayname: -, sunaz: 145, sunalt: 40, rad1h: 1510, wcc: 75, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 3807, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082513 => hod: 13, dayname: -, sunaz: 164, sunalt: 45, rad1h: 1810, wcc: 65, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 3813, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082514 => hod: 14, dayname: -, sunaz: 186, sunalt: 45, rad1h: 1890, wcc: 65, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 4894, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082515 => hod: 15, dayname: -, sunaz: 206, sunalt: 45, rad1h: 1910, wcc: 60, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 5816, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082516 => hod: 16, dayname: -, sunaz: 225, sunalt: 40, rad1h: 1770, wcc: 55, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 5254, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082517 => hod: 17, dayname: -, sunaz: 241, sunalt: 30, rad1h: 1560, wcc: 55, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 4895, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082518 => hod: 18, dayname: -, sunaz: 255, sunalt: 25, rad1h: 1170, wcc: 50, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 3800, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082519 => hod: 19, dayname: -, sunaz: 267, sunalt: 15, rad1h: 710, wcc: 45, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 2171, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082520 => hod: 20, dayname: -, sunaz: 279, sunalt: 5, rad1h: 260, wcc: 40, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 587, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082521 => hod: 21, dayname: -, sunaz: 291, sunalt: 0, rad1h: 30, wcc: 40, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 8, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082607 => hod: 07, dayname: -, sunaz: 75, sunalt: 0, rad1h: 60, wcc: 20, weatherid: -, rr1c: 0.00, temp: 15, socwhsum: -
              windspeed: -, pvrl: 264, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082608 => hod: 08, dayname: -, sunaz: 87, sunalt: 10, rad1h: 350, wcc: 20, weatherid: -, rr1c: 0.00, temp: 15, socwhsum: -
              windspeed: -, pvrl: 1260, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082609 => hod: 09, dayname: -, sunaz: 100, sunalt: 20, rad1h: 860, wcc: 20, weatherid: -, rr1c: 0.00, temp: 15, socwhsum: -
              windspeed: -, pvrl: 2059, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082610 => hod: 10, dayname: -, sunaz: 113, sunalt: 30, rad1h: 1350, wcc: 20, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 2686, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082611 => hod: 11, dayname: -, sunaz: 128, sunalt: 35, rad1h: 1660, wcc: 25, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 3803, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082612 => hod: 12, dayname: -, sunaz: 145, sunalt: 40, rad1h: 1870, wcc: 30, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 4845, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082613 => hod: 13, dayname: -, sunaz: 164, sunalt: 45, rad1h: 2010, wcc: 35, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 4552, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082614 => hod: 14, dayname: -, sunaz: 186, sunalt: 45, rad1h: 1930, wcc: 40, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 4895, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082615 => hod: 15, dayname: -, sunaz: 206, sunalt: 45, rad1h: 1810, wcc: 50, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 4481, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082616 => hod: 16, dayname: -, sunaz: 225, sunalt: 40, rad1h: 1590, wcc: 50, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 4490, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082617 => hod: 17, dayname: -, sunaz: 240, sunalt: 30, rad1h: 1280, wcc: 60, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 1892, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082618 => hod: 18, dayname: -, sunaz: 254, sunalt: 25, rad1h: 940, wcc: 60, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 1065, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082619 => hod: 19, dayname: -, sunaz: 267, sunalt: 15, rad1h: 580, wcc: 55, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 742, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082620 => hod: 20, dayname: -, sunaz: 279, sunalt: 5, rad1h: 210, wcc: 50, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 280, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082621 => hod: 21, dayname: -, sunaz: 291, sunalt: 0, rad1h: 20, wcc: 45, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 7, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082707 => hod: 07, dayname: -, sunaz: 75, sunalt: 0, rad1h: 50, wcc: 25, weatherid: -, rr1c: 0.00, temp: 15, socwhsum: -
              windspeed: -, pvrl: 292, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082708 => hod: 08, dayname: -, sunaz: 87, sunalt: 10, rad1h: 330, wcc: 25, weatherid: -, rr1c: 0.00, temp: 15, socwhsum: -
              windspeed: -, pvrl: 1430, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082709 => hod: 09, dayname: -, sunaz: 100, sunalt: 20, rad1h: 790, wcc: 25, weatherid: -, rr1c: 0.00, temp: 15, socwhsum: -
              windspeed: -, pvrl: 2163, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082710 => hod: 10, dayname: -, sunaz: 113, sunalt: 30, rad1h: 1270, wcc: 25, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 2693, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082711 => hod: 11, dayname: -, sunaz: 128, sunalt: 35, rad1h: 1640, wcc: 30, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 3771, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082712 => hod: 12, dayname: -, sunaz: 145, sunalt: 40, rad1h: 1970, wcc: 30, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 4598, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082713 => hod: 13, dayname: -, sunaz: 165, sunalt: 45, rad1h: 2240, wcc: 25, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 5327, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082714 => hod: 14, dayname: -, sunaz: 186, sunalt: 45, rad1h: 2290, wcc: 20, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 5527, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082715 => hod: 15, dayname: -, sunaz: 206, sunalt: 45, rad1h: 2210, wcc: 25, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 5242, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082716 => hod: 16, dayname: -, sunaz: 224, sunalt: 40, rad1h: 1980, wcc: 25, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 4942, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082717 => hod: 17, dayname: -, sunaz: 240, sunalt: 30, rad1h: 1640, wcc: 30, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 4433, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082718 => hod: 18, dayname: -, sunaz: 254, sunalt: 25, rad1h: 1160, wcc: 30, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 3297, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082719 => hod: 19, dayname: -, sunaz: 267, sunalt: 15, rad1h: 680, wcc: 30, weatherid: -, rr1c: 0.00, temp: 25, socwhsum: -
              windspeed: -, pvrl: 1930, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082720 => hod: 20, dayname: -, sunaz: 279, sunalt: 5, rad1h: 220, wcc: 30, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 653, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -
2024082721 => hod: 21, dayname: -, sunaz: 291, sunalt: 0, rad1h: 20, wcc: 30, weatherid: -, rr1c: 0.00, temp: 20, socwhsum: -
              windspeed: -, pvrl: 9, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: -, presence: -, holiday: -

DS_Starter

#5309
Ich sehe schon etwas. In den Datensätzen fehlt "dayname". Die Angabe ist wichtig für die Entscheidung Wochende/Arbeitstag.
Den Wert gibt es seit 13.05.2025 sofern man die Updates immer mitgemacht hat. Eventuell hast du mal länger ausgesetzt und deswegen gibt es diese Daten bei dir erst ab einem späteren Zeitpunkt. Bei "con" ist es ähnlich, wobei ich nicht genau weiß ab wann die Werte eingefügt wurden, vermutlich auch ab Anfang 25. 
Das erklärt das Skipping.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter