ZitatIch denke Dein "aiConTrainAlgo=INCREMENTAL" war erstmal der entscheidende Hinweis. Da ist Gemini nicht draufgekommen.Na was für ein Glück, dann sind wir (Menschen) ja noch nicht ganz überflüssig.
Zitat von: DS_Starter am 06 August 2026, 14:00:26Was sagt denn der interne "Berater" und die KI-Analyse zu dem Ergebnis?Ich denke Dein "aiConTrainAlgo=INCREMENTAL" war erstmal der entscheidende Hinweis. Da ist Gemini nicht draufgekommen.
Du postest zwar immer die Anfrage mit den Werten, aber nicht die Antwort.
Zitat von: KölnSolar am 01 August 2026, 09:03:18https://forum.fhem.de/index.php?msg=1367337 kann doch nur ein Bot sein, bei dem Text eines newbie. Ob der externe Link noch kommt ?Hat sich bestätigt und Link in den neuen Text eingebaut..
Zitat von: DS_Starter am 06 August 2026, 13:15:49* aiConTrainAlgo=INCREMENTALSo:
ZitatDu bewertest die Trainings- und Bewertungskennzahlen eines neuronalen Netzes (FANN),
das den stündlichen Energieverbrauch für einen Haushalt prognostiziert
(FHEM-Modul 76_SolarForecast.pm, FANN-basiertes neuronales Netz).
Wichtiger Domänen-Kontext für deine Bewertung:
- Stochastische Haushalte (ohne Wärmepumpe/BEV) erreichen typischerweise R²=0.25-0.35 –
das ist kein Modellfehler, sondern physikalisch bedingt durch unvorhersehbares Nutzerverhalten.
- Ein ModelSlope von 0.35-0.45 und ein ModelBias von 400-500 Wh sind bei diesen Haushalten
strukturell erwartet (Bias ≈ mean_consumption × (1 - Slope)) und kein Kalibrierfehler.
- Haushalte mit Wärmepumpe oder BEV können R²=0.5-0.7 erreichen.
- Ein DriftIndex unter 0.7 gilt als stabil, über 1.0 als kritisch.
- Ein hohes Rauschlevel (NoiseLevel) begrenzt die maximal erreichbare Modellqualität strukturell.
- BitFailLimit (aiConBitFailLimit) definiert die Fehlertoleranz pro Datenpunkt – ein HÖHERER
Wert bedeutet MEHR Toleranz (mehr Fehler werden akzeptiert, bevor ein Sample als Bit_Fail
zählt), ein NIEDRIGERER Wert bedeutet strengere Bewertung.
- Zur Diagnose von früher Konvergenz: Wenn Val MSE > Train MSE (Overfitting-Indikator) UND
wenige Epochen genutzt wurden, deutet das auf eine zu hohe Lernrate hin (Empfehlung:
Lernrate reduzieren). Nur wenn Val MSE ≈ Train MSE und wenige Epochen genutzt wurden,
kann eine höhere Lernrate sinnvoll sein.
Beurteile die Metriken ausschließlich vor diesem Domänen-Hintergrund, nicht nach
generischen ML-Benchmarks.
Bitte bewerte die Kennzahlen zusätzlich im Kontext dieser konkreten Haushaltskonfiguration
(siehe Abschnitt "Modellparameter", insbesondere Profile) und beantworte:
1. Wo liegen aktuell die größten Schwachstellen des Modells?
2. Welche 2-3 Maßnahmen versprechen den größten Hebel zur Verbesserung (Datenqualität/-menge,
Hyperparameter wie aiConLearnRate/aiConMomentum, Architektur/HiddenLayers, Feature-Auswahl,
Trainingsdauer/Epochen, Rauschen, Drift/Rekalibrierung)? Bitte jeweils mit Richtungsangabe
(erhöhen/reduzieren).
3. Gibt es Hinweise auf strukturelle Probleme (z.B. zu wenig Trainingsdaten, instabile Slope,
Bias-Drift, Over-/Underfitting, verrauschte Zielgröße, zu früh konvergiertes Training)?
4. Bitte konkrete, umsetzbare nächste Schritte nennen, keine allgemeinen Floskeln.
Hier die Kennzahlen:
--------------------------------------------------------------------
Allgemeine Informationen
- trainiert mit Modulversion: 2.9.4
- letztes KI-Training: 06.08.2026 13:39:08 (Laufzeit in Sekunden: 953)
- KI Abfragestatus: ok
- letzte KI-Ergebnis Generierungsdauer: 136.74 ms
- Verbrauchernummer Wärmepumpe: 03
Bewertungsüberblick
- Trainingsbewertung: Retrain (MSE diff=0.005290 > 0.005 | bitfail=62 > 5 | slope=0.5145 < slope_min=0.60 | rmse_rel=161.0% > 60% AND p95=1459.9 > 1341.2)
- Data-Parameter-Ratio Bewertung: ok
- Lernverhalten: gesundes Lernverhalten (7.6 % Epochenausnutzung)
- Rauschen Bewertung: merkliches Rauschen, Interpretation mit Vorsicht (borderline)
- Drift Bewertung: -
- Empfehlung für Retrain: keine
Modellparameter
- Normierungsgrenzen: PV=15750 Wh, Hausverbrauch: Min=0 Wh / Max=5263 Wh
- Trainingsdaten: 12928 Datensätze (Training=10342, Validation=2586)
- Architektur: Inputs=123, Hidden Layers=12, Outputs=1
- Hyperparameter: Learning Rate=0.0001, Momentum=0.5, BitFail-Limit=0.34
- Aktivierungen: Hidden=SIGMOID, Steepness=1.2, Output=LINEAR
- Trainingsalgorithmus: INCREMENTAL, Profile=v1_heatpump_active_pv (Haushalt mit Wärmepumpe und/oder Klimaanlage, PV-gesteuertem Lastmanagement, ausgeprägten Tages-/Verbrauchsrhythmen)
- Zufallsgenerator: Mode=1, Period=25
- Modellalter: - h
Trainingsmetriken
- bestes Modell bei Epoche: 1144 (max. 15000)
- Training MSE: 0.007266
- Validation MSE: 0.012557
- Validation MSE Average: 0.012393
- Validation MSE Standard Deviation: 0.000008
- Validation Bit_Fail: 62
- Data Parameter Ratio: 8.613
- Model Bias: 303 Wh
- Model Slope: 0.51
- Trainingsbewertung: Retrain
Fehlermaße der Prognosen
- MAE: 335.29 Wh
- MedAE: 103.35 Wh
- RMSE: 506.05 Wh
- RMSE relative: 161 %
- RMSE Rating: very bad
- MAPE: 54.31 %
- MdAPE: 28.17 %
- R2: 0.53
Rauschen
- Rauschen Bewertung: borderline
- Empfehlung für Bit_Fail: 0.34 (Einstellung von aiControl->aiConBitFailLimit)
Drift-Kennzahlen (berechnet ab Modellalter > 6 h)
- Analysefenster: - h
- Drift RMSE Ratio: -
- Semantic Ratio: -
- Slope Reference: -
- Slope Live: -
- Slope Drift: -
- Bias Reference: -
- Bias Live: -
- Bias Drift: -
- Score: -
- Index: -
- Drift Bewertung: -
- Empfehlung für Retrain: keine
- letzte Rekalibrierung: -
ZitatKann nicht sein.... aber naja doch ;o) Wir "meinen" nur was anderes...
+*00:01:00 {DevToJson("/opt/fhem/fhemdevstates.json","TMP:state","HUM:state","wetter:wind","wetter:pressure")}Steht jetzt identisch zu Deiner Testinstallation auch so bei mir. DEF ist also bei Dir und mir identisch.{qx(cat /opt/fhem/fhemdevstates.json)}Das funktioniert bei Deiner Testinstallation, aber nicht bei mir. Ich nehme an, das ist OS-Abhängig?