76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

[grappa24]

Wetter gut im Urlaub ?

Die PV Anlage konnte mal schön allein vor sich hinwurschteln 
Urlaub an der Nordsee, alles dabei von 15°C und Sturm bis 32°C Hitze mit anschließendem Unwetter

[300P]

Durch ergänzende Features in der KI Verbrauchsprognose gibt es bei dieser Version Strukturänderungen.
Aus diesem Grund wird in den meisten Fällen ein Retraining erforderlich sein, bei Setzen des Flags "bev" auf jeden Fall.

Puh - das Refrain ist/wird ganz schön anstrengend mit der Version. Ich hab schon 6 Läufe gestartet und noch kein einigermaßen i.O. Ergebnis bekommen.
So schlecht war ich selten dabei.......

[Wolle02]

Ich habe jetzt nach 3 Retrains das angehängte Ergebnis. Wenn ich den Vorschlag umsetze wird es viel schlechter, weshalb ich wieder zurückgegangen bin und jetzt mal beobachte, ob ich wieder in den Bereich eines gesunden Lernverhaltens komme.

[DS_Starter]

Zeig mal deine Einstellungen bitte. Und das letzte Trainingslog.
Insgesamt werden die numerischen Ergebnisse tatsächlich schlechter, das ist so. Hatte ich schon geschrieben.
Wie sieht die visuelle Prognose aus?

[DS_Starter]

@Wolle02, bei dir wird nur frühes Konvergieren angemeckert. Das kann man manchmal auch mit einem höheren aiMomentum verbessern falls.
Muß man sich die Params mal anschauen.

[Wolle02]

Anbei die Einstellungen und Prognosedaten. Der letzte Peak war die Spülmaschine die zusätzlich zur Klimaanlage lief.

[DS_Starter]

Dein Ergebnis sieht so schlecht nicht aus, etwas zu "glatt".
Die frühe Konvergieren kann man evtl. verbessern durch:

aiConLearnRate=0.0001    (Reduktion)
aiConSteepness=0.05      (schtittweise leicht erhöhen)
aiConActFunc=SIGMOID
aiConBitFailLimit=28    (etwas verschärfen gegenüber Empfehlung)
aiConProfile=v1,active,pv,bev   (mehr Features)

Wenn das nicht hilft, muß man sich das Trainingslog anschauen wie der Verlauf ist.
So ab ca. 1600 Epochen ist der Berater "zufrieden".

[300P]

So, wieder erstmals knapp den R2 an die 0.50 Grenze (0.48) geschafft - lag vorher weit drunter.

Code Auswählen Erweitern

etztes KI-Training: 23.06.2026 14:40:50 / Laufzeit in Sekunden: 716
KI Abfragestatus: ok
letzte KI-Ergebnis Generierungsdauer: 110.56 ms
Alpha: 0.8
Verbrauchernummer Wärmepumpe: 08

Bewertungsüberblick
Trainingsbewertung: Retrain (Retrain)    ####blau####
Lernverhalten: #####gelb#####   early früh konvergiert (9.9 % Epochenausnutzung)
Einstellhinweise:
Konvergenz erfolgt früh, Momentum/Lernrate sind bereits konservativ: um mehr nützliche Epochen vor dem Early-Stopping zu ermöglichen, aiConSteepness leicht reduzieren (z.B. um 0.1) für langsamere, feinere Konvergenz - bei zu niedrigen aiConSteepness-Wert kann das Netz komplett aufhören zu lernen (Slope≈0); alternativ Hidden-Layer-Größe/Tiefe (aiConHiddenLayers) leicht erhöhen für mehr Lernkapazität, was aber ggf. mehr Trainingsdaten erfordert
Große Datenmenge (10412 Datensätze gesamt): falls saisonale Effekte die Prognosequalität beeinträchtigen, Training auf die neuesten Datensätze begrenzen (z.B. aiControl->aiConTrainLimit=5200) um das Modell auf aktuelle Verbrauchsmuster zu fokussieren. Der Hinweis ist für stochastische Haushalte weniger relevant als für strukturierte.

Rauschen Bewertung: merkliches Rauschen, Interpretation mit Vorsicht (borderline)
Drift Bewertung: -
Empfehlung für Retrain: keine

Modellparameter
Normierungsgrenzen: PV=9975 Wh, Hausverbrauch: Min=0 Wh / Max=6970 Wh
Trainingsdaten: 10412 Datensätze (Training=8329, Validation=2083)
Architektur: Inputs=112, Hidden Layers=14-8, Outputs=1
Hyperparameter: Learning Rate=0.0001, Momentum=0.5, BitFail-Limit=0.34
Aktivierungen: Hidden=SIGMOID_SYMMETRIC, Steepness=0.9, Output=LINEAR
Trainingsalgorithmus: INCREMENTAL, Profile=v1_heatpump_active_pv
Zufallsgenerator: Mode=1, Period=20
Modellalter: - h

Trainingsmetriken
bestes Modell bei Epoche: 1481 (max. 15000)
Training MSE: 0.008647
Validation MSE: 0.007070
Validation MSE Average: 0.007131
Validation MSE Standard Deviation: 0.000028
Validation Bit_Fail: 11
Model Bias: 524 Wh
Model Slope: 0.61
Trainingsbewertung: Retrain    ####blau####



Fehlermaße der Prognosen
MAE: 405.15 Wh
MedAE: 273.88 Wh
RMSE: 501.54 Wh
RMSE relative: 49 %
RMSE Rating: acceptable
MAPE: 35.11 %
MdAPE: 25.88 %
R²: 0.48

Nachsatz:
Grafik -gelb CON aktuelle - rot -Forecast

[DS_Starter]

@300P,

du liegst mit 1481 Epochen nicht weit von der "Zufriedenheitsgrenze" entfernt.
Eventuell hilft bei dir auch Steepness in 0.1 Schritten zu reduzieren.
Bei heatpump könnten die "saisonalen Effekte" eine Rolle spielen. Auch BitFail leicht reduzieren 0.28 und testen.

Wie seiht es visuell aus?
Ich sehe. Naja, ist doch nicht schlecht. Die angemeckerten "mehr Features/Information" wird FANN ja bald für WP's bekommen.

[300P]

Wie seiht es visuell aus?

Könnte so passen 

Die "Klima" läuft die ganzen Tage schon den ganzen Tag lang bis spät Abends bei dem Wetter - sollte evtl. wohl mal ein da EM setzen......

Die WP schläft eigentlich nur und wartet sehnsüchtig auf die WW-Aufbereitungsrunde... 


Nachsatz:
Ich lasse laufen.......

[DS_Starter]

Die "Klima" läuft die ganzen Tage schon den ganzen Tag lang bis spät Abends bei dem Wetter - sollte evtl. wohl mal ein da EM setzen......

Das ist natürlich ein erheblicher Störfaktor für das NN ohne weitere Infos.
In einen der nächsten Schritte werde ich wohl alle csmeX der registrierten Verbraucher in die KI integrieren.
Das könnte einen weiteren Boost geben.

[300P]

Brauchst du evtl. nicht für die Klima machen:
Klima = 100 % eine "negative" Wärmepumpe

opmode=sind dadurch (teilweise) gleichartig

Die fehlenden Betriebsmodi müssten nur genau etwas anders per "userreading" übergeben werden

Wärmpumpe    /  Klimagerät
=================================
heating            /  heating    (Kann Klima auch - aber wer hat da FHEM-Datenzugriff drauf ? )
cooling            /  cooling    (Standartnutzung)
pool                /  off           (gibts bei Klima nicht)
poolheating    /  off           (gibts bei Klima nicht)
off                  /  off           halt AUS
hotwater        /  off           (gibts bei Klima nicht)


Also -> mach dir da keine Gedanken drum 🤯

[300P]

Das ist natürlich ein erheblicher Störfaktor für das NN ohne weitere Infos.

Ist bei uns immer (seit 2007) an.
Immer heißt wenn >24 Grad - auch letztes Jahr in den History-Daten so schon drin.
Nicht nur als Luxus - andere Gründe....



Nachsatz:
Klima bekommt die Tage jetzt ein "Shelly Pro 3EM 120A 3P" - mal sehen wie lange ich brauche es dann einzubauen/aktivieren/einzubinden.🫣🤔
Laut Beschreibung soll es ja Wifi können. Dann dort MQTT aktivieren und per FHEM MQTT2 bis nach SF einbinden.😎
 

[peterboeckmann]

Hallo zusammen,

nach nun bestimmt 15 bis 20 Trainingsläufen habe ich eine Konfiguration gefunden, die das Modul selbst halbwegs brauchbar bewertet. Nur das Rauschen scheint noch zu stark.

Bewertungszusammenfassung:

Code Auswählen Erweitern

Trainingsbewertung: Retrain (Retrain)
Lernverhalten: ok gesundes Lernverhalten (12.3 % Epochenausnutzung)
Einstellhinweise:
Große Datenmenge (10320 Datensätze gesamt): falls saisonale Effekte die Prognosequalität beeinträchtigen, Training auf die neuesten Datensätze begrenzen (z.B. aiControl->aiConTrainLimit=5100) um das Modell auf aktuelle Verbrauchsmuster zu fokussieren. Der Hinweis ist für stochastische Haushalte weniger relevant als für strukturierte.

Rauschen Bewertung: merkliches Rauschen, Interpretation mit Vorsicht (borderline)
Drift Bewertung: fresh_model
Empfehlung für Retrain: keine
Modellparameter:

Code Auswählen Erweitern

Normierungsgrenzen: PV=13020 Wh, Hausverbrauch: Min=0 Wh / Max=13733 Wh
Trainingsdaten: 10320 Datensätze (Training=8256, Validation=2064)
Architektur: Inputs=119, Hidden Layers=22-12, Outputs=1
Hyperparameter: Learning Rate=0.0010, Momentum=0.7, BitFail-Limit=0.34
Aktivierungen: Hidden=SIGMOID_SYMMETRIC, Steepness=0.1, Output=LINEAR
Trainingsalgorithmus: INCREMENTAL, Profile=v1_heatpump_active_pv_bev
Zufallsgenerator: Mode=1, Period=10
Modellalter: -0 h
Trainingsmetriken:

Code Auswählen Erweitern

bestes Modell bei Epoche: 1842 (max. 15000)
Training MSE: 0.002355
Validation MSE: 0.002559
Validation MSE Average: 0.002632
Validation MSE Standard Deviation: 0.000041
Validation Bit_Fail: 7
Model Bias: 483 Wh
Model Slope: 0.61
Trainingsbewertung: Retrain
Fehlermaße der Prognose:

Code Auswählen Erweitern

MAE: 371.45 Wh
MedAE: 186.49 Wh
RMSE: 495.72 Wh
RMSE relative: 68 %
RMSE Rating: acceptable
MAPE: 83.16 %
MdAPE: 27.69 %
R²: 0.52
Mein attr aiControl:

Code Auswählen Erweitern

aiTrainStart=3 aiStorageDuration=18250 aiTreesPV=30
aiConActivate=1
aiConProfile=v1,active,bev,pv,heatpump
aiConHiddenLayers=22-12
aiConShuffleMode=1
aiConBitFailLimit=0.34
aiConAlpha=0.7
aiConMomentum=0.7
aiConLearnRate=0.0010
aiConSteepness=0.1
aiConActFunc=SIGMOID_SYMMETRIC
Bin mal gespannt, ob noch ein paar Retrains noch bessere Werte liefern,.

Vielen Dank für die BEV-FEATURES, Heiko!

Viele Grüße,
Peter

[DS_Starter]

Hallo Peter,

wie sieht deine Visualisierung aus?
Das Rauschen ist auch bei mir in diesem Bereich. Generell sind die numerischen Werte erwartungsgemäß schlechter als vorher geworden, hatte ich ja schon weiter vorn geschrieben.

Dennoch habe ich heute bis jetzt ein Abweichung von 0% auf dem Tacho, was ich nie für möglich gehalten hätte rein nach den Zahlen zu urteilen.

Dein Steepness finde ich jetzt arg niedrig. Vllt. schauen wir uns dein Trainingslog mal gemeinsam an oder schicken es mit den Ergebnissen und eingestellten Params mal durch die KI.
Aber wenn es passt ... sehr gut. 

LG,
Heiko