76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

Begonnen von DS_Starter, 11 Februar 2024, 14:11:00

Vorheriges Thema - Nächstes Thema

300P

True Outliers above p99.5 (5845): 5933

2026.01.10 15:28:27 1: Forecast DEBUG> AI FANN Training for Consumption Forecast BlockingCall PID "2259608" with Timeout 86400 s started
2026.01.10 15:28:33 1: Forecast DEBUG> AI FANN - There are 30 Records skipped due to incomplete or invalid data. Index:
2025032507, 2025032610, 2025033003, 2025033021, 2025040211, 2025041017, 2025041020, 2025041022, 2025041024, 2025041101, 2025041102, 2025041103, 2025041104, 2025041105, 2025041106, 2025041108, 2025041203, 2025041204, 2025041309, 2025041314, 2025052209, 2025052511, 2025052518, 2025052519, 2025060214, 2025061109, 2025061414, 2025062914, 2025082315, 2025122414
2026.01.10 15:28:33 1: Forecast DEBUG> AI FANN - Target-Norm: raw_max=5933, p99=4542, p99.5=5845, targmaxval=7598
2026.01.10 15:28:33 1: Forecast DEBUG> AI FANN - True Outliers above p99.5 (5845): 5933
2026.01.10 15:28:36 1: Forecast - DBG F[6940]: lag1=0.281 hppf=0.154 lag24=0.378 d1p=0.026
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.

300P

Ergebnis 2:
Registry Version=v1_heatpump


Informationen zum neuronalen Netz der Verbrauchsvorhersage  ->> v1_heatpump
letztes KI-Training: 10.01.2026 20:35:21 / Laufzeit in Sekunden: 1842
KI Abfragestatus: ok
letzte KI-Ergebnis Generierungsdauer: 45.13 ms
Verbrauchernummer Wärmepumpe: 08

=== Modellparameter ===

Normierungsgrenzen: PV=16071 Wh, Hausverbrauch: Min=0 Wh / Max=7598 Wh
Trainingsdaten: 6959 Datensätze (Training=5567, Validierung=1392)
Architektur: Inputs=61, Hidden Layers=40-20, Outputs=1
Hyperparameter: Learning Rate=0.001, Momentum=0.6, BitFail-Limit=0.35
Aktivierungen: Hidden=SIGMOID, Steilheit=1.2, Output=LINEAR
Trainingsalgorithmus: INCREMENTAL, Registry Version=v1_heatpump
Zufallsgenerator: Mode=1, Periode=10

=== Trainingsmetriken ===

bestes Modell bei Epoche: 3309 (von max. 15000)
Training MSE: 0.004007
Validation MSE: 0.011083
Validation MSE Average: 0.013604
Validation MSE Standard Deviation: 0.001097
Validation Bit_Fail: 1
Model Bias: 719 Wh
Model Slope: 0.5
Trainingsbewertung: Retrain

=== Fehlermaße der Prognosen ===

MAE: 607.23 Wh
MedAE: 447.92 Wh
RMSE: 759.39 Wh
RMSE relative: 34 %
RMSE Rating: weak
MAPE: 26.54 %
MdAPE: 22.60 %
R²: 0.15

Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.

DS_Starter

Auch hier gibt den hohen Wert Model

Bias: 719 Wh

Und mich stört auch der sehr niedrige R²: 0.15. Das ist nicht schön.

Ich habe inzwischen die Profile intensiv neu gebaut und strukturiert. Werde die neue V sicherlich nachher noch hochladen.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Update ist ins Contrib gestellt. Die Profile sind intern umstrukturiert.
Dadurch gibt es auch ein weiteres Profil:

 v1_heatpump_active_pv

Die Bias-Korrektur greift nur Werte im unteren Quantil 30. Das sollte die Peaks unangetastet lassen und nur dort korrigierend eingreifen wo es richtig ist.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

300P

Training mit dem neuen Profil rennt 🏃- Ergebnis kommt dann nach dem Frühstück 😴💤🥱🛏�☕️🥯🍞
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.

DS_Starter

Du gehst aber auch gleich mit den maximalen Features ins Rennen  ;)
Naja, mal schauen ...
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

300P

Zitat von: DS_Starter am 10 Januar 2026, 23:40:57Du gehst aber auch gleich mit den maximalen Features ins Rennen  ;)

Muss doch irgendwann mal nach vorne gehen... ;D ....und siehe da .... es ward endlich einmal wieder 'gelb' in der Anzeige bei 'Trainingsbewertung'


Informationen zum neuronalen Netz der Verbrauchsvorhersage ->> mit 'v1_heatpump_active_pv'

letztes KI-Training: 11.01.2026 00:19:49 / Laufzeit in Sekunden: 3770
KI Abfragestatus: ok
letzte KI-Ergebnis Generierungsdauer: 73.72 ms
Verbrauchernummer Wärmepumpe: 08

=== Modellparameter ===

Normierungsgrenzen: PV=16071 Wh, Hausverbrauch: Min=0 Wh / Max=7598 Wh
Trainingsdaten: 6962 Datensätze (Training=5569, Validierung=1393)
Architektur: Inputs=108, Hidden Layers=40-20, Outputs=1
Hyperparameter: Learning Rate=0.001, Momentum=0.4, BitFail-Limit=0.35
Aktivierungen: Hidden=SIGMOID, Steilheit=1.2, Output=LINEAR
Trainingsalgorithmus: INCREMENTAL, Registry Version=v1_heatpump_active_pv
Zufallsgenerator: Mode=1, Periode=10

=== Trainingsmetriken ===

bestes Modell bei Epoche: 5878 (von max. 15000)
Training MSE: 0.003058
Validation MSE: 0.007529
Validation MSE Average: 0.008555
Validation MSE Standard Deviation: 0.000334
Validation Bit_Fail: 0
Model Bias: 645 Wh
Model Slope: 0.6
Trainingsbewertung: Retrain

=== Fehlermaße der Prognosen ===

MAE: 493.06 Wh
MedAE: 357.72 Wh
RMSE: 590.23 Wh
RMSE relative: 27 %
RMSE Rating: weak
MAPE: 22.86 %
MdAPE: 18.75 %
R²: 0.42

=== Drift-Kennzahlen ===

Drift Score: 2.95
Drift RMSE relative: 55.07
Drift Bias: 16.41
Drift Slope: 0.315
Drift Bewertung: severe




->> Screenshot
Zeitraum 21-22 Uhr 'alte Version' Version  'v1_standart von 21:25 - 22:01 Uhr trainiert.
->> Vergleich erfolgt in der Zeit 21/22 Uhr augenscheinlich mit 'legacy'

Zeitraum 23-00 Uhr 'gestrigen neue Version 'v1_heatpump_active_pv' von 23:16 - 00:19 trainiert.
->> Vergleich erfolgt in der Zeit 23/23 Uhr augenscheinlich mit 'legacy'
Zeitraum 03 Uhr  neues Training 'automatisch' nach Plan - kein Einfluss sichtbar
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.