76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

Begonnen von DS_Starter, 11 Februar 2024, 14:11:00

Vorheriges Thema - Nächstes Thema

300P

Bin schon einmal flotti-karotti durchs Trainingslager...  ;D

Werte sehen IMHO gut aus



Grün und okay !!
(Screenshot)


-- In Normalization Space: --
Train MSE=0.005804
Val MSE=0.003508
Val Mean=0.0072532151
VAL/TRAIN MSE Ratio=0.604433 (limit=2.5)
Diff=0.002296 (limit=0.005)
ValStd=0.0002083088 (limit=0.00181330377322148)
-- At Original Scale: --
MAE=347.487377941142
RMSE/MAE=1.2073 (limit=2.5)
Slope=0.727170 (limit=0.7 .. 1.3)
Bias=481.19 (limit=+-521.231066911712)
R2=0.71
P95=917.2692 (limit=1389.94951176457)
P99=1227.8697 (limit=2779.89902352913)
-- Robustness Indicators: --
RMSE relative=21 (limit=60)
BitFail=1 (limit=5)
BitFailRate=0.0006 (limit=0.1)
Forecast Quality Score=78
-> Retrain decision=ok
2026.03.27 21:50:01 1: Forecast DEBUG> Training accepted - no retry needed
2026.03.27 21:50:01 1: Forecast DEBUG> AI FANN training data successfully written to file: ./FHEM/FhemUtils/NeuralNet_SolarForecast_Forecast
2026.03.27 21:50:01 1: Forecast DEBUG> AI FANN con Training BlockingCall PID '2175581' finished


Warte noch bis 22:00 (sorry - muss ja länger laufen :) ) ehe ich später dann die Bewertung dann nachliefern werde.....
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast| DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP| ESP32_AI_on_the_Edge|ESP32CAM usw.

300P

Ich bin diesmal (vorher auch schon ein paar mal) bei unter 30 Epochen "FERTIG" gewesen.

Sollten evtl da ein "min epochs = 100 epoches " als Untergrenze hinein, so daß das System nicht "untertrainiert" ist ?
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast| DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP| ESP32_AI_on_the_Edge|ESP32CAM usw.

DS_Starter

Die Schwelle für Early Stopping liegt bei 1000.
Hast du dich vllt. um eine 0 vertan?
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Der Schlüssel comforttemp ist jetzt vom consumerXX nach plantControl gewandert.
Der Schlüssel wird automatisch umkopiert  und kann im consumer dann gelöscht werden.

Liegt im contrib.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

300P

Zitat von: DS_Starter am 27 März 2026, 22:52:38Die Schwelle für Early Stopping liegt bei 1000.
Hast du dich vllt. um eine 0 vertan?

Sorry - hatte nur hierhin geschaut (bei diesem kurzem Lauf):
2026.03.27 21:50:01 1: Forecast DEBUG> Best Snapshot reloaded from Epoche 22: Train MSE=0.005804, Val MSE=0.003508, Val MAE=0.045731, Val MedAE=0.035386, Bit_Fail=1,
2



.....aber hier steht es ja eindeutig "1.000 nach dem letzten optimierten Wert" beendet...

2026.03.27 21:50:01 1: Forecast DEBUG> Early stopping bei Epoche 1022 (no improvement since 1000 epochs).  <<<=====########hier !!!!!!!
2026.03.27 21:50:01 1: === Snapshot-Statistik ===
2026.03.27 21:50:01 1: Metric-Improvement Snapshots:              12 (letzte Epoche: 21)
2026.03.27 21:50:01 1: Weighted-RMSE-Proxy-Improvement Snapshots: 3 (letzte Epoche: 22)
2026.03.27 21:50:01 1: Bit-Improvement Snapshots:                 0 (letzte Epoche: 0)
2026.03.27 21:50:01 1: Bit-Tradeoff Snapshots:                    1 (letzte Epoche: 2)
2026.03.27 21:50:01 1: Forecast DEBUG> Best Snapshot reloaded from Epoche 22: Train MSE=0.005804, Val MSE=0.003508, Val MAE=0.045731, Val MedAE=0.035386, Bit_Fail=1,
2026.03.27 21:50:01 1: Forecast DEBUG> Run Validation Test with 20% of Input data ...
2026.03.27 21:50:01 1: Forecast DEBUG> Validation finished - Best Training MSE=0.005804, Validation MSE=0.003508, Validation Bit_Fail=1
2026.03.27 21:50:01 1: Forecast DEBUG> Retrain check ->
-- In Normalization Space: --
Train MSE=0.005804
Val MSE=0.003508
Val Mean=0.0072532151
VAL/TRAIN MSE Ratio=0.604433 (limit=2.5)
Diff=0.002296 (limit=0.005)
ValStd=0.0002083088 (limit=0.00181330377322148)
-- At Original Scale: --
MAE=347.487377941142
RMSE/MAE=1.2073 (limit=2.5)
Slope=0.727170 (limit=0.7 .. 1.3)
Bias=481.19 (limit=+-521.231066911712)
R2=0.71
P95=917.2692 (limit=1389.94951176457)
P99=1227.8697 (limit=2779.89902352913)
-- Robustness Indicators: --
RMSE relative=21 (limit=60)
BitFail=1 (limit=5)
BitFailRate=0.0006 (limit=0.1)
Forecast Quality Score=78
-> Retrain decision=ok        <<<<<<===== #############im ersten Lauf

Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast| DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP| ESP32_AI_on_the_Edge|ESP32CAM usw.

grappa24

Es geht (nochmal) um die Benutzung der SF Solar-Prognose in EVCC - und zwar mittels des neuen UI-Editor.
Da das hier etwas offtopic werden könnte, hier mal der Link zum Thread:

https://forum.fhem.de/index.php?msg=1360570
Gebäudesicherheit/-komfort, PV-Prognose/Verbrauchssteuerung, Heizungssteuerung, Multimedia, ...
KNX, FS20, HM, HUE, Tradfri, Shellies, KLF200, Netatmo, Nuki, SolarForecast, HEOS, Alexa-FHEM, ...
FHEM 6.4, 2 x RasPi 3B+, Debian Bullseye

300P

Das Reading geht/gibts in plantcontrol nach dem allerletzten Update nicht..... ;)
26.03.27 23:53:33 1: PERL WARNING: Argument "MQTT_EMSwp:thermostat_data_hc1_comforttemp" isn't numeric in division (/) at ./FHEM/76_SolarForecast.pm line 26738.



NACHTRAG / EDIT:
Eintrag ist vorher nicht in dem WP-consumerXX angemeckert worden
comforttemp=MQTT_EMSwp:thermostat_data_hc1_comforttemp

Aktueller Inhalt ->> Reading in MQTT_EMSwp = "thermostat_data_hc1_comforttemp                  20"
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast| DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP| ESP32_AI_on_the_Edge|ESP32CAM usw.

DS_Starter

Zieh nochmal aus dem contrib. Ich hatte das Reading nicht geparst...ist wohl zu spät heute.  ;)
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

300P

Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast| DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP| ESP32_AI_on_the_Edge|ESP32CAM usw.

300P

Jetzt wird der Parameter akzeptiert !!

Danke und bis Morgen evtl. dann mal!  ;)
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast| DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP| ESP32_AI_on_the_Edge|ESP32CAM usw.

DS_Starter

ZitatForecast DEBUG> Early stopping bei Epoche 1022 (no improvement since 1000 epochs).  <<<=====########hier !!!!!!
Hat 1022 Epochen durchlaufen, Bester Wert schon bei 22, aber dann seit weiteren 1000 Epochen keine weiter Verbesserung. Deswegen Reload die Epoche 22. Perfekt.

Morgen  Heute habe ich frei.  :)  Sonntag erst wieder.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

#5621
ZitatEs geht (nochmal) um die Benutzung der SF Solar-Prognose in EVCC - und zwar mittels des neuen UI-Editor.
Das ist jetzt aber nichts für mich, oder?

Edit: Ohne zu wissen was da verlangt ist oder ob der Post vollständig ist, aber ganz unten fehlt eine schließende Klammer:

Zitat[
  {
      "start" : "2026-03-27T22:00:00Z",
      "end" : "2026-03-27T23:00:00Z",
      "value" : 0
  },
  {
      "value" : 0,
      "start" : "2026-03-27T23:00:00Z",
      "end" : "2026-03-28T00:00:00Z"
  },
  {
      "end" : "2026-03-28T01:00:00Z",
      "start" : "2026-03-28T00:00:00Z",
      "value" : 0
  },
  {
      "value" : 0,
      "start" : "2026-03-28T01:00:00Z",
      "end" : "2026-03-28T02:00:00Z"
  },
  {
      "end" : "2026-03-28T03:00:00Z",
      "start" : "2026-03-28T02:00:00Z",
      "value" : 0
  },
  {
      "value" : 0,
      "start" : "2026-03-28T03:00:00Z",
      "end" : "2026-03-28T04:00:00Z"
  },
  {
      "value" : 0,
      "end" : "2026-03-28T05:00:00Z",
      "start" : "2026-03-28T04:00:00Z"
  },
  {
      "value" : 27,
      "end" : "2026-03-28T06:00:00Z",
      "start" : "2026-03-28T05:00:00Z"
  },
]
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter