76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

Begonnen von DS_Starter, 11 Februar 2024, 14:11:00

Vorheriges Thema - Nächstes Thema

300P

Tja entweder löschen - oder per Hand (wenn FHEM gestoppt ist) in die CSV-Tabelle passend "einfuddeln" wäre da gefragt - ist aber egal wie sehr fehleranfällig. ::)  :-[
Ich würde sie löschen..... :-X  :'(

Hab bei mir auch Anfang des Jahres alles gelöscht was nicht passte.
Gruß
300P

FHEM 6.4|RPi|SMAEM|SMAInverter|SolarForecast|DbLog|DbRep|MariaDB|Buderus-MQTT_EMS|
Fritzbox|fhempy|JsonMod|HTTPMOD|Modbus ser+TCP|ESP32-Digitizer-AI_on_the_Edge|ESP32CAM usw.

DS_Starter

Sagen wir mal für die CON-AI sind diese Daten nicht brauchbar. Selbst wenn man dayname irgendwie nachträgt, fehlt noch "con" und diesen Wert kann man nicht reinfummeln.
Aber wenn ich die PV-Prognose auf FANN umstelle, kann man die Daten schon verwenden weil dann andere Schlüssel wichtig sind. Der Wochentagname und con sind dann nicht relevant.
Unter dem Aspekt würde ich die Daten nicht löschen und die Meldung ignorieren weil der Grund nun bekannt ist.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

peterboeckmann

Dann hier nochmal zwei, von denen nur der zweite geskipped wurde. Offenbar wegen fehlendem pvrl:

2025060515 => hod: 15, dayname: Do, sunaz: 213, sunalt: 55, rad1h: 1300, wcc: 83, weatherid: 3, rr1c: 0.00, temp: 18, socwhsum: -
              windspeed: -, pvrl: 3408, pvrlvd: -, minutes_wp: -, conaifc: -, con: 1160, gcons: 2, presence: -, holiday: -
2025060516 => hod: 16, dayname: Do, sunaz: 234, sunalt: 49, rad1h: 1200, wcc: 84, weatherid: 3, rr1c: 0.00, temp: 19, socwhsum: -
              windspeed: -, pvrl: -, pvrlvd: -, minutes_wp: -, conaifc: -, con: -, gcons: 4, presence: -, holiday: -

Zwischen dem 13.05.2025 und dem 05.06.2025 wurden keine Datensätze geskipped.
Wenn es nur der Name des Tages ist, könnte man den aus dem Datum noch nachträglich ermitteln und die Daten so korrigieren, oder?
Warum das pvrl fehlt, kann ich heute sicher nicht mehr mit Bestimmtheit nachvollziehen.

Löschen der Datensätze wäre offenbar möglich.
Welche Auswirkungen würde das neben der eingesparten Logmeldung noch haben? Für das Training des NN werden die Datensätze ja ohnehin geskipped.

Viele Grüße,
Peter

DS_Starter

#5313
ZitatDann hier nochmal zwei, von denen nur der zweite geskipped wurde. Offenbar wegen fehlendem pvrl
Eher wegen dem fehlenden con.

ZitatWenn es nur der Name des Tages ist, könnte man den aus dem Datum noch nachträglich ermitteln und die Daten so korrigieren, oder?
Das ja, wäre machbar. Aber con ersetzen geht nicht. Wäre ein Raten ins Blaue.

ZitatWelche Auswirkungen würde das neben der eingesparten Logmeldung noch haben? Für das Training des NN werden die Datensätze ja ohnehin geskipped.
Naja, die Datensätze sind für die KI PV-Prognose brauchbar sofern pvrl nicht fehlt. dayname und con sind dafür nicht relevant.
Wenn sowohl con als auch pvrl fehlt kann man den Datensatz getrost löschen, wobei aber beachtet werden sollte dass in den Nachtstunden pvrl auch undef oder 0 ist. D.h. dadurch werden die Nachtstunden zusätzlich gekennzeichnet. Wenn man sie nur wegen einem fehlenden pvrl löscht, könnten wichtige Daten fehlen.
Fehlt pvrl und con z.B. zur Mittagszeit, liegt mit Sicherheit ein Gap vor und der Datensatz kann gelöscht werden.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Ich habe die Version 2.3.0 ins contrib gestellt.
Was ist drin:

- im setupEnvironment kann man einen Windmesser einfügen:

windSpeed    
Eine <Gerät>:<Reading> Kombination, die die aktuell gemessene Windgeschwindigkeit in m/s liefert.
Syntax: <Gerät>:<Reading>

Intern wird eine zweistufige Glättung durchgeführt und es entstehen zwei Werte die sich in den Datenspeichern wiederfinden:

windspeed    Windgeschwindigkeit Großwetterlage / Trend (m/s)
windspeed_fast    Windgeschwindigkeit kurzfristige Glättung (m/s)

- das Debuglog ist um die Option aiProcess_long ergänzt. Wenn man das aktiviert, werden
  bei AI CO-Training die skipped Datensätze mit dem Grund des Skip ausgedruckt, sonst nur die Anzahl der
  skipped Datensätze:

2026.03.07 21:23:38.370 1: VictronVRM DEBUG> AI FANN - There are 26 Records skipped due to incomplete or invalid data.
2026.03.07 21:23:38.370 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025013022 -> con=680 rr1c=undef wcc=undef
2026.03.07 21:23:38.371 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025020501 -> con=648 temp=undef
2026.03.07 21:23:38.371 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025020601 -> con=524 temp=undef
2026.03.07 21:23:38.372 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025021101 -> con=-254
2026.03.07 21:23:38.372 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025033003 -> con=undefined
2026.03.07 21:23:38.372 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025042603 -> con=undefined
2026.03.07 21:23:38.373 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025042604 -> con=undefined
2026.03.07 21:23:38.373 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025042605 -> con=undefined
2026.03.07 21:23:38.373 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025042606 -> con=undefined
2026.03.07 21:23:38.374 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025042808 -> con=undefined
2026.03.07 21:23:38.374 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025051311 -> con=undefined
2026.03.07 21:23:38.374 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025052412 -> con=undefined
2026.03.07 21:23:38.375 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025052819 -> con=undefined
2026.03.07 21:23:38.375 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025072107 -> con=undefined
2026.03.07 21:23:38.375 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025072405 -> con=undefined
2026.03.07 21:23:38.376 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025072406 -> con=undefined
2026.03.07 21:23:38.376 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025072407 -> con=undefined
2026.03.07 21:23:38.376 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025072607 -> con=undefined
2026.03.07 21:23:38.377 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025082209 -> con=undefined
2026.03.07 21:23:38.377 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025100309 -> con=undefined
2026.03.07 21:23:38.377 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025102402 -> con=undefined
2026.03.07 21:23:38.378 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025102808 -> con=undefined
2026.03.07 21:23:38.378 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025110109 -> con=undefined
2026.03.07 21:23:38.378 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025120608 -> con=undefined
2026.03.07 21:23:38.379 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2025122202 -> con=undefined
2026.03.07 21:23:38.379 1: VictronVRM DEBUG> AI FANN - dataset skipped - 2026010109 -> con=undefined

LG,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter