76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

[erwin]

Ich hab heute früh upgedatet... vorgestern und gestern -4.9 / +4.5 deviation - finde ich gut für die ersten beiden Tage - bei dieser April-Wetterlage!!!
Ich beobachte weiter aus Ö!
l.g. erwin

[schwatter]

Moin,

@DS_Starter

Ich habe jetzt auch auf contrib mit OpenMeteoWorld-API geupdatet.
Wie holst du location? Per "global" longitude + latitude?
Bzw muss ich es setzten oder funktioniert das automatisch?

Edit:
Ok, Seite 17 steht meine Antwort. Das hab ja gesetzt.


Gruß schwatter

[DS_Starter]

Moin,

ja global longitude + latitude.
Das Modul meckert bei Anlagencheck wenn diese Attr im global nicht gesetzt sind.
Wenn gesetzt, läuft der Rest automatisch.

(ok, hat sich überschnitten)

[schwatter]

Ok super,

und beim Anlagencheck wird gemeckert. Bei meinem DWD-Device.
Hat sich du das attr forecastResolution zu forecastRefresh geändert?
Dann muss ich bestimmt auch eine neue DWD aus deinem contrib ziehen?


Gruß schwatter

[DS_Starter]

Hat sich du das attr forecastResolution zu forecastRefresh geändert?

Die gibt es beide im DWD Modul. Haben unterschiedliche Bedeutung.

Dann muss ich bestimmt auch eine neue DWD aus deinem contrib ziehen?

Ja, mit dem DWD Modul aus meinem contrib kannst du auf MOSMIX_S umstellen -> help DWD_OpenData en

PS: Ich muss mal wieder im OpenData Thread nachfragen wie der Status zum einchecken des DWD aussieht.

[schwatter]

Ok,

dann hinke ich hinterher oder es wurde bei einem Update überschrieben.
Ich habe nur forecastResolution.

Ich updatete das Modul nochmal manual, Danke!


Gruß schwatter

[DS_Starter]

oder es wurde bei einem Update überschrieben.

global exclude_from_update nutzen.

LG

[oelidoc]

Hallo,
muss ich eigentlich bei OpenMeteoDWD als Api und WeatherDev auch mit so einer hohen Schreiblast für meine SD karte rechnen wie bei DWD_OpenData MOSMIX S?
Und lohnt sich die WORLD Version für Deutschland?

Frohe Ostern

oelidoc

[DS_Starter]

muss ich eigentlich bei OpenMeteoDWD als Api und WeatherDev auch mit so einer hohen Schreiblast für meine SD karte rechnen wie bei DWD_OpenData MOSMIX S?

Nein, die Verarbeitung findet im RAM statt. Schreibvorgänge dienen lediglich der Sicherung der Daten. Sie sind bei weitem nicht so umfangreich.
Je nachdem wie sich OpenMeteoDWD entwickelt werde ich persönlich wohl von DWD_OpenData weggehen und auf OpenMeteoDWD setzen.
Wird sich aber noch zeigen.

[oelidoc]

Danke Heiko,
dann setz ich auch mal auf OpenMeteoDWD...
OpenMeteoWorld macht für Deutschland also keinen Sinn?

Gruß

oelidoc

[DS_Starter]

OpenMeteoWorld macht für Deutschland also keinen Sinn?

Doch, durchaus.
Nur OpenMeteoWorld sucht entsprechend deines Standortes die geeigneten Quellen von einem Pool aus nationalen Wetterdiensten selbständig heraus.
Bei OpenMeteoDWD wird der Pool von vornherein auf die Modelle DWD Icon D2, DWD Icon EU und DWD Icon Global beschränkt.
Ich selbst sammle auch noch Erfahrungen welche Auswahl für Deutschland selbst die besten (oder auch gleichwertigen) Ergebnisse bringt. Nutzer in Großbritannien zB. werden sicherlich mit OpenMeteoWorld besser bedient sein.
Die Erläuterungen auf der Open-Meteo Seite geben jede Menge Infos dazu.

LG,
Heiko

[DS_Starter]

Da die Open-Meteo Implementierung jetzt rund läuft habe ich mich entschieden die ganzen Weiterentwicklungen
einzuchecken.
Die neue V wird morgen früh mit FHEM Update ausgeliefert.

Und schöne Ostern wünsche ich euch!

[DS_Starter]

Der nächste Step könnte die Implementierung der Ensemble Modelle sein.
Allein der DWD stellt über sein Ensemble Regionalmodell ICON-D2 eine Vorhersage aus 20 Einzelmembern zur Verfügung.

Ein Auszug aus der Erläuterung auf der Webseite: https://www.dwd.de/DE/forschung/wettervorhersage/num_modellierung/04_ensemble_methoden/ensemble_vorhersage/ensemble_vorhersage_node.html

Für eine perfekte Wettervorhersage müssten jeder Prozess und jeder Zustand in der Atmosphäre genauestens bekannt und im Vorhersagesystem perfekt abgebildet sein. In der Realität ist das nur näherungsweise möglich. Bereits der erste Schritt zur Vorhersage – die Berechnung des gegenwärtigen Atmosphärenzustands – ist mit inhärenten Unsicherheiten behaftet. Diese und andere Unsicherheiten stellen eine Herausforderung dar, weil die Atmosphäre ein ,,chaotisches System" ist, d.h. kleine Unsicherheiten können zu großen Fehlern in der Vorhersage anwachsen.

Daher stützen sich heutige Methoden nicht nur auf eine einzige Vorhersage, sondern auf ein ganzes ,,Ensemble" von Vorhersagen. Das Ensemble besteht aus verschiedenen Vorhersageszenarien, den ,,Ensemble Membern". Jedes Member basiert auf einer etwas anderen, aber jeweils realistischen Konfiguration des Anfangszustands und des Vorhersagesystems. Abhängig von der aktuellen Wettersituation wirken sich diese Unterschiede auf das Vorhersageresultat aus. Typischerweise bewegen sich die Ensemble Member mit fortschreitender Vorhersagezeit auseinander. Sie vermitteln eine Vorstellung von der tagesaktuellen Vorhersagbarkeit und stellen die Basis für Wahrscheinlichkeitsaussagen dar.

Über die entsprechende API von Open-Meteo erreichen wir mit einem einzigen API-Call das Ergebnis von 20! Einzelabfrufen verschiedener Modelle.
Das schaue ich mir noch genauer an. Die API Doku sagt noch aus:

Ensemblemodelle sind eine Art von Wettervorhersagetechnik, bei der mehrere Mitglieder oder Versionen eines Modells verwendet werden, um eine Reihe möglicher Ergebnisse für eine bestimmte Vorhersage zu erzeugen. Jedes Mitglied wird mit leicht unterschiedlichen Anfangsbedingungen und/oder Modellparametern initialisiert, um Unsicherheiten und Variationen in der Atmosphäre zu berücksichtigen, was zu einer Reihe von gestörten Prognosen führt.

Durch die Kombination der gestörten Vorhersagen erzeugt das Ensemble-Modell eine Wahrscheinlichkeitsverteilung möglicher Ergebnisse, die nicht nur die wahrscheinlichste Vorhersage, sondern auch den Bereich möglicher Ergebnisse und deren Wahrscheinlichkeiten angibt. Dieser probabilistische Ansatz bietet umfassendere und genauere Vorhersageempfehlungen, insbesondere für Wetterereignisse mit großen Auswirkungen und hohen Unsicherheiten.

Verschiedene nationale Wetterdienste berechnen Ensemble-Modelle mit unterschiedlicher Auflösung der Wettervariablen und des Vorhersagezeitraums. Das ICON-Modell des Deutschen Wetterdienstes (DWD) beispielsweise bietet eine außergewöhnlich hohe Auflösung für Europa, sagt aber nur bis zu 7 Tage voraus. Das GFS-Modell kann dagegen bis zu 35 Tage vorhersagen, wenn auch mit einer geringeren Auflösung von 50 km. Welches Ensemble-Modell am besten geeignet ist, hängt vom Vorhersagehorizont und der Region ab, die von Interesse ist.

[AlexS]

Hallo Heiko,

vielen Dank für die ständigen Weiterentwicklungen des Moduls. Ich habe mir mehrere Instanzen eingerichtet und diese nun um OpenMeteoDWD-Varianten ergänzt, um die Performance zu vergleichen (einfach/komplex/KI jeweils mit DWD_OpenData und OpenMeteoDWD kombiniert).
Wie verhält es sich denn, wenn ich in einer Instanz von DWD_OpenData auf OpenMeteoDWD umstelle mit den erlernten KI Daten? Wenn ich es richtig beobachtet habe, wird das AIraw_SolarForecast_ File geleert und neu befüllt. Beim Zurückgehen auf DWD_OpenData wären dann die alten gelernten Daten weg und müssten aus dem Backup wiederhergestellt werden, oder?

Für die Auswertung der Performance logge ich den stündlichen Realwert, die letzte Prognose und die initiale Prognose von 0 Uhr über AllPVforecastsToEvent. Kann es sein, dass sich dort mit dem letzten Update etwas am Verhalten geändert hat?
Meine Diagramme werden nun nicht mehr erzeugt und bei der Fehlersuche ist mir aufgefallen, dass um Mitternacht über AllPVforecastsToEvent die kommenden 48h gespeichert werden und früher waren es nur die kommenden 24h (siehe Screenshots, vorher/nachher). Wenn ich die Werte des kommenden Tages händisch lösche bekomme ich wieder korrekte dargestellte Diagramme.

Viele Grüße
Alex

Du darfst diesen Dateianhang nicht ansehen.

[DS_Starter]

Hallo Alex,

Wie verhält es sich denn, wenn ich in einer Instanz von DWD_OpenData auf OpenMeteoDWD umstelle mit den erlernten KI Daten? Wenn ich es richtig beobachtet habe, wird das AIraw_SolarForecast_ File geleert und neu befüllt.

Die Rohdaten AIraw_SolarForecast_ werden immer angereichert und (bei Erfolg) das bestehende File überschrieben. D.h. der Inhalt wird mit der Zeit größer. Ein "get ... valDecTree aiRawData" zeigt dir den Content.
Problem bei einer Umstellung ist, dass die Strahlungsdaten zwischen DWD_OpenData und OpenMeteoDWD nicht wirklich kompatibel sind (GI vs. GTI). Das hatten wir weiter vorn schonmal kurz angerissen.
Man müsste sich das Verhalten mal genauer anschauen in einem solchen Fall.

Beim Zurückgehen auf DWD_OpenData wären dann die alten gelernten Daten weg und müssten aus dem Backup wiederhergestellt werden, oder?

Nein. Die gelernten Daten (also die Train-Daten) werden jede Nacht neu erstellt. Dazu wird die AIraw_SolarForecast_ Datei eingelesen und verarbeitet.
Geht auch manuell mit den Settern "set ... aiDecTree addRawData" -> addInstances -> train. In der Reihenfolge. Wenn du vorher ctrlDebug aiProcess gesetzt hast, siehst du die internen Vorgänge.

Edit: Wegen der AllPVforecastsToEvent schaue ich nochmal. Bei mir ist mir bislang nichts aufgefallen. Logge diese Daten auch.

LG