76_SolarForecast - Informationen/Ideen zu Weiterentwicklung und Support

[DS_Starter]

Hallo zusammen,

ich habe eine neues Get Kommando zur Integration und Management des MOSMIX Stationenkatalogs implementiert:

dwdCatalog

Der Deutsche Wetterdienst stellt einen Katalog der MOSMIX Stationen zur Verfügung.
Mit diesem Kommando wird der Katalog in SolarForecast eingelesen und in der Datei ./FHEM/FhemUtils/DWDcat_SolarForecast gespeichert.
Der Katalog kann umfangreich gefiltert und im GPS Exchange Format (GPX) gespeichert werden. Die Koordinaten Latitude und Logitude werden in Dezimalgrad ausgegeben.
Zur Filterung werden Regex-Ausdrücke in den entsprechenden Schlüsseln verwendet. Der Regex wird zur Auswertung in ^...$ eingeschlossen.
Folgende Parameter können angegeben werden. Ohne Parameter erfolgt die Ausgabe des gesamten Katalogs:

    byID    Die Ausgabe erfolgt sortiert nach Stations-ID. (default)
    byName    Die Ausgabe erfolgt sortiert nach Stations-Name.
    force    Es wird die neueste Version des DWD Stationskatalogs in das System geladen.
    exportgpx    Die (gefilterten) Stationen werden in der Datei ./FHEM/FhemUtils/DWDcat_SolarForecast.gpx gespeichert.
       Diese Datei kann z.B. im GPX-Viewer dargestellt werden.
    id=<Regex>    Es erfolgt eine Filterung nach Stations-ID.
    name=<Regex>    Es erfolgt eine Filterung nach Stations-Name.
    lat=<Regex>    Es erfolgt eine Filterung nach Latitude.
    lon=<Regex>    Es erfolgt eine Filterung nach Longitude.

    Beispiel:
    get <name> dwdCatalog byName name=ST.* exportgpx lat=(48|49|50|51|52).* lon=([5-9]|1[0-5]).*
    # filtert die Stationen weitgehend auf deutsche Orte beginnend mit "ST" und exportiert die Daten im GPS Exchange Format

Dadurch habe ich die Stationen bei Bedarf im Modul zur Verfügung und kann damit arbeiten.
Die Version ist morgen früh im Update. Wer mag kann sie sich schon aus meinem contrib laden. Wie immer Restart nicht vergessen.

Da ich mich etwas näher mit MOSMIX befasst habe ist mir auch bewusst geworden, dass die DWD Devices die MOSMIX_L Stationen benutzen. Leider werden diese Stationen nur alle 6 Stunden (4 x am Tag) aktualisiert. Schnelle Wetteränderungen bekommen wir für die Vorhersageanpassung nicht vermittelt. Dagegen werden die MOSMIX_S Datensätze jede Stunde aktualisiert. Im DWD_Opendata Thread habe ich jensb gefragt ob er eine Möglichkeit sieht MOSMIX_S mit anzubieten. Leider ist die MOSMIX_S Datei sehr groß und nicht für jede Station separat verfügbar. Mal schauen.

LG

[DS_Starter]

Morgen früh gibt es ein Update.
Wesentlicher Inhalt ist die Auffüllung historischer KI Train Datensätze mit Sun Azimuth und Altitude via Astro-Modul.
Dieser Change wird nach einiger Laufzeit wieder ausgebaut, da er nur temprorär benötigt wird um die Daten anzureichern.

Für get ... dwdCatalog habe ich auch das Beispiel in der Comref nachgebessert. Es hat nicht ganz das getan was ich haben wollte:

Code Auswählen Erweitern

get <name> dwdCatalog byName exportgpx lat=(48|49|50|51|52)\..* lon=([5-9]|10|11|12|13|14|15)\..*

Das Update kann bereits jetzt aus meinem contrib gezogen werden wer möchte. Restart nicht vergessen!

LG

[300P]

Nach Update / Restart erhalte ich folgende Fehler im Protokoll:

Code Auswählen Erweitern

2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcEnd in addition (+) at ./FHEM/98_DOIF.pm line 6372.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcBegin in addition (+) at ./FHEM/98_DOIF.pm line 6372.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcEnd in numeric gt (>) at ./FHEM/98_DOIF.pm line 6373.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcBegin in numeric gt (>) at ./FHEM/98_DOIF.pm line 6373.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcBegin in sprintf at ./FHEM/98_DOIF.pm line 6818.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcEnd in sprintf at ./FHEM/98_DOIF.pm line 6818.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcBegin in sprintf at ./FHEM/98_DOIF.pm line 6836.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $arcEnd in sprintf at ./FHEM/98_DOIF.pm line 6836.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $endAngle in numeric gt (>) at ./FHEM/98_DOIF.pm line 6408.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $startAngle in numeric gt (>) at ./FHEM/98_DOIF.pm line 6408.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $angleInDegrees in subtraction (-) at ./FHEM/98_DOIF.pm line 6364.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $startAngle in subtraction (-) at ./FHEM/98_DOIF.pm line 6415.
2024.02.16 16:18:42 1: PERL WARNING: Use of uninitialized value $endAngle in subtraction (-) at ./FHEM/98_DOIF.pm line 6415.

Kann es sein das dies von den temporären neuen Berechnungen / Auffüllen kommt ?

Gruß
300P



Nachsatz:
Ebenfalls auch bei einem kompletten Reboot des RPI:

Code Auswählen Erweitern

2024.02.16 16:30:34 1: Including ./log/fhem.save
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcEnd in addition (+) at ./FHEM/98_DOIF.pm line 6372.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcBegin in addition (+) at ./FHEM/98_DOIF.pm line 6372.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcEnd in numeric gt (>) at ./FHEM/98_DOIF.pm line 6373.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcBegin in numeric gt (>) at ./FHEM/98_DOIF.pm line 6373.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcBegin in sprintf at ./FHEM/98_DOIF.pm line 6818.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcEnd in sprintf at ./FHEM/98_DOIF.pm line 6818.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcBegin in sprintf at ./FHEM/98_DOIF.pm line 6836.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $arcEnd in sprintf at ./FHEM/98_DOIF.pm line 6836.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $endAngle in numeric gt (>) at ./FHEM/98_DOIF.pm line 6408.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $startAngle in numeric gt (>) at ./FHEM/98_DOIF.pm line 6408.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $angleInDegrees in subtraction (-) at ./FHEM/98_DOIF.pm line 6364.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $startAngle in subtraction (-) at ./FHEM/98_DOIF.pm line 6415.
2024.02.16 16:30:35 1: PERL WARNING: Use of uninitialized value $endAngle in subtraction (-) at ./FHEM/98_DOIF.pm line 6415.
2024.02.16 16:30:35 1: PERL WARNING: Argument "initialized" isn't numeric in numeric gt (>) at (eval 855) line 1.
2024.02.16 16:30:35 0: Featurelevel: 6.3
2024.02.16 16:30:35 0: Server started with 298 defined entities (fhem.pl:28484/2024-02-06 perl:5.032001 os:linux user:fhem pid:873)


[DS_Starter]

Die kommen doch aus DOIF.
Kannst ja sicherheitshalber mal ein global stacktrace setzen. Aber ich sehe da keinen Zusammenhang.

[300P]

Könnte es sein das du neuerdings irgendetwas mit / für Winkelberechnungen mit ,,knob" aufrufst um die Berechnungen der Winkel zu nutzen ??

[DS_Starter]

Nein, es erfolgt nur ein Aufruf einer Funktion im Astro Modul mit Argumenten. Die habe alle nichts mit Winkeln oder knob zu tun.
Was zeigt denn der stacktrace beim Start?

[300P]

Na, jetzt hab ich den Übeltäter gesehen und gefunden - eine der Doif-card benutzt genau diese Winkelfunktion und bekommt wohl keine sinnigen Werte zugewiesen - hab sie gelöscht und weg war es. Dann eben ohne das Bildchen.

Sorry, da ich mehrfach die Woche einen FHEM-"Restart" mache (oder nach erfolgten Änderungen / Updates auch) und dann immer ins Logbuch schaue hatte ich diesmal wegen der Winkelfunktionen dein Modul mir den temporären Datenrzeugungen in Verdacht weil dies mit dem Update zusammen passte. Auf eine Doif-card hin hatte ich es nicht nun gar nicht vermutet.

[DS_Starter]

Kommt vor 

[Prof. Dr. Peter Henning]

mehrfach die Woche einen FHEM-"Restart"

Das sollte man tunlichst unterlassen.

LG

pah

[kask]

Das sollte man tunlichst unterlassen.

Warum?

[AlexS]

Morgen früh gibt es ein Update.
Wesentlicher Inhalt ist die Auffüllung historischer KI Train Datensätze mit Sun Azimuth und Altitude via Astro-Modul.

Vielen Dank für die Umsetzung!

Kann es sein, dass die Azimuth Werte nicht gerundet sind im Gegensatz zu den anderen Werten in aiRawData?

Die Motivation hinter der Ergänzung der Altitude Werte leuchtet mir ein und ich erwarte dadurch ein besseres Einlernen der jahreszeitlich unterschiedlichen Einflüsse von Abschattungen.
Was könnte der Mehrwert der Azimuth Werte im Datensatz sein? Sind die Informationen nicht ziemlich deckungsgleich mit den Daten der vollen Stunde (hod)?

Viele Grüße
Alex

[DS_Starter]

Hallo Alex,

Kann es sein, dass die Azimuth Werte nicht gerundet sind im Gegensatz zu den anderen Werten in aiRawData?

Ja das ist richtig. Sie aber nicht gerundet, sondern bins, also "Töpfen" zugeordnet.
Wenn man sich die Azimuth Werte anschaut, sind sie (gleiche Stunde) in etwa über einen Zeitraum von ca. 4 Tagen gleich. D.h. es würden über ein Jahr etwa 90 verschiedene Werte für die gleiche Stunde zutreffen. Das erschien mir überschaubar und habe zunächst auf bins für diesen verzichtet. Muß man sehen wie es sich darstellt.

Was könnte der Mehrwert der Azimuth Werte im Datensatz sein? Sind die Informationen nicht ziemlich deckungsgleich mit den Daten der vollen Stunde (hod)?

Völlig richtig. Daher werde ich die Entwicklung in den Entscheidungspfaden der KI (get ... valDecTree aiRuleStrings) verfolgen, ob und in welchem Umfang diese Daten Eingang finden.
Wenn es sich als unnütz herausstellen sollte, wird das Azimuth wieder entfernt aus den aiRawData. Das lässt sich automatisch leicht realisieren.

LG,
Heiko
 

[AlexS]

Hallo Heiko,
danke dir für die Erklärungen. Mal sehen wie sich das mit der Zeit entwickelt. Mein Datensatz ist noch recht jung (2 Monate). Von daher kann ich noch keine Tendenz erkennen...

Grüße Alex

[DS_Starter]

Ich möchte euch auf die Aktivitäten im DWD Modul aufmerksam machen ... wer es verfolgen mag.

LG

[ch.eick]

Hallo Heiko,
Ich bin ja kein Programmierer, hast Du für die KI Prognose in PERL eine Bibliothek gefunden?
Ich würde gerne das Python los werden und im PERL bleiben.

VG Christian