Modul für DWD Open Data

ch.eick · 20 Februar 2024, 10:20:49

Zitat von: DS_Starter am 19 Februar 2024, 23:24:19Hallo Jens,

nun habe ich noch das Startverhalten angepasst und sofern das Attr forecastDataPrecision auf "high" gesetzt ist, erfolgt der Datenrefresh im Quarter 2, also zwischen xx:30-xx:45. Grund ist, dass der DWD nach meinen Beobachtungen die Daten für MOSMIX_S regelmäßig zwischen 00:15 und xx:30 aktualisiert.

Mit der default Einstellung "low" bleibt die Aktualisierung wie bisher im Quarter 0.

Mit mehreren DWD Devices "high" gibt es ebenfalls kein Problem. Die Timer Einplanung ist um eine rand Zufallssteurung ergänzt die die Wahrscheinlichkeit reduziert dass mehrere Devices gleichzeitig refreshen.
Ich habe mit meinen 4 GB RAM und 4 DWD Devices (3 x high, 1 x low) keine Sorgen.

Hallo Heiko,
wie wäre die Idee bei mehreren DWD Devices zu prüfen, ob der Download bereits getätigt wurde und dann die DWD Stationen heraus zu filtern, damit das nicht jedes Device erneut machen muss.

my5cent
Christian

DS_Starter · 20 Februar 2024, 10:29:07

Hallo Christian,

Jens/wir verfolgen die Variante bei der zukünftig optionalen Angabe von mehreren Stationen nur einmal den Download durchzuführen, alle Stationen in dem XML zu parsen und die Ergebnisse in separaten "Readingdevices" (es entstehen sehr viele Readings) je Station zusammenzufassen.

Das Ergebnis wäre dann entsprechend deines Hinweises, nur etwas anders gelöst. Jens wird auch noch an der Performance des Parcens schrauben wie er zuvor in #863 schon geschrieben hatte.

Aber diese weiteren Optimierungen werden noch etwas Zeit brauchen, deswegen war die eingebaute Lösung sehr praktikabel um die Weiterentwicklung zügig zum Einsatz bringen zu können, wer mag.

LG,
Heiko

mumpitzstuff · 20 Februar 2024, 13:20:03

https://grantm.github.io/perl-libxml-by-example/large-docs.html

Hier gibts noch ein paar Hinweise wie das Parsen vielleicht schneller gehen könnte bzw. wie man direkt aus einem zip heraus parsen kann.

Und hier sind 2 Wege beschrieben ein Filehandle von einer URL zu erzeugen. Das zweite ist wohl eher ein Download aber vielleicht die einfachere Variante:

https://stackoverflow.com/questions/45933869/perl-open-a-file-from-a-url

DS_Starter · 20 Februar 2024, 17:27:35

Danke für die Hinweise. Die Links schaue ich mir mal an.

LG

xerion · 23 Februar 2024, 09:48:42

Hallo zusammen,

ich nutze auch schon das neue DWD Modul. Mir ist nur aufgefallen, wenn ich ein "get forecast" manuell triggere. Das ich in FHEM die Reconnect Anzeige bekommen, das FHEM nicht mehr online ist. Aber nur für einen Moment. Konnte das auch schon jemand anderes beobachten?

DS_Starter · 23 Februar 2024, 14:20:08

Vermutlich generiert dein Device sehr viele Readings mit! Eventgenerierung. Wenn du die Events auf ein "übersichtliches" Maß reduzierst, wird wahrscheinlich Abhilfe geschaffen sein.

xerion · 23 Februar 2024, 14:25:51

Hm...event-on-change-reading ist auf jeden Fall gesetzt und forecastDays steht auch auf 1.
Also meiner Meinung nach alles auf ein Minimum reduziert.

DS_Starter · 23 Februar 2024, 14:37:29

Bei mir kann ich deine Beobachtung definitiv nicht bestätigen. Das ist aber m.M. nach keine vom Modul abhängige Erscheinung, sondern tritt dort auf, wo (zu) viele Daten via long poll verarbeitet werden müssen. Ich glaube! die Meldung hat Rudi im FHEMWEB JavaScript verankert. Bin mir aber unsicher.

Mein FHEMWEB Device steht auf longpoll=websocket.

xerion · 23 Februar 2024, 14:42:33

Komisch. Ich beobachte das Mal. longpoll ist bei mir auch so gesetzt

DS_Starter · 25 Februar 2024, 10:07:58

Moin Jens,

in meinem contrib habe ich die Version des DWD_OpenData Moduls mit einem Attribut "timeout" ergänzt.
Damit kann man sich bei Bedarf diesen Parameter anpassen.
Ein User des SolarForecast Moduls war darauf gestoßen weil seine Internetverbindung zu langsam ist um das große File in der Zeit herunterzuladen.

Das ist sicherlich auch für andere User hilfreich. Habe den default auf 60 gesetzt.

Hattest du schon Gelegenheit dir den Reader/SAX-Parser für MOSMIX_S anzuschauen?

Grüße,
Heiko

erwin · 25 Februar 2024, 11:36:11

Erstmal ein großes DANKE für die beiden Module DWD und SolarForecast !!!

Etwas ist mir heute kurz nach Mitternacht aufgefallen - mit dem DWD-Modul aus dem contrib:
es gibt KEINE readings fc0_0... mehr, fc0_1 - fc1_23 sehr wohl...

(attachment gekürzt...)

l.g. erwin

DS_Starter · 25 Februar 2024, 12:46:34

Hallo erwin,

doch die gibt es.
Schau morgen nochmal. Ist bestimmt nur eine vorübergehende Erscheinung.

LG,
Heiko

jensb · 25 Februar 2024, 18:57:20

@DS_Starter

Bin mit meinem aktuellen Projekt ein Stück weiter, mit Bluetooth ohne Änderung am Sender durch Wände zu gehen. Dadurch kann ich mich wieder um andere Sachen kümmern.

Werde auf deiner letzten Version aufsetzten. Als erstes ist das Download-Timing dran. Der DWD kann die Bereitstellung der Daten immer wieder ändern. Also macht es wie angedacht Sinn, öfter zu prüfen und nur bei Änderung neue Daten anzufordern. Das effizientere Parsen wird daher noch etwas warten müssen.

Werde meine Version wahrscheinlich auch erst über contrib bereit stellen.

Grüße,
Jens

DS_Starter · 25 Februar 2024, 19:22:04

Hallo Jens,

danke. Das passt denke ich. Die neue Version mit MOSMIX_S wird schon von einigen Usern erfolgreich eingesetzt und die V ist bereits jetzt ein Mehrwert für unsere Anwendung. Macht sich wirklich gut.

Grüße,
Heiko

jensb · 25 Februar 2024, 22:11:41

Hallo Heiko,

die Blumen für die Initiative MOSMIX S gebühren dir.

Bin mit dem 2. Review fertig. Habe ein paar Details "optimiert". Relevante Funktionsänderungen gibt es noch keine. Die neue Version findet sich hier:

https://svn.fhem.de/trac/browser/trunk/fhem/contrib/jensb

Bitte alle weiteren Änderungen basierend auf dieser Version vorschlagen.

Hinweis für Anwender: Aus Attribut timeout ist downloadTimeout geworden.

Grüße,
Jens