Modul für DWD Open Data

oelidoc · 11 März 2024, 17:46:37

Zitat von: Ingo298 am 11 März 2024, 17:12:35
Code Auswählen Erweitern
sudo nano /etc/fstab tmpfs /tmp tmpfs nodev,nosuid,size=1G 0 0 sudo mount -a

Okay, darf ich fragen, wie man das DWD Modul dann dazu bringt, tmpfs zu nutzen? Hab zwar nur 4GB, aber Versuch macht klug...
Danke
oelidoc

DS_Starter · 11 März 2024, 20:05:42

@Boznan,

ZitatWenn ich den ForecastRefresh auf <6h setze, dann zieht das Modul automatisch die Mosmix S Daten?
Ist noch irgendetwas zu beachten?

Nur bei forecastRefresh = 1 wird MOSMIX_S verwendet. Weiteres ist nicht zu beachten.

Bozan · 11 März 2024, 20:10:02

Danke!
So lange ich aber noch die kleine "Maschine" habe, scheidet das für mich aus. Mit nur 1 GB Ram kann ich das nicht alles für das tmpfs verwenden. Und die SD Karte soll noch etwas länger leben

DS_Starter · 11 März 2024, 20:11:00

Kein Problem, dewegen hat man ja die Wahlmöglichkeit.

DS_Starter · 12 März 2024, 20:36:26

Hallo Jens,

spricht aus deiner Sicht etwas dagegen die inzwischen nun hinreichend getestete Fixed Version aus Post #1006 (bzw. meinem contrib) zu finalisieren und einzuchecken?

Die weiteren Schritte bzgl. Support mehrere Stationen in einem Download können m.M. nach separat in einem nächsten Entwicklungsschritt folgen.

Grüße,
Heiko

mumpitzstuff · 15 März 2024, 16:02:52

So hier mal eine gaaaaaaanz üüüüüüüüübel zusammenkopierte/gehackte Version.

Code Auswählen

2024.03.15 15:40:50 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.03.15 15:44:50 5: DWD: GetForecast START (PID 8806)
2024.03.15 15:44:50 5: DWD: GetForecast END
2024.03.15 15:44:50 5: DWD: IsDocumentUpdated BEFORE
2024.03.15 15:44:50 5: DWD: GetHeaders content_length: 39582498
2024.03.15 15:44:50 5: DWD: GetHeaders last_modified raw: Fri, 15 Mar 2024 14:21:48 GMT
2024.03.15 15:44:50 5: DWD: GetHeaders last_modified formatted: 2024-03-15 14:21:48
2024.03.15 15:44:50 5: DWD: IsDocumentUpdated docSize:39582498/0 docTime:2024-03-15 14:21:48Z/2024-03-15 14:21:48Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.15 15:44:50 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 39582498, docTime: 2024-03-15 14:21:48Z
2024.03.15 15:44:50 5: DWD: GetForecastStart dwdDocTime: 2024-03-15 14:21:48Z, dwdDocTimestamp: 1710512508,  dwdDocSize: 39582498, lastDocTimestamp: 1710512508, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.15 15:44:50 5: DWD: GetForecastStart START (PID 9009): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.15 15:44:50 5: DWD: ProcessForecast START
2024.03.15 15:44:54 5: DWD: ProcessForecast: data received, unzipping and decoding ...
2024.03.15 15:45:05 5: DWD: ProcessForecast: extracting data
2024.03.15 15:45:05 5: DWD: ProcessForecast temp file /tmp/DJz5JS2LQR forecast 3 size 17168
2024.03.15 15:45:05 5: DWD: ProcessForecast END
2024.03.15 15:45:05 5: DWD: GetForecastStart END
2024.03.15 15:45:05 5: DWD: GetForecastFinish START (PID 8806)
2024.03.15 15:45:05 5: DWD: GetForecastFinish temp file /tmp/DJz5JS2LQR forecast 3 size 17168
2024.03.15 15:45:05 5: DWD: UpdateForecast: START
2024.03.15 15:45:05 5: DWD: RotateForecast: START 4 day(s) exist
2024.03.15 15:45:05 5: DWD: RotateForecast: END 4 day(s) remain
2024.03.15 15:45:05 5: DWD: UpdateForecast: END
2024.03.15 15:45:05 5: DWD: GetForecastFinish END

Soweit ich das sehen konnte, gehen beide Versionen MOSMIX L und S und auch beide ohne signifikanten RAM/Flash Verbrauch. Insbesondere der Teil an dem ich fehlende XML Daten ergänzen musste, damit libXML die Klappe hält, sollte dringenst verbessert werden. Von Formatierung und Benamsung usw. will noch nicht einmal reden...

Ich habe hier wieder meine Beispielstation genommen, die relativ weit hinten liegt im File und mein RPi4 kommt gut damit klar.

Ich habe es jetzt auch mal auf meinem Pi Zero mit 512MB RAM ausgeführt:

Code Auswählen

2024.03.15 16:25:05 5: DWD: GetForecast START (PID 17566)
2024.03.15 16:25:05 5: DWD: GetForecast END
2024.03.15 16:25:05 5: DWD: IsDocumentUpdated BEFORE
2024.03.15 16:25:07 5: DWD: GetHeaders content_length: 39541523
2024.03.15 16:25:07 5: DWD: GetHeaders last_modified raw: Fri, 15 Mar 2024 15:22:57 GMT
2024.03.15 16:25:07 5: DWD: GetHeaders last_modified formatted: 2024-03-15 15:22:57
2024.03.15 16:25:07 5: DWD: IsDocumentUpdated docSize:39541523/0 docTime:2024-03-15 15:22:57Z/ URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/
2024.03.15 16:25:07 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 39541523, docTime: 2024-03-15 15:22:57Z
2024.03.15 16:25:07 5: DWD: GetForecastStart dwdDocTime: 2024-03-15 15:22:57Z, dwdDocTimestamp: 1710516177,  dwdDocSize: 39541523, lastDocTimestamp: 0, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.15 16:25:07 5: DWD: GetForecastStart START (PID 17586): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.15 16:25:07 5: DWD: ProcessForecast START
2024.03.15 16:25:38 5: DWD: ProcessForecast: data received, unzipping and decoding ...
2024.03.15 16:25:56 5: DWD: ProcessForecast: extracting data
2024.03.15 16:25:56 5: DWD: ProcessForecast temp file /tmp/L67C20GSFm forecast 3 size 17168
2024.03.15 16:25:56 5: DWD: ProcessForecast END
2024.03.15 16:25:56 5: DWD: GetForecastStart END
2024.03.15 16:25:56 5: DWD: GetForecastFinish START (PID 17566)
2024.03.15 16:25:56 5: DWD: GetForecastFinish temp file /tmp/L67C20GSFm forecast 3 size 17168
2024.03.15 16:25:56 5: DWD: UpdateForecast: START
2024.03.15 16:25:56 5: DWD: RotateForecast: START 0 day(s) exist
2024.03.15 16:25:56 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.03.15 16:25:56 5: DWD: RotateForecast: END 0 day(s) remain
2024.03.15 16:25:57 5: DWD: UpdateForecast: END
2024.03.15 16:25:57 5: DWD: GetForecastFinish END

Prof. Dr. Peter Henning · 15 März 2024, 17:09:56

Noch nen Fipptehler

Zitatdeleting exisiting readings

LG

pah

SparcWolf · 16 März 2024, 09:01:26

Hallo @mumpitzstuff,

ich habe mal einen Testlauf auf dem RPi 3B+ gemacht. Keine 20 Sekunden. Wow.

Code Auswählen

2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecast START (PID 17864)
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecast END
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: IsDocumentUpdated BEFORE
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetHeaders content_length: 40034065
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetHeaders last_modified raw: Sat, 16 Mar 2024 07:21:50 GMT
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetHeaders last_modified formatted: 2024-03-16 07:21:50
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: IsDocumentUpdated docSize:40034065/0 docTime:2024-03-16 07:21:50Z/2024-03-16 04:02:30Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/H419/kml/MOSMIX_L_LATEST_H419.kmz
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: IsDocumentUpdated AFTER return update: 1, docSize: 40034065, docTime: 2024-03-16 07:21:50Z
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecastStart dwdDocTime: 2024-03-16 07:21:50Z, dwdDocTimestamp: 1710573710,  dwdDocSize: 40034065, lastDocTimestamp: 1710561750, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecastStart START (PID 19071): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: ProcessForecast START
2024.03.16 08:48:40 5: DWD_Duisburg_Baerl: ProcessForecast: data received, unzipping and decoding ...
2024.03.16 08:48:51 5: DWD_Duisburg_Baerl: ProcessForecast: extracting data
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: ProcessForecast temp file /tmp/OEQGNSbckh forecast 3 size 12974
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: ProcessForecast END
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastStart END
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastFinish START (PID 17864)
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastFinish temp file /tmp/OEQGNSbckh forecast 3 size 12974
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: UpdateForecast: START
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: RotateForecast: START 2 day(s) exist
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: RotateForecast: END 2 day(s) remain
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: UpdateForecast: END
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastFinish END

Ich werde es mal weiter beobachten.
Dank und Grüße,
Guido.

Ingo298 · 16 März 2024, 09:52:08

ZitatOkay, darf ich fragen, wie man das DWD Modul dann dazu bringt, tmpfs zu nutzen? Hab zwar nur 4GB, aber Versuch macht klug...
Danke
oelidoc

das DWD Modul benutzt automatisch den /tmp Ordner vom System, /tmp wird durch tmpfs auf den RAM umgeleitet. Alle Dateien aus dem /tmp Ordner sind nach einem Neustart vom System nicht mehr vorhanden.

mumpitzstuff · 17 März 2024, 10:49:38

In der Version habe ich noch mal die Formatierung überarbeitet bzw. den Code aufgehübscht und etwas aufgeräumt, so das er besser zum bestehenden Code passt. Funktional habe ich nichts weiter geändert, da ich bisher keine Probleme feststellen konnte.

DS_Starter · 17 März 2024, 11:14:40

Moin mumpitzstuff,

hast du für deine Integration meine Version aus #1006 als Grundlage verwendet?
Diese würde ich dann für einen Diff Vergleich nutzen und eine Zusammenführung erstellen.

Grüße,
Heiko

mumpitzstuff · 17 März 2024, 12:43:09

Ja.

mumpitzstuff · 17 März 2024, 20:38:18

1 Sache die mir bei MOSMIX S noch aufgefallen ist, das mir der zu erwartende Regen fehlt. Im Wiki ist das entsprechend angegeben und funktioniert auch mit MOSMIX L (1h Auflösung ansonsten R600, was aber auch nicht existiert).

Siehe hier: https://wiki.fhem.de/wiki/DWD_OpenData

Code Auswählen

#LogProxy Func:logProxy_dwd2Plot("DWD","R101_",$from,$to,0,"day",(-0.5*3600))
Gibt es einen alternativ nutzbaren Wert für die Regenmenge bei MOSMIX S? Kann ich irgendwo die Bedeutung der durch MOSMIX S zur verfügung gestellten Daten einsehen?

DS_Starter · 17 März 2024, 20:52:07

Eine Übersicht der Daten und UNterschiede der MOSMIX Variante findest du hier: https://www.dwd.de/DE/leistungen/opendata/help/schluessel_datenformate/kml/mosmix_elemente_xls.html

Für den Regen verwende ich den Wert RR1c. Es ist eine zu erwartende Regenmenge in kg/m2.

Grüße,
Heiko

mumpitzstuff · 17 März 2024, 21:46:29

Hmm der Wert ist ebenfalls in der Grafik aus dem Wiki schon drin. Hier gibts 2 Werte für den Regen. Einen für die Regenmenge (den Wert den du meintest) und einen für die Regenwahrscheinlichkeit, der es anscheinend nicht in die MISMIX S Daten geschafft hat. Wahrscheinlich muss man hier dann das Wiki entsprechend anpassen, denn ich habe leider nichts anderes verwertbares gefunden. $:-\$

R602 würde es maximal noch geben, aber der Wert hat leider nur eine Auflösung von 6h. Naja man kann nicht alles haben...