Modul für DWD Open Data

[DS_Starter]

Ja Stefan hat recht, das ist ein Timeout.
Du kannst zut Einstellung das Attribut nutzen:

 downloadTimeout = 120

Grüße,
Heiko

[Ingo298]

geht wieder habe  downloadTimeout = 120 eingestellt und gleich mal /tmp auf tmpfs umgestellt hoffe das es so richtig ist.
Ich muss nur ein bisschen aufpassen da ich noch Log2Ram benutze

[DS_Starter]

Du könntest uns mal den Gefallen tun und testen wie weit runter du den downloadTimeout schrauben kannst bevor es nicht mehr geht. Nicht dass 120 gerade so funktioniert und Jens evtl. doch noch etwas mehr erlauben müßte um sicher zu gehen.

LG

[Ingo298]

Ich habe es bereits auf 60 gesetzt, geht auch noch. Ich denke bei wird es mit 30 zu kurz sein

Code Auswählen Erweitern

2024.03.08 13:34:47 5: DWD_forecast: GetForecastStart START (PID 7680): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.08 13:34:51 5: DWD_forecast: GetForecastDataUsingFile: data received, unzipping ...
2024.03.08 13:35:17 5: DWD_forecast: GetForecastDataUsingFile: unzipped 666223134 bytes, filtering ...
2024.03.08 13:35:19 5: DWD_forecast: GetForecastDataUsingFile: filtered 130167 bytes


[DS_Starter]

@mumpitzstaff, hast du mal deine Routine aus Post #988 in das Modul (am Besten meine Version mit den Fixes) eingebaut?
Ich möchte die Arbeit ungern doppelt machen.

LG

[Prof. Dr. Peter Henning]

Noch ein Tipp für die Darstellung: Rudi hat gerade eine Änderung im 98_SVG.pm vorgenommen, die es ermöglicht, die Zeitdarstellung im Meteogramm an die Ausgabe von DWD_Weblink_Generator anzupassen:

https://forum.fhem.de/index.php?topic=137398.0

LG

pah

[mumpitzstuff]

@mumpitzstaff, hast du mal deine Routine aus Post #988 in das Modul (am Besten meine Version mit den Fixes) eingebaut?
Ich möchte die Arbeit ungern doppelt machen.

LG

Nein habe ich nicht. Ich wollte lediglich testen was maximal möglich ist an Geschwindigkeit, ohne das man beim entpacken und parsen Unmengen an ram benötigt. Ich habe ja von dem Modul auch nicht die geringste Ahnung, das ist bestimmt aus meinen Fragen deutlich geworden.

[mumpitzstuff]

Noch ein Tipp für die Darstellung: Rudi hat gerade eine Änderung im 98_SVG.pm vorgenommen, die es ermöglicht, die Zeitdarstellung im Meteogramm an die Ausgabe von DWD_Weblink_Generator anzupassen:

https://forum.fhem.de/index.php?topic=137398.0

LG

pah

Könntest du der Einfachheit halber bitte posten welche Attribute du wie gesetzt hast? Ich blicke es irgendwie nicht.

[300P]

@mumpitzstuff - schau mal hier:

https://wiki.fhem.de/wiki/DWD_OpenData#

[oelidoc]

Hallo,
hab auch nur ein Raspi 4

... und gleich mal /tmp auf tmpfs umgestellt hoffe das es so richtig ist.

Wie geht das? Was muss man da machen? Möchte mir ungern meine SD vorzeitig schrotten...
Gruß
oelidoc

[300P]

Hab diese Info eben beim SolarForeCast-Modul hinterlassen.

Heiko meint wäre gut dies hier auch zu posten:

###################################################################

Hier mal ein Logauszug mit Verbose 5 bei MOSMIX-S wegen der Laufzeit bei Verwendung des "aktuell von Heiko optimierten DWD-Modules" (contrib)

Genutzte Hardware

Code Auswählen Erweitern

Raspberry Pi 4 Model B Rev 1.1
ohne SD-Karte - aber mit SSD-Festplatte (1 TB - 3 Jahre alt)

              gesamt      benutzt    frei      gemns.  Puffer/Cache verfügbar
Speicher:      3,7Gi      687Mi      1,8Gi        68Mi      1,3Gi      2,9Gi
Swap:          99Mi          0B        99Mi

(MariaDB extern auf einer QNAP)

Internet : Anbindung per DSL mit 100 MBit


LOG-Auszug

Code Auswählen Erweitern

2024.03.09 17:59:24 5: DWD: GetForecast START (PID 630357)
2024.03.09 17:59:24 5: DWD: GetForecast END
2024.03.09 17:59:24 5: DWD: IsDocumentUpdated BEFORE
2024.03.09 17:59:24 5: DWD: GetHeaders content_length: 38616989
2024.03.09 17:59:24 5: DWD: GetHeaders last_modified raw: Sat, 09 Mar 2024 16:23:25 GMT
2024.03.09 17:59:24 5: DWD: GetHeaders last_modified formatted: 2024-03-09 16:23:25
2024.03.09 17:59:25 5: DWD: IsDocumentUpdated docSize:38616989/0 docTime:2024-03-09 16:23:25Z/2024-03-09 16:23:25Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.09 17:59:25 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 38616989, docTime: 2024-03-09 16:23:25Z
2024.03.09 17:59:25 5: DWD: GetForecastStart dwdDocTime: 2024-03-09 16:23:25Z, dwdDocTimestamp: 1710001405,  dwdDocSize: 38616989, lastDocTimestamp: 1710001405, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.09 17:59:25 5: DWD: GetForecastStart START (PID 669494): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.09 17:59:29 5: DWD: GetForecastDataUsingFile: data received, unzipping ...
2024.03.09 18:00:10 5: DWD: GetForecastDataUsingFile: unzipped 666223134 bytes, filtering ...
2024.03.09 18:00:11 5: DWD: GetForecastDataUsingFile: filtered 130167 bytes
2024.03.09 18:00:11 5: DWD: ProcessForecast START
2024.03.09 18:00:11 5: DWD: ProcessForecast: data unpacked, decoding ...
2024.03.09 18:00:11 5: DWD: ProcessForecast: parsing XML document
2024.03.09 18:00:11 5: DWD: ProcessForecast: extracting data
2024.03.09 18:00:12 5: DWD: ProcessForecast temp file /tmp/HKMzG8q62P forecast 3 size 18758
2024.03.09 18:00:12 5: DWD: ProcessForecast END
2024.03.09 18:00:12 5: DWD: GetForecastStart END
2024.03.09 18:00:12 5: DWD: GetForecastFinish START (PID 630357)
2024.03.09 18:00:12 5: DWD: GetForecastFinish temp file /tmp/HKMzG8q62P forecast 3 size 18758
2024.03.09 18:00:12 5: DWD: UpdateForecast: START
2024.03.09 18:00:12 5: DWD: RotateForecast: START 8 day(s) exist
2024.03.09 18:00:12 5: DWD: RotateForecast: END 8 day(s) remain
2024.03.09 18:00:14 5: DWD: UpdateForecast: END
2024.03.09 18:00:14 5: DWD: GetForecastFinish END

Laufzeit : 17:59:24 - 18:00:14 Uhr
(Also würde schon ein Timout von 60 Sekunden reichen)


Achtung:
=>> bei MOSMIX-S (ansonsten gibt es z.Z. aber ab und an mal Timoutmeldungen)
    unbedingt
    attr DWD downloadTimeout 120 (oder 60 wenns gut läuft s.o.)
    setzen

Und hier eine zugehörige DWD-Beispielkonfiguration:

Code Auswählen Erweitern

defmod DWD DWD_OpenData
attr DWD DbLogExclude .*
attr DWD alertArea XYXYXYXYXYX
attr DWD downloadTimeout 120
attr DWD forecastDays 7
attr DWD forecastProperties SunUp, SunRise, SunSet, Rad1h, R101, RR1c, TTT, Tx, Tn, Tg, DD, FX1, RR6c, R600, RRhc, Rh00, ww, wwd, Neff
attr DWD forecastRefresh 1
attr DWD forecastResolution 1
attr DWD forecastStation dfghjkl12345
attr DWD forecastWW2Text 1
attr DWD group Umwelt
attr DWD icon rc_WEB
attr DWD room 021_DWD
attr DWD stateFormat Tomorrow Tmax fc1_Tx °C on fc1_date
attr DWD verbose 5

Gruß
300P

[Prof. Dr. Peter Henning]

@mumpitzstuff: Nix Attribute.

Im gplot-File

Code Auswählen Erweitern

set timefmt "%a"
LG

pah

[Bozan]

Nur noch einmal für mich zur Klarheit, da sich zuletzt ja einiges geändert hatte.
Ich habe einen Rasp 3b mit 1 GB RAM und SD Karte

Macht hier Mosmix S überhaupt Sinn oder besser "Finger weg!"?
Welchen mind. Speicherplatz sollte man dann im tmpfs reservieren?

Wenn ich den ForecastRefresh auf <6h setze, dann zieht das Modul automatisch die Mosmix S Daten?
Ist noch irgendetwas zu beachten?

Danke,
Bozan

[Ingo298]

da ich 8GB RAM habe, nutze ich derzeit 1GB für tmpfs da das DWD Modul ca. 700MB für das entpacken benötigt wenn ich es richtig verstanden habe.
in die "fstab" datei habe ich folgende Zeile eingefügt admit nach einen Neustart es wieder verfügbar ist

Code Auswählen Erweitern

sudo nano /etc/fstab

tmpfs /tmp tmpfs nodev,nosuid,size=1G 0 0

sudo mount -a

damit zum Schluss prüfen ob es angelegt wurde

Code Auswählen Erweitern

df -h


[300P]

.....
für tmpfs da das DWD Modul ca. 700MB für das entpacken benötigt wenn ich es richtig verstanden habe.
......


Ja, ca. 1 GB für das TMP-Verzeichnis sollte reichen.

2024.03.09 17:59:25 5: DWD: GetForecastStart START (PID 669494): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.09 17:59:29 5: DWD: GetForecastDataUsingFile: data received, unzipping ...
2024.03.09 18:00:10 5: DWD: GetForecastDataUsingFile: unzipped 666223134 bytes, filtering ...
2024.03.09 18:00:11 5: DWD: GetForecastDataUsingFile: filtered 130167 bytes