FHEM Forum

FHEM - Hausautomations-Systeme => Unterstützende Dienste => Wettermodule => Thema gestartet von: jensb am 21 Januar 2018, 14:38:48

Titel: Modul für DWD Open Data
Beitrag von: jensb am 21 Januar 2018, 14:38:48
Hallo,

der DWD hat wie angekündigt am 17.01.2018 den GDS-Dienst eingestellt. Als Alternative wird vom DWD auf den Open Data Server (https://www.dwd.de/DE/leistungen/opendata/opendata.html) verwiesen. Die bereitgestellten Daten decken unterschiedliche Bereiche ab. Z.B. sind Zustandsdaten, Vorhersagen und Warnungen verfügbar, während man Karten in der bisherigen Form vergeblich sucht, aber z.T.  an anderer Stelle (https://forum.fhem.de/index.php/topic,53157.msg751731.html#msg751731) wieder findet.

Mich interessiert vor allem die ortsbezogene Vorhersage. Über Open Data stehen nun mehr Stationen zur Verfügung als über GDS. Die Vorhersagedaten  (https://opendata.dwd.de/weather/local_forecasts/poi/) sind relativ detailliert im 3 Stunden Raster. Eine textuelle Wetterbeschreibung wie "leichter Schneefall" kann man aus dem WW-Code und der Bedeckung ableiten.

Zumindest für die Vorhersagedaten von Open Data werde ich ein Modul entwickeln, obwohl ich davon ausgehe, dass der DWD auch diese neue Schnittstelle nicht langfristig in der aktuellen Form aufrecht erhalten wird. Ich würde es begrüßen, wenn sich jemand an der Entwicklung beteiligen möchte, um z.B. auch Warnungen abzurufen.

Grüße,
Jens



UPDATE 10.02.2018
Das Modul prüft nun bei der Initialisierung die Zeitzonenkonfiguration von FHEM und lässt sich nicht mehr installieren, wenn die erforderlichen Voraussetzungen nicht erfüllt sind. In der Modulhilfe gibt es zu diesem Thema eine ausführliche Beschreibung. Wer die ursprüngliche Version des Moduls bereits nutzt, muss nach dem Update auf jeden Fall FHEM neu starten ("shutdown restart", nicht "reload" verwenden!). Die neue Version verwendet nach wie vor LWP::Simple, eine Umstellung auf HttpUtils oder einen andere HTTP-Downloader ist noch nicht integriert.
UPDATE 18.02.2018
HTTP-Download auf Basis des Vorschlags (https://forum.fhem.de/index.php/topic,83097.msg761015.html#msg761015) von @JoWiemann auf HttpUtils umgestellt. Damit erfolgt der Webzugriff nun nicht-blockierend. HttpUtils erleichtert auch die Nutzung eines HTTP-Proxy. Die Modulhilfe ist entsprechend angepasst worden. Wie beim letzten Mal ist bei einem Update ein Neustart von FHEM sinnvoll.
UPDATE 24.02.2018
DWDODweblink.pm aktualisiert: Anzeige der Niederschlagsmenge und zusätzliche Hinweise zur Installation in der Modulhilfe.
UPDATE 18.03.2018
DWDODweblink.pm aktualisiert: Wertezuordnung für Icon 1+2 uhrzeitabhängig, Farben für Temperaturen, Niederschlag und Windstärke
UPDATE 23.03.2018
55_DWD_OpenData.pm Bugfix:Tagesversatz durch Sommerzeitumstellung
UPDATE 25.03.2018
DWDODweblink.pm aktualisiert: Farben und Schwellwerte nun als Konstanten zur Individualisierung, Bugfix Tag/Nacht-Erkennung.
UPDATE 07.04.2018
55_DWD_OpenData.pm & DODweblink.pm Feature:Wetterwarnungen
UPDATE 15.04.2018
55_DWD_OpenData.pm & DODweblink.pm Feature:Wochentag-Reading für Wettervorhersage
UPDATE 16.04.2018
55_DWD_OpenData.pm Bugfix: push on scalar
UPDATE 22.04.2018
55_DWD_OpenData.pm Feature: TZ und Text::CSV_XS nur noch optional
UPDATE 09.05.2018
55_DWD_OpenData.pm Sonderfall: keine Wetterwarnungen
UPDATE 11.05.2018
55_DWD_OpenData.pm ab sofort per FHEM Update


UPDATE 22.09.2018
99_DWD_OpenData_Weblink.pm ab sofort über GitHub (https://github.com/jnsbyr/fhem#widget-for-dwd-weather-module)

Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 21 Januar 2018, 15:06:20
Hallo,

hier: https://knx-user-forum.de/forum/projektforen/edomi/1117033-dwd-wettervorhersage hat sich schon jemand Gedanken für KNX gemacht.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 Januar 2018, 15:15:50
Hallo Jörg,

danke für den Hinweis. Den Post hatte ich auch schon gefunden. Er hat mich u.a. auf die Idee gebracht und enthält einige interessante Links.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Februar 2018, 20:10:41
Im 1. Post ist nun ein Modul für die Abfrage der Wettervorhersage über den Open Data Server des DWD sowie ein Modul zur Visualisierung (siehe Screenshot) angehängt.

Es gibt ja schon eine ganze Reihe Wettermodule für FHEM - warum noch eins?

Alles Wichtige für die Nutzung steht in der Modulhilfe. Der DWDOD-Weblink ist vom ehemaligen GDS-Weblink abgeleitet und unterstützt "nur" die eigene Zeitzone.

Das Modul ist derzeit kein offizielles FHEM-Modul sondern für Experimentierfreudige.

Viel Spaß,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 03 Februar 2018, 20:48:20
Hallo,

ist leider noch nicht ganz rund:


2018.02.03 19:40:05 1:     main::CallFn                        called by fhem.pl (689)
2018.02.03 19:40:05 1:     main::FW_Read                       called by fhem.pl (3508)
2018.02.03 19:40:05 1:     main::FW_answerCall                 called by /opt/fhem/FHEM/01_FHEMWEB.pm (535)
2018.02.03 19:40:05 1:     main::FW_fC                         called by /opt/fhem/FHEM/01_FHEMWEB.pm (848)
2018.02.03 19:40:05 1:     main::AnalyzeCommand                called by /opt/fhem/FHEM/01_FHEMWEB.pm (2494)
2018.02.03 19:40:05 1:     main::CommandGet                    called by fhem.pl (1172)
2018.02.03 19:40:05 1:     main::CallFn                        called by fhem.pl (1821)
2018.02.03 19:40:05 1:     main::DWD_OpenData_Get              called by fhem.pl (3508)
2018.02.03 19:40:05 1:     main::DWD_OpenData_GetForecast      called by /opt/fhem/FHEM/55_DWD_OpenData.pm (262)
2018.02.03 19:40:05 1:     main::readingsBulkUpdate            called by /opt/fhem/FHEM/55_DWD_OpenData.pm (601)
2018.02.03 19:40:05 1: stacktrace:
2018.02.03 19:40:05 1: readingsUpdate(DWD,state,initialized) missed to call readingsBeginUpdate first.
2018.02.03 19:39:23 1:     main::HandleTimeout                 called by fhem.pl (617)
2018.02.03 19:39:23 1:     main::DWD_OpenData_Timer            called by fhem.pl (3083)
2018.02.03 19:39:23 1:     main::DWD_OpenData_GetForecast      called by /opt/fhem/FHEM/55_DWD_OpenData.pm (623)
2018.02.03 19:39:23 1:     main::readingsBulkUpdate            called by /opt/fhem/FHEM/55_DWD_OpenData.pm (601)
2018.02.03 19:39:23 1: stacktrace:


Hier mein List

Internals:
   CFGFN     
   NAME       DWD
   NR         126
   STATE      error
   TYPE       DWD_OpenData
   READINGS:
     2018-02-03 19:40:05   state           error
Attributes:
   disable    0
   forecastStation 10513
   room       Wetter
   timezone   Europe/Berlin


Und noch ein Hinweis:


    my $rc = eval {
        require use Text::CSV_XS 0.40;
        Text::CSV_XS->new();
        1;
    };

    unless($rc)
    {
        Log3 $name, 5, "$name: pakage libtext-csv-perl needed. Please install with sudo apt-get install libtext-csv-perl";
    }



Damit kannst Du im Log einen entsprechenden Hinweis geben, dass das Paket libtext-csv-perl ggf zu installieren ist. Ein Hinweis im commandref wäre auch hilfreich.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Februar 2018, 22:05:34
Hallo Jörg,

danke für die Rückmeldung. Bin noch nicht dahinter gekommen, woran es liegt. In Z 458 ist das readingsBeginUpdate. "state" ist bei dir auf "error", also ist was schief gegangen. Aber hinter jedem readingsBulkUpdate($hash, 'state', 'error') ist ein return mit Fehlerbeschreibung, also hätte der Ablauf nicht bis Z 601 kommen dürfen. Die Idee dahinter war, das man die Fehler angezeigt bekommt, wenn man get verwendet.  Vermute, dass bei der Fehlerbehandlung ein weiterer Fehler auftritt, so dass der return nicht ausgeführt wird. Werde versuchen es mit deinen Attributen nachzustellen.

Der Hinweis zu Text::CSV_XS war schon in der CommandRef:
ZitatNote: This module requires the additional Perl modules LWP::Simple and Text::CSV_XS (0.40 or higher). They can be installed depending on your OS and your preferences (e.g. sudo apt-get install libtext-csv-xs-perl or using CPAN).
Dein Vorschlag, das mit einem Logging zu machen ist aber noch besser.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Februar 2018, 22:32:45
Hallo Jörg,

anbei eine leicht modifizierte Version inkl. der von dir vorgeschlagenen Prüfung für Text::CSV_XS. Vermutlich wird auch diese Version bei dir nicht funktionieren, aber nun sollte es zumindest eine Fehlerausgabe geben, die weiter helfen könnte.

Hatte  auf meinem Orange Pi überhaupt keine Probleme mit dem Modul. Auf meinem Raspi musste ich aber den Zugriff auf Text::CSV_XS deutlich ändern, da auf dem Raspi nur eine alte Version 0.90 des Moduls über apt-get verfügbar ist, die diverse Funktionen noch nicht beherrscht. Möglicherweise ist deine Version von Text::CSV_XS noch älter als meine (auf Kommandozeile apt-cache madison libtext-csv-xs-perl ausführen).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 03 Februar 2018, 22:50:48
Hallo Jens,

hier die Modulversion:


libtext-csv-xs-perl |     0.90-1 | http://archive.raspbian.org/raspbian/ wheezy/main armhf Packages
libtext-csv-xs-perl |     0.90-1 | http://archive.raspbian.org/raspbian/ wheezy/main Sources


Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 03 Februar 2018, 22:55:37
Und hier das Log:


2018.02.03 21:54:42 5: DWD: DWD_OpenData_GetForecast END
2018.02.03 21:54:42 1:     main::CallFn                        called by fhem.pl (689)
2018.02.03 21:54:42 1:     main::FW_Read                       called by fhem.pl (3508)
2018.02.03 21:54:42 1:     main::FW_answerCall                 called by /opt/fhem/FHEM/01_FHEMWEB.pm (535)
2018.02.03 21:54:42 1:     main::FW_fC                         called by /opt/fhem/FHEM/01_FHEMWEB.pm (848)
2018.02.03 21:54:42 1:     main::AnalyzeCommand                called by /opt/fhem/FHEM/01_FHEMWEB.pm (2494)
2018.02.03 21:54:42 1:     main::CommandGet                    called by fhem.pl (1172)
2018.02.03 21:54:42 1:     main::CallFn                        called by fhem.pl (1821)
2018.02.03 21:54:42 1:     main::DWD_OpenData_Get              called by fhem.pl (3508)
2018.02.03 21:54:42 1:     main::DWD_OpenData_GetForecast      called by /opt/fhem/FHEM/55_DWD_OpenData.pm (271)
2018.02.03 21:54:42 1:     main::readingsBulkUpdate            called by /opt/fhem/FHEM/55_DWD_OpenData.pm (610)
2018.02.03 21:54:42 1: stacktrace:
2018.02.03 21:54:42 1: readingsUpdate(DWD,state,initialized) missed to call readingsBeginUpdate first.
2018.02.03 21:54:41 5: DWD: DWD_OpenData_GetForecast START



PS: Und nur noch eine Kleinigkeit: Die Uhrzeit ist eine Stunde zurück.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Februar 2018, 23:09:27
Hallo Jörg,

dann haben wir wohl die gleiche Modulversion von Text::CSV_XS.

Der Stacktrace hilft hier leider nicht weiter. Habe noch eine neue Version beigefügt, die mit Testausgaben zugepflastert ist. Bitte mal mit verbose=5 laufen lassen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 03 Februar 2018, 23:38:23
Hallo Jens,

ich habe mal das Stations-PDF nach CSV umgewandelt. Vielleicht kannst Du es ja noch so einbinden, dass es mit get durchsuchbar wird.

Grüße Jörg

Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 03 Februar 2018, 23:41:02
Ok, und jetzt das Log:


2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast END
2018.02.03 22:39:48 1:     main::CallFn                        called by fhem.pl (689)
2018.02.03 22:39:48 1:     main::FW_Read                       called by fhem.pl (3508)
2018.02.03 22:39:48 1:     main::FW_answerCall                 called by /opt/fhem/FHEM/01_FHEMWEB.pm (535)
2018.02.03 22:39:48 1:     main::FW_fC                         called by /opt/fhem/FHEM/01_FHEMWEB.pm (848)
2018.02.03 22:39:48 1:     main::AnalyzeCommand                called by /opt/fhem/FHEM/01_FHEMWEB.pm (2494)
2018.02.03 22:39:48 1:     main::CommandGet                    called by fhem.pl (1172)
2018.02.03 22:39:48 1:     main::CallFn                        called by fhem.pl (1821)
2018.02.03 22:39:48 1:     main::DWD_OpenData_Get              called by fhem.pl (3508)
2018.02.03 22:39:48 1:     main::DWD_OpenData_GetForecast      called by /opt/fhem/FHEM/55_DWD_OpenData.pm (271)
2018.02.03 22:39:48 1:     main::readingsBulkUpdate            called by /opt/fhem/FHEM/55_DWD_OpenData.pm (630)
2018.02.03 22:39:48 1: stacktrace:
2018.02.03 22:39:48 1: readingsUpdate(DWD,state,initialized) missed to call readingsBeginUpdate first.
2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast K
2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast J
2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast I
2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast B.3
2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast B.2
2018.02.03 22:39:48 5: DWD: DWD_OpenData_GetForecast B.1
2018.02.03 22:39:47 5: DWD: DWD_OpenData_GetForecast B
2018.02.03 22:39:47 5: DWD: DWD_OpenData_GetForecast A
2018.02.03 22:39:47 5: DWD: DWD_OpenData_GetForecast START
2018.02.03 22:39:43 3: gatttool: connect error: Transport endpoint is not connected (107)
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast END
2018.02.03 22:39:43 1:     main::HandleTimeout                 called by fhem.pl (617)
2018.02.03 22:39:43 1:     main::DWD_OpenData_Timer            called by fhem.pl (3083)
2018.02.03 22:39:43 1:     main::DWD_OpenData_GetForecast      called by /opt/fhem/FHEM/55_DWD_OpenData.pm (652)
2018.02.03 22:39:43 1:     main::readingsBulkUpdate            called by /opt/fhem/FHEM/55_DWD_OpenData.pm (630)
2018.02.03 22:39:43 1: stacktrace:
2018.02.03 22:39:43 1: readingsUpdate(DWD,state,initialized) missed to call readingsBeginUpdate first.
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast K
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast J
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast I
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast B.3
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast B.2
2018.02.03 22:39:43 5: DWD: DWD_OpenData_GetForecast B.1
2018.02.03 22:39:42 5: DWD: DWD_OpenData_GetForecast B
2018.02.03 22:39:42 5: DWD: DWD_OpenData_GetForecast A
2018.02.03 22:39:42 5: DWD: DWD_OpenData_GetForecast START


Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: binford6000 am 04 Februar 2018, 17:47:57
Hallo,
habe gestern Abend DWD_OpenData eingerichtet. Seitdem geht mein FHEM eine Stunde nach  :(
2018.02.03 23:00:01 1: define DWDOD_Wetter DWD_OpenData K2646: Can't locate Text/CSV_XS.pm ... usw.
2018.02.03 23:00:02 1: Wohnung: HomeCMDdaytime (aktuell: night) wurde ausgeführt.
2018.02.03 23:00:04 1: Wohnung: HomeCMDdaytime-night wurde ausgeführt.
2018.02.03 22:06:04 1: Wohnung: HomeCMDdaytime (aktuell: evening) wurde ausgeführt.
2018.02.03 22:06:04 1: Wohnung: HomeCMDdaytime-evening wurde ausgeführt.

Den Fehler konnte ich durch Nachinstallieren der fehlenden Module beseitigen. Hab danach auch brav Daten bekommen.
Aber seitdem geht die FHEM-Zeit eine Stunde nach. Die Systemzeit ist korrekt.
Ein Löschen des Devices und ein FHEM-Neustart brachten auch keine Änderung...
2018.02.04 07:31:47 0: Server shutdown
2018.02.04 07:31:49 1: Shutdown executed
2018.02.04 08:31:54 1: Including fhem.cfg
2018.02.04 08:32:01 2: EnOcean Cryptographic functions are not available.
2018.02.04 08:32:01 2: EnOcean XML functions available.
2018.02.04 08:32:36 1: SONOS0: Modify Device: Sonos
2018.02.04 08:32:40 2: EGPM2LAN Powerstate: 0,0,1,0
2018.02.04 08:32:40 1: Including ./log/fhem.save
2018.02.04 08:32:48 0: Featurelevel: 5.8
2018.02.04 08:32:48 0: Server started with 294 defined entities (fhem.pl:16050/2018-01-30 perl:5.024001 os:linux user:fhem pid:514)
2018.02.04 08:32:49 1: Wohnung: HomeCMDfhemSAVE (./backup_cfg-state/fhem.state.2018-02-04_08:32:49) wurde ausgeführt.
2018.02.04 07:43:53 1: amazon_dash: 50-f5-da-a8-21-a1: short (Playdoh) notify wurde ausgeführt.
2018.02.04 07:52:50 1: Tablet.PC: wird aufgeladen.

Interessant dass FHEM beim Start die korrekte Zeit hat aber kurz danach wieder verliert.
Hier noch ein List vom device:

Internals:
   NAME       DWDOD_Wetter
   NR         294
   STATE      defined
   TYPE       DWD_OpenData
   READINGS:
     2018-02-04 16:27:50   fc0_1_NH        0
     2018-02-04 16:27:50   fc0_1_NL        7
     2018-02-04 16:27:50   fc0_1_NM        4
     2018-02-04 16:27:50   fc0_1_Nf        7
     ...   
     2018-02-04 16:27:50   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2018-02-04 16:27:50   fc_station      K2646
     2018-02-04 16:27:50   fc_time         2018-02-04 03:00
     2018-02-04 16:40:05   state           defined
Attributes:
   forecastDays 3
   forecastResolution 6
   forecastWW2Text 1
   timezone   DE

Mit oder ohne gesetztem timezone-Attribut ist auch egal. Meinem FHEM fehlt eine Stunde.
ZitatNote: Like some other Perl modules this module temporarily modifies the TZ environment variable for timezone conversions. This may cause unexpected results in multi threaded environments.
Temporarily ist gut...   ???
Irgendeine Idee wie ich das wieder in den Griff bekomme?
VG Sebastian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Februar 2018, 18:57:18
Hallo binford6000!

ZitatIrgendeine Idee wie ich das wieder in den Griff bekomme?
Das Entfernen des Modul aus der Konfiguration von FHEM sollte den Effekt eigentlich aufheben. Da das bei dir nicht klappt, solltest du nach dem Entfernen und Speichern in der fhem.cfg nachsehen, ob da trotzdem noch etwas zu "TZ" oder "timezone" zu finden ist. Dein Logging zeigt auch, dass der Stundensprung nach "HomeCMDfhemSAVE" passiert. Es könnte auch sein, dass die TZ-Einstellung in der Datei "./backup_cfg-state/fhem.state...." steckt.

Ich hatte von Anfang an Probleme mit der Zeitzone von FHEM auf meinem Raspi. Deshalb steht bei mir in der Startdatei "/etc/init.d/fhem":

case "$1" in
'start')

        echo "Starting fhem..."

        # Timezone
        export TZ=`cat /etc/timezone`

damit die Systemzeitzone an FHEM definiert übergeben wird. Natürlich muss /etc/timezone dafür einen korrekten Eintrag enthalten.

Wenn du das Modul verwenden willst, solltes du das Attribut "timezone" wie in der Modulhilfe beschrieben setzten. "DE" ist keine gültige Zeitzonenbezeichnung - nimm statt dessen "Europe/Berlin".

Grüße,
Jens




UPDATE:

Zum Testen der FHEM-Zeitzone in der FHEM-Commandozeile eingeben:
{ $ENV{TZ} }
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Februar 2018, 19:04:58
Hallo Jörg,

habe herausgefunden, warum die Fehlerbehandlung nicht so funktioniert, wie ich das wollte - die neue Version macht das besser. Vermutlich wirst du damit aber immer noch keine Daten bekommen, denn das Logging von dir zeigt, dass die Datei nicht heruntergeladen werden konnte. Bei mir funktioniert es mit deiner Station. Hast du vielleicht einen Proxy?

Zitat... habe mal das Stations-PDF nach CSV umgewandelt. Vielleicht kannst Du es ja noch so einbinden, dass es mit get durchsuchbar wird.
Hatte das auch schon erwogen, aber in der Umwandlung liegt für mich das Problem. Ein regelmäßiges Nachpflegen will ich vermeiden, deshalb habe ich mich für den Verweis auf die Dokumentation entschieden. Einmal eingestellt ändert man das meist nicht mehr.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: binford6000 am 04 Februar 2018, 19:33:15
Hallo Jens,
Zitatsolltest du nach dem Entfernen und Speichern in der fhem.cfg nachsehen, ob da trotzdem noch etwas zu "TZ" oder "timezone" zu finden ist.
Nichts zu finden.
ZitatEs könnte auch sein, dass die TZ-Einstellung in der Datei "./backup_cfg-state/fhem.state...." steckt.
Ebenfalls nichts zu finden.
Nach Ändern von /etc/init.d/fhem erhalte ich nach
{ $ENV{TZ} } Europe/Berlin zurück. Soweit so gut. Danke für den schnellen Support.
VG Sebastian


Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 04 Februar 2018, 19:43:01
Hallo Jens,

ich habe das get() jetzt mal auf GetFileFromURL() aus dem Fhem Helpermodul HttpUtils (use HttpUtils;) umgestellt. Und siehe da, es funktioniert. Jetz das Ganze noch auf nonBlocking umgestellt und fein ist.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 04 Februar 2018, 20:21:46
@jensb

Hallo Jens,

{ $ENV{TZ} }
Zeigt bei mir nur ein Problem mit d_ccu an. Und "Autosave deactivated".

Meine Uhrzeit geht in FHEM nun ebenso eine Stunde nach.
Hatte Update eingegeben. Da es nichts gab wurde nur ein Backup erstellt und neu gestartet.

Zitat2018.02.04 19:52:01 1: backup done: FHEM-20180204_194642.tar.gz (47118033 Bytes)
2018.02.04 19:52:03 1: nothing to do...
2018.02.04 19:03:37 3: CUL433 IT: EG_Fenster_Zimmer1.1 closed->on

unter /etc/init.d/timezone steht "Europe/Berlin".

Nach dem ich die Modul-Definition gelöscht habe ist die Zeit immer noch -1h ?!

Was biegst Du den da um  ;D

Update :
Habe in der Startdatei "/etc/init.d/fhem" dein Vorschlag eingefügt mit dem Export.
Aber die Zeit geht immer noch nach!

Systemzeit vom RPi stimmt.
Zitatbla@RPi2:/opt/fhem# date
Sun Feb  4 20:41:04 CET 2018

Gruss Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Februar 2018, 20:55:53
Hallo Gerd,

die Systemzeit vom RPi ist egal, entscheidend ist die TZ-Umgebungsvariable, die Perl und damit FHEM sieht. Wenn du die PID des Perl-Prozesses von FHEM ermittelst, kannst du auch auf der Shell mit "cat /proc/<pid>/environ" alle Umgebungsvariablen des laufenden Prozesses ansehen. Entweder steht die TZ mit in der Ausgabe oder nicht.

Zur Laufzeit ist für Perl $ENV{TZ} ausschlaggebend. In der FHEM-Kommandozeile muss bei Eingabe von "{ $ENV{TZ} }" die Zeitzone angezeigt werden, wenn sie überhaupt gesetzt ist.

Die Hintergründe kann man auch noch mal hier (https://forum.fhem.de/index.php/topic,78578.0.html) nachlesen.

Wo der Effekt herkommt, weiß ich noch nicht, da es bei mir nicht auftritt. Ich habe sowohl mit unserer Zeitzone als auch mit diversen internationalen Zeitzonen getestet und hatte diesen Effekt nicht. Bitte entferne zunächst das Modul wieder aus deiner Konfiguration und lösche ggf. auch die fhem.save und starte dann FHEM noch einmal neu.

Grüße,
Jens

PS: Du hast um 20:21 CET gepostet. Deine Systemzeit ist zu diesem Zeitpunkt ca. 20:41 CET. Wie geht das?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 04 Februar 2018, 21:17:28
Hallo Jens,

die fhem.save hab ich gelöscht. Die Zeit ist nun wieder "normal".
Nach dem neu anlegen des Moduls ist die Zeit nun ebenfalls korrekt!

ZitatPS: Du hast um 20:21 CET gepostet. Deine Systemzeit ist zu diesem Zeitpunkt ca. 20:41 CET. Wie geht das?
Vermutlich weil ich die Nachricht in der Zeit mehrfach geändert hatte ;)

Ich kann Dir auch mal die fhem.save mit dem Problem und die neu erzeugte zu kommen lassen.
Beim vergleichen mit Totalcommander ist mir nichts aufgefallen.

Ich bin mir nun nicht mehr sicher ob FHEM tatsächlich beendet wurde als ich das in der Shell gestoppt hatte.
Es liefen zwei FHEM Tasks... :o

Mittlerweile bekomme ich auch eine Ausgabe bei { $ENV{TZ} } !

Aber irgend was zickt nun rum....Melde mich wieder.

Danke erst mal.

Laufen wieder zwei Perl-FHEM...

Ist das Normal das mehr als ein Task von FHEM im Prozessstatus zu sehen ist?

Starte den PI komplett neu.

Gruss Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 04 Februar 2018, 21:28:26
Hallo Jens,

anbei ein Vorschlag für die Umsetzung mit nonBlockingCall.

Grüße Jörg

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Februar 2018, 21:59:15
Hallo Gerd,

freut mich, dass du wieder Normalzeit hast. Kann in meiner eigenen fhem.save auch nichts zu den Zeitzoneneinstellungen finden. Damit bleibt leider unklar, was hier dauerhaft an der Uhr dreht.

ZitatIst das Normal das mehr als ein Task von FHEM im Prozessstatus zu sehen ist?
Im einfachsten Fall läuft nur ein FHEM Perl Prozess. Aber je nach aktiven Modulen kann der Hauptprozess kurzzeitig oder dauerhaft forken und dann laufen u.U. (kurzzeitig oder dauerhaft) mehrere Prozesse.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 04 Februar 2018, 22:08:08
Danke Jens,

hatte mich doch etwas gewundert. In den Anfängen liefen zwei Prozesse. Das hatte ich dann aber
gefunden.

Komisch ist nur, das ich diese nicht per Stop in der Shell beendet bekommen.

Nur KILL oder Shutdown in FHEM wirkt.

Nun ist schon wieder spät.

DWD lasse ich so mal laufen. Dann schaue ich was ich damit machen kann  ;)

Gruss Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Februar 2018, 22:30:28
Hallo Jörg,

prima, dass du dir inzwischen selbst helfen konntest und es so funktioniert :D Werde mir deinen Vorschlag im laufe der Woche ansehen und dann integrieren.

Non-Blocking stand bei mir auch noch auf dem Plan. Allerdings bin ich mir nicht sicher, wieviel das bei der Vorhersage bringt. Zumindest bei großen Datenmengen ist die Performace nicht so toll (Beispiel: das alte GDS-Modul hat nach der Umstellung auf Non-Blocking FHEM trotzdem regelmäßig 5 bis 10 Sekunden blockiert) und bei kleinen Datenmengen ist der Overhead durch das Forken relativ groß. Wenn der HTTP-Get allerdings hängen bleibt oder kriecht, hilft es natürlich - insofern ist Non-Blocking immer vorzuziehen.

Wie es klingt hattest du keine Probleme mit der Zeitzone und der FHEM-Zeit. Würde zu gern verstehen, wo dieser Effekt herkommt. Es könnte sein, dass einige FHEM-Installationen ohne TZ-Umgebungsvariable arbeiten und für FHEM die Systemzeit verwenden (die von init - nicht die von root oder pi), wobei die Systemzeit bei diesen Systemen wahrscheinlich als Zeitzone GMT hat. Wenn man dann die Systemuhr so einstellt, dass sie wie CET aussieht, aber die Zeitzone auf GMT lässt, gibt es natürlich durcheinander, sobald man TZ zum ersten Mal setzt. Dagegen sollte der unten erwähnte Vorschlag mit dem Setzen von TZ im Startskript helfen. Vielleicht muss ich aber auch noch die Fälle unterscheiden A) TZ nicht gesetzt (keine TZ-Umgebungsvariable vorhanden) und B) TZ nicht definiert (es gibt eine TZ-Umgebungsvariable, aber ohne Wert).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 05 Februar 2018, 08:35:06
Hallo Jens,

habe das mal mit dem neuen Modul 98_FREEZEMON getestet. Ohne nonBlocking zwischen 3 und 4 Sekunden. Bei Fhem Instanzen mit vielen Aktoren / Sensoren schon sehr viel. Mit nonBlocking völlig unauffällig.

Bei mir spielt es keine Rolle, da ich fast alle Module, die Daten aus dem I-Net holen, auf einer zweiten Fhem-Instanz laufen lassen, die sich über Fhem2Fhem die Daten der Aktoren / Sensoren holt. Allerdings könnten die DWD Daten ja doch noch für die Hauptinstanz interessant sein.

Grüße Jörg

PS: Gibt es eigentlich so etwas wie einen Aktualisierungszeitstempel vom DWD. Dann bräuchte man die Daten nicht immer komplett holen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 Februar 2018, 20:26:48
Hallo Jörg,

ZitatGibt es eigentlich so etwas wie einen Aktualisierungszeitstempel vom DWD. Dann bräuchte man die Daten nicht immer komplett holen.
Das hatte ich mir auch schon angesehen. Da ich den HTTP-Get mit LWP::Simple realisert hatte, gab es kein Zugriff auf den Modified-Zeitstempel vom Server. Ob die HttpUtils einen Zugriff ermöglichen werde ich mir noch ansehen. In den Daten ist auch noch ein Zeitstempel und der wird ja als Reading geliefert (fc_date). Allerdings ändert sich der Datenumfang trotzdem. Wenn ich das richtig sehe, macht der DWD alle 12 Stunden eine neue Vorhersage. Die Daten innerhalb des Dokuments werden aber mit der Zeit ständig weiter rotiert, so dass inzwischen vergangene Zeiten entfallen und durch zukünftige ersetzt werden. Daher habe ich eine stündliche Abfrage eingebaut - damit bleibt man aktuell.

ZitatOhne nonBlocking zwischen 3 und 4 Sekunden
Das ist relativ viel. Kein Wunder, dass du sofort auf Non-Blocking kommst. Wie gesagt, bei mir im Normalfall um 500 ms. Wo der Unterschied herkommt, kann ich nicht sagen, aber Non-Blocking werde ich trotzdem einbauen.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 05 Februar 2018, 20:48:50
Hallo Jens,

ich habe halt nur eine 10.000 Datenleitung. Wenn da Streaming und Spiele laufen, bzw. telefoniert wird, ist halt etwas zäh.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 05 Februar 2018, 21:15:34
Hallo Jens,

es sieht so aus, dass die Verzeichnisse auch Datum / Uhrzeit aktualisieren. Damit würde es ausreichen https://opendata.dwd.de/weather/local_forecasts/ zu holen und den Zeitstempel für das Verzeichnis poi zu prüfen.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Februar 2018, 20:22:07
Hallo Jörg,

mit LWP::UserAgent kommt am an "last_modified" eines Objekts, sofern auf dem Server gesetzt. Wie man das mit HttpUtils macht, habe ich noch nicht herausgefunden. Hast du eine Idee?

Ich möchte vermeiden, die Daten mit 2 verschiedenen Techniken (HttpUtils + LWP) abzufragen, damit man nicht z.B. den  Proxy mehrfach auf unterschiedliche Weise einstellen muss. Vielleicht hat schon mal jemand irgendwo in FHEM Webserver-Zeitstempel abgefragt - werde mit mal umsehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 06 Februar 2018, 20:39:19
Hm, Du könntest nur den Header mit der HEAD Methode anfordern und auswerten. Oder der GET Methode über setzen vom Header-Feld "Conditional" auf If-Modified-Since den letzten Zeitstempel übergeben.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 06 Februar 2018, 20:47:21
Ah, if-Modified-Since funktioniert so  nicht, also dann doch nur mit HEAD den Header anfordern und Last-Modified prüfen.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Februar 2018, 21:46:02
Hallo Jörg,

wo siehst du mit HttpUtils die Möglichkeit den Header anzufordern? Geht das vielleicht mit "$param = { method => "HEAD",  }"? Oder bist du zu LWP::UserAgent gewechselt?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Februar 2018, 21:24:49
Hallo,

habe das Modul im 1. Post aktualisiert, um die z.T. aufgetretenen Probleme mit der FHEM Zeitzone zu verhindern.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: elhennig am 16 Februar 2018, 07:59:09
Würde es nicht Sinn machen, die Entwicklung mit https://forum.fhem.de/index.php/topic,53157.0.html zusammen zu legen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2018, 21:30:41
Hallo elhenning,

nein, denn die alte Schnittstelle des DWD gibt es nicht mehr (wie u.a. im 1. Post dieses Threads beschrieben) und die neue Schnittstelle hat mit der alten keine technischen Gemeinsamkeiten.

Grüße,
Jnes
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 16 Februar 2018, 22:21:28
Zitat von: jensb am 06 Februar 2018, 21:46:02
Hallo Jörg,

wo siehst du mit HttpUtils die Möglichkeit den Header anzufordern? Geht das vielleicht mit "$param = { method => "HEAD",  }"? Oder bist du zu LWP::UserAgent gewechselt?

Grüße,
Jens

Grundsätzlich ja. Leider hält sich der DWD nicht an die Konvention. Bei HEAD wird leider gar nichts ausgeliefert.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2018, 22:42:23
Hallo Jörg,

danke für die Info. Konnte mich bisher noch nicht entscheiden, ob ich HttpUtils oder LWP::UserAgent verwenden soll. Beide werden in FHEM verwendet, beide haben Proxy-Support, beide können asynchron - wobei HttpUtils besser auf FHEM abgestimmt ist.

Wenn man sowieso nicht an den Zeitstempel kommt, kann ich deinen Ansatz mit HttpUtils aufgreifen. Zumindest bei den Vorhersagedaten ist die Datenmenge klein, so dass die Zeitstempel-Optimierung nicht viel bringt, insbesondere nicht wenn man ohnehin asynchron arbeitet.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 16 Februar 2018, 22:44:29
Hallo Jens,

stimme Dir zu. Wird wohl das Einfachste sein.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 Februar 2018, 21:29:20
Hallo,

der nichtblockierende HTTP-Download mit HttpUtils ist nun integriert, wie es @JoWiemann vorgeschlagen hatte. Das Update ist im 1. Post dieses Threads zu finden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 18 Februar 2018, 22:29:48
Danke Jens

Werde es bei Gelegenheit einspielen.

Gruß
Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 24 Februar 2018, 21:23:37
Hallo Jens,

ich habe heute deine Änderung des DWD-Moduls eingespielt.
Soweit keine Auffälligkeiten.

Ich habe versucht den Weblink des DWDODweblink-Moduls zu aktivieren.
Anfangs wusste ich nicht was ich damit anstellen soll.
In der Commandref wurde keine Hilfe dazu erzeugt.
Ich habe im Modul die Hilfe lesen müssen  ;)

Nach dem ich nun das Modul von
ZitatDWDODweblink.pm
nach
Zitat99_DWDODweblink.pm
geändert habe (und reloadcfg), wurde der Weblink angelegt und die Grafik angezeigt!

define DWD_VL weblink htmlCode { DWDOD_AsHtmlH("DWD") }
wurde angemeckert da das Sub "DWDOD_AsHtmlH" nicht gefunden wurde.

Kann das sein das Module ohne Nummern vor dem Modul-Namen nicht erkannt werden?
Wenn nein, woran liegt das bei mir ?

[Nachtrag]
In deiner Beispielgrafik wird unter den Bildern, oberhalb der Temperatur ein Text geschrieben.
Bei mir stehen nur Fragezeichen.

List DWD-Modul

Internals:
   CFGFN      /opt/fhem/FHEM/Web_00.cfg
   FHEM_TZ    Europe/Berlin
   NAME       DWD
   NR         1027
   STATE      initialized
   TYPE       DWD_OpenData
   READINGS:
     2018-02-24 21:09:58   fc0_3_NH        1
     2018-02-24 21:09:58   fc0_3_NL        2
     2018-02-24 21:09:58   fc0_3_NM        2
     2018-02-24 21:09:58   fc0_3_Nf        3
     2018-02-24 21:09:58   fc0_3_PPPP      1018.8
     2018-02-24 21:09:58   fc0_3_RR12       0.0
     2018-02-24 21:09:58   fc0_3_RR6        0.0
     2018-02-24 21:09:58   fc0_3_RRp12      25
     2018-02-24 21:09:58   fc0_3_RRp6        7
     2018-02-24 21:09:58   fc0_3_TT        -3.3
     2018-02-24 21:09:58   fc0_3_Td        -8.8
     2018-02-24 21:09:58   fc0_3_VV        11700
     2018-02-24 21:09:58   fc0_3_dd         70
     2018-02-24 21:09:58   fc0_3_ff         18.5
     2018-02-24 21:09:58   fc0_3_fx         48.1
     2018-02-24 21:09:58   fc0_3_time      19:00
     2018-02-24 21:09:58   fc0_3_ww         1
     2018-02-24 21:09:58   fc0_Tx          -1.8
     2018-02-24 21:09:58   fc0_date        2018-02-24
     2018-02-24 21:09:58   fc1_0_NH        0
     2018-02-24 21:09:58   fc1_0_NL        3
     2018-02-24 21:09:58   fc1_0_NM        2
     2018-02-24 21:09:58   fc1_0_Nf        4
     2018-02-24 21:09:58   fc1_0_PPPP      1021.6
     2018-02-24 21:09:58   fc1_0_RR6        0.0
     2018-02-24 21:09:58   fc1_0_RRp12      20
     2018-02-24 21:09:58   fc1_0_RRp24      57
     2018-02-24 21:09:58   fc1_0_RRp6       17
     2018-02-24 21:09:58   fc1_0_TT        -6.6
     2018-02-24 21:09:58   fc1_0_Td        -10.8
     2018-02-24 21:09:58   fc1_0_VV        43200
     2018-02-24 21:09:58   fc1_0_dd         79
     2018-02-24 21:09:58   fc1_0_ff         27.8
     2018-02-24 21:09:58   fc1_0_fx         50.0
     2018-02-24 21:09:58   fc1_0_time      01:00
     2018-02-24 21:09:58   fc1_0_ww         1
     2018-02-24 21:09:58   fc1_1_NH        1
     2018-02-24 21:09:58   fc1_1_NL        2
     2018-02-24 21:09:58   fc1_1_NM        2
     2018-02-24 21:09:58   fc1_1_Nf        4
     2018-02-24 21:09:58   fc1_1_PPPP      1023.2
     2018-02-24 21:09:58   fc1_1_RR12       0.0
     2018-02-24 21:09:58   fc1_1_RR24       0.0
     2018-02-24 21:09:58   fc1_1_RR6        0.0
     2018-02-24 21:09:58   fc1_1_RRp12      33
     2018-02-24 21:09:58   fc1_1_RRp6       21
     2018-02-24 21:09:58   fc1_1_TT        -9.3
     2018-02-24 21:09:58   fc1_1_Td        -13.0
     2018-02-24 21:09:58   fc1_1_VV        12600
     2018-02-24 21:09:58   fc1_1_dd         78
     2018-02-24 21:09:58   fc1_1_ff         14.8
     2018-02-24 21:09:58   fc1_1_fx         46.3
     2018-02-24 21:09:58   fc1_1_time      07:00
     2018-02-24 21:09:58   fc1_1_ww         1
     2018-02-24 21:09:58   fc1_2_NH        1
     2018-02-24 21:09:58   fc1_2_NL        2
     2018-02-24 21:09:58   fc1_2_NM        1
     2018-02-24 21:09:58   fc1_2_Nf        3
     2018-02-24 21:09:58   fc1_2_PPPP      1023.7
     2018-02-24 21:09:58   fc1_2_RR6        0.0
     2018-02-24 21:09:58   fc1_2_RRp12      31
     2018-02-24 21:09:58   fc1_2_RRp24      40
     2018-02-24 21:09:58   fc1_2_RRp6       24
     2018-02-24 21:09:58   fc1_2_TT        -6.3
     2018-02-24 21:09:58   fc1_2_Td        -14.0
     2018-02-24 21:09:58   fc1_2_VV        17200
     2018-02-24 21:09:58   fc1_2_dd         71
     2018-02-24 21:09:58   fc1_2_ff         20.4
     2018-02-24 21:09:58   fc1_2_fx         50.0
     2018-02-24 21:09:58   fc1_2_time      13:00
     2018-02-24 21:09:58   fc1_2_ww         1
     2018-02-24 21:09:58   fc1_3_NH        1
     2018-02-24 21:09:58   fc1_3_NL        2
     2018-02-24 21:09:58   fc1_3_NM        1
     2018-02-24 21:09:58   fc1_3_Nf        2
     2018-02-24 21:09:58   fc1_3_PPPP      1024.9
     2018-02-24 21:09:58   fc1_3_RR12       0.0
     2018-02-24 21:09:58   fc1_3_RR6        0.0
     2018-02-24 21:09:58   fc1_3_RRp12      31
     2018-02-24 21:09:58   fc1_3_RRp6       22
     2018-02-24 21:09:58   fc1_3_TT        -8.2
     2018-02-24 21:09:58   fc1_3_Td        -14.9
     2018-02-24 21:09:58   fc1_3_VV        19300
     2018-02-24 21:09:58   fc1_3_dd         66
     2018-02-24 21:09:58   fc1_3_ff         16.7
     2018-02-24 21:09:58   fc1_3_fx         37.0
     2018-02-24 21:09:58   fc1_3_time      19:00
     2018-02-24 21:09:58   fc1_3_ww         0
     2018-02-24 21:09:58   fc1_SS24         4.9
     2018-02-24 21:09:58   fc1_Tg          -11.8
     2018-02-24 21:09:58   fc1_Tm          -3.7
     2018-02-24 21:09:58   fc1_Tn          -9.7
     2018-02-24 21:09:58   fc1_Tx          -5.1
     2018-02-24 21:09:58   fc1_date        2018-02-25
     2018-02-24 21:09:58   fc2_0_NH        1
     2018-02-24 21:09:58   fc2_0_NL        2
     2018-02-24 21:09:58   fc2_0_NM        1
     2018-02-24 21:09:58   fc2_0_Nf        3
     2018-02-24 21:09:58   fc2_0_PPPP      1025.9
     2018-02-24 21:09:58   fc2_0_RR6        0.0
     2018-02-24 21:09:58   fc2_0_RRp12      48
     2018-02-24 21:09:58   fc2_0_RRp24      60
     2018-02-24 21:09:58   fc2_0_RRp6       33
     2018-02-24 21:09:58   fc2_0_TT        -11.6
     2018-02-24 21:09:58   fc2_0_Td        -16.1
     2018-02-24 21:09:58   fc2_0_VV        43900
     2018-02-24 21:09:58   fc2_0_dd         75
     2018-02-24 21:09:58   fc2_0_ff         20.4
     2018-02-24 21:09:58   fc2_0_fx         37.0
     2018-02-24 21:09:58   fc2_0_time      01:00
     2018-02-24 21:09:58   fc2_0_ww         0
     2018-02-24 21:09:58   fc2_1_NH        1
     2018-02-24 21:09:58   fc2_1_NL        3
     2018-02-24 21:09:58   fc2_1_NM        1
     2018-02-24 21:09:58   fc2_1_Nf        4
     2018-02-24 21:09:58   fc2_1_PPPP      1025.5
     2018-02-24 21:09:58   fc2_1_RR12       0.0
     2018-02-24 21:09:58   fc2_1_RR24       0.0
     2018-02-24 21:09:58   fc2_1_RR6        0.0
     2018-02-24 21:09:58   fc2_1_RRp12      57
     2018-02-24 21:09:58   fc2_1_RRp6       36
     2018-02-24 21:09:58   fc2_1_TT        -13.3
     2018-02-24 21:09:58   fc2_1_Td        -17.2
     2018-02-24 21:09:58   fc2_1_VV        23900
     2018-02-24 21:09:58   fc2_1_dd         59
     2018-02-24 21:09:58   fc2_1_ff         14.8
     2018-02-24 21:09:58   fc2_1_fx         37.0
     2018-02-24 21:09:58   fc2_1_time      07:00
     2018-02-24 21:09:58   fc2_1_ww         1
     2018-02-24 21:09:58   fc2_2_NH        1
     2018-02-24 21:09:58   fc2_2_NL        5
     2018-02-24 21:09:58   fc2_2_NM        0
     2018-02-24 21:09:58   fc2_2_Nf        5
     2018-02-24 21:09:58   fc2_2_PPPP      1024.9
     2018-02-24 21:09:58   fc2_2_RR6        0.0
     2018-02-24 21:09:58   fc2_2_RRp12      57
     2018-02-24 21:09:58   fc2_2_RRp24      75
     2018-02-24 21:09:58   fc2_2_RRp6       51
     2018-02-24 21:09:58   fc2_2_TT        -10.4
     2018-02-24 21:09:58   fc2_2_Td        -17.2
     2018-02-24 21:09:58   fc2_2_VV        18500
     2018-02-24 21:09:58   fc2_2_dd         64
     2018-02-24 21:09:58   fc2_2_ff         18.5
     2018-02-24 21:09:58   fc2_2_fx         44.4
     2018-02-24 21:09:58   fc2_2_time      13:00
     2018-02-24 21:09:58   fc2_2_ww         1
     2018-02-24 21:09:58   fc2_3_NH        1
     2018-02-24 21:09:58   fc2_3_NL        4
     2018-02-24 21:09:58   fc2_3_NM        2
     2018-02-24 21:09:58   fc2_3_Nf        5
     2018-02-24 21:09:58   fc2_3_PPPP      1024.5
     2018-02-24 21:09:58   fc2_3_RR12       0.0
     2018-02-24 21:09:58   fc2_3_RR6        0.0
     2018-02-24 21:09:58   fc2_3_RRp12      68
     2018-02-24 21:09:58   fc2_3_RRp6       51
     2018-02-24 21:09:58   fc2_3_TT        -10.8
     2018-02-24 21:09:58   fc2_3_Td        -16.4
     2018-02-24 21:09:58   fc2_3_VV        21100
     2018-02-24 21:09:58   fc2_3_dd         63
     2018-02-24 21:09:58   fc2_3_ff         14.8
     2018-02-24 21:09:58   fc2_3_fx         35.2
     2018-02-24 21:09:58   fc2_3_time      19:00
     2018-02-24 21:09:58   fc2_3_ww         1
     2018-02-24 21:09:58   fc2_SS24         6.5
     2018-02-24 21:09:58   fc2_Tg          -16.6
     2018-02-24 21:09:58   fc2_Tm          -8.6
     2018-02-24 21:09:58   fc2_Tn          -14.0
     2018-02-24 21:09:58   fc2_Tx          -9.2
     2018-02-24 21:09:58   fc2_date        2018-02-26
     2018-02-24 21:09:58   fc2_ev           0.6
     2018-02-24 21:09:58   fc3_0_NH        0
     2018-02-24 21:09:58   fc3_0_NL        3
     2018-02-24 21:09:58   fc3_0_NM        2
     2018-02-24 21:09:58   fc3_0_Nf        4
     2018-02-24 21:09:58   fc3_0_PPPP      1022.6
     2018-02-24 21:09:58   fc3_0_RR6        0.0
     2018-02-24 21:09:58   fc3_0_RRp12      71
     2018-02-24 21:09:58   fc3_0_RRp24      85
     2018-02-24 21:09:58   fc3_0_RRp6       47
     2018-02-24 21:09:58   fc3_0_TT        -13.1
     2018-02-24 21:09:58   fc3_0_Td        -17.3
     2018-02-24 21:09:58   fc3_0_VV        38600
     2018-02-24 21:09:58   fc3_0_dd         73
     2018-02-24 21:09:58   fc3_0_ff         18.5
     2018-02-24 21:09:58   fc3_0_fx         31.5
     2018-02-24 21:09:58   fc3_0_time      01:00
     2018-02-24 21:09:58   fc3_0_ww         1
     2018-02-24 21:09:58   fc3_1_NH        1
     2018-02-24 21:09:58   fc3_1_NL        4
     2018-02-24 21:09:58   fc3_1_NM        1
     2018-02-24 21:09:58   fc3_1_Nf        4
     2018-02-24 21:09:58   fc3_1_PPPP      1021.9
     2018-02-24 21:09:58   fc3_1_RR12       0.0
     2018-02-24 21:09:58   fc3_1_RR24       0.0
     2018-02-24 21:09:58   fc3_1_RR6        0.0
     2018-02-24 21:09:58   fc3_1_RRp12      65
     2018-02-24 21:09:58   fc3_1_RRp6       36
     2018-02-24 21:09:58   fc3_1_TT        -14.4
     2018-02-24 21:09:58   fc3_1_Td        -18.1
     2018-02-24 21:09:58   fc3_1_VV        21000
     2018-02-24 21:09:58   fc3_1_dd         65
     2018-02-24 21:09:58   fc3_1_ff         11.1
     2018-02-24 21:09:58   fc3_1_fx         31.5
     2018-02-24 21:09:58   fc3_1_time      07:00
     2018-02-24 21:09:58   fc3_1_ww         1
     2018-02-24 21:09:58   fc3_2_NH        2
     2018-02-24 21:09:58   fc3_2_NL        4
     2018-02-24 21:09:58   fc3_2_NM        1
     2018-02-24 21:09:58   fc3_2_Nf        5
     2018-02-24 21:09:58   fc3_2_PPPP      1020.8
     2018-02-24 21:09:58   fc3_2_RR6        0.0
     2018-02-24 21:09:58   fc3_2_RRp12      60
     2018-02-24 21:09:58   fc3_2_RRp24      81
     2018-02-24 21:09:58   fc3_2_RRp6       52
     2018-02-24 21:09:58   fc3_2_TT        -9.9
     2018-02-24 21:09:58   fc3_2_Td        -17.2
     2018-02-24 21:09:58   fc3_2_VV        17100
     2018-02-24 21:09:58   fc3_2_dd         63
     2018-02-24 21:09:58   fc3_2_ff         13.0
     2018-02-24 21:09:58   fc3_2_fx         33.3
     2018-02-24 21:09:58   fc3_2_time      13:00
     2018-02-24 21:09:58   fc3_2_ww         2
     2018-02-24 21:09:58   fc3_3_NH        1
     2018-02-24 21:09:58   fc3_3_NL        3
     2018-02-24 21:09:58   fc3_3_NM        2
     2018-02-24 21:09:58   fc3_3_Nf        5
     2018-02-24 21:09:58   fc3_3_PPPP      1020.7
     2018-02-24 21:09:58   fc3_3_RR12       0.0
     2018-02-24 21:09:58   fc3_3_RR6        0.0
     2018-02-24 21:09:58   fc3_3_RRp12      68
     2018-02-24 21:09:58   fc3_3_RRp6       52
     2018-02-24 21:09:58   fc3_3_TT        -10.5
     2018-02-24 21:09:58   fc3_3_Td        -16.3
     2018-02-24 21:09:58   fc3_3_VV        14500
     2018-02-24 21:09:58   fc3_3_dd         67
     2018-02-24 21:09:58   fc3_3_ff          9.3
     2018-02-24 21:09:58   fc3_3_fx         24.1
     2018-02-24 21:09:58   fc3_3_time      19:00
     2018-02-24 21:09:58   fc3_3_ww         2
     2018-02-24 21:09:58   fc3_SS24         5.0
     2018-02-24 21:09:58   fc3_Tg          -17.9
     2018-02-24 21:09:58   fc3_Tm          -11.9
     2018-02-24 21:09:58   fc3_Tn          -15.3
     2018-02-24 21:09:58   fc3_Tx          -8.8
     2018-02-24 21:09:58   fc3_date        2018-02-27
     2018-02-24 21:09:58   fc3_ev           0.4
     2018-02-24 21:09:58   fc4_0_NH        0
     2018-02-24 21:09:58   fc4_0_NL        3
     2018-02-24 21:09:58   fc4_0_NM        2
     2018-02-24 21:09:58   fc4_0_Nf        4
     2018-02-24 21:09:58   fc4_0_PPPP      1019.7
     2018-02-24 21:09:58   fc4_0_RR6        0.0
     2018-02-24 21:09:58   fc4_0_RRp12      72
     2018-02-24 21:09:58   fc4_0_RRp24      84
     2018-02-24 21:09:58   fc4_0_RRp6       43
     2018-02-24 21:09:58   fc4_0_TT        -14.0
     2018-02-24 21:09:58   fc4_0_Td        -17.4
     2018-02-24 21:09:58   fc4_0_VV        10300
     2018-02-24 21:09:58   fc4_0_dd         88
     2018-02-24 21:09:58   fc4_0_ff         11.1
     2018-02-24 21:09:58   fc4_0_fx         22.2
     2018-02-24 21:09:58   fc4_0_time      01:00
     2018-02-24 21:09:58   fc4_0_ww         1
     2018-02-24 21:09:58   fc4_1_NH        1
     2018-02-24 21:09:58   fc4_1_NL        3
     2018-02-24 21:09:58   fc4_1_NM        1
     2018-02-24 21:09:58   fc4_1_Nf        4
     2018-02-24 21:09:58   fc4_1_PPPP      1019.4
     2018-02-24 21:09:58   fc4_1_RR12       0.0
     2018-02-24 21:09:58   fc4_1_RR24       0.0
     2018-02-24 21:09:58   fc4_1_RR6        0.0
     2018-02-24 21:09:58   fc4_1_RRp12      57
     2018-02-24 21:09:58   fc4_1_RRp6       31
     2018-02-24 21:09:58   fc4_1_TT        -15.1
     2018-02-24 21:09:58   fc4_1_Td        -18.2
     2018-02-24 21:09:58   fc4_1_VV        13700
     2018-02-24 21:09:58   fc4_1_dd         73
     2018-02-24 21:09:58   fc4_1_ff          7.4
     2018-02-24 21:09:58   fc4_1_fx         24.1
     2018-02-24 21:09:58   fc4_1_time      07:00
     2018-02-24 21:09:58   fc4_1_ww         1
     2018-02-24 21:09:58   fc4_2_NH        2
     2018-02-24 21:09:58   fc4_2_NL        3
     2018-02-24 21:09:58   fc4_2_NM        2
     2018-02-24 21:09:58   fc4_2_Nf        5
     2018-02-24 21:09:58   fc4_2_PPPP      1018.5
     2018-02-24 21:09:58   fc4_2_RR6        0.0
     2018-02-24 21:09:58   fc4_2_RRp12      47
     2018-02-24 21:09:58   fc4_2_RRp24      80
     2018-02-24 21:09:58   fc4_2_RRp6       41
     2018-02-24 21:09:58   fc4_2_TT        -8.1
     2018-02-24 21:09:58   fc4_2_Td        -16.5
     2018-02-24 21:09:58   fc4_2_VV        20300
     2018-02-24 21:09:58   fc4_2_dd         84
     2018-02-24 21:09:58   fc4_2_ff         11.1
     2018-02-24 21:09:58   fc4_2_fx         33.3
     2018-02-24 21:09:58   fc4_2_time      13:00
     2018-02-24 21:09:58   fc4_2_ww         1
     2018-02-24 21:09:58   fc4_3_NH        2
     2018-02-24 21:09:58   fc4_3_NL        3
     2018-02-24 21:09:58   fc4_3_NM        3
     2018-02-24 21:09:58   fc4_3_Nf        5
     2018-02-24 21:09:58   fc4_3_PPPP      1017.3
     2018-02-24 21:09:58   fc4_3_RR12       0.0
     2018-02-24 21:09:58   fc4_3_RR6        0.0
     2018-02-24 21:09:58   fc4_3_RRp12      52
     2018-02-24 21:09:58   fc4_3_RRp6       40
     2018-02-24 21:09:58   fc4_3_TT        -8.1
     2018-02-24 21:09:58   fc4_3_Td        -15.0
     2018-02-24 21:09:58   fc4_3_VV        14700
     2018-02-24 21:09:58   fc4_3_dd         86
     2018-02-24 21:09:58   fc4_3_ff          9.3
     2018-02-24 21:09:58   fc4_3_fx         29.6
     2018-02-24 21:09:58   fc4_3_time      19:00
     2018-02-24 21:09:58   fc4_3_ww         1
     2018-02-24 21:09:58   fc4_SS24         5.0
     2018-02-24 21:09:58   fc4_Tg          -19.3
     2018-02-24 21:09:58   fc4_Tm          -12.4
     2018-02-24 21:09:58   fc4_Tn          -16.4
     2018-02-24 21:09:58   fc4_Tx          -5.9
     2018-02-24 21:09:58   fc4_date        2018-02-28
     2018-02-24 21:09:58   fc4_ev           0.3
     2018-02-24 21:09:58   fc5_0_NH        2
     2018-02-24 21:09:58   fc5_0_NL        3
     2018-02-24 21:09:58   fc5_0_NM        3
     2018-02-24 21:09:58   fc5_0_Nf        5
     2018-02-24 21:09:58   fc5_0_PPPP      1014.8
     2018-02-24 21:09:58   fc5_0_RR6        0.1
     2018-02-24 21:09:58   fc5_0_RRp12      67
     2018-02-24 21:09:58   fc5_0_RRp24      78
     2018-02-24 21:09:58   fc5_0_RRp6       51
     2018-02-24 21:09:58   fc5_0_TT        -10.9
     2018-02-24 21:09:58   fc5_0_Td        -15.2
     2018-02-24 21:09:58   fc5_0_VV        18700
     2018-02-24 21:09:58   fc5_0_dd         99
     2018-02-24 21:09:58   fc5_0_ff         16.7
     2018-02-24 21:09:58   fc5_0_fx         29.6
     2018-02-24 21:09:58   fc5_0_time      01:00
     2018-02-24 21:09:58   fc5_0_ww         2
     2018-02-24 21:09:58   fc5_1_NH        6
     2018-02-24 21:09:58   fc5_1_NL        4
     2018-02-24 21:09:58   fc5_1_NM        4
     2018-02-24 21:09:58   fc5_1_Nf        6
     2018-02-24 21:09:58   fc5_1_PPPP      1012.7
     2018-02-24 21:09:58   fc5_1_RR12       0.4
     2018-02-24 21:09:58   fc5_1_RR24       0.4
     2018-02-24 21:09:58   fc5_1_RR6        0.3
     2018-02-24 21:09:58   fc5_1_RRp12      66
     2018-02-24 21:09:58   fc5_1_RRp6       45
     2018-02-24 21:09:58   fc5_1_TT        -11.1
     2018-02-24 21:09:58   fc5_1_Td        -14.2
     2018-02-24 21:09:58   fc5_1_VV        12400
     2018-02-24 21:09:58   fc5_1_dd         81
     2018-02-24 21:09:58   fc5_1_ff          9.3
     2018-02-24 21:09:58   fc5_1_fx         25.9
     2018-02-24 21:09:58   fc5_1_time      07:00
     2018-02-24 21:09:58   fc5_1_ww         2
     2018-02-24 21:09:58   fc5_2_NH        1
     2018-02-24 21:09:58   fc5_2_NL        4
     2018-02-24 21:09:58   fc5_2_NM        4
     2018-02-24 21:09:58   fc5_2_Nf        6
     2018-02-24 21:09:58   fc5_2_PPPP      1008.7
     2018-02-24 21:09:58   fc5_2_RR6        0.3
     2018-02-24 21:09:58   fc5_2_RRp12      64
     2018-02-24 21:09:58   fc5_2_RRp24      84
     2018-02-24 21:09:58   fc5_2_RRp6       57
     2018-02-24 21:09:58   fc5_2_TT        -5.1
     2018-02-24 21:09:58   fc5_2_Td        -10.9
     2018-02-24 21:09:58   fc5_2_VV        13500
     2018-02-24 21:09:58   fc5_2_dd         85
     2018-02-24 21:09:58   fc5_2_ff          9.3
     2018-02-24 21:09:58   fc5_2_fx         27.8
     2018-02-24 21:09:58   fc5_2_time      13:00
     2018-02-24 21:09:58   fc5_2_ww         2
     2018-02-24 21:09:58   fc5_3_NH        4
     2018-02-24 21:09:58   fc5_3_NL        4
     2018-02-24 21:09:58   fc5_3_NM        4
     2018-02-24 21:09:58   fc5_3_Nf        6
     2018-02-24 21:09:58   fc5_3_PPPP      1004.9
     2018-02-24 21:09:58   fc5_3_RR12       0.6
     2018-02-24 21:09:58   fc5_3_RR6        0.3
     2018-02-24 21:09:58   fc5_3_RRp12      73
     2018-02-24 21:09:58   fc5_3_RRp6       63
     2018-02-24 21:09:58   fc5_3_TT        -4.8
     2018-02-24 21:09:58   fc5_3_Td        -9.4
     2018-02-24 21:09:58   fc5_3_VV        11100
     2018-02-24 21:09:58   fc5_3_dd         81
     2018-02-24 21:09:58   fc5_3_ff          9.3
     2018-02-24 21:09:58   fc5_3_fx         25.9
     2018-02-24 21:09:58   fc5_3_time      19:00
     2018-02-24 21:09:58   fc5_3_ww        71
     2018-02-24 21:09:58   fc5_SS24         5.7
     2018-02-24 21:09:58   fc5_Tg          -14.9
     2018-02-24 21:09:58   fc5_Tm          -10.9
     2018-02-24 21:09:58   fc5_Tn          -12.7
     2018-02-24 21:09:58   fc5_Tx          -3.0
     2018-02-24 21:09:58   fc5_date        2018-03-01
     2018-02-24 21:09:58   fc5_ev           0.3
     2018-02-24 21:09:58   fc6_0_NH        1
     2018-02-24 21:09:58   fc6_0_NL        5
     2018-02-24 21:09:58   fc6_0_NM        5
     2018-02-24 21:09:58   fc6_0_Nf        7
     2018-02-24 21:09:58   fc6_0_PPPP      1003.8
     2018-02-24 21:09:58   fc6_0_RR6        0.8
     2018-02-24 21:09:58   fc6_0_RRp12      83
     2018-02-24 21:09:58   fc6_0_RRp24      87
     2018-02-24 21:09:58   fc6_0_RRp6       72
     2018-02-24 21:09:58   fc6_0_TT        -6.9
     2018-02-24 21:09:58   fc6_0_Td        -10.3
     2018-02-24 21:09:58   fc6_0_VV        6600
     2018-02-24 21:09:58   fc6_0_dd        118
     2018-02-24 21:09:58   fc6_0_ff         13.0
     2018-02-24 21:09:58   fc6_0_fx         22.2
     2018-02-24 21:09:58   fc6_0_time      01:00
     2018-02-24 21:09:58   fc6_0_ww        71
     2018-02-24 21:09:58   fc6_1_NH        0
     2018-02-24 21:09:58   fc6_1_NL        6
     2018-02-24 21:09:58   fc6_1_NM        6
     2018-02-24 21:09:58   fc6_1_Nf        7
     2018-02-24 21:09:58   fc6_1_PPPP      1001.8
     2018-02-24 21:09:58   fc6_1_RR12       2.0
     2018-02-24 21:09:58   fc6_1_RR24       2.6
     2018-02-24 21:09:58   fc6_1_RR6        1.2
     2018-02-24 21:09:58   fc6_1_RRp12      82
     2018-02-24 21:09:58   fc6_1_RRp6       66
     2018-02-24 21:09:58   fc6_1_TT        -6.9
     2018-02-24 21:09:58   fc6_1_Td        -9.5
     2018-02-24 21:09:58   fc6_1_VV        6500
     2018-02-24 21:09:58   fc6_1_dd         74
     2018-02-24 21:09:58   fc6_1_ff          9.3
     2018-02-24 21:09:58   fc6_1_fx         22.2
     2018-02-24 21:09:58   fc6_1_time      07:00
     2018-02-24 21:09:58   fc6_1_ww        71
     2018-02-24 21:09:58   fc6_2_NH        2
     2018-02-24 21:09:58   fc6_2_NL        5
     2018-02-24 21:09:58   fc6_2_NM        6
     2018-02-24 21:09:58   fc6_2_Nf        7
     2018-02-24 21:09:58   fc6_2_PPPP       999.6
     2018-02-24 21:09:58   fc6_2_RR6        0.8
     2018-02-24 21:09:58   fc6_2_RRp12      78
     2018-02-24 21:09:58   fc6_2_RRp24      91
     2018-02-24 21:09:58   fc6_2_RRp6       69
     2018-02-24 21:09:58   fc6_2_TT        -2.9
     2018-02-24 21:09:58   fc6_2_Td        -7.5
     2018-02-24 21:09:58   fc6_2_VV        8800
     2018-02-24 21:09:58   fc6_2_dd        110
     2018-02-24 21:09:58   fc6_2_ff          9.3
     2018-02-24 21:09:58   fc6_2_fx         24.1
     2018-02-24 21:09:58   fc6_2_time      13:00
     2018-02-24 21:09:58   fc6_2_ww        71
     2018-02-24 21:09:58   fc6_3_NH        4
     2018-02-24 21:09:58   fc6_3_NL        5
     2018-02-24 21:09:58   fc6_3_NM        5
     2018-02-24 21:09:58   fc6_3_Nf        7
     2018-02-24 21:09:58   fc6_3_PPPP      1000.4
     2018-02-24 21:09:58   fc6_3_RR12       2.0
     2018-02-24 21:09:58   fc6_3_RR6        1.2
     2018-02-24 21:09:58   fc6_3_RRp12      78
     2018-02-24 21:09:58   fc6_3_RRp6       71
     2018-02-24 21:09:58   fc6_3_TT        -3.1
     2018-02-24 21:09:58   fc6_3_Td        -6.2
     2018-02-24 21:09:58   fc6_3_VV        7100
     2018-02-24 21:09:58   fc6_3_dd        237
     2018-02-24 21:09:58   fc6_3_ff          7.4
     2018-02-24 21:09:58   fc6_3_fx         22.2
     2018-02-24 21:09:58   fc6_3_time      19:00
     2018-02-24 21:09:58   fc6_3_ww        71
     2018-02-24 21:09:58   fc6_SS24         3.7
     2018-02-24 21:09:58   fc6_Tg          -10.4
     2018-02-24 21:09:58   fc6_Tm          -7.4
     2018-02-24 21:09:58   fc6_Tn          -8.9
     2018-02-24 21:09:58   fc6_Tx          -1.2
     2018-02-24 21:09:58   fc6_date        2018-03-02
     2018-02-24 21:09:58   fc6_ev           0.2
     2018-02-24 21:09:58   fc7_0_NH        5
     2018-02-24 21:09:58   fc7_0_NL        5
     2018-02-24 21:09:58   fc7_0_NM        6
     2018-02-24 21:09:58   fc7_0_Nf        7
     2018-02-24 21:09:58   fc7_0_PPPP      1001.2
     2018-02-24 21:09:58   fc7_0_RR6        1.5
     2018-02-24 21:09:58   fc7_0_RRp12      84
     2018-02-24 21:09:58   fc7_0_RRp24      90
     2018-02-24 21:09:58   fc7_0_RRp6       75
     2018-02-24 21:09:58   fc7_0_TT        -4.1
     2018-02-24 21:09:58   fc7_0_Td        -6.2
     2018-02-24 21:09:58   fc7_0_VV        2900
     2018-02-24 21:09:58   fc7_0_dd        196
     2018-02-24 21:09:58   fc7_0_ff         13.0
     2018-02-24 21:09:58   fc7_0_fx         24.1
     2018-02-24 21:09:58   fc7_0_time      01:00
     2018-02-24 21:09:58   fc7_0_ww        71
     2018-02-24 21:09:58   fc7_1_NH        6
     2018-02-24 21:09:58   fc7_1_NL        5
     2018-02-24 21:09:58   fc7_1_NM        6
     2018-02-24 21:09:58   fc7_1_Nf        7
     2018-02-24 21:09:58   fc7_1_PPPP      1000.5
     2018-02-24 21:09:58   fc7_1_RR12       2.6
     2018-02-24 21:09:58   fc7_1_RR24       4.7
     2018-02-24 21:09:58   fc7_1_RR6        1.2
     2018-02-24 21:09:58   fc7_1_RRp12      82
     2018-02-24 21:09:58   fc7_1_RRp6       67
     2018-02-24 21:09:58   fc7_1_TT        -4.2
     2018-02-24 21:09:58   fc7_1_Td        -6.6
     2018-02-24 21:09:58   fc7_1_VV        4600
     2018-02-24 21:09:58   fc7_1_dd        185
     2018-02-24 21:09:58   fc7_1_ff          7.4
     2018-02-24 21:09:58   fc7_1_fx         22.2
     2018-02-24 21:09:58   fc7_1_time      07:00
     2018-02-24 21:09:58   fc7_1_ww        71
     2018-02-24 21:09:58   fc7_2_NH        8
     2018-02-24 21:09:58   fc7_2_NL        6
     2018-02-24 21:09:58   fc7_2_NM        5
     2018-02-24 21:09:58   fc7_2_Nf        7
     2018-02-24 21:09:58   fc7_2_PPPP      1000.9
     2018-02-24 21:09:58   fc7_2_RR6        0.7
     2018-02-24 21:09:58   fc7_2_RRp12      76
     2018-02-24 21:09:58   fc7_2_RRp24      90
     2018-02-24 21:09:58   fc7_2_RRp6       67
     2018-02-24 21:09:58   fc7_2_TT        -0.1
     2018-02-24 21:09:58   fc7_2_Td        -4.2
     2018-02-24 21:09:58   fc7_2_VV        7200
     2018-02-24 21:09:58   fc7_2_dd        206
     2018-02-24 21:09:58   fc7_2_ff          9.3
     2018-02-24 21:09:58   fc7_2_fx         25.9
     2018-02-24 21:09:58   fc7_2_time      13:00
     2018-02-24 21:09:58   fc7_2_ww        71
     2018-02-24 21:09:58   fc7_SS24         2.4
     2018-02-24 21:09:58   fc7_Tg          -8.0
     2018-02-24 21:09:58   fc7_Tm          -4.4
     2018-02-24 21:09:58   fc7_Tn          -5.8
     2018-02-24 21:09:58   fc7_date        2018-03-03
     2018-02-24 21:09:58   fc7_ev           0.3
     2018-02-24 21:09:58   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2018-02-24 21:09:58   fc_station      K2739
     2018-02-24 21:09:58   fc_time         2018-02-24 16:00
     2018-02-24 21:09:58   state           initialized
Attributes:
   disable    0
   forecastStation K2739
   room       Ereignisse,Wetter


List DWD-Weblink

Internals:
   CFGFN     
   DEF        htmlCode { DWDOD_AsHtmlH ("DWD") }
   LINK       { DWDOD_AsHtmlH ("DWD") }
   NAME       DWD_VL
   NR         1289
   STATE      initialized
   TYPE       weblink
   WLTYPE     htmlCode
Attributes:
   room       Wetter


Danke für die Antwort.

Gruss Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 Februar 2018, 21:51:24
Hallo Gerd,

das FHEM-Modul 98_weblink.pm dient dazu, externe Webinhalte in FHEM einzubetten. Eine besondere Variante des Einbettens ist es, statt einer "echten" Webseite einen HTML-Generator zu verwenden wie z.B. das Perl-Modul DWDODweblink.pm, das kein FHEM-Modul ist. Deshalb klappt es leider auch nicht mit der Hilfe-Anzeige über die Commandref.

Du solltest das Modul nicht umbenennen, aber in der Hilfe fehlt noch ein Hinweis (werde ich nachholen): Man muss dafür sorgen, dass FHEM das Modul lädt und dazu sollte man folgendes z.B. in 99_myUtils.pm eintragen:

use DWDODweblink;

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 24 Februar 2018, 21:57:07
Hallo Jens,

Ah jetzt ja  ;D

Danke.

Schönes Wochenende
Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 Februar 2018, 22:12:57
Hallo,

der DWDODweblink im 1. Post ist nun aktualisiert mit einer zusätzlichen Funktion (Niederschlagsmenge) und verbesserter Installationsbeschreibung.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 Februar 2018, 22:16:44
Hallo Gerd,

habe mir den Screenshot angesehen, den du vorhin gepostet hast. Die "?" wirst du los, wenn du im Modul DWD_OpenData das Attribut forecastWW2Text aktivierst und noch einmal "update" ausführst.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 24 Februar 2018, 23:17:20
Hallo Jens,

Ok. Hab ich so gemacht und nun wird der Text angezeigt.

Modul spiele ich gleich ein.

Klasse, danke für die Mühe.

Gruss
Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: Mario67 am 26 Februar 2018, 00:13:45
Hallo,

für alle welche bereits systemd (z.B. unter Stretch) nutzen:
Im unit file für FHEM lässt sich die environment variable FZ wie folgt setzen.

[Service]
:
:
Environment=TZ='Europe/Berlin'
:
:


Gruß,
Mario
Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 03 März 2018, 19:38:04
konnte mir einer von Euch die dwd Definition hier posten.
vielleicht könnte man das dann auch in der wiki updaten.

Besten Dank
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 03 März 2018, 20:49:23
Sowas?


define DWD DWD_OpenData
attr DWD forecastStation K2739
attr DWD forecastWW2Text 1

define DWD_VL weblink htmlCode { DWDOD_AsHtmlH ("DWD") }

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 März 2018, 14:36:31
Die Frage von @Speedy.Bear080861 bzgl. des Wiki-Artikels hatte ich mir auch schon durch den Kopf gehen lassen. Die Beschreibung des GDS-Moduls müsste entfernt werden, da diese Schnittstelle eingestellt wurde. Statt dessen könnte man nun etwas zu OpenData schreiben.

Habe mich bisher aber nicht entscheiden können, ob das OpenData-Modul überhaupt als neues FHEM-Modul eingecheckt werden sollte oder ob es über diesen Thread weiter gepflegt wird. Prinzipiell bin ich eher für das Einchecken, aber beim DWD ist leider nicht sicher, wie lange die Schnittstelle aufrecht erhalten wird und wie kompatibel ein möglicher Nachfolger ist (siehe GDS). Ein paar Jahre sind jedoch wahrscheinlich. Rückmeldungen für die eine oder andere Vorgehensweise würde mir helfen.

Geplant habe ich die Integration der Warnmeldungen über OpenData. Mit der Entwicklung werde ich aber erst anfragen, wenn der DWD wie bereits angekündigt die aktuelle Schnittstelle im Frühjahr umgestellt hat.

OpenData hat auch noch eine ganze Reihe anderer interessanter Daten zu bieten. Allerdings braucht man schon eine sinnvolle Anwendung, bevor man sich damit tiefer auseinander setzt. Ich kann daher jedem empfehlen, einmal selbst einen Blick auf das Angebot des OpenData Servers zu werfen. Es gibt z.B. bildbasierte Daten, die man ohne Vorverarbeitung direkt verwenden kann. Außerdem bietet der DWD ein paar Sachen auch direkt an, z.B.:


define Radarkarte weblink image https://www.dwd.de/DWD/wetter/sat/satwetter/satwetter.jpg
attr Radarkarte htmlattr width=445 height=356


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 05 März 2018, 12:12:44
auf meiner Suche bin ich hierauf gestoßen,

http://meinsmarthome.xyz/2016/08/mein-smart-home-wetter-in-fhem-einbinden/

Schnell gemacht und einfach auch für Anfänger.
Wenn die Wiki sowieso verändert werden sollte, vielleicht eine Möglichkeit?

Gruß
Speedy.Bear
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 05 März 2018, 19:22:31
Moin
Hat jetzt aber nichts mit dem Modul DWD zu tun?!

Gruß

Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 März 2018, 20:20:38
@Speedy.Bear080861
Habe am Samstag einige Stunden damit zugebracht, einen vorhandenen Wiki-Artikel für ein anderes Modul zu überarbeiten. Mit "schnell gemacht" hatte das gar nichts zu tun, weil man das was man schreibt recherchieren, ausprobieren bzw. belegen sollte.

Die Wiki-Artikel sind aber für viele der Einstieg und es ist deshalb wünschenswert, dass ein Wiki-Artikel ein Thema gut darstellen. Allerdings kann nicht jeder der programmiert auch gute Wiki-Artikel schreiben, u.a. weil man als Programmierer einiges für offensichtlich hält, was besser trotzdem in einen Wiki-Artikel gehört. Du darfst dich hier gern einbringen. Was am Ende an Hintergrundinfos fehlt, würde ich beitragen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 06 März 2018, 12:59:49
Hallo Jens,

Danke, aber ich habe gerade hier im Forum schon viel zu häufig gehört , dass ich wohl erst noch ein wenig lesen sollte und dann erst weitere Fragen stellen sollte.

Hmm also , ich bin schon ziemlich verunsichert ob es hier wirklich gewollt ist Fragen zu stellen.
Ich möchte nur auf meine aktuellen Fragen verweisen auf die ich keine Antwort bekomme. Noch nicht mal mehr , erst lesen dann Fragen.

Also, erarbeite ich mir erst noch mehr um dann in den Kreis der ERLESENEN im Forum hoffentlich wieder aufgenommen zu werden.

. Aber wenn Du mir dabei helfen möchtest gerne.

Dir ist bestimmt bekannt wie Du meine Fragen aufrufen kannst.
Ich sag Dir zu , wenn ein Member oder ein Hero oder so, aus dem Forum mich für weiteres empfiehlt mache ich gerne mit.

Gruß

Speedy.Bear



Titel: Antw:Modul für DWD Open Data
Beitrag von: CoolTux am 06 März 2018, 13:21:09
Zitat von: Speedy.Bear080861 am 06 März 2018, 12:59:49
Hallo Jens,

Danke, aber ich habe gerade hier im Forum schon viel zu häufig gehört , dass ich wohl erst noch ein wenig lesen sollte und dann erst weitere Fragen stellen sollte.

Hmm also , ich bin schon ziemlich verunsichert ob es hier wirklich gewollt ist Fragen zu stellen.
Ich möchte nur auf meine aktuellen Fragen verweisen auf die ich keine Antwort bekomme. Noch nicht mal mehr , erst lesen dann Fragen.

Also, erarbeite ich mir erst noch mehr um dann in den Kreis der ERLESENEN im Forum hoffentlich wieder aufgenommen zu werden.

. Aber wenn Du mir dabei helfen möchtest gerne.

Dir ist bestimmt bekannt wie Du meine Fragen aufrufen kannst.
Ich sag Dir zu , wenn ein Member oder ein Hero oder so, aus dem Forum mich für weiteres empfiehlt mache ich gerne mit.

Gruß

Speedy.Bear

Ich habe mich mich quer durch Deine Beiträge gelesen. Du bist nun schon am 5. Thema dran und hast anscheinend nicht mal Dein erstes gelöst. Entweder willst Du zu schnell zu viel, oder Du gibst einfach auf.
Auch die Art wie Du Fragen stellst oder eigentliche gute Antworten fast schon zurück weist statt sie zu beherzigen offeriert den Helfenden eher ein geht nicht lass ich links liegen muss sich jemand kümmern.
Wir als Helfende sehen nicht ein den Suchenden alles ab zu nehmen und ihm seine fertige Konfiguration auf dem Silbertablet zu servieren.
Bestes Beispiel, das finden einer passenden wunderground Station für Deine Stadt. Es war mehr wie offensichtlich das Berlin1 nicht passen kann und es ist bestens auf der Hauptseite erklärt worden wie es geht. Dennoch musste ein User Dir die Station Buchstabe für Buchstabe hinschreiben.
Das ist selbst für einen harten Hund wie Beispielsweise Otto fast schon eine Herausforderung da ruhig zu bleiben. (Otto dient hier nur als gutes Beispiel für innere Ruhe und Gelassenheit).

Jeder hier opfert sein bisschen Zeit für FHEM, Frau meckert, Kind fühlt sich vernachlässigt und dennoch schreiben Helfer hier Antworten. Aber in erster Linie ist der Hilfesuchende in der Pflicht. Keinem alten Hasen wurde hier das Wissen geschenkt, jeder hat gelesen, gelesen und gelernt.



Grüße
Leon
Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 06 März 2018, 13:50:48
wie schon geschrieben,
ich lese , lese, lese.

mal sehen wann ich neue Fragen stelle darf , oder die Gunst des Forums wieder erlange.
Diese Anfrage kann dann ja auch geschlossen werden.

schon komisch, ich Antworte auf Jens, bekomme dann eine Antwort von Leon

Muss man das verstehen?
aber , Ihr sagt es ja , lesen , lesen , lernen.

Warum wird mir unterstellt, dass ich die Lösung auf dem Silbertablett haben möchte?
Ok, das mit der Zahl für Langenfeld.
Dort habe ich die Homepage geöffnet und dann meine Stadt eingegeben. Mein Fehler war nicht zu sehen dass dann in der Adresszeile die von mir benötigte Nummer steht.
Habe ich einen Fehler gemacht . Ja
Entschuldigung.

Aber nur zur Sache ein Hero ist auch ein Hero weil er auf die wichtigen Dinge sieht und deshalb nicht mehr so viele Fragen hat.
Ein Beginner (New Member) sieht viele Sachen, übersieht das WICHTIGE und stellt dann DUMME Fragen.
und nicht nur das, diese New Beginner sieht so viel , dass er mehr fragen bekommt als die eine Beantwortet. das nennt man LERNPHASE.

Du hast recht wenn er diese Fragen immer wieder stellt dann .......

Es ist mir auch klar, es ist unser Hobby.
Deshalb sind mir Antworten lieber als gar keine .

Ich habe im Forum noch 3 offene Themen
1. zum Thema model
2. u einer Umfrage und
3.eine zum Thema Signalduino

nicht deshalb weil ich schnell aufgebe sondern weil ich in diesen Punkten gerne weiter voran kommen möchte.
@Leon(Hero Member)
wäre Dein Tipp diese erst mal zu schliessen und wenn ich dann Schlauer bin nochmal zu überlegen ob sie noch nötig sind??

Ich hoffe auf eine ehrliche Antwort.

Bis dann
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 März 2018, 22:08:04
@Speedy.Bear080861
Warum du eine Antwort von Leon bekommst, obwohl du mir antwortest? Nun, wir versuchen hier gemeinsam ans Ziel zu kommen ;)

Es ist erlaubt und gewünscht Fragen zu stellen und Antworten zu geben. Dabei darf jeder mitmachen, vorzugsweise sachlich, auch die "erlesenen Heros", die schon vielen mit ihrem Rat helfen konnten. Wir  schreiben hier alle und manchmal geht dabei etwas verloren, was man mitbekommen würde, wenn man direkt miteinander redet - so etwas kann vereinzelt schon mal zu Missverständnissen führen. Allerdings ist dein Sarkasmus ziemlich uncool - selbst wenn du frustriert bist - und macht das Helfen noch schwerer. Dein 1. Beitrag zu diesem Thread war themenbezogen - du hast eine konkrete Anregung gemacht, wie man einen Wiki-Artikel für das Modul aufbauen sollte. Eine Frage konnte ich in deinem Beitrag aber nicht entnehmen. Statt auf meinen Vorschlag zu sagen, "ja, was muss ich tun um zu helfen" oder "nein, das traue ich mir nicht zu" schlägst du mir in deinem 2. Beitrag vor, dass ich mich deiner offenen Probleme annehmen könnte und sie mir selbst 'raus suchen darf, nett! Dabei hast du die Fragen doch schon in entsprechenden Threads gestellt und einige Antworten bekommen. Es ist kontraproduktiv die gleichen Fragen in mehreren Threads unterzubringen, selbst wenn man keine Antwort bekommt oder nicht die, die einem weiter hilft - egal ob in diesem Forum oder in einem anderen. Dass du dich in deinem 3. Beitrag zu diesem Thread nun ausführlich zu Dingen äußerst, die überhaupt nichts mit diesem Thread zu tun haben, finde ich ziemlich unerquicklich >:(

Ich kann mich Leon nur anschließen: Wähle ein Thema aus, Arbeite mit den Infos aus Wiki, Commandref, Forum und der Suchmaschine deiner Wahl das nötige Hintergrundwissen zu deinen Themen auf, probier ein paar Sachen aus und stell dann die nächste Frage in einem passenden Thead. Antworten für andere kommen auch in Frage. Die kleinen Rück- und Fortschritte am Anfang sind normal.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 06 März 2018, 22:41:08
Auf meine Zeilen wurde gar nicht eingegangen  ::)
Falsche Antwort?

Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 07 März 2018, 08:19:54
@ Maista , wen meist Du ?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Benni am 07 März 2018, 14:26:39
Zitat von: Speedy.Bear080861 am 07 März 2018, 08:19:54
@ Maista , wen meist Du ?

Ich denke v.a. Dich!

Zitat von: Speedy.Bear080861 am 05 März 2018, 12:12:44
auf meiner Suche bin ich hierauf gestoßen,

http://meinsmarthome.xyz/2016/08/mein-smart-home-wetter-in-fhem-einbinden/

Schnell gemacht und einfach auch für Anfänger.
Wenn die Wiki sowieso verändert werden sollte, vielleicht eine Möglichkeit?

und sein darauffolgendes (und korrekt bemerktes):

Zitat von: Maista am 05 März 2018, 19:22:31
Hat jetzt aber nichts mit dem Modul DWD zu tun?!

Sorry, dass ich jetzt einfach so antworte, obwohl ich nicht gefragt wurde ;)


Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 07 März 2018, 22:00:35
@Maista
Du hattest @Speedy.Bear080861 einen Lösung präsentiert und er hat geantwortet, dass er eine Lösung mit Schleife besser fände, zumindest habe ich das so aufgefasst.

Ich bitte nun alle Spaßvögel mit dem nächsten Beitrag zum Thema zurück zu kommen ::)

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 08 März 2018, 20:02:19
Hallo Jens

Genau  ;) Alles nur Hobby.

Dein Modul funktioniert weiterhin ohne Probleme.

Gruss

Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 08 März 2018, 21:22:41
@Maista
Danke für die Rückmeldung.

Aktuell teste ich ein weitere Variante des Weblinks. Er zeigt am 1. Icon nicht mehr die minimale Tagestemperatur sondern die für die Uhrzeit vorhergesagte Temperatur an. Die Minimaltemperatur habe ich neben die Maximaltemperatur unter das 2. Icon verschoben.

Ab der 2. Tageshälfte steht aber auch schon in der bisherigen Version am 2. Icon das Wetter von 01:00 des nächsten Tages, darunter aber nach wie vor die Min/Max-Temperaturen des aktuellen Tages. Das ist so nicht selbsterklärend und gefällt mir deshalb nicht wirklich. Anderseits ist es die einzige Möglichkeit, die mir eingefallen ist, um die Anzahl und Abfolge der Icons nicht tageszeitabhängig zu verändern. Man könnte alternativ ab Mittag das 2. Icon für den 1. Tag weglassen und mit dem 2. Tag weiter machen, verliert dabei aber die Temperatur für die nächste Nacht.

Wenn jemand hier Ideen oder Wünsche hat, lasst es mich wissen.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 09 März 2018, 09:58:20
Hallo, zusammen,

nachdem ich mich mit den in fhem zur Verfügung stehenden Wetterumsetzungen beschäftigt habe, hier nochmal eine Bitte an die die dieses Modul betreuen.

Mir ist nicht 100 % klar ob ich das was hier besprochen wird vollständig und richtig umgesetzt habe.

Wäre es möglich eine aktuelle Zusammenfassung irgendwo zu präsentieren?

Wenn ich mich dazu einbringen kann, gerne, aber im Moment habe ich nicht das Gefühl.
Genau deshalb und weil ja doch noch vieles immer weiter vorangebracht wird, dieses Anliegen.

Aus meinem anderen Hobby(Segelflieger), habe ich auch Kontakt zum DWD.
Ich habe einen Zugang zur PC-Met Software und kenne einen der Entwickler dieser Software beim DWD. Gerne könnten da Kontakte hergestellt werden.
Dies würde aber außer der Bereiche Radarbilder sehr schnell zu Spezialthemen abzweigen.

Auch stelle ich gerne meine Erfahrung im Bereich Wetterbeobachtungen zur Verfügung,
die ich aus dem Segelflug habe zur Verfügung.
Thema Taupunkt, Spread, Wolken-, bildung,-arten, -untergrenze.........

Besten Dank
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 März 2018, 21:12:25
@Speedy.Bear080861

Das Modul, in dem es in diese Thread geht, ist mein persönlicher Versuch, den Nachfolger der GDS-Schnittstelle des DWD in FHEM nutzbar zu machen. Dazu ist keine Zusammenfassung nötig, das steht im 1. Post. Insiderwissen braucht man auch nicht, da die OpenData Schnittstelle vom DWD mit ausreichend Dokumentation ausgestattet ist, trotzdem Danke für das Angebot.

Man bekommt nicht alle beim DWD verfügbaren Daten zur Verfügung gestellt, aber dafür ist die Nutzung der OpenData Schnittstelle kostenlos und registrierungsfrei. Zum Segelfliegen wirst du sie also nicht verwenden können, höchstens als grobe Vororientierung.

Die Entwicklung des Moduls erfordert nur peripher meteorologisches Wissen. Man muss sich vor allem mit Spezifikationen, Datenformaten, Schnittstellen, Perl und dem FHEM-Framework auskennen. Wenn es um den Weblink geht kommt HTML und CSS hinzu, wo definitiv nicht meine Stärken liegen, aber es reicht zum Glück ;)

Zitat
Mir ist nicht 100 % klar ob ich das was hier besprochen wird vollständig und richtig umgesetzt habe.
Mir auch nicht, denn du hast noch nicht erwähnt, dass du das Modul tatsächlich im Einsatz hast. Tut mir leid, wenn ich da was wiederhole, aber wenn du das Modul verwendest und ein bisschen Englisch kannst, dann erklärt die Modulhilfe alles was mit dem Modul möglich ist und gibt zusätzliche Hintergrundinformationen.

Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: DK4RST am 09 März 2018, 22:12:45
@Jens

ich glaube wir reden aneinander vorbei.
1. ganz platt schreib mir doch bitte wo genau das steht was Du in der letzten Antwort meinst.
Ein  oder zwei links.
Ich weiß ja dann ob ich das schon gelesen habe.

im GDS steht
ZitatDas Modul ist aufgrund der Einstellung des GDS-Dienstes am 17.01.2018 durch den DWD nicht mehr funktionsfähig ist. Es wurde deshalb auch aus contrib gelöscht. Mögliche Alternative auf Basis des Open Data Servers des DWD: Thema

Ich habe für mich selber den Eindruck , bei all dem was ich gelesen habe, das Kernthema nicht getroffen zu haben. Ich sehe im ersten Post zwei Module, reicht das die in fhem ein zu binden? Doch nicht !
Bitte nur ganz kurz, wenn es so einfach ist warum nicht einfach deinen Teil der cfg?

2. Ich  brauche das hier nicht zum Segelfliegen.
Ich habe mich angeboten , wenn jemand eine Frage hat, zum Thema, oder etwas darüber hinaus.

3. Und dann noch, du schreibst
ZitatMan bekommt nicht alle beim DWD verfügbaren Daten zur Verfügung gestellt, aber d

hier habe ich angeboten, die Kontakte die ich habe mal zu Fragen ob es nicht möglich ist Antworten zu erhalten.

Nicht mehr Arbeit , Nachfragen und auch wo ich kann mitmachen!!.

Schönen Abend

Speedy.Bear
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 März 2018, 22:20:10
@Speedy.Bear080861
Sorry, aber deinen Vorstellungen kann ich nicht folgen.

Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 10 März 2018, 08:57:42
guten morgen,
ich sehe gerade, das DWD_OpenData seit gestern 11.24 Uhr keine neuen Daten bekommen hat.

List Anfang
Internals:
   .TZ        Europe/Berlin
   FHEM_TZ    Europe/Berlin
   NAME       DWDTest
   NR         730
   STATE      defined
   TYPE       DWD_OpenData
   .attraggr:
   .attrminint:
   READINGS:
     2018-03-09 11:24:49   fc0_1_NH        1
     2018-03-09 11:24:49   fc0_1_NL        4
     2018-03-09 11:24:49   fc0_1_NM        1
     2018-03-09 11:24:49   fc0_1_Nf        5
     2018-03-09 11:24:49   fc0_1_PPPP      1008.9
     2018-03-09 11:24:49   fc0_1_RR12      0.0
     2018-03-09 11:24:49   fc0_1_RR24      2.5
     2018-03-09 11:24:49   fc0_1_RR6       0.0
     2018-03-09 11:24:49   fc0_1_RRp12     79
     2018-03-09 11:24:49   fc0_1_RRp6      17
     2018-03-09 11:24:49   fc0_1_TT        0.9
     2018-03-09 11:24:49   fc0_1_Td        0.3
     2018-03-09 11:24:49   fc0_1_VV        1400
     2018-03-09 11:24:49   fc0_1_dd        210
     2018-03-09 11:24:49   fc0_1_ff        7.4
     2018-03-09 11:24:49   fc0_1_fx        18.5
     2018-03-09 11:24:49   fc0_1_time      07:00
     2018-03-09 11:24:49   fc0_1_ww        2
     2018-03-09 11:24:49   fc0_2_NH        1
     2018-03-09 11:24:49   fc0_2_NL        5

Rest abgeschnitten weil sehr lang bei 7 Tage

List Ende
2018-03-09 11:24:49   fc7_0_NH        5
     2018-03-09 11:24:49   fc7_0_NL        5
     2018-03-09 11:24:49   fc7_0_NM        4
     2018-03-09 11:24:49   fc7_0_Nf        6
     2018-03-09 11:24:49   fc7_0_PPPP      1003.2
     2018-03-09 11:24:49   fc7_0_RR6       1.7
     2018-03-09 11:24:49   fc7_0_RRp12     61
     2018-03-09 11:24:49   fc7_0_RRp24     72
     2018-03-09 11:24:49   fc7_0_RRp6      47
     2018-03-09 11:24:49   fc7_0_TT        4.9
     2018-03-09 11:24:49   fc7_0_Td        3.7
     2018-03-09 11:24:49   fc7_0_VV        7300
     2018-03-09 11:24:49   fc7_0_dd        206
     2018-03-09 11:24:49   fc7_0_ff        9.3
     2018-03-09 11:24:49   fc7_0_fx        18.5
     2018-03-09 11:24:49   fc7_0_time      01:00
     2018-03-09 11:24:49   fc7_0_ww        61
     2018-03-09 11:24:49   fc7_date        2018-03-16
     2018-03-09 11:24:49   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2018-03-09 11:24:49   fc_station      K081
     2018-03-09 11:24:49   fc_time         2018-03-09 04:00
     2018-03-10 08:20:17   state           defined
Attributes:
   forecastDays 5
   forecastWW2Text 1
   room       Wetter


Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 März 2018, 13:33:53
Hallo Werner,

bei mir klemmt aktuell nichts, das Reading fc_time hat den Wert 2018-03-10 04:00 und ist von 2018-03-10 13:00:04. Ob es zwischendurch mal gehangen hat kann ich nicht sagen, da ich das nicht überwache.

Falls es bei dir immer noch nicht aktualisiert wird oder wenn es mal wieder klemmen sollte, überprüfe, ob du prinzipiell per Browser, aber vor allem ob dein FHEM-System auf die URL https://opendata.dwd.de/weather/local_forecasts/poi/ zugreifen kannst/kann, z.B. so:

user@fhem-host:~# wget https://opendata.dwd.de/weather/local_forecasts/poi/
--2018-03-10 13:25:46--  https://opendata.dwd.de/weather/local_forecasts/poi/
Resolving opendata.dwd.de (opendata.dwd.de)... 141.38.2.22, 141.38.2.26
Connecting to opendata.dwd.de (opendata.dwd.de)|141.38.2.22|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `index.html'

    [   <=>                                                                                                      ] 672,483     1.28M/s   in 0.5s

2018-03-10 13:25:55 (1.28 MB/s) - `index.html' saved [672483]

user@fhem-host:~# rm index.html


Falls du einen Proxy verwendest, reicht das als Test nicht aus. Dann musst du zusätzlich überprüfen ob die Proxy-Einstellungen für wget (Konfig-Datei oder Parameter) und für FHEM (global) gleich sind. Wenn du den Browser verwendest, kannst du sehen, wie aktuell die zur Verfügung gestellten Dateien sind.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 10 März 2018, 14:04:32
bei mir sieht es so aus
pi@raspberrypi:~ $ wget https://opendata.dwd.de/weather/local_forecasts/poi/
--2018-03-10 13:55:37--  https://opendata.dwd.de/weather/local_forecasts/poi/
Auflösen des Hostnamen »opendata.dwd.de (opendata.dwd.de)«... 141.38.2.22, 141.38.2.26
Verbindungsaufbau zu opendata.dwd.de (opendata.dwd.de)|141.38.2.22|:443... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: nicht spezifiziert [text/html]
In »»index.html«« speichern.

index.html                                  [     <=>                                                                       ] 656,72K   774KB/s   in 0,8s

2018-03-10 13:55:38 (774 KB/s) - »index.html« gespeichert [672483]

pi@raspberrypi:~ $ rm index.html
pi@raspberrypi:~ $


in der poi auf der Seite https://opendata.dwd.de/weather/local_forecasts/poi/ (https://opendata.dwd.de/weather/local_forecasts/poi/)
ist die K081_-MOSMIX.csv  10-Mar-2018 04:29     9937 vorhanden und aktuallisiert.

Nur Fhem will auch nach einem "sudo reboot" nicht aktualisieren

Gruß Werner und danke
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 März 2018, 15:32:14
Deine Test zeigen, dass die Daten auch bei dir verfügbar sind, aber scheinbar nicht im DWD-Device ankommen.

Bitte setze verbose auf 5 und rufe "get forecast" manuell aus. Vielleicht hilft das Log weiter.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 10 März 2018, 17:19:41
Hallo Jens,
ich denke, der Fehler lag daran das
attr forecastStation Station
nicht gesetzt war

Jetzt funktioniert auch get forecast ohne was einzugeben

Danke und Gruß, ab auf die Couch  ;)

Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 März 2018, 18:15:26
Ruft man "get forecast" ohne Stationskennung auf und hat das Attribut "forecastStation" nicht gesetzt, dann bekommt man die Warnmeldung "station code required ..." angezeigt. Ruft man "get forecast" aber nicht manuell auf und löscht das Attribut forecastStation, schaltet man damit die Aktualisierung aus. Die alten Werte bleiben stehen und das wars.

Das ist nicht wirklich ein Fehler, es ist auch nicht "disabled", aber ich könnte state in diesem Fall z.B. statt auf "initialized" auf "manual" setzen. Bin mir aber nicht sicher ob das hilft/reicht, um schneller darauf aufmerksam zu werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 10 März 2018, 18:33:46
vielleicht fehlt halt nur der hinweis auf attr DWD forcastStation xxxxx zu setzen.
Ich kann leider kein Englisch und werde dann auch aus solchen Anleitungen nicht wirklich schlau  ;)
Da ich schon über 60 Jahre bin, habe ich auch kein Interesse mehr Englisch lernen. hehehe

Aber, ich habe es ja trotzdem wieder mal geschafft und finde das Modul sehr gut.
Vor allem der Weblink sieht klasse aus
Danke und Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 März 2018, 22:13:44
Hallo Werner

das mit dem Hinweis hatte ich in der Modulhilfe so untergebracht:
ZitatYou can request forecasts for different stations in sequence using the command get forecast <station code> or for one station continuously using the attribute forecastStation. To get continuous mode for more than one station you need to create separate DWD_OpenData devices.
Dass es die Modulhilfe nicht auch auf Deutsch gibt, liegt vor allem daran, dass es mir keinen großen Spaß macht, das zweimal zu schreiben und schließlich mache ich das auch nur zum Spaß ;)

Freut mich, dass es nun bei dir läuft.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 März 2018, 12:09:12
Habe den Weblink im 1. Post ist aktualisiert.


Wenn jemand die Umschaltpunkte konfigurierbar machen möchte, dann bitten einen Patch bereit stellen. Sonstige Vorschläge, wie man die Hervorhebung markanter Werte besser gestalten könnte sind willkommen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 18 März 2018, 19:35:05
Hallo Jens,
das bekomme ich jetzt im Log
2018.03.18 19:30:00 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2018.03.18 19:30:00 3: eval: { DWDOD_AsHtmlH("DWD") }

und so wie auf dem Bild sieht es aus

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 März 2018, 21:24:29
Hallo Werner,

der Screenshot sieht meiner Meinung nach so aus wie er sollte.

Kommt die Perl-Warnung bei jedem Bildaufbau oder war das eine einmalige Sache? Was steht in deiner 99_Utils.pm in Zeile 21?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 18 März 2018, 23:39:41
ok, ich dachte da fehlt etwas siehe Montag und das gelbe, aber wenn es so gewollt ist. ok

Zeile 21 gehört zu DebianMail  my $attach = shift;

Zeile 6 use DWDODweblink;

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 März 2018, 19:32:08
Hallo Werner,

wenn in deiner 99_Utils.pm in Zeile 21 "my $attach = shift;" steht, dann hat die Perl-Warnung nichts mit dem DWD-Modul zu tun, auch wenn in der nächsten Logzeile etwas über den DWD-Weblink ausgegeben wird. Vermutlich gibt es in Zeile 21 nichts zu shiften, deshalb beschwert sich Perl hier. Du müsstest prüfen, wer die Daten vor Zeile 22 übergibt und warum keine da sind.

Dein Screenshot zeigt aber etwas anderes: Die neue Farblogik erschwert die Lesbarkeit erheblich, wenn man einen dunklen Hintergrund verwendet und die Schriftfarbe weiß ist. Statt blau müssten man wahrscheinlich hellblau verwenden usw. Werde versuchen eine Konfigurationsoption zur Verfügung zu stellen, damit man umschalten kann. Ein Autodetekt der Hintergrundfarbe mit CSS dürfte schwierig sein und JavaScript möchte ich hierfür nicht verwenden. Bis dahin ggf. wieder die vorherige Version verwenden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Albatros_ am 22 März 2018, 19:00:09
Hallo JensB,

zunächst vielen Dank für das Modul und die Zeit die du investiert hast. Ich habe das Modul heute erfolgreich in Betrieb genommen.
Ich habe aber noch eine Frage zu den Daten die ich bekomme. Und zwar würde ich unter fc0 = heute (22.03) erwarten und fc1 = morgen (23.03), fc2 = übermorgen (24.03) und so weiter.
In meinen Daten fehlt aber der 25.03.    d.h. fc2 = 24.03 und fc3 = 26.03
Anbei die genutzte Definition und die Daten die ich bekomme:

defmod Wetter_DWD DWD_OpenData
attr Wetter_DWD forecastResolution 3
attr Wetter_DWD forecastStation 10776
attr Wetter_DWD forecastWW2Text 1
attr Wetter_DWD room WebWetter

fc0_date 2018-03-22
fc1_date 2018-03-23
fc2_date 2018-03-24
fc3_date 2018-03-26
fc4_date 2018-03-27

Viele Grüße
Albatros_
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 März 2018, 20:39:09
Hallo Albatros,

gut dass dir das aufgefallen ist.

fc3_0_time ist außerdem 02:00 statt wie bisher 01:00. Das wäre insofern richtig, da am Sonntag die Sommerzeit beginnt. Allerdings dürfte deshalb nicht ein ganzer Tag fehlen. Möglicherweise tritt dieser Effekt nur rund um die Sommerzeitumstellung auf. Meiner Ansicht nach ist "nur" das Datum falsch bestimmt, die übrigen Daten sind richtig (Vergleich mit den Rohdaten).

Werde versuchen, mir das vor Sonntag anzusehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 März 2018, 21:06:42
Leider ist nicht nur das Datum falsch. Es kommt am Tag der Sommerzeitumstellung zu einem Versatz von 1 Tag, die Daten vom Montag überschreiben die vom Sonntag usw.

Ab Sonntag wird dann wieder für ein 1 Jahr Ruhe sein. Bei der nächsten Sommerzeitumstellung im Herbst wird der Effekt nicht auftreten, da dann der Sonntag mehr statt weniger als 24 Stunden lang ist.

Werde trotzdem nach einer Lösung suchen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 März 2018, 19:42:19
Habe im 1. Post das Modul DWD_OpenData aktualisiert. Die neue Version löst das von @Albatros_ gemeldete Problem, dass die Daten vom Tag der Sommerzeitumstellung vom Folgetag überschrieben werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Albatros_ am 24 März 2018, 00:05:29
Hallo jensb,

das ging fix :) Vielen Dank für das Update.
Ich habe es eben ausprobiert und kann den Bugfix bestätigen. Es funktioniert jetzt wie erwartet.

Grüße
Albatros_
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 März 2018, 21:28:42
Habe den Weblink im 1. Post aktualisiert, um eine einfache Anpassung des Farbkontrasts für dunklen Hintergrund mit weißer Schrift zu ermöglichen. Das "normale" Blau ist dann oft schlecht erkennbar. Statt dessen sollte ein helles Blau verwendet werden. Dazu die Zeilen 52 bis 54 so ändern:

use constant DWDOD_COLOR_FREEZE => "skyblue";    # light background -> blue, dark background -> skyblue
use constant DWDOD_COLOR_WARM   => "orange";
use constant DWDOD_COLOR_RAIN   => "skyblue";    # light background -> blue, dark background -> skyblue


Habe versucht ein Möglichkeit zu finden, den dunklen Hintergrund per CSS und ohne JavaScript automatisch zu erkennen, konnte aber nichts passendes finden. Am geeignetsten erschienen mir dafür ein CSS Attribute Selector, aber es tat sich nichts, als ich versuchsweise

.weatherTemperature[background="black"]  {
  color: red;
}


eingefügt hatte. Falls jemand für die Automatik einen Vorschlag hat, würde ich ihn integrieren.

Wem die Farbumschaltung für Temperatur und Niederschlag nicht zusagt, kann sie auch deaktivieren. Dazu die Zeilen 50 bis 52 so ändern:

use constant DWDOD_TEMP_FREEZE  => -100; # < blue
use constant DWDOD_TEMP_WARM    =>  100; # > orange
use constant DWDOD_PRECIP_RAIN  =>  100; # > blue


Grüße,
Jens

P.S. Im Weblink vom 24.03. ist ein Test-Logging mit Loglevel 3. Wen es stört: entweder Zeile 471 auskommentieren oder die Version von heute verwenden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 25 März 2018, 19:13:30
Hatte ja bereits angekündigt, dass ich das OpenData Modul gern um Wetterwarnungen erweitern möchte. Nach einem Studium der DWD-Dokumentation würde ich aktuell die JSON-Schnittstelle (https://www.dwd.de/DWD/warnungen/warnapp/json/warnings.json) bevorzugen. Sie ist deutlich einfacher im Handling, die Daten sind unkomprimiert und kompakt. Räumlich wird nach Landkreisen unterschieden. Ein typischer Datensatz sieht so aus:

Zitat
"108326000":[{"regionName":"Schwarzwald-Baar-Kreis","start":1522011600000,"end":1522044000000,"level":2,"type":5,"state":"Baden-Württemberg","description":"Es tritt leichter Frost zwischen 0 °C und -2 °C auf.","headline":"Amtliche WARNUNG vor FROST","event":"FROST","instruction":"","stateShort":"BW","altitudeStart":null,"altitudeEnd":null}]

Alternativ gibt es die CAP-Schnittstelle über den OpenData Server (in aktualisierter Form im Vergleich zu den CAP-Daten des ehemaligen DWD GDS Servers). Beispiel:

Zitat
<identifier>2.49.0.1.276.0.DWD.PVW.1521976500000.253035fa-0a5c-4520-97c2-e4d8acafd08f</identifier>
<sender>CAP@dwd.de</sender>
<sent>2018-03-25T11:15:00+00:00</sent>
<status>Actual</status>
<msgType>Alert</msgType>
<source>PVW</source>
<scope>Public</scope>
<info>
<language>de-DE</language>
<category>Met</category>
<event>FROST</event>
<responseType>None</responseType>
<urgency>Immediate</urgency>
<severity>Minor</severity>
<certainty>Observed</certainty>
<eventCode>
<valueName>PROFILE_VERSION</valueName>
<value>2.1</value>
</eventCode>
<eventCode>
<valueName>LICENSE</valueName>
<value>Geobasisdaten: Copyright Bundesamt für Kartographie und Geodäsie, Frankfurt am Main, 2013</value>
</eventCode>
<eventCode>
<valueName>II</valueName>
<value>22</value>
</eventCode>
<eventCode>
<valueName>GROUP</valueName>
<value>FROST</value>
</eventCode>
<eventCode>
<valueName>AREA_COLOR</valueName>
<value>255 255 0</value>
</eventCode>
<effective>2018-03-25T11:15:00+00:00</effective>
<onset>2018-03-25T20:00:00+00:00</onset>
<expires>2018-03-26T06:00:00+00:00</expires>
<senderName>DWD / Nationales Warnzentrum Offenbach</senderName>
<headline>Amtliche WARNUNG vor FROST</headline>
<description>Es tritt oberhalb 600 m leichter Frost zwischen 0 °C und -2 °C auf.</description>
<instruction/>
<web>http://www.wettergefahren.de</web>
<contact>Deutscher Wetterdienst</contact>
<parameter>
<valueName>Lufttemperatur</valueName>
<value>0 bis -2 [°C]</value>
</parameter>
<area>
<areaDesc>Kreis Osterode am Harz</areaDesc>
<polygon>51.6506261111564,...</polygon>
<geocode>
<valueName>EXCLUDE_POLYGON</valueName>
<value>51.60142744568194, ....</value>
</geocode>
<geocode>
<valueName>WARNCELLID</valueName>
<value>103156000</value>
</geocode>
<altitude>1968.50394</altitude>
<ceiling>9842.5197</ceiling>
</area>
...

Wie man an der URL sieht, stammen die JSON-Daten nicht vom OpenData Server sondern vom DWD Server. Die wesentlichen Nachteile der JSON-Schnittstelle gegenüber der CAP-Schnittstelle sind für mich:


Diese Punkte sind für mich nicht relevant. Bitte nennt mir eure Gründe, die gegen eine Implementierung der JSON-Schnittstelle und für CAP sprechen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: spooy99 am 25 März 2018, 21:51:38
Hallo und danke für die Arbeit an dem Modul!

Mangels Anwendungsidee sind für mich die Polygone und die englischen Texte nicht relevant. Der Abruf der gemeindebezogenen Daten hingegen wäre für mich sehr wichtig/interessant. Wegen vielfältiger Topographie hat mein Landkreis häufiger Warnmeldungen, welche z.B. wegen der Höhenlage für mich nicht zutreffend sind. Um also unnötiger Alarmierung - und entsprechender Abstumpfung - vorzubeugen hatte ich mich sehr über die Ankündigung des DWD für lokalere Warnungen gefreut.

Danke!
spooy

Titel: Antw:Modul für DWD Open Data
Beitrag von: potash am 26 März 2018, 18:43:13
Hallo jensb,

vielen Dank für die Arbeit am Modul. Funktioniert prima bei mir!
Hinsichtlich der Warnungen würde ich die ortsbezogenen Version bevorzugen.
Ich freue mich aber auf jeden Fall, wenn wieder DWD Warnungen empfangen werden können.

Viele Grüße!

Heiko
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 März 2018, 22:55:27
Danke für die bisherigen Rückmeldungen. Dass ein lokaler(er) Ortsbezug in bestimmten Fällen hilfreich ist, leuchtet ein. Der lässt sich aber nur mit CAP umsetzen.

Hier noch etwas zum technischen Hintergrund:

Das Hauptproblem von CAP ist den ehemaligen Nutzern des GDS-Moduls möglicherweise noch bekannt. Die Dateigrößen der Zustandsdateien betragen trotz Komprimierung oft mehrere Megabyte. Das Herunterladen, Dekomprimieren und Verarbeiten solcher Datenmengen ist für die typische FHEM-Hardware echter Stress und führt dann zu spürbaren Verarbeitungspausen. Ein regelmäßiges Abfragen der Zustandsdateien kommt also nicht in Frage.

Um bei CAP mehr Performance zu erreichen, muss man auf jeden Fall die Differenzdateiverarbeitung implementieren. Meist alle 10 Minuten gibt es einen neuen Änderungsdatensatz vom DWD, der bei typischer Wetterdynamik nur alle paar Stunden überhaupt Daten enthält. Ganz ohne die Zustandsdateien geht es trotzdem nicht, denn die braucht man zumindest einmal beim Start für die Initialisierung oder wenn man ein Differenzupdate verpasst hat.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: RomanticBoy83 am 30 März 2018, 22:27:52
Hallo, ich möchte mal eine Idee in den Raum werfen.
Ich hatte den aktuellen opendata Server (MOSMIX und CAP) in php implementiert. Für beide habe ich die Geo-Koordinaten als Ausgang genutzt. Die Stationen habe ich aus dem aktuellen Stationskatalog(PDF) geparst und die nähste gesucht. Das ist noch ziehmlich einfach und müste eigentlich nur einmalig gemacht werden.
Aber achtung:
Da man in Fhem ja generell nur für einen Ort Wetter beziehen möchte, ist diese Arbeit nur einmalig zu machen und kann dann mit den spezifischen *.csv sehr schnell gehändelt werden.

Die Warnungen habe ich immer als komplettes ZIP-File genutzt. Darin sind alle Warnungen in einzelnen CAP-Files. Da sich die ZIP unregelmäßig ändert, speicherte ich mir das File-Datum vom FTP-Server. Hat sich das geändert, dann ging die Arbeit von vorne los.
Die richtigen Warnungen und Vorwarnungen habe ich dann mit Hilfe von "haversin" herausgefiltert. Erst das gesamte polygon des CAP-Files gecheckt, und dann alle auschließenden Polygone noch einmal abgezogen.
Für die Warnungen fällt mir auch nix anderes ein wenn es wirklich für jeden eine allgemeingültige Lösung sein soll.

Meine Hilfe würde ich hiermit auch gerne anbieten wenn irgendetwas benötigt wird (PS: ich bin in PERL leider nicht sehr fitt und benötige manchmal noch etwas Zeit)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 31 März 2018, 11:24:05
Hallo RomanticBoy83,

danke für dein Angebot.

Es gibt ein paar Dinge zu beachten, wenn man für FHEM entwickelt, u.a. dass nicht alle User leistungsfähige Hardware haben, dass es mehr Anwendungsvarianten gibt, als man sich als Entwickler oft vorstellt und dass man nach Mögichkeit nur Perl Core Module verwenden sollte, da es User gibt, denen das Nachinstallieren von Perl Modulen schwer fällt. Wichtig ist außerdem, dass ein einzelner Vorgang besser nur wenige Millisekunden dauert, damit der FHEM Kern nicht blockiert wird und andere Ereignisse verarbeiten kann. Auch das Mischen von Softwaretechnologien ist in Perl nicht üblich.

Aktuell läuft bei mir die Entwicklung für die Wetterwarnungen auf CAP Basis. Dabei werde ich keine eigenen Optimierungen durchführen, sondern die Protokollspezifikationen CAP 1.2 des DWD umsetzen. Download, Unzip und XML-Dekodierung sind bereits fertig. Die Geometriedaten habe ich bisher explizit nicht dekodiert, da sie einen Großteil der Datenmenge ausmachen und sehr stark auf die Performance und den Speicherbedarf drücken. Werde das aber später als Option zugängig machen. Aktuell verarbeite ich "nur" die statischen Warnmeldungen, wobei die interne Struktur bereits für die Verarbeitung der Differenzmeldungen vorbereitet ist.

ZitatDa man in Fhem ja generell nur für einen Ort Wetter beziehen möchte, ...
Geht mir auch so, aber das trifft halt nicht auf alle User zu. Würde es auch toll finden, wenn man "einfach" einen Teilbegriff oder Koordinaten eingeben könnte und eine Suchfunktion die möglichen Stationen und Warnzellen ermittelt, anzeigt und anbietet, sie in die Konfiguration zu übernehmen. Mir fehlt allerdings die Freizeit, diese Komfortfunktion umzusetzen. Selbst brauche ich das nicht mehr, denn wenn man einmal seine IDs zusammen hat, bleibt man ja dabei. Wenn du die Entwicklung dieser Funktion übernehmen möchtest, würde ich sie in das Modul integrieren.

Aktuell suche ich noch eine Definition, wie man anhand der Warnzellen-ID feststellen kann, ob es sich um eine Gemeinde- oder Landkreis-Warnzelle handelt. Das einzige was ich sicher sagen kann ist, dass eine Warnzelle, die mit 8 beginnt eine Gemeinde-Warnzelle ist. Allerdings ist mir nicht klar, ob der Umkehrschluss gilt. Habe z.B. Wanrzellen gefunden, die mit 5 beginnen und in beiden Katalogen zu finden sind. Kennt jemand hierfür eine Regel?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: RomanticBoy83 am 31 März 2018, 12:28:51
Die Anforderungen an eine Entwicklung für die Gemeinschaft sind mir schon klar - erste Erfahrungen habe ich bereits hier im Forum in Form meiner Abfallmodule für Berlin geteilt. Ich bin also nicht ganz neu in der Entwicklung und sollte - hoffentlich - ein paar Grundzüge bereits mitbringen.

ZitatWenn du die Entwicklung dieser Funktion übernehmen möchtest, würde ich sie in das Modul integrieren
Meine Idee wäre den Stationskatalog via Knopfdruck einzulesen und sich aus diesem dann z.B. via Dropdown seine Daten zusammensuchen kann.
1) Der Stationskatalog hat über 5000Stationen (Ich habe diese zum ersten Start einmalig in eine Datenbank geschafft und hole mir dann von dort die Infos)
2) Die Stationen könnten in Fhem zusätzlich sortiert werden um unterschiedliche Dropdowns zu füllen
3) Für die CAP's sehe ich wie bereits erläutert keine Möglichkeit die neuen Formate allgemeingültig für genau den Punkt zu filtern. Die neuen CAP-Files (wieweit diese für dich neu sind kann ich nicht beurteilen) sind derweil unter [test/weather/alerts/cap/] zu finden und werden voraussichtlich am 17.04. die alten ablösen. Quelle:https://www.dwd.de/DE/leistungen/opendata/neuigkeiten/opendata_feb2018_02.html (https://www.dwd.de/DE/leistungen/opendata/neuigkeiten/opendata_feb2018_02.html)

aus meiner Erinnerung bei den ersten Recherchen
Hallo, soweit mir bekannt - werden diese Regeln nun aufgelöst. Mit den neuen CAP-Formaten sind nur noch die Polygone ausschlaggebend. Man wollte wohl weg von den statischen Gemeinden, weil man mittlerweile kleinere Zellen beim DWD abbilden kann, welche jedoch nicht mehr einer amtlichen Gemeinde zugeordnet werden. Bei den Gemeinden/Landkreisen stützte sich der DWD auf offizielle Angaben/Bezeichnungen/Geokoordinaten vom GEO-Amt. Dieses Polygon einer Gemeinde erhält zusätzlich ausgeschlossene Polygone, für welche Bereiche der Gemeinde diese Warnung nicht gilt. Als Vergleich dazu hatte ich Garmisch-Partenkirchen gerne genommen. Dort ist ein enormer Höhenunterschied in einer Gemeinde vorhanden, welcher sehr wahrscheinlich zu unterschiedlichen Warnmeldungen führen wird.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 31 März 2018, 14:31:54
Die Änderungsaussagen des DWD sind in Bezug auf das FHEM Open Data Modul anders zu interpretieren, als das deine Hinweise vermuten lassen:

ZitatFalls Sie bereits die CAP-Versorgung über unseren OpenData-Server nutzen, betreffen Sie die Änderungen in der Struktur nicht mehr. Sie haben quasi schon die ,,halbe Miete" und müssen sich nur noch um die Gebietsänderungen kümmern.

ZitatKreis- und Gemeindereformen, sowie geänderte Kundenanforderungen machen jährlich eine Anpassung der DWD-Gebietsaufteilungen notwendig.

Berücksicht werden muss von Anwenderseite also "nur", dass sich zum 17.04.2018 einige Warnzellen-Zuordnungen ändern. Es bleibt bei der bisherigen Unterscheidung von Gemeinden und Landkreisen. Die Nutzung der Polygone ist optional. Deshalb werde ich die Polygone nicht als primären Filter nutzen, da das zusätzliche Rechenleistung benötigt.

Zu 1)
Nicht jeder User hat eine Datenbank, RAM geht auch. Zum Start ist OK. Dropdown auf die Rohdaten ist wegen der vielen Stationen unpraktikabel, deshalb vorab filtern.

Zu 2)
Da bisher keine aktuellen Daten verarbeitet werden noch ohne praktische Relevanz, sollte aber mit vorbereitet werden.

Zu 3)
Den Warnzellen-Katalog gibt es hier (https://www.dwd.de/DE/leistungen/opendata/help/warnungen/neu_cap_warncellids_csv.csv). Ein CSV-Parser ist bereits im Modul für die Vorhersagedaten im Einsatz. Das Vorgehen könnte ansonsten wie für 1) erfolgen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 April 2018, 21:18:46
Das DWD Open Data Modul kann nun neben der Wettervorhersage auch Wetterwarnungen abrufen.

Den Prototyp gibt es hier (https://github.com/jnsbyr/fhem/blob/master/FHEM/55_DWD_OpenData.pm). Er braucht noch etwas Feinschliff, u.a. für die gemischte Abfrage von Gemeinde- und Landkreis-Warnzellen. Zur Nutzung der neuen Funktion wird zusätzlich das Perl-Modul XML::LibXML benötigt. Details stehen in der Modulhilfe.

Ähnlichkeiten der Readings für die Wetterwarnungen mit denen des abgelösten GDS-Moduls sind kein Zufall sondern dem DWD Common Alerting Protocol (CAP) geschuldet. Die Performance der neuen Implementierung ist aber besser geworden. Download, Dekomprimieren und Dekodieren dauern nach wie vor typischerweise zwischen 2 und 15 Sekunden. Aber dadurch, dass nun das Update des Wetterwarnungs-Caches durch einen parallelen Prozess vorbereitet wird und FHEM anschließend den neuen Cache-Zustand binär innerhalb von wenigen Millisekunden lädt und die Readings erzeugt, wird FHEM nicht blockiert und bleibt frei für andere Dinge. Ob das so für alle FHEM-Systeme gilt, muss sich noch zeigen.

Auch für den Weblink wird es demnächst eine neue Version geben, die ein Warnsymbol anzeigt, wenn Wetterwarnungen vorliegen. Tipp man auf das Symbol, wird die Warnbeschreibung angezeigt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 04 April 2018, 16:40:07
Hallo Jens
Danke für die Arbeit.
Bin beim Kurzurlaub.
Danach werde ich es testen.

Gruss Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: moskito am 04 April 2018, 16:51:24
Hi Jens,

hab die neueste Modulversion bei mir am laufen, und aktuelle Warnungen ohne Probleme reinbekommen. :)

Gruß
Danny
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 April 2018, 21:45:15
In der Installationsbeschreibung des Prototyps mit Wetterwarnungen ist ein Fehler. Zur Installation von XML::LibXML ist z.B. auf einem Raspberry folgendes erforderlich:

sudo apt-get install libxml-libxml-perl

Die überarbeitete Version gibt es in den nächsten Tagen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Guenni1404 am 07 April 2018, 12:50:03
Hallo,

ich wollte das Modul gerne testen.
Bekomme aber auf meinem RP3 immer die Meldung "FHEM TZ environment variable undefined, see commandref for details how to fix"
Habe mit "sudo dpkg-reconfigure tzdata" die Zeitzone nochmals gesetzt.
Bei der Eingabe von "{ $ENV{TZ} }" in FHEM bekomme ich eine leere Antwort.

Kann mir jemand sagen wie ich FHEM richtig einstelle damit ich die Zeitzone bekomme?
In der commandref habe ich nichts gefunde (oder ich war blin).
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 07 April 2018, 13:21:20
Zitat von: Guenni1404 am 07 April 2018, 12:50:03
Hallo,

ich wollte das Modul gerne testen.
Bekomme aber auf meinem RP3 immer die Meldung "FHEM TZ environment variable undefined, see commandref for details how to fix"
Habe mit "sudo dpkg-reconfigure tzdata" die Zeitzone nochmals gesetzt.
Bei der Eingabe von "{ $ENV{TZ} }" in FHEM bekomme ich eine leere Antwort.

Kann mir jemand sagen wie ich FHEM richtig einstelle damit ich die Zeitzone bekomme?
In der commandref habe ich nichts gefunde (oder ich war blin).

Ich habe folgendes gefunden:

https://forum.fhem.de/index.php/topic,66084.msg576949.html#msg576949

oder im Terminal:

The only annoying thing is that you have to put it into your profile and the easiest way to do this is to type the following:


echo "TZ='Europe/Berlin'; export TZ" >.profile


Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: Guenni1404 am 07 April 2018, 16:13:25
Zitat von: JoWiemann am 07 April 2018, 13:21:20

echo "TZ='Europe/Berlin'; export TZ" >.profile


Habe ich gemacht.
Bei der Eingabe von

echo $TZ


erhalte ich die Ausgabe "Europe/Berlin"

In FHEM erhalte ich weiterhin die Fehlermeldung.
Irgendwie kann FHEM anscheinend die Variable nicht auslesen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: JoWiemann am 07 April 2018, 16:59:13
Der RPi muss mit sudo shutdown - r now neu gestartet werden.

Grüße Jörg
Titel: Antw:Modul für DWD Open Data
Beitrag von: Guenni1404 am 07 April 2018, 17:31:53
Schade, nach dem Restart des RPi ist es wieder weg.
Im .profile ist der Eintrag noch da

TZ='Europe/Berlin'; export TZ

Habe jetzt zum testen im Modul die Variable manuell auf "Europe/Berlin" gesetzt. Funktioniert jetzt erst mal bis ich es auf dem RPi hinbekomme.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 07 April 2018, 19:52:54
@Guenni1404

Für das TZ-Problem ist die Lösung in der Modulhilfe beschrieben:
ZitatIf nothing is displayed or you see an unexpected timezone, fix it by adding export TZ=`cat /etc/timezone` or something similar to your FHEM start script, restart FHEM and check again.

.profile hilft nicht, da FHEM als Service vom init-Prozess gestartet wird. Also bitte das FHEM-Skript wie beschrieben erweitern. Wer ein systemd-Linux verwendet findet die Lösung in diesem Beitrag (https://forum.fhem.de/index.php/topic,83097.msg772824.html#msg772824).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 07 April 2018, 20:08:26
Im 1. Post sind das Modul und der Weblink aktualisiert, beide unterstützen nun Wetterwarnungen.

Wer den Wetterwarnung-Prototyp verwendet, sollte beachten, dass aus "get updateAlerts" nun "get updateAlertsCache {districts|communeUnions|All}" geworden ist. Man kann jetzt nämlich bei Bedarf beides cachen und dann in beliebiger Reihenfolge mit "get alerts <warncell id>" Gemeinde- und Landkreis-Warnzellen abfragen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Guenni1404 am 07 April 2018, 21:24:50
Danke für die Hilfe.
Ich konnt die Variable über /etc/profile setzen.
Funktioniert jetzt einwandfrei
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 08 April 2018, 10:47:54
Hallo Jens,

erst einmal vielen Dank für die Entwicklung dieses Moduls!

Ich habe die letzte Version erfolgreich ans Laufen bekommen. Hier ein paar wünschenswerte Ergänzungen:


Hier der Auszug aus "widget_weather.js" vom FTUI:
        // PROPLANTA fc#_weather(Day|Evening|Morning|Night)Icon
        // thx to Risiko (http://forum.fhem.de/index.php/topic,34233.msg292189.html#msg292189)
        't1': ':sunny',
        't2': ':partly cloudy',
        't3': ':partly cloudy',
        't4': ':mostly cloudy',
        't5': ':cloudy',
        't6': ':chance of rain',
        't7': ':showers',
        't8': ':chance of storm',
        't9': ':light snow showers',
        't10': ':mixed rain and snow',
        't11': ':snow',
        't12': ':haze',
        't13': ':haze',
        't14': ':rain',
        'n1': ':sunny night',
        'n2': ':partly cloudy night',
        'n3': ':partly cloudy night',
        'n4': ':mostly cloudy night',
        'n5': ':overcast',
        'n6': ':chance of rain night',
        'n7': ':showers night',
        'n8': ':chance of storm night',
        'n9': ':sleet',
        'n10': ':mixed rain and snow',
        'n11': ':snow',
        'n12': ':haze night',
        'n13': ':haze night',
        'n14': ':rain',


Danke im Voraus und viel Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 08 April 2018, 20:46:58
Hallo Andreas,

danke für die Rückmeldung und die Anregungen.

Zitat1. zusätzliches Reading für den Wochentag
Prinzipiell kein Problem und konsistent umsetzbar, wahrscheinlich sogar mehrsprachig in Abhängigkeit der Systemsprache. Werde ich mir ansehen.

Zitat2. zusätzliches Reading für die Darstellung der passenden Icons im FTUI
Proplanta ist hier nicht der Maßstab, denn die Daten vom DWD geben sehr viel mehr Details her. Genau hierin liegt ein Poblem, auch bei der Umsetzung im Weblink. Der DWD liefert Achtel-Bedeckungsgrade, also Werte zwischen 0 - 9 (siehe z.B. hier (https://de.wikipedia.org/wiki/Bew%C3%B6lkung)). Damit noch nicht genug, der DWD liefert einen Bedeckungsgrad für niedrige, mittlere und hohe Elevation, sowie einen Werte für die effektive Bedeckung. Das wären dann schon mal 4 Werte, für die eine zusätzliche Zuordnung erforderlich ist, da das Modul nicht weiß, was den Anwender interessiert.

Der Kern des Problem besteht aber darin, die 10 Werte auf t1 bis t5 abzubilden, so dass die Darstellung des Icon mit der "gefühlten" Bedeckung übereinstimmt. Das ist nicht ganz so einfach wie es zunächst aussieht, da hier auch ein individueller Faktor zu berücksichtigen ist. Schaut man sich die Definition für Proplanta von t1 bis t5 an, sieht man, dass t2 und t3 identische Zuordnungen habe. Hier hat schon jemand einen Kompromiss gemacht.

Daher möchte ich keine FTUI-Readings in das DWDOD-Modul einbauen. Die Interpretation der Daten - genau das macht man nämlich mit den Icons - muss der Anwender (oder derjenige, der die Daten weiterverarbeitet) selbst durchführen. Auch meine eigene Umsetzung im DWDOD-Weblink halte ich an dieser Stelle nicht für ausgereift und experimentiere gerade mit modifizierten Bewertungen der DWD-Daten.

Wenn du eine Lösung kurzfristig selbst implementieren willst, dann sieh dir bitte den Quelltext des Weblinks an. In Zeile 519 beginnt die Funktion DWDOD_IconIMGTag, die für die vorhandenen Readings den Namen des Icons ermittelt. Diese Funktion könntest du für das FTUI umschreiben.

Es würde mir helfen, wenn jemand, der sich mit Meteorologie auskennt, einen Vorschlag macht, wie man die Bedeckungswerte am sinnvollsten auf 4 Icons (wolkenlos, leicht bewölkt, stark bewölkt, bedeckt) umsetzt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 09 April 2018, 23:08:56
Hallo Jens,

zu 1.
Danke, das wäre super.

zu 2.
ich verstehe die Problematik, da ich bereits in deinen Code des DWDOD-Weblinks geschaut hatte. Daher der Vorschlag, die Logik für das Definieren der Grafiken nicht dort zu verankern, sodern direkt im DWDOD-Modul. Dies hätte den Vorteil, dass nicht die gleiche Logik wiederum auch im Widget für FTUI nochmals hinterlegt werden muß  ;) und die Readings direkt verwendet werden können. Um jetzt noch ein weiteres "Aufblähen" des Weather-Widgets zu verhindern, ist mein Vorschlag die bestehenden Icon-Bezeichnungen von Proplanta (oder einem anderen Wettermodul des Widgets) zu verwenden. Somit wäre dann das DWDOD-Modul direkt im FTUI nutzbar!

Leider kann ich dir bei der Definition der Zustände aus meteorologisches Sicht keine Zusatzinfos liefern. Auch bin ich kein Programmierer, kann lediglich Code lesen und größtenteils verstehen  ;)

VG
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 April 2018, 21:31:09
Hallo Andreas,

ohne die beiden Listen mit jeweils 100 Einträgen aus dem DWDOD-Weblink "@dwdod_dayWeatherIconMap" und "@dwdod_NightWeatherIconMap" für das Wettercode-Reading wird sich die Umsetzung für Proplanta nicht realisieren lassen. Diese Listen werde ich nicht in das DWDOD-Modul übernehmen, weil sie von mir innerhalb von ein paar Viertelstunden Tipparbeit aufgrund meiner spontanen subjektiven Bewertung und der zur Verfügung stehenden FHEM-Icons erstellt worden sind.

Hier mein Gegenvorschlag:

Der DWDOD-Weblink bekommt noch eine Perl-Funktion, um für die Parameterkombination aus DWDOD-Hash, Tages-Index, Stunden-Index und Ausgabetyp wahlweise den FHEM-Icon-Namen oder den Proplanta-Typ zu lieferen. Für Proplanta stellst du mir entweder 2 neue Wettercode-Listen zur Verfügung oder eine "Übersetzungstabelle" von FHEM-Icon-Name zu Proplanta-Typ. Würde das für dich funktionieren?




Thema Wetter-Icon

Ich möchte noch einmal auf das Problem mit dem von mir als "subjektiv" bezeichneten Wetter-Icon-Zuordnung zurück kommen. Wenn man draußen die Sonne sehen kann, sollte meiner Meinung nach auch das Wetter-Icon eine Sonne zeigen, selbst wenn der Himmel insgesamt trüb ist.

Nach etwas Grübeln und erneutem Lesen des Wikipedia-Artikels ist mir klar geworden, dass man diese Zuordnung nicht gut am Bedeckungsgrad festmachen kann, da der Bedeckungsgrad die Transparenz des Himmels nur unzureichend abbildet. Für eine bessere Umsetzung der Wettercodes 0 bis 3 in Icons würde der Messwert für den Standardhimmel (nach ISO 15469:2004(E) / CIE S 011/E:2003) helfen. Leider wird dieser Wert vom DWD nicht zur Verfügung gestellt.

Somit bleibt meiner Meinung nach die bisherige Zuordnung anhand des Bedeckungsgrads die einzige Möglichkeit. Spielraum bieten noch die Zuordnung der Bedeckungswerte 0-9 zu den Icons und die Auswahl aus den 4 verschiedenen Bedeckungsgraden für niedrig, mittel, hoch und effektiv. Bei der Auswahl des Bedeckungsgrades könnte man z.B. den Effektivwert nehmen, aber es kommt z.B. auch das Maximum aus niedrig, mittel und hoch in Frage, das z.T. kleiner ausfällt als der Effektivwert. Aktuell kann ich nicht sagen, welcher Ansatz besser ist. Hat jemand einen Vorschlag?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 April 2018, 18:15:39
Im 1. Post dieses Threads ist ein Update des DWD_OpenData-Moduls und des Weblinks zu finden, das den Wunsch von @somansch nach einem Wochentag-Reading für die Vorhersage umsetzt.

Wer mit der neuen Version z.B. englische Wochentage angezeigt bekommt, findet am Ende der Installationshinweise in der Modulhilfe Informationen, wie man die Sprache der Wochentage anpassen kann.

Der "neue" Weblink verwendet außerdem den Effektivwert "Nf" statt des Werts aus mittlerer Höhe "NM" für die Bedeckung. Dadurch wird die Anzeige für den niederschlagsfreien Himmel typischerweise pessimistischer als vorher, aber wahrscheinlich realistischer.

Das DWD_OpenData-Modul erscheint mir inzwischen ausreichend stabil. Daher werde ich es demnächst in FHEM einchecken.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 15 April 2018, 22:32:25
Hallo zusammen,

schön, dass es mit dem DWD weitergeht - vielen Dank. Wollte das Modul heute einspielen, habe aber einen Fehler im Log:

018.04.15 22:16:31 1: reload: Error:Modul 55_DWD_OpenData deactivated:
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1115, near "])"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1165, near "))"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1166, near "))"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1167, near "))"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1168, near "))"


Version:
This is perl 5, version 24, subversion 1 (v5.24.1) built for arm-linux-gnueabihf-thread-multi-64int
(with 80 registered patches, see perl -V for more detail)


Der Fehler ist schon mal diskutiert worden, scheint an Perl zu liegen - ich bin aber wirklich kein Perl-Guru... :-\
https://forum.fhem.de/index.php/topic,58924.15.html

Any hints?

VG timmo

Titel: Antw:Modul für DWD Open Data
Beitrag von: moskito am 15 April 2018, 22:57:19
Hups, da war jemand noch schneller... :)

Hallo Jens,

habe noch ein Testsystem mit Armbian am laufen, bei dem das Modul nicht geladen wird.

perl -v

This is perl 5, version 24, subversion 1 (v5.24.1) built for arm-linux-gnueabihf-thread-multi-64int


Als Fehlermeldung nach dem definieren erscheint im Log:
reload: Error:Modul 55_DWD_OpenData deactivated:
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1115, near "])"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1165, near "))"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1166, near "))"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1167, near "))"
Experimental push on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1168, near "))"


Auf meinem Produktivsystem mit Perl 5.20 funktioniert das Modul einwandfrei.

Könntest Du da mal nach schauen?

Gruß
Danny
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 16 April 2018, 03:35:24
Hallo allerseits,

gewünscht wird ein aktuelles howto - um die Sache zum Laufen zu bekommen. (Ich bin blond, jung, naiv , Anfänger, immer noch Anfänger. Ein aktuelles Beispiel an Hand eines konkreten deutschen Ortes - das wäre sehr-sehr schön.

Nebenbei: ich kann dann auf Grund der Regenvorhersage dem Rasen-Movie sagen, dass er heute in seinem Garagen-Nest durchschlafen kann?

Ich will aber nicht weiter stören, ich bin ja ... siehe oben.
Freundliche Grüße.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 April 2018, 21:22:13
Hallo Timmo und Danny,

danke für die konstruktiven Rückmeldungen. Wenn es die neueren Perl-Version genau nehmen, ist das nicht zu ändern. Im 1. Post ist nun ein Update. Bei mir macht es keinen Unterschied. Bitte prüft ob es für euch das Problem löst.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 16 April 2018, 21:28:07
habe die gleichen Fehler gehabt,
die gerade von dir neue Datei läuft bei mir, mit Perl  (v5.24.1)

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 April 2018, 21:45:12
@curt

Zitatgewünscht wird ein aktuelles howto
Wünsche ich mir auch. Weder das Modul noch die Modulhilfe sind vom DWD/Himmel/Wasauchimmer gefallen. Wir wärs mit Mithilfe?

HowTo: Zuerst aktuelle FHEM-Konfiguration sichern. Dann einfach mal versuchen das Modul mit define anzulegen. Wahrscheinlich klappt das nicht auf Anhieb. FHEM-Logfile überprüfen und in der Modulhilfe nachlesen, woran es liegen könnte. Änderungen durchführen und noch mal versuchen. Solange wiederholen bis sich Erfolg einstellt. Bei Verzweiflung hier noch einmal mit konkreter Frage melden.

Zitatich <> kann dann auf Grund der Regenvorhersage dem Rasen-Movie sagen, dass er heute in seinem Garagen-Nest durchschlafen kann?
Was dein Rasen-Dings versteht und wieviel Schlaf es braucht kann ich nicht beurteilen, aber genau das mach ich vom Prinzip her, nur dass ich damit den Wasserhahn auf- und zudreh. Dazu nehme ich noch die Taupunktdifferenz und das Integral über die Infraroteinstrahlung und ein paar magische Zahlen. Das funktioniert ganz gut, gehört aber nicht wirklich in diesen Thread.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 20 April 2018, 19:31:44
ich bin zu doof oder zu alt dafür  ???
wie muss ich das jetzt installieren?
habe alle einträge durch, nichts genaues gefunden...

fini
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 April 2018, 22:30:14
Der 17.04.2018 ist gekommen und gegangen und keiner hat es gemerkt 8) Trotz anders lautender Unkenrufe funktionieren bei mir die Wetterwarnungen noch. Ich hoffe das ist bei euch genauso.

Es empfiehlt sich aber beim nächsten schlechten Wetter zu überprüfen, ob für die eigenen Warnzelle immer noch Daten geliefert werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 April 2018, 22:31:44
@fini

Zitathabe alle einträge durch, nichts genaues gefunden...
In mehreren Posts zu diesem Thema steht, dass die Installation in der Modulhilfe beschrieben wird (u.a. auch in dem Post unmittelbar vor deinem). Hier noch einmal das prinzipielle Vorgehen:


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Benni am 21 April 2018, 06:23:57
Zitat von: jensb am 20 April 2018, 22:31:44
Auf dem FHEM-Server in das FHEM-Hauptverzeichnis wechseln und das Kommando "contrib/commandref_join.pl" ausführen, um die Commandref zu aktualisieren, anschließend die Commandref aufrufen und die Installationsbeschreibung zu DWD_OpenDaten durchlesen. Alternativ die Modul-Datei mit einem Texteditor öffnen: die Modulhilfe ist ganz am Ende

Denn Schritt kann man sich sparen. Wenn die Moduldatei am richtigen fleck ist, dann genügt ein entsprechender help (http://commandref.fhem.de/commandref_DE.html#help)-Aufruf in der FHEMWEB-Kommandozeile:

help DWD_OpenData

Und noch eine kleine Anmerkung um mancher Verwirrung vorzubeugen:

Zitat von: jensb am 20 April 2018, 22:31:44
und im FHEM-Ordner speichern

Damit ist der Ordner "FHEM" unterhalb des eigentlichen "fhem"-Ordners in der Installation gemeint. Auf meinem Debian-System ist das bspw. /opt/fhem/FHEM

gb#
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 21 April 2018, 07:34:34
ok, habe beide module in
/opt/fhem/FHEM gelegt

sudo apt-get install libtext-csv-xs-perl
und
sudo apt-get install libxml-libxml-perl
ausgeführt

fhem neu gestartet

define wetter_dwd DWD_OpenData

es kommt leider Unknown module DWD_OpenData
Titel: Antw:Modul für DWD Open Data
Beitrag von: Benni am 21 April 2018, 07:55:22
Zitat von: fini am 21 April 2018, 07:34:34
es kommt leider Unknown module DWD_OpenData

Sind die Dateiberechtigungen für die abgelegten Module in Ordnung?
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 21 April 2018, 08:20:27
rechte haben gestimmt...

musste den server neu starten und nicht nur fhem und dann kam bei eingabe

define wetter_dwd DWD_OpenData


define wetter_dwd DWD_OpenData: wetter_dwd: FHEM TZ environment variable undefined, see commandref for details how to fix


ja, verstehe ich aber nicht wie, wo und was machen sollte
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 April 2018, 10:34:12
@fini
Bitte schau noch mal in die Modulhilfe. Da steht, dass du in die FHEM-Startdatei (bei SystemV: /etc/init.d/fhem) den Eintrag "export TZ=`cat /etc/timezone`" hinzufügen soll. Bei einigen Systemen funktioniert es auch, den Eintrag in "/etc/profile" hinzuzufügen. Manchmals ist es auch erforderlich, statt des Verweises auf "timezone" die Zeitzone direkt einzutragen, also z.B. "export TZ=Europe/Berlin". Das genaue vorgehen hängt von der Linux-Distro ab.

Das gleiche Vorgehen sollte man mit LANG machen, also z.B. "export LANG=de_DE.UTF-8", aber natürlich nur, wenn man Deutsch will und das eigene System UTF-8 Zeichenkodierung verwendet.

Wenn das bei dir läuft wäre es toll, wenn du die Installationsschritte noch einmal zusammenfasst und hier postest. Dann würde ich daraus einen Wiki-Artikel machen. Alternativ kannst du den Wiki-Artikel gern auch selbst schreiben.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 21 April 2018, 13:00:02
Zitat von: jensb am 21 April 2018, 10:34:12
@fini
Bitte schau noch mal in die Modulhilfe. Da steht, dass du in die FHEM-Startdatei (bei SystemV: /etc/init.d/fhem) den Eintrag "export TZ=`cat /etc/timezone`" hinzufügen soll. Bei einigen Systemen funktioniert es auch, den Eintrag in "/etc/profile" hinzuzufügen. Manchmals ist es auch erforderlich, statt des Verweises auf "timezone" die Zeitzone direkt einzutragen, also z.B. "export TZ=Europe/Berlin". Das genaue vorgehen hängt von der Linux-Distro ab.

Das gleiche Vorgehen sollte man mit LANG machen, also z.B. "export LANG=de_DE.UTF-8", aber natürlich nur, wenn man Deutsch will und das eigene System UTF-8 Zeichenkodierung verwendet.

bin jetzt in der /etc/init.d/fhem
bei SystemV soll ich
export TZ=`cat /etc/timezone`
einfügen? SystemV  gibt es da nicht...  ???

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 April 2018, 14:00:06
Linux-Varianten unterscheiden sich in ihrem Startsystem. Aktuell verbreitet sind System-V und System-D. Wenn du dein FHEM-Skript in /etc/init.d findest, hast du wahrscheinlich einen System-V Start. Es bietet sich folgende Änderung an:

case "$1" in
'start')

        echo "Starting fhem..."

        # Timezone
        export TZ=`cat /etc/timezone`
        export LANG=de_DE.UTF-8


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 21 April 2018, 17:20:30
und evtl. muss in dem Unterverzeichnis "/etc/", die Textdatei = Timezone mit dem Inhalt in der ersten Zeile "Europa/Berlin erstellt werden.

So war es jedenfalls bei mir, mit Debian 9 in einer VM

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 April 2018, 17:48:35
Ja, oder wie bereits erwähnt direkt "export TZ=Europe/Berlin" verwenden.

Je nach Linux-Version gibt es Utilities, die bei der Auswahl der Zeitzone helfen, z.B. tzselect (zeigt die korrekte Schreibweise der Zeitzone an, ändert aber nichts) oder dpkg-reconfigure tzdata (setzt /etc/timezone).

Trotzdem muss man entweder noch den export-TZ-Eintrag in das fhem-Skript oder in /etc/profile hinzufügen. Wenn date auf der Linux-Kommandozeile nicht die richtige Uhrzeit anzeigt, empfiehlt es sich, den Eintrag in /etc/profile zu machen, damit die Einstellungen für alle Anwendungen konsistent sind.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 21 April 2018, 19:50:08
Zitat von: jensb am 21 April 2018, 14:00:06
Linux-Varianten unterscheiden sich in ihrem Startsystem. Aktuell verbreitet sind System-V und System-D. Wenn du dein FHEM-Skript in /etc/init.d findest, hast du wahrscheinlich einen System-V Start. Es bietet sich folgende Änderung an:

case "$1" in
'start')

        echo "Starting fhem..."

        # Timezone
        export TZ=`cat /etc/timezone`
        export LANG=de_DE.UTF-8


als ich dat eingetragen habe, kommt:



Starting fhem...
perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
        LANGUAGE = (unset),
        LC_ALL = (unset),
        LANG = "de_DE.UTF-8"
    are supported and installed on your system.
perl: warning: Falling back to the standard locale ("C").
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 April 2018, 21:13:22
@fini
Das ist schon stimming. Ich will ja gern helfen, aber kann es sein, dass du kein Englisch verstehst oder liest du einfach nicht? In der Moduhilfe steht dazu:
ZitatIf you get a locale warning when starting FHEM the required language pack might be missing. It can be installed depending on your OS and your preferences (e.g. apt-get install language-pack-de or something similar).
also bitte die fehlende Sprachunterstützung für Deutsch nachinstallieren.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 22 April 2018, 06:02:41
ok, habe es hin bekommen

1. 55_DWD_OpenData.pm
   DWDODweblink.pm
   /opt/fhem/FHEM kopieren und rechte anpassen
2
sudo apt-get install libtext-csv-xs-perl
sudo apt-get install libxml-libxml-perl

3. in /etc/init.d in fhem eintragen:

case "$1" in
'start')

        echo "Starting fhem..."

        # Timezone
        export TZ=`cat /etc/timezone`
        export LANG=de_DE.UTF-8

5. wer noch nicht hat
Folgender Befehl setzt die Zeitzone auf Europa/Berlin:
sudo timedatectl set-timezone Europe/Berlin
6. sudo raspi-config
unter punkt 4 dann2
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 22 April 2018, 08:23:24
Hi Jens,

späte Rückmeldung (war unterwegs) - jetzt klappt die Installation mit der Perl-Version:

This is perl 5, version 24, subversion 1 (v5.24.1) built for arm-linux-gnueabihf-thread-multi-64int
(with 80 registered patches, see perl -V for more detail)


Jetzt kanns mit der Optimierung der Bewässerung weitergehen!
Thx & viele Grüße

VG Timmo
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 April 2018, 10:46:56
@fini
Prima Zusammenfassung, werde daraus einen Wki-Artikel machen.

Wie du ja selbst gesehen hast, gibt es mehrere Möglichkeiten ans Ziel zu kommen. Das Modul nutzt internationalisierte Funktionen für die Ausgabesprache und Zeitzonen. Dazu müssen beim typischen FHEM-Server ein paar zusätzliche Einstellungen gemacht werden und das eine oder andere Modul nachinstalliert werden.

Freut mich, dass es bei dir nun funktioniert.

@Tsturm
Auch dir Dank für die Rückmeldung. Draußen scheint die Sonne - also Wasserhahn auf.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 April 2018, 15:13:15
Wegen der Rückmeldungen von @fini habe ich nach einer Möglichkeit gesucht, die Mindestanforderungen für die Installation zu vereinfachen. Dabei konnte ich in 2 Aspekten eine Verbesserung erreichen:
Im 1. Post ist die überarbeitete Version von 55_DWD_OpenData.pm mit entsprechend aktualisierter Modulhilfe.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 22 April 2018, 18:18:36
moin jens,

das modul macht ja nur vorhersagen wie ich das sehe.

gibt es auch aktuelle werte die man abfragen kann.
z.b. aktuelle  temperatur, sonne letzte stunde, regenmenge letzte stunde?
hatte die daten mal irgenwo auf dem ftp server von dwd gesehen.

ciao fini
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 April 2018, 19:45:10
@fini

Zitatdas modul macht ja nur vorhersagen
Macht es nicht -> es macht auch Wetterwarnungen.

Zitatgibt es auch aktuelle werte die man abfragen kann
Der DWD stellt über OpenData auch aktuelle Werte zur Verfügung. Bis jetzt habe ich aber noch keine Datensätze gefunden, die sich vergleichbar einfach wie die Wettervorhersage abrufen lassen. Allerdings habe ich nicht lange danach gesucht, da ich für den Istzustand keine externe Daten verwende sondern meine eigenen Sensoren habe. Außerdem sind die Vorhersagedaten relativ gut. Wenn jemand einen Datensatz vom DWD heraussucht, der die Istdaten kompakt vorhält, werde ich es mir ansehen. Noch lieber wär mir ein Patch.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 23 April 2018, 07:40:20
Zitat von: jensb am 22 April 2018, 19:45:10
Der DWD stellt über OpenData auch aktuelle Werte zur Verfügung. Bis jetzt habe ich aber noch keine Datensätze gefunden, die sich vergleichbar einfach wie die Wettervorhersage abrufen lassen.

hier gibt es fast aktuelle werte
https://opendata.dwd.de/weather/weather_reports/poi/

währe schön, wenn man die letzten wert einbauen könnte.
dann kann ich die ins log schreiben und auswerten mit plot und so.

interressant sind auch die vortagswerte 6:00 uhr
spalte d, p, q, u, z, ae

könnte dann für sonne z.b. pio_ss lauten


Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 April 2018, 21:45:10
@fini
Mit den Daten wäre "vergleichbar einfach" erfüllt. Allerdings sind das keine "aktuellen" Werte sondern historische Werte. Die Werte umfassen 24 Stunden und der neuste Datensatz liegt ca. 3 Stunden in der Vergangenheit. Damit ist den Freunden von aktuellen Werten nicht gedient.

Wenn sich noch andere Interessenten für diese Funktion finden, würde ich sie auf die Wunschliste setzten. Wie gesagt, ein Patch wäre mir lieber.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 23 April 2018, 22:07:21
Zitat von: jensb am 23 April 2018, 21:45:10
@fini
Mit den Daten wäre "vergleichbar einfach" erfüllt. Allerdings sind das keine "aktuellen" Werte sondern historische Werte. Die Werte umfassen 24 Stunden und der neuste Datensatz liegt ca. 3 Stunden in der Vergangenheit. Damit ist den Freunden von aktuellen Werten nicht gedient.

vielleicht ja dann nur erst mal die werte vom letzten tag
6:00 uhr spalte d, p, q, u, z, ae
da ist sonnenstunde vortag, regen vortag, temp max und min. vortag z.b.

könnte dann für sonne z.b. pio_ss lauten

9 uhr sind die daten vom vortag vorhanden in der 6 uhr spalte
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 April 2018, 20:04:04
@fini
Kurzfristig wird das nichts und auf die Anzahl der Werte kommt es dabei nicht an. Habe dem Modul ein weiteres @TODO als Gedächtnisstütze hinzugefügt.

Du hast aber eine andere Option: Nimm z.B. die für dich relevanten Vorhersagewerte von heute 8:00 und kopiere sie über ein at z.B. beim Tageswechsel in ein dummy. Ans dummy hängst du noch ein Log und daran einen Plot, fertig. Lässt du den at alle 3 bzw. 6 Stunden arbeiten, bekommst du sogar Zwischenwerte.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 25 April 2018, 11:31:36
Zitat von: jensb am 24 April 2018, 20:04:04

Du hast aber eine andere Option: Nimm z.B. die für dich relevanten Vorhersagewerte von heute 8:00 und kopiere sie über ein at z.B. beim Tageswechsel in ein dummy. Ans dummy hängst du noch ein Log und daran einen Plot, fertig. Lässt du den at alle 3 bzw. 6 Stunden arbeiten, bekommst du sogar Zwischenwerte.

ja, aber dann habe ich ja die vorhersagedaten die nicht gleich istdaten sind.
na warte ich...  vielleicht hast ja mal zeit, irgenwann die tageswerte einzubauen  :P

ciao fini
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 25 April 2018, 22:25:36
@fini
Vorhersagedaten sind natürlich keine Istwerte. Aber hast du schon mal gesehen, dass die Istwerte von deinem Sensor mit den Istwerten von irgendeinem Wetterdienst exakt und dauerhaft übereinstimmen? Das Messen unterliegt vielen Einflussgrößen. In erster Näherung sind da sogar Vorhersagewerte nicht zu verachten.

Du kannst aber davon ausgehen, dass ich die 24h-Historie einbauen werde, sobald ich dafür ausreichend Freizeitüberschuss habe.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 26 April 2018, 19:46:05
moin,

habe fhem neu gestartet und es kommt im log


perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
LANGUAGE = (unset),
LC_ALL = (unset),
LANG = "de_DE.UTF-8"
    are supported and installed on your system.
perl: warning: Falling back to the standard locale ("C").


dat habe ich erst nach einrichtung von DWD Open Data
da habe ich doch was falsch gemacht?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 April 2018, 21:25:45
@fini
Leg noch mal den Rückwärtsgang ein und schau dir die Beiträge rund um diesen (https://forum.fhem.de/index.php/topic,83097.msg796182.html#msg796182) an.

Du hattest zumindest nicht geschrieben, dass du "apt-get install language-pack-de" ausgeführt hast, sondern statt dessen "6. sudo raspi-config
unter punkt 4 dann2 de_DE.UTF-8 UTF-8 einstellen". Ob dabei das Gleiche passiert, habe ich nicht ausprobiert. Die Fehlermeldung ist aber eindeutig. Du stelltst mit LANG ein, dass "de_DE.UTF-8" verwendet werden soll, Perl versucht es, aber findet nicht die erforderlichen Dateien und meldet daher "Setting locale failed".

Probiers einfach noch mal mit dem Installieren des deutschen Sprachpakets.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 26 April 2018, 23:25:14
Zitat von: jensb am 26 April 2018, 21:25:45
@fini
Leg noch mal den Rückwärtsgang ein und schau dir die Beiträge rund um diesen (https://forum.fhem.de/index.php/topic,83097.msg796182.html#msg796182) an.

Du hattest zumindest nicht geschrieben, dass du "apt-get install language-pack-de" ausgeführt hast, sondern statt dessen "6. sudo raspi-config
unter punkt 4 dann2 de_DE.UTF-8 UTF-8 einstellen". Ob dabei das Gleiche passiert, habe ich nicht ausprobiert. Die Fehlermeldung ist aber eindeutig. Du stelltst mit LANG ein, dass "de_DE.UTF-8" verwendet werden soll, Perl versucht es, aber findet nicht die erforderlichen Dateien und meldet daher "Setting locale failed".

Probiers einfach noch mal mit dem Installieren des deutschen Sprachpakets.


pi@raspberrypi:~ $ sudo apt-get install language-pack-de
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package language-pack-de


Titel: Antw:Modul für DWD Open Data
Beitrag von: Hollo am 27 April 2018, 09:47:14
Guck mal, was Du denn da überhaupt drin stehen hast...
sudo locale

Wenn es nicht passt, mach mal ein
sudo dpkg-reconfigure locales
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 27 April 2018, 11:55:32
Zitat von: Hollo am 27 April 2018, 09:47:14
Guck mal, was Du denn da überhaupt drin stehen hast...
sudo locale

da kommt

pi@raspberrypi:~ $ sudo locale
LANG=C.UTF-8
LANGUAGE=
LC_CTYPE="C.UTF-8"
LC_NUMERIC="C.UTF-8"
LC_TIME="C.UTF-8"
LC_COLLATE="C.UTF-8"
LC_MONETARY="C.UTF-8"
LC_MESSAGES="C.UTF-8"
LC_PAPER="C.UTF-8"
LC_NAME="C.UTF-8"
LC_ADDRESS="C.UTF-8"
LC_TELEPHONE="C.UTF-8"
LC_MEASUREMENT="C.UTF-8"
LC_IDENTIFICATION="C.UTF-8"
LC_ALL=
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 April 2018, 20:44:47
@fini
Der Raspi kann kein "apt-get install language-pack-de", hier hilft, wie von @Hollo vorgeschlagen "dpkg-reconfigure locales", oder wie von dir selbst berichtet "raspi-config - 4 -I1" und dann vor "de_DE.UTF-8" ein "*" setzen. Alternativ kann man auch "/etc/locale.gen" editieren und danach "locale-gen" ausführen.

Damit ist die Locale aber nur verfügbar aber noch nicht ausgewählt. Versuch es mal mit "export LANG=de_DE.UTF-8" bevor du "locale" ausführst oder führe "locale -a" aus. Ein weiterer Test wäre noch einmal "locale-gen" auszuführen und zu überprüfen, ob Fehler ausgegeben werden.

Die Standard-Locale kann man beim Raspberry in /etc/default/locale einstellen. Ändern hilft aber nur, wenn der Test oben erfolgreich war.

Wenn dich nur die Fehlermeldung beim Start von FHEM stört, kannst du die Zeile "export LANG=" aus deinem FHEM-Startskript entfernen. Dann sind die Wochentage allerdings auf Englisch.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 27 April 2018, 22:20:07
ok, der fehler beim start ist jetzt weg.

hab noch mal  "raspi-config - 4 -I1" und dann vor "de_DE.UTF-8" ein "*" setzen.

hab was neues ;-)

Undefined subroutine &main::DWDOD_AsHtmlH called at (eval 310) line 1.

hatte es eingerichtet und es wurde die vorhersage angzeigt.
jetzt nicht mehr...

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 April 2018, 10:10:32
@fini
Vermutlich hast du mehr geändert als du wolltest. Prüfe ob

use DWDODweblink;

oben in deiner "99_myUtils.pm" steht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: fini am 28 April 2018, 13:37:59
Zitat von: jensb am 28 April 2018, 10:10:32
@fini
Vermutlich hast du mehr geändert als du wolltest. Prüfe ob

use DWDODweblink;

oben in deiner "99_myUtils.pm" steht.

dat war es, eigentlich hatte ich dat eingetragen.
immer wenn ich ein update von fhem mache, ist der eintrag wieder weg.
kann man das verhindern?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 April 2018, 13:46:27
@fini
Zitatimmer wenn ich ein update von fhem mache, ist der eintrag wieder weg.
kann man das verhindern?
Das kommt darauf an. Wenn du den Eintrag wirklich in "99_myUtils.pm" machst, dann bleibt das auch so, wenn du ein FHEM Update durchführst. Vermutlich hast du aber den Eintrag in "99_Utils.pm" gemacht. Das wäre nicht das Gleiche und führt dazu, dass der Eintrag mit jedem Update verloren geht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 05 Mai 2018, 17:19:16
Hi Jens,

Ich würde gerne wissen, ob mein Verständnis von  "fc1_ev" - Evaporation richtig ist:

Definition:
- (ev [kg/m2] - evapotranspiration of previous 24 hours)
Das sollte die heutige Verdunstung sein (da Vorhersage von morgen der vorherigen 24 std).

Wie wird Regen berücksichtigt?
- Gar nicht (wenns Regnet, verdunstet nix, danach wieder)

Um die Gesamtänderung der Wassermenge im Boden zu schätzen:
Niederschlag - Verdunstung
also
fc1_1_RR24 - fc1_ev

Habe ich das richtig? Habe leider keine Beschreibung beim DWD gefunden, um das zu verifizieren - insbesondere nicht die genaue Definition von Evaporation (ich denke, dass das mit einer definierten Pflanzenoberfläche errechnet wird - wie in den anderen Agrarwerten vom DWD).

Hintergrund - das scheint der solideste Ansatz für die Bewässerungssteuerung zu sein. Man kann dann alle Klimmzüge mit Regen, Temperatur etc. ersetzen, weil es die Nettoveränderung des Bodenwasservorrates liefert.

VG Timmo
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 Mai 2018, 20:54:51
Hallo Timmo,

deine Frage zur Spezifikation der Evaporistion des DWD kann ich nicht beantworten - meine Infos sind da genauso gut wie deine.

Zum Zeitbezug ist noch folgendes zu berücksichtigen: Die letzten 24 Stunden sind auf den Meldezeitpunkt des DWD zu beziehen. Den findet man heraus, indem man seine Vorhersagedatei vom DWD herunter lädt (dem Link aus der Modulhilfe folgen) und öffnet. Dann sucht man die 1. Zeile mit einem gültigen Wert für die interessierende Größe und findet in der 2. Spalte die die Bezugszeit in UTC. Bei mir ist das für ev z.B. 06:00 UTC. Damit ergibt sich ein Bezugszeitraum vom Vortag 06:00 bis heute 06:00.

RR24 ist offiziell in [mm], wobei man besser [l/qm] ansetzen sollte
ev ist in [kg/qm]

Wenn man also annimmt, dass sich ev nur auf Wasser bezieht, das aus dem Boden verdunstet und dass Wasser etwa 1kg/l wiegt, dann liegst du mit deiner Formel richtig, insbesondere wenn du RR24 auch von 06:00 UTC verwendest. Die Wirklichkeit ist aber meist komplizierter. Trotzdem würde ich das mal ausprobieren und beobachten, was du für Bewässerungsvorschläge bekommst.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 08 Mai 2018, 21:23:01
Hi Jens,

mache ich - der DWD zeichnet sich ja nicht durch Übersichtlichkeit aus, vielen Dank für Deine Arbeit, das dennoch hinzubekommen.

Das mit dem Zeitpunkt ist ein guter Hinweis, werde ich noch einbauen.

VG Timmo
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Mai 2018, 22:31:40
Im 1. Post findest sich eine aktualisierte Version des Moduls 55_DWD_OpenData.pm. Nachdem es in den letzten Wochen immer wieder mal zu Zeiten ohne Wetterwarnungen gekommen ist, konnte ich diesen Sonderfall testen und korrekt implementieren.

Die bisherige Version hat den State in diesem Fall bei "updating alerts cache" stehen gelassen, die neue Version ändert den State wieder auf "alerts cache updated". An der Funktion des Moduls und den Daten ändert sich dadurch nichts. Das neue Internal "ALERTS_IN_CACHE" gibt an, wieviele Wetterwarnung insgesamt im Cache sind.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Mai 2018, 23:28:39
Auf mehrfachen Wunsch gibt es in der FHEMWiki (https://wiki.fhem.de/wiki/DWD_OpenData) nun einen Artikel zur Installation des Moduls DWD_OpenData und des Weblinks.

Wer im Artikel Fehler findet oder konkrete Änderungen oder Zusätze hat, kann sie entweder direkt einarbeiten oder hier posten.

Außerdem wird ab morgen das Modul 55_DWD_OpenData über FHEM Update abrufbar sein.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 11 Mai 2018, 00:25:59
Hi Jens,

ich habe seit kurzem einen MagicMirror wo es ein Plugin/Modul für DWD gibt...
...daher habe ich mich auf die Suche in fhem gemacht: und bin hierauf gestoßen! :)

Vielen Dank schon mal!

Eben installiert und ausprobiert: funktioniert (wenn man mal die forecast und alert ID etc. hat ;)  )!

Ich habe die DWDODweblink.pm als 99_DWDODweblink.pm nach /opt/fhem/FHEM kopiert (Rechte angepasst: sudo chown fhem:dialout 99_DWDODweblink.pm) und dann noch folgendes ergänzt (zu Beginn nach den ganzen 'use'):


sub
DWDODweblink_Initialize($$)
{
my ($hash) = @_;
}


Dadurch spart man sich den Eintrag in der myUtil und das "Modul" wird automatisch geladen...
...ansonsten sollte es keinen Unterschied zu dem im Wiki beschriebenen Vorgehen machen (denke ich).

Allerdings musste ich zusätzlich folgendes installieren:

sudo apt-get install libdatetime-perl

So, dann werde ich mir mal die nächsten Tage anschauen was man da so als Notify etc. und Warnungen per Telegram etc. machen kann :)

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 Mai 2018, 08:52:28
Hallo Joachim,

freut mich, dass du bei deiner Suche nach dem DWD erfolgreich warst und das DWD-Modul gefunden hast ;)

Deine Anregungen zum Weblink werde ich aufgreifen. Die zusätzliche Sub kann ohne Nebenwirkungen mit in den Code und mit etwas Doku dazu bleibt es jedem überlassen, wie es eingebunden wird.

Der Weblink hat eine zusätzliche Abhängigkeit zum Perl-Modul DateTime. Bei all meinen Systemen war dieses Modul wohl aus anderen Gründen schon installiert, so dass mir das nicht weiter aufgefallen ist. Das kommt dann auch in die Doku und die Wiki.

Danke für die Hinweise und Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Rudy am 11 Mai 2018, 17:29:31
Zunächst einmal: Super Modul und danke für die Entwicklung.

Eine Verständnisfrage habe ich jedoch noch. In der commandref heißt es, dass das Attribut "alertArea" aus Performancegründen besser nicht genutzt werden sollte. Unklar ist mir jetzt jedoch ob der Aufruf nur für eine einzige Station mit bspw. "get alterts 111000000" alle 15 Minuten (wie bei alertArea auch) über bspw. ein "at" (+*00:15:00) genauso viel Performance und Traffic kostet. Oder ist das bei dieser Aufrufvariante deutlich geringer, weil sich die Daten nur auf eine Station (statt aller Stationen bei alertArea) beziehen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 Mai 2018, 20:13:21
Hallo Rudy,

ich vermute du beziehst dich auf
ZitatIt will cause significant download traffic if used in continuous mode (more than 1 GB per day are possible).

Für das Datenvolumen spielt es keine Rolle, ob du "get updateAlertsCache" alle 15 Minuten z.B. durch ein at auslöst oder das Attribut "alertArea" setzt und es dem Modul selbst überlässt. Also verwende einfach die eingebaute Automatik, wenn du nicht hochaktuell sein willst oder mehrere Warnzellen hintereinander abfragen willst. Natürlich gibt es 3mal mehr Datenvolumen, wenn der at den Cache alle 5 Minuten aktualisiert. Entsprechend nimmt der Datenverbrauch auf ein Viertel ab, wenn man nur stündlich aktualisiert.

Das Datenvolumen hängt aber auch stark davon ab, wieviele Wetterwarnungen vom DWD gemeldet werden und das ist halt wetterabhängig, so dass das Tagesdatenvolumen schwankt.

Dagegen spielt es keine Rolle, wie oft man hintereinander "get alerts" aufruft. Solange der Cache nicht älter als 15 Minuten ist, wird aus dem Cache gelesen.

Mir war wichtig, darauf aufmerksam zu machen, dass es eine ganze Menge Daten sein können (aber nicht müssen), damit niemand, der z.B. seine Internetverbindung per Mobilfunk herstellt, unverhofft sein Freivolumen verbraucht hat. Wer eine DSL Flat verwendet, muss sich keine Gedanken machen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 Mai 2018, 20:48:03
@MadMax-FHEM
Hallo Joachim,

bist du sicher, dass es ausreichend ist, die Initialize-Sub hinzuzufügen und das Modul in 99_DWDODweblink.pm umzubenennen? Ich wäre davon ausgegangen, dass man dann zumindest noch ein
define myWeblink DWDODweblink
benötigt, damit es geladen wird. Denn woher soll FHEM oder Perl sonst wissen, dass diese Modul-Datei gebraucht wird?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 11 Mai 2018, 21:16:06
Jaja klar den weblink muss man definieren... ;)

Aber man muss nix in die myUtils eintragen (oder extra eine anlegen, sollte man keine haben)...
Und wenn die DWDODweblink.pm mal nicht geladen werden kann zieht sie halt nicht auch gleich noch die eigene myUtils mit "runter"...

Ist mir ja passiert... ;)
(wegen dem fehlenden Date/Time Modul)

Will man das weblink nicht verwenden, dann braucht man die 99_DWDODweblink.pm ja nicht nach /opt/fhem/FHEM kopieren...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 Mai 2018, 21:29:28
Hallo Joachim,

danke für die Info. Bin beruhigt, dass das FHEM doch so funktioniert wie ich glaube das verstanden zu haben ::)

Dass FHEM abstürzt, wenn man den Weblink verwendet und das DataTime-Modul fehlt, ist natürlich sehr unschön. Das könnte man aber auch durch einen modifizierten Eintrag in 99_myUtils.pm verhindern:

eval "use DWDODweblink;";

Das ist erst mal nur Theorie, habe es noch nicht ausprobiert.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 11 Mai 2018, 21:32:35
Naja ganz fhem stürzt ja nicht ab...
...aber es werden halt auch nicht die eigenen Funktionen aus der myUtils geladen, da ja die myUtils nicht geladen wird...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 Mai 2018, 03:06:31
Zitat von: jensb am 10 Mai 2018, 23:28:39
Auf mehrfachen Wunsch gibt es in der FHEMWiki (https://wiki.fhem.de/wiki/DWD_OpenData) nun einen Artikel zur Installation des Moduls DWD_OpenData und des Weblinks.

Frage hierzu:

3. Eigener Internet-Proxy: Die Konfiguration des Proxies erfolgt z.B. durch Eintrag von
attr global proxy <myProxyHost>:<myProxyPort>


Erwartet das Modul ernsthaft einen http-Proxy? Oder ist das fakultativ?
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 12 Mai 2018, 09:43:58
Zitat von: curt am 12 Mai 2018, 03:06:31
Frage hierzu:

3. Eigener Internet-Proxy: Die Konfiguration des Proxies erfolgt z.B. durch Eintrag von
attr global proxy <myProxyHost>:<myProxyPort>


Erwartet das Modul ernsthaft einen http-Proxy? Oder ist das fakultativ?

Habe keinen Proxy und nix eingetragen: läuft...

Brauchst du also (wohl) nur, wenn du einen Proxy nutzen würdest...

Kurz da nur Handy...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: Rudy am 12 Mai 2018, 10:42:34
Steht so auch in der commandref drin. Nur wenn man einen Proxy nutzt sind hierzu entsprechende Angaben zu machen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Rudy am 12 Mai 2018, 10:45:49
Zitat von: jensb am 11 Mai 2018, 20:13:21
Hallo Rudy,

ich vermute du beziehst dich auf
ZitatIt will cause significant download traffic if used in continuous mode (more than 1 GB per day are possible).
Für das Datenvolumen spielt es keine Rolle, ob du "get updateAlertsCache" alle 15 Minuten z.B. durch ein at auslöst oder das Attribut "alertArea" setzt und es dem Modul selbst überlässt. Also verwende einfach die eingebaute Automatik, wenn du nicht hochaktuell sein willst oder mehrere Warnzellen hintereinander abfragen willst. Natürlich gibt es 3mal mehr Datenvolumen, wenn der at den Cache alle 5 Minuten aktualisiert. Entsprechend nimmt der Datenverbrauch auf ein Viertel ab, wenn man nur stündlich aktualisiert.

Das Datenvolumen hängt aber auch stark davon ab, wieviele Wetterwarnungen vom DWD gemeldet werden und das ist halt wetterabhängig, so dass das Tagesdatenvolumen schwankt.

Dagegen spielt es keine Rolle, wie oft man hintereinander "get alerts" aufruft. Solange der Cache nicht älter als 15 Minuten ist, wird aus dem Cache gelesen.

Mir war wichtig, darauf aufmerksam zu machen, dass es eine ganze Menge Daten sein können (aber nicht müssen), damit niemand, der z.B. seine Internetverbindung per Mobilfunk herstellt, unverhofft sein Freivolumen verbraucht hat. Wer eine DSL Flat verwendet, muss sich keine Gedanken machen.

Grüße,
Jens
Genau das habe ich gemeint. Danke für die Erklärung.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 12 Mai 2018, 19:51:36
@curt
Wie bereits von @MadMax-FHEM vermutet und von @Rudy bestätigt ist die Proxy-Einstellung nur bei Bedarf erforderlich, falls man einen Proxy im eigenen Netzwerk betreibt und keine direkte Internetverbindung hat. Oft ist das sowieso mit das Erste was man konfiguriert, wenn man einen Proxy hat, da sonst z.B. auch FHEM Update nicht funktioniert, und insofern nur zur Vollständigkeit in der Beschreibung mit aufgeführt.

Habe den Wiki-Text ein bisschen geändert. Vielleicht hilft das anderen, diesen Installationsschritt besser einordnen zu können.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 13 Mai 2018, 04:22:51
Zitat von: jensb am 12 Mai 2018, 19:51:36
Habe den Wiki-Text ein bisschen geändert.

Da habe ich gleich noch etwas. Du schreibst im Wiki "Da zur Orientierung nur die Bezeichnungen zur Verfügung stehen, ist die Auswahl u.U. mehrdeutig und man muss ausprobieren, welche die gewünschte Warnzelle ist."

Richtig ist:
Ab der zweiten Ziffer ist das der AGS (Amtliche Gemeindeschlüssel der Bundesrepublik Deutschland). Das gibt es auch irgendwo als Verzeichnis. Auf alle Fälle findet man den AGS eines Landkreises, einer Stadt, einer Gemeinde über den jeweiligen Wikipedia-Eintrag, dort die Tabelle rechts oben.

Schön wäre auch ein kurzer Text zu "forecastStation" - wo man die denn nun wieder findet (da muss ich gleich wild suchen).

Freundliche Grüße.
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 13 Mai 2018, 11:23:04
Hallo Jens,
kannst du für die Alarme das Reading "a_x_eventGroup" auch in deutsch bereitstellen? Im Moment wird dort "Thunderstorm" eingetragen, obwohl die restlichen Readings in Deutsch sind.

Danke und Gruß
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 13 Mai 2018, 11:29:19
Hallo Jens,
kannst du mir schreiben warum mir folgendes im Log geschrieben wird ??

2018.05.13 10:15:05 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','807138012','1526199305.22938')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.

2018.05.13 10:30:05 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','807138012','1526200205.22375')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.

2018.05.13 10:45:05 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','807138012','1526201105.33688')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.

2018.05.13 11:00:05 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','807138012','1526202005.53982')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.

2018.05.13 11:15:05 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','807138012','1526202905.52744')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.


Hier das List:
Internals:
   .TZ        Europe/Berlin
   .warncellId 807138012
   FHEM_TZ    Europe/Berlin
   NAME       DWD
   NR         618
   STATE      alerts updated
   TYPE       DWD_OpenData
   .alertsBlockingCall1:
     abortFn    DWD_OpenData_GetAlertsAbortFn
     bc_pid     2285
     finishFn   DWD_OpenData_GetAlertsFinishFn
     fn         DWD_OpenData_GetAlertsBlockingFn
     pid        DEAD:29807
     telnet     telnetPort_127.0.0.1_41838
     terminated 1
     timeout    60
     abortArg:
     arg:
   .attraggr:
   .attrminint:
   OLDREADINGS:
   READINGS:
     2018-05-13 11:15:05   a_0_altitude    0
     2018-05-13 11:15:05   a_0_area        807138012
     2018-05-13 11:15:05   a_0_areaColor   255, 153, 0
     2018-05-13 11:15:05   a_0_areaDesc    Stadt Dierdorf
     2018-05-13 11:15:05   a_0_category    Met
     2018-05-13 11:15:05   a_0_ceiling     3000
     2018-05-13 11:15:05   a_0_description Von Südosten ziehen Gewitter auf. Dabei gibt es Starkregen mit Niederschlagsmengen bis 20 l/m² in 6 Stunden.
     2018-05-13 11:15:05   a_0_event       34
     2018-05-13 11:15:05   a_0_eventDesc   STARKES GEWITTER
     2018-05-13 11:15:05   a_0_eventGroup  RAIN
     2018-05-13 11:15:05   a_0_expires     2018-05-13 12:00:00
     2018-05-13 11:15:05   a_0_headline    Amtliche WARNUNG vor STARKEM GEWITTER
     2018-05-13 11:15:05   a_0_instruction ACHTUNG! Hinweis auf mögliche Gefahren: Örtlich kann es Blitzschlag geben. Bei Blitzschlag besteht Lebensgefahr! Während des Platzregens sind kurzzeitig Verkehrsbehinderungen möglich.
     2018-05-13 11:15:05   a_0_onset       2018-05-13 09:16:00
     2018-05-13 11:15:05   a_0_responseType Prepare
     2018-05-13 11:15:05   a_0_severity    Moderate
     2018-05-13 11:15:05   a_0_urgency     Immediate
     2018-05-13 11:15:05   a_1_altitude    0
     2018-05-13 11:15:05   a_1_area        807138012
     2018-05-13 11:15:05   a_1_areaColor   255, 128, 128
     2018-05-13 11:15:05   a_1_areaDesc    Stadt Dierdorf
     2018-05-13 11:15:05   a_1_category    Met
     2018-05-13 11:15:05   a_1_ceiling     3000
     2018-05-13 11:15:05   a_1_description Ab dem heutigen frühen Sonntagnachmittag bis in die erste Nachthälfte hinein entwickeln sich gebietsweise schwere Gewitter, die aus Südost aufziehen. Örtlich ist mit Sturmböen bis 85 km/h (9 Bft ) und Hagel mit Korngrößen um 2 cm zu rechnen. Die Hauptgefahr geht durch die langsame Zuggeschwindigkeit der Gewitter aber von Starkregen aus: Es können Regenmengen von 20 bis 40 l/qm in kurzer Zeit oder bis zu 60 l/qm bei wiederholten Gewittern fallen.


     2018-05-13 11:15:05   a_1_event       40
     2018-05-13 11:15:05   a_1_eventDesc   VORABINFORMATION SCHWERES GEWITTER
     2018-05-13 11:15:05   a_1_eventGroup  THUNDERSTORM
     2018-05-13 11:15:05   a_1_expires     2018-05-14 00:00:00
     2018-05-13 11:15:05   a_1_headline    VORABINFORMATION UNWETTER vor SCHWEREM GEWITTER
     2018-05-13 11:15:05   a_1_instruction Dies ist ein Hinweis auf erwartete Unwetter. Er soll die rechtzeitige Vorbereitung von Schutzmaßnahmen ermöglichen. Bitte verfolgen Sie die weiteren Wettervorhersagen mit besonderer Aufmerksamkeit.
     2018-05-13 11:15:05   a_1_onset       2018-05-13 13:00:00
     2018-05-13 11:15:05   a_1_responseType Prepare
     2018-05-13 11:15:05   a_1_severity    Severe
     2018-05-13 11:15:05   a_1_urgency     Future
     2018-05-13 11:15:05   a_copyright     Geobasisdaten: Copyright Bundesamt für Kartographie und Geodäsie, Frankfurt am Main, 2013
     2018-05-13 11:15:05   a_count         2
     2018-05-13 11:15:05   a_time          2018-05-13 11:15:05
     2018-05-13 06:00:05   fc0_0_NH        6
     2018-05-13 06:00:05   fc0_0_NL        2
     2018-05-13 06:00:05   fc0_0_NM        4
     2018-05-13 06:00:05   fc0_0_Nf        6
     2018-05-13 06:00:05   fc0_0_PPPP      1010.6
     2018-05-13 06:00:05   fc0_0_RR6        0.0
     2018-05-13 06:00:05   fc0_0_RRp12      10
     2018-05-13 06:00:05   fc0_0_RRp24       8
     2018-05-13 06:00:05   fc0_0_RRp6       10
     2018-05-13 06:00:05   fc0_0_TT        14.5
     2018-05-13 06:00:05   fc0_0_Td        10.2
     2018-05-13 06:00:05   fc0_0_VV        20200
     2018-05-13 06:00:05   fc0_0_dd         23
     2018-05-13 06:00:05   fc0_0_ff          7.4
     2018-05-13 06:00:05   fc0_0_fx         14.8
     2018-05-13 06:00:05   fc0_0_time      02:00
     2018-05-13 06:00:05   fc0_0_ww         3
     2018-05-13 06:00:05   fc0_0_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc0_1_NH        2
     2018-05-13 11:00:05   fc0_1_NL        3
     2018-05-13 11:00:05   fc0_1_NM        5
     2018-05-13 11:00:05   fc0_1_Nf        7
     2018-05-13 11:00:05   fc0_1_PPPP      1010.9
     2018-05-13 11:00:05   fc0_1_RR12       2.0
     2018-05-13 11:00:05   fc0_1_RR24       2.0
     2018-05-13 11:00:05   fc0_1_RR6        0.8
     2018-05-13 11:00:05   fc0_1_RRp12      36
     2018-05-13 11:00:05   fc0_1_RRp6       35
     2018-05-13 11:00:05   fc0_1_TT        15.2
     2018-05-13 11:00:05   fc0_1_Td        12.0
     2018-05-13 11:00:05   fc0_1_VV        11700
     2018-05-13 11:00:05   fc0_1_dd         55
     2018-05-13 11:00:05   fc0_1_ff          5.6
     2018-05-13 11:00:05   fc0_1_fx         13.0
     2018-05-13 11:00:05   fc0_1_time      08:00
     2018-05-13 11:00:05   fc0_1_ww        61
     2018-05-13 11:00:05   fc0_1_wwd       durchgehend leichter Regen
     2018-05-13 11:00:05   fc0_2_NH        8
     2018-05-13 11:00:05   fc0_2_NL        5
     2018-05-13 11:00:05   fc0_2_NM        6
     2018-05-13 11:00:05   fc0_2_Nf        7
     2018-05-13 11:00:05   fc0_2_PPPP      1010.7
     2018-05-13 11:00:05   fc0_2_RR6        1.4
     2018-05-13 11:00:05   fc0_2_RRp12      76
     2018-05-13 11:00:05   fc0_2_RRp24      82
     2018-05-13 11:00:05   fc0_2_RRp6       74
     2018-05-13 11:00:05   fc0_2_TT        16.5
     2018-05-13 11:00:05   fc0_2_Td        13.5
     2018-05-13 11:00:05   fc0_2_VV        5900
     2018-05-13 11:00:05   fc0_2_dd        262
     2018-05-13 11:00:05   fc0_2_ff          9.3
     2018-05-13 11:00:05   fc0_2_fx         20.4
     2018-05-13 11:00:05   fc0_2_time      14:00
     2018-05-13 11:00:05   fc0_2_ww        61
     2018-05-13 11:00:05   fc0_2_wwd       durchgehend leichter Regen
     2018-05-13 11:00:05   fc0_3_NH        8
     2018-05-13 11:00:05   fc0_3_NL        6
     2018-05-13 11:00:05   fc0_3_NM        8
     2018-05-13 11:00:05   fc0_3_Nf        8
     2018-05-13 11:00:05   fc0_3_PPPP      1010.8
     2018-05-13 11:00:05   fc0_3_RR12       5.2
     2018-05-13 11:00:05   fc0_3_RR6        3.8
     2018-05-13 11:00:05   fc0_3_RRp12      93
     2018-05-13 11:00:05   fc0_3_RRp6       87
     2018-05-13 11:00:05   fc0_3_TT        13.9
     2018-05-13 11:00:05   fc0_3_Td        13.4
     2018-05-13 11:00:05   fc0_3_VV        6000
     2018-05-13 11:00:05   fc0_3_dd        338
     2018-05-13 11:00:05   fc0_3_ff         11.1
     2018-05-13 11:00:05   fc0_3_fx         27.8
     2018-05-13 11:00:05   fc0_3_time      20:00
     2018-05-13 11:00:05   fc0_3_ww        61
     2018-05-13 11:00:05   fc0_3_wwd       durchgehend leichter Regen
     2018-05-13 11:00:05   fc0_SS24        10.4
     2018-05-13 11:00:05   fc0_Tg          11.3
     2018-05-13 11:00:05   fc0_Tm          16.8
     2018-05-13 11:00:05   fc0_Tn          13.1
     2018-05-13 11:00:05   fc0_Tx          18.6
     2018-05-13 11:00:05   fc0_date        2018-05-13
     2018-05-13 11:00:05   fc0_weekday     So
     2018-05-13 11:00:05   fc1_0_NH        8
     2018-05-13 11:00:05   fc1_0_NL        6
     2018-05-13 11:00:05   fc1_0_NM        7
     2018-05-13 11:00:05   fc1_0_Nf        8
     2018-05-13 11:00:05   fc1_0_PPPP      1010.3
     2018-05-13 11:00:05   fc1_0_RR6        3.2
     2018-05-13 11:00:05   fc1_0_RRp12      92
     2018-05-13 11:00:05   fc1_0_RRp24      96
     2018-05-13 11:00:05   fc1_0_RRp6       83
     2018-05-13 11:00:05   fc1_0_TT        13.0
     2018-05-13 11:00:05   fc1_0_Td        12.0
     2018-05-13 11:00:05   fc1_0_VV        5300
     2018-05-13 11:00:05   fc1_0_dd        342
     2018-05-13 11:00:05   fc1_0_ff         11.1
     2018-05-13 11:00:05   fc1_0_fx         22.2
     2018-05-13 11:00:05   fc1_0_time      02:00
     2018-05-13 11:00:05   fc1_0_ww        61
     2018-05-13 11:00:05   fc1_0_wwd       durchgehend leichter Regen
     2018-05-13 11:00:05   fc1_1_NH        1
     2018-05-13 11:00:05   fc1_1_NL        4
     2018-05-13 11:00:05   fc1_1_NM        3
     2018-05-13 11:00:05   fc1_1_Nf        6
     2018-05-13 11:00:05   fc1_1_PPPP      1009.7
     2018-05-13 11:00:05   fc1_1_RR12       3.6
     2018-05-13 11:00:05   fc1_1_RR24       8.8
     2018-05-13 11:00:05   fc1_1_RR6        0.4
     2018-05-13 11:00:05   fc1_1_RRp12      86
     2018-05-13 11:00:05   fc1_1_RRp6       67
     2018-05-13 11:00:05   fc1_1_TT        14.5
     2018-05-13 11:00:05   fc1_1_Td        11.4
     2018-05-13 11:00:05   fc1_1_VV        3200
     2018-05-13 11:00:05   fc1_1_dd         18
     2018-05-13 11:00:05   fc1_1_ff          9.3
     2018-05-13 11:00:05   fc1_1_fx         20.4
     2018-05-13 11:00:05   fc1_1_time      08:00
     2018-05-13 11:00:05   fc1_1_ww         3
     2018-05-13 11:00:05   fc1_1_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc1_2_NH        2
     2018-05-13 11:00:05   fc1_2_NL        3
     2018-05-13 11:00:05   fc1_2_NM        2
     2018-05-13 11:00:05   fc1_2_Nf        4
     2018-05-13 11:00:05   fc1_2_PPPP      1009.2
     2018-05-13 11:00:05   fc1_2_RR6        0.0
     2018-05-13 11:00:05   fc1_2_RRp12      67
     2018-05-13 11:00:05   fc1_2_RRp24      97
     2018-05-13 11:00:05   fc1_2_RRp6        9
     2018-05-13 11:00:05   fc1_2_TT        23.9
     2018-05-13 11:00:05   fc1_2_Td         8.7
     2018-05-13 11:00:05   fc1_2_VV        11400
     2018-05-13 11:00:05   fc1_2_dd         46
     2018-05-13 11:00:05   fc1_2_ff         18.5
     2018-05-13 11:00:05   fc1_2_fx         40.7
     2018-05-13 11:00:05   fc1_2_time      14:00
     2018-05-13 11:00:05   fc1_2_ww         1
     2018-05-13 11:00:05   fc1_2_wwd       Bewölkung abnehmend
     2018-05-13 11:00:05   fc1_3_NH        2
     2018-05-13 11:00:05   fc1_3_NL        1
     2018-05-13 11:00:05   fc1_3_NM        3
     2018-05-13 11:00:05   fc1_3_Nf        4
     2018-05-13 11:00:05   fc1_3_PPPP      1010.0
     2018-05-13 11:00:05   fc1_3_RR12       0.1
     2018-05-13 11:00:05   fc1_3_RR6        0.1
     2018-05-13 11:00:05   fc1_3_RRp12      20
     2018-05-13 11:00:05   fc1_3_RRp6       14
     2018-05-13 11:00:05   fc1_3_TT        21.8
     2018-05-13 11:00:05   fc1_3_Td         7.3
     2018-05-13 11:00:05   fc1_3_VV        12400
     2018-05-13 11:00:05   fc1_3_dd         33
     2018-05-13 11:00:05   fc1_3_ff         13.0
     2018-05-13 11:00:05   fc1_3_fx         35.2
     2018-05-13 11:00:05   fc1_3_time      20:00
     2018-05-13 11:00:05   fc1_3_ww         1
     2018-05-13 11:00:05   fc1_3_wwd       Bewölkung abnehmend
     2018-05-13 11:00:05   fc1_SS24         2.5
     2018-05-13 11:00:05   fc1_Tg          11.1
     2018-05-13 11:00:05   fc1_Tm          15.0
     2018-05-13 11:00:05   fc1_Tn          13.9
     2018-05-13 11:00:05   fc1_Tx          25.8
     2018-05-13 11:00:05   fc1_date        2018-05-14
     2018-05-13 11:00:05   fc1_ev           0.3
     2018-05-13 11:00:05   fc1_weekday     Mo
     2018-05-13 11:00:05   fc2_0_NH        1
     2018-05-13 11:00:05   fc2_0_NL        1
     2018-05-13 11:00:05   fc2_0_NM        2
     2018-05-13 11:00:05   fc2_0_Nf        3
     2018-05-13 11:00:05   fc2_0_PPPP      1012.7
     2018-05-13 11:00:05   fc2_0_RR6        0.0
     2018-05-13 11:00:05   fc2_0_RRp12      21
     2018-05-13 11:00:05   fc2_0_RRp24      69
     2018-05-13 11:00:05   fc2_0_RRp6       12
     2018-05-13 11:00:05   fc2_0_TT        13.3
     2018-05-13 11:00:05   fc2_0_Td         6.7
     2018-05-13 11:00:05   fc2_0_VV        23300
     2018-05-13 11:00:05   fc2_0_dd         28
     2018-05-13 11:00:05   fc2_0_ff         13.0
     2018-05-13 11:00:05   fc2_0_fx         22.2
     2018-05-13 11:00:05   fc2_0_time      02:00
     2018-05-13 11:00:05   fc2_0_ww         0
     2018-05-13 11:00:05   fc2_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-05-13 11:00:05   fc2_1_NH        1
     2018-05-13 11:00:05   fc2_1_NL        1
     2018-05-13 11:00:05   fc2_1_NM        2
     2018-05-13 11:00:05   fc2_1_Nf        3
     2018-05-13 11:00:05   fc2_1_PPPP      1014.0
     2018-05-13 11:00:05   fc2_1_RR12       0.0
     2018-05-13 11:00:05   fc2_1_RR24       0.1
     2018-05-13 11:00:05   fc2_1_RR6        0.0
     2018-05-13 11:00:05   fc2_1_RRp12      13
     2018-05-13 11:00:05   fc2_1_RRp6        8
     2018-05-13 11:00:05   fc2_1_TT        13.4
     2018-05-13 11:00:05   fc2_1_Td         7.0
     2018-05-13 11:00:05   fc2_1_VV        13200
     2018-05-13 11:00:05   fc2_1_dd         23
     2018-05-13 11:00:05   fc2_1_ff          9.3
     2018-05-13 11:00:05   fc2_1_fx         22.2
     2018-05-13 11:00:05   fc2_1_time      08:00
     2018-05-13 11:00:05   fc2_1_ww         0
     2018-05-13 11:00:05   fc2_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-05-13 11:00:05   fc2_2_NH        2
     2018-05-13 11:00:05   fc2_2_NL        2
     2018-05-13 11:00:05   fc2_2_NM        2
     2018-05-13 11:00:05   fc2_2_Nf        4
     2018-05-13 11:00:05   fc2_2_PPPP      1013.8
     2018-05-13 11:00:05   fc2_2_RR6        0.0
     2018-05-13 11:00:05   fc2_2_RRp12      13
     2018-05-13 11:00:05   fc2_2_RRp24      24
     2018-05-13 11:00:05   fc2_2_RRp6       10
     2018-05-13 11:00:05   fc2_2_TT        21.1
     2018-05-13 11:00:05   fc2_2_Td         5.7
     2018-05-13 11:00:05   fc2_2_VV        18300
     2018-05-13 11:00:05   fc2_2_dd         48
     2018-05-13 11:00:05   fc2_2_ff         14.8
     2018-05-13 11:00:05   fc2_2_fx         37.0
     2018-05-13 11:00:05   fc2_2_time      14:00
     2018-05-13 11:00:05   fc2_2_ww         1
     2018-05-13 11:00:05   fc2_2_wwd       Bewölkung abnehmend
     2018-05-13 11:00:05   fc2_3_NH        2
     2018-05-13 11:00:05   fc2_3_NL        2
     2018-05-13 11:00:05   fc2_3_NM        5
     2018-05-13 11:00:05   fc2_3_Nf        6
     2018-05-13 11:00:05   fc2_3_PPPP      1013.2
     2018-05-13 11:00:05   fc2_3_RR12       0.1
     2018-05-13 11:00:05   fc2_3_RR6        0.1
     2018-05-13 11:00:05   fc2_3_RRp12      24
     2018-05-13 11:00:05   fc2_3_RRp6       23
     2018-05-13 11:00:05   fc2_3_TT        18.4
     2018-05-13 11:00:05   fc2_3_Td         6.7
     2018-05-13 11:00:05   fc2_3_VV        17300
     2018-05-13 11:00:05   fc2_3_dd         34
     2018-05-13 11:00:05   fc2_3_ff         13.0
     2018-05-13 11:00:05   fc2_3_fx         25.9
     2018-05-13 11:00:05   fc2_3_time      20:00
     2018-05-13 11:00:05   fc2_3_ww         2
     2018-05-13 11:00:05   fc2_3_wwd       Bewölkung unverändert
     2018-05-13 11:00:05   fc2_SS24        10.8
     2018-05-13 11:00:05   fc2_Tg           7.6
     2018-05-13 11:00:05   fc2_Tm          17.9
     2018-05-13 11:00:05   fc2_Tn          13.2
     2018-05-13 11:00:05   fc2_Tx          22.9
     2018-05-13 11:00:05   fc2_date        2018-05-15
     2018-05-13 11:00:05   fc2_ev           2.0
     2018-05-13 11:00:05   fc2_weekday     Di
     2018-05-13 11:00:05   fc3_0_NH        1
     2018-05-13 11:00:05   fc3_0_NL        2
     2018-05-13 11:00:05   fc3_0_NM        6
     2018-05-13 11:00:05   fc3_0_Nf        6
     2018-05-13 11:00:05   fc3_0_PPPP      1015.2
     2018-05-13 11:00:05   fc3_0_RR6        0.5
     2018-05-13 11:00:05   fc3_0_RRp12      44
     2018-05-13 11:00:05   fc3_0_RRp24      44
     2018-05-13 11:00:05   fc3_0_RRp6       40
     2018-05-13 11:00:05   fc3_0_TT        11.8
     2018-05-13 11:00:05   fc3_0_Td         8.1
     2018-05-13 11:00:05   fc3_0_VV        15000
     2018-05-13 11:00:05   fc3_0_dd        357
     2018-05-13 11:00:05   fc3_0_ff          5.6
     2018-05-13 11:00:05   fc3_0_fx         13.0
     2018-05-13 11:00:05   fc3_0_time      02:00
     2018-05-13 11:00:05   fc3_0_ww         3
     2018-05-13 11:00:05   fc3_0_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc3_1_NH        1
     2018-05-13 11:00:05   fc3_1_NL        4
     2018-05-13 11:00:05   fc3_1_NM        5
     2018-05-13 11:00:05   fc3_1_Nf        6
     2018-05-13 11:00:05   fc3_1_PPPP      1015.3
     2018-05-13 11:00:05   fc3_1_RR12       0.9
     2018-05-13 11:00:05   fc3_1_RR24       0.9
     2018-05-13 11:00:05   fc3_1_RR6        0.4
     2018-05-13 11:00:05   fc3_1_RRp12      53
     2018-05-13 11:00:05   fc3_1_RRp6       40
     2018-05-13 11:00:05   fc3_1_TT        12.7
     2018-05-13 11:00:05   fc3_1_Td         8.9
     2018-05-13 11:00:05   fc3_1_VV        11300
     2018-05-13 11:00:05   fc3_1_dd          1
     2018-05-13 11:00:05   fc3_1_ff          7.4
     2018-05-13 11:00:05   fc3_1_fx         13.0
     2018-05-13 11:00:05   fc3_1_time      08:00
     2018-05-13 11:00:05   fc3_1_ww         3
     2018-05-13 11:00:05   fc3_1_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc3_2_NH        1
     2018-05-13 11:00:05   fc3_2_NL        5
     2018-05-13 11:00:05   fc3_2_NM        4
     2018-05-13 11:00:05   fc3_2_Nf        7
     2018-05-13 11:00:05   fc3_2_PPPP      1015.6
     2018-05-13 11:00:05   fc3_2_RR6        0.5
     2018-05-13 11:00:05   fc3_2_RRp12      53
     2018-05-13 11:00:05   fc3_2_RRp24      72
     2018-05-13 11:00:05   fc3_2_RRp6       43
     2018-05-13 11:00:05   fc3_2_TT        17.5
     2018-05-13 11:00:05   fc3_2_Td         9.1
     2018-05-13 11:00:05   fc3_2_VV        16300
     2018-05-13 11:00:05   fc3_2_dd        341
     2018-05-13 11:00:05   fc3_2_ff         13.0
     2018-05-13 11:00:05   fc3_2_fx         27.8
     2018-05-13 11:00:05   fc3_2_time      14:00
     2018-05-13 11:00:05   fc3_2_ww        61
     2018-05-13 11:00:05   fc3_2_wwd       durchgehend leichter Regen
     2018-05-13 11:00:05   fc3_3_NH        2
     2018-05-13 11:00:05   fc3_3_NL        4
     2018-05-13 11:00:05   fc3_3_NM        5
     2018-05-13 11:00:05   fc3_3_Nf        7
     2018-05-13 11:00:05   fc3_3_PPPP      1016.5
     2018-05-13 11:00:05   fc3_3_RR12       1.1
     2018-05-13 11:00:05   fc3_3_RR6        0.6
     2018-05-13 11:00:05   fc3_3_RRp12      60
     2018-05-13 11:00:05   fc3_3_RRp6       50
     2018-05-13 11:00:05   fc3_3_TT        15.6
     2018-05-13 11:00:05   fc3_3_Td         8.9
     2018-05-13 11:00:05   fc3_3_VV        14800
     2018-05-13 11:00:05   fc3_3_dd        346
     2018-05-13 11:00:05   fc3_3_ff         11.1
     2018-05-13 11:00:05   fc3_3_fx         25.9
     2018-05-13 11:00:05   fc3_3_time      20:00
     2018-05-13 11:00:05   fc3_3_ww        61
     2018-05-13 11:00:05   fc3_3_wwd       durchgehend leichter Regen
     2018-05-13 11:00:05   fc3_SS24        10.3
     2018-05-13 11:00:05   fc3_Tg           8.0
     2018-05-13 11:00:05   fc3_Tm          15.9
     2018-05-13 11:00:05   fc3_Tn          12.4
     2018-05-13 11:00:05   fc3_Tx          19.5
     2018-05-13 11:00:05   fc3_date        2018-05-16
     2018-05-13 11:00:05   fc3_ev           1.8
     2018-05-13 11:00:05   fc3_weekday     Mi
     2018-05-13 11:00:05   fc4_0_NH        2
     2018-05-13 11:00:05   fc4_0_NL        4
     2018-05-13 11:00:05   fc4_0_NM        4
     2018-05-13 11:00:05   fc4_0_Nf        6
     2018-05-13 11:00:05   fc4_0_PPPP      1019.6
     2018-05-13 11:00:05   fc4_0_RR6        0.5
     2018-05-13 11:00:05   fc4_0_RRp12      63
     2018-05-13 11:00:05   fc4_0_RRp24      76
     2018-05-13 11:00:05   fc4_0_RRp6       39
     2018-05-13 11:00:05   fc4_0_TT        10.7
     2018-05-13 11:00:05   fc4_0_Td         7.6
     2018-05-13 11:00:05   fc4_0_VV        17600
     2018-05-13 11:00:05   fc4_0_dd        330
     2018-05-13 11:00:05   fc4_0_ff          9.3
     2018-05-13 11:00:05   fc4_0_fx         18.5
     2018-05-13 11:00:05   fc4_0_time      02:00
     2018-05-13 11:00:05   fc4_0_ww         3
     2018-05-13 11:00:05   fc4_0_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc4_1_NH        2
     2018-05-13 11:00:05   fc4_1_NL        4
     2018-05-13 11:00:05   fc4_1_NM        3
     2018-05-13 11:00:05   fc4_1_Nf        6
     2018-05-13 11:00:05   fc4_1_PPPP      1020.4
     2018-05-13 11:00:05   fc4_1_RR12       0.6
     2018-05-13 11:00:05   fc4_1_RR24       1.7
     2018-05-13 11:00:05   fc4_1_RR6        0.1
     2018-05-13 11:00:05   fc4_1_RRp12      48
     2018-05-13 11:00:05   fc4_1_RRp6       33
     2018-05-13 11:00:05   fc4_1_TT         9.6
     2018-05-13 11:00:05   fc4_1_Td         5.8
     2018-05-13 11:00:05   fc4_1_VV        8200
     2018-05-13 11:00:05   fc4_1_dd        341
     2018-05-13 11:00:05   fc4_1_ff          7.4
     2018-05-13 11:00:05   fc4_1_fx         18.5
     2018-05-13 11:00:05   fc4_1_time      08:00
     2018-05-13 11:00:05   fc4_1_ww         3
     2018-05-13 11:00:05   fc4_1_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc4_2_NH        2
     2018-05-13 11:00:05   fc4_2_NL        5
     2018-05-13 11:00:05   fc4_2_NM        3
     2018-05-13 11:00:05   fc4_2_Nf        6
     2018-05-13 11:00:05   fc4_2_PPPP      1020.1
     2018-05-13 11:00:05   fc4_2_RR6        0.0
     2018-05-13 11:00:05   fc4_2_RRp12      49
     2018-05-13 11:00:05   fc4_2_RRp24      75
     2018-05-13 11:00:05   fc4_2_RRp6       40
     2018-05-13 11:00:05   fc4_2_TT        14.4
     2018-05-13 11:00:05   fc4_2_Td         4.8
     2018-05-13 11:00:05   fc4_2_VV        17800
     2018-05-13 11:00:05   fc4_2_dd        344
     2018-05-13 11:00:05   fc4_2_ff         14.8
     2018-05-13 11:00:05   fc4_2_fx         29.6
     2018-05-13 11:00:05   fc4_2_time      14:00
     2018-05-13 11:00:05   fc4_2_ww         3
     2018-05-13 11:00:05   fc4_2_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc4_3_NH        2
     2018-05-13 11:00:05   fc4_3_NL        4
     2018-05-13 11:00:05   fc4_3_NM        4
     2018-05-13 11:00:05   fc4_3_Nf        6
     2018-05-13 11:00:05   fc4_3_PPPP      1019.2
     2018-05-13 11:00:05   fc4_3_RR12       0.0
     2018-05-13 11:00:05   fc4_3_RR6        0.0
     2018-05-13 11:00:05   fc4_3_RRp12      52
     2018-05-13 11:00:05   fc4_3_RRp6       40
     2018-05-13 11:00:05   fc4_3_TT        12.8
     2018-05-13 11:00:05   fc4_3_Td         5.1
     2018-05-13 11:00:05   fc4_3_VV        17300
     2018-05-13 11:00:05   fc4_3_dd        351
     2018-05-13 11:00:05   fc4_3_ff         11.1
     2018-05-13 11:00:05   fc4_3_fx         25.9
     2018-05-13 11:00:05   fc4_3_time      20:00
     2018-05-13 11:00:05   fc4_3_ww         3
     2018-05-13 11:00:05   fc4_3_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc4_SS24         4.9
     2018-05-13 11:00:05   fc4_Tg           6.7
     2018-05-13 11:00:05   fc4_Tm          14.0
     2018-05-13 11:00:05   fc4_Tn           9.4
     2018-05-13 11:00:05   fc4_Tx          16.1
     2018-05-13 11:00:05   fc4_date        2018-05-17
     2018-05-13 11:00:05   fc4_ev           1.1
     2018-05-13 11:00:05   fc4_weekday     Do
     2018-05-13 11:00:05   fc5_0_NH        2
     2018-05-13 11:00:05   fc5_0_NL        4
     2018-05-13 11:00:05   fc5_0_NM        3
     2018-05-13 11:00:05   fc5_0_Nf        5
     2018-05-13 11:00:05   fc5_0_PPPP      1020.6
     2018-05-13 11:00:05   fc5_0_RR6        0.1
     2018-05-13 11:00:05   fc5_0_RRp12      48
     2018-05-13 11:00:05   fc5_0_RRp24      62
     2018-05-13 11:00:05   fc5_0_RRp6       26
     2018-05-13 11:00:05   fc5_0_TT         8.6
     2018-05-13 11:00:05   fc5_0_Td         5.2
     2018-05-13 11:00:05   fc5_0_VV        22900
     2018-05-13 11:00:05   fc5_0_dd        324
     2018-05-13 11:00:05   fc5_0_ff          9.3
     2018-05-13 11:00:05   fc5_0_fx         16.7
     2018-05-13 11:00:05   fc5_0_time      02:00
     2018-05-13 11:00:05   fc5_0_ww         2
     2018-05-13 11:00:05   fc5_0_wwd       Bewölkung unverändert
     2018-05-13 11:00:05   fc5_1_NH        2
     2018-05-13 11:00:05   fc5_1_NL        4
     2018-05-13 11:00:05   fc5_1_NM        3
     2018-05-13 11:00:05   fc5_1_Nf        6
     2018-05-13 11:00:05   fc5_1_PPPP      1020.5
     2018-05-13 11:00:05   fc5_1_RR12       0.2
     2018-05-13 11:00:05   fc5_1_RR24       0.2
     2018-05-13 11:00:05   fc5_1_RR6        0.1
     2018-05-13 11:00:05   fc5_1_RRp12      39
     2018-05-13 11:00:05   fc5_1_RRp6       26
     2018-05-13 11:00:05   fc5_1_TT         8.9
     2018-05-13 11:00:05   fc5_1_Td         6.1
     2018-05-13 11:00:05   fc5_1_VV        15000
     2018-05-13 11:00:05   fc5_1_dd        333
     2018-05-13 11:00:05   fc5_1_ff          7.4
     2018-05-13 11:00:05   fc5_1_fx         14.8
     2018-05-13 11:00:05   fc5_1_time      08:00
     2018-05-13 11:00:05   fc5_1_ww         3
     2018-05-13 11:00:05   fc5_1_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc5_2_NH        1
     2018-05-13 11:00:05   fc5_2_NL        5
     2018-05-13 11:00:05   fc5_2_NM        3
     2018-05-13 11:00:05   fc5_2_Nf        6
     2018-05-13 11:00:05   fc5_2_PPPP      1019.7
     2018-05-13 11:00:05   fc5_2_RR6        0.0
     2018-05-13 11:00:05   fc5_2_RRp12      39
     2018-05-13 11:00:05   fc5_2_RRp24      61
     2018-05-13 11:00:05   fc5_2_RRp6       31
     2018-05-13 11:00:05   fc5_2_TT        14.6
     2018-05-13 11:00:05   fc5_2_Td         6.5
     2018-05-13 11:00:05   fc5_2_VV        20700
     2018-05-13 11:00:05   fc5_2_dd        323
     2018-05-13 11:00:05   fc5_2_ff         13.0
     2018-05-13 11:00:05   fc5_2_fx         27.8
     2018-05-13 11:00:05   fc5_2_time      14:00
     2018-05-13 11:00:05   fc5_2_ww         3
     2018-05-13 11:00:05   fc5_2_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc5_3_NH        2
     2018-05-13 11:00:05   fc5_3_NL        4
     2018-05-13 11:00:05   fc5_3_NM        3
     2018-05-13 11:00:05   fc5_3_Nf        6
     2018-05-13 11:00:05   fc5_3_PPPP      1019.1
     2018-05-13 11:00:05   fc5_3_RR12       0.1
     2018-05-13 11:00:05   fc5_3_RR6        0.1
     2018-05-13 11:00:05   fc5_3_RRp12      42
     2018-05-13 11:00:05   fc5_3_RRp6       34
     2018-05-13 11:00:05   fc5_3_TT        14.4
     2018-05-13 11:00:05   fc5_3_Td         7.4
     2018-05-13 11:00:05   fc5_3_VV        19200
     2018-05-13 11:00:05   fc5_3_dd        346
     2018-05-13 11:00:05   fc5_3_ff          9.3
     2018-05-13 11:00:05   fc5_3_fx         24.1
     2018-05-13 11:00:05   fc5_3_time      20:00
     2018-05-13 11:00:05   fc5_3_ww         2
     2018-05-13 11:00:05   fc5_3_wwd       Bewölkung unverändert
     2018-05-13 11:00:05   fc5_SS24         5.9
     2018-05-13 11:00:05   fc5_Tg           5.3
     2018-05-13 11:00:05   fc5_Tm          11.1
     2018-05-13 11:00:05   fc5_Tn           8.7
     2018-05-13 11:00:05   fc5_Tx          16.6
     2018-05-13 11:00:05   fc5_date        2018-05-18
     2018-05-13 11:00:05   fc5_ev           1.0
     2018-05-13 11:00:05   fc5_weekday     Fr
     2018-05-13 11:00:05   fc6_0_NH        2
     2018-05-13 11:00:05   fc6_0_NL        3
     2018-05-13 11:00:05   fc6_0_NM        3
     2018-05-13 11:00:05   fc6_0_Nf        5
     2018-05-13 11:00:05   fc6_0_PPPP      1020.1
     2018-05-13 11:00:05   fc6_0_RR6        0.1
     2018-05-13 11:00:05   fc6_0_RRp12      40
     2018-05-13 11:00:05   fc6_0_RRp24      50
     2018-05-13 11:00:05   fc6_0_RRp6       24
     2018-05-13 11:00:05   fc6_0_TT         9.5
     2018-05-13 11:00:05   fc6_0_Td         7.7
     2018-05-13 11:00:05   fc6_0_VV        20800
     2018-05-13 11:00:05   fc6_0_dd        347
     2018-05-13 11:00:05   fc6_0_ff          7.4
     2018-05-13 11:00:05   fc6_0_fx         14.8
     2018-05-13 11:00:05   fc6_0_time      02:00
     2018-05-13 11:00:05   fc6_0_ww         2
     2018-05-13 11:00:05   fc6_0_wwd       Bewölkung unverändert
     2018-05-13 11:00:05   fc6_1_NH        2
     2018-05-13 11:00:05   fc6_1_NL        4
     2018-05-13 11:00:05   fc6_1_NM        2
     2018-05-13 11:00:05   fc6_1_Nf        5
     2018-05-13 11:00:05   fc6_1_PPPP      1020.2
     2018-05-13 11:00:05   fc6_1_RR12       0.3
     2018-05-13 11:00:05   fc6_1_RR24       0.5
     2018-05-13 11:00:05   fc6_1_RR6        0.3
     2018-05-13 11:00:05   fc6_1_RRp12      34
     2018-05-13 11:00:05   fc6_1_RRp6       24
     2018-05-13 11:00:05   fc6_1_TT        10.3
     2018-05-13 11:00:05   fc6_1_Td         8.2
     2018-05-13 11:00:05   fc6_1_VV        9400
     2018-05-13 11:00:05   fc6_1_dd        352
     2018-05-13 11:00:05   fc6_1_ff          5.6
     2018-05-13 11:00:05   fc6_1_fx         14.8
     2018-05-13 11:00:05   fc6_1_time      08:00
     2018-05-13 11:00:05   fc6_1_ww         3
     2018-05-13 11:00:05   fc6_1_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc6_2_NH        1
     2018-05-13 11:00:05   fc6_2_NL        4
     2018-05-13 11:00:05   fc6_2_NM        2
     2018-05-13 11:00:05   fc6_2_Nf        6
     2018-05-13 11:00:05   fc6_2_PPPP      1018.9
     2018-05-13 11:00:05   fc6_2_RR6        0.1
     2018-05-13 11:00:05   fc6_2_RRp12      34
     2018-05-13 11:00:05   fc6_2_RRp24      51
     2018-05-13 11:00:05   fc6_2_RRp6       27
     2018-05-13 11:00:05   fc6_2_TT        16.4
     2018-05-13 11:00:05   fc6_2_Td         8.2
     2018-05-13 11:00:05   fc6_2_VV        16500
     2018-05-13 11:00:05   fc6_2_dd         66
     2018-05-13 11:00:05   fc6_2_ff         13.0
     2018-05-13 11:00:05   fc6_2_fx         25.9
     2018-05-13 11:00:05   fc6_2_time      14:00
     2018-05-13 11:00:05   fc6_2_ww         3
     2018-05-13 11:00:05   fc6_2_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc6_3_NH        2
     2018-05-13 11:00:05   fc6_3_NL        3
     2018-05-13 11:00:05   fc6_3_NM        3
     2018-05-13 11:00:05   fc6_3_Nf        5
     2018-05-13 11:00:05   fc6_3_PPPP      1017.9
     2018-05-13 11:00:05   fc6_3_RR12       0.3
     2018-05-13 11:00:05   fc6_3_RR6        0.2
     2018-05-13 11:00:05   fc6_3_RRp12      36
     2018-05-13 11:00:05   fc6_3_RRp6       29
     2018-05-13 11:00:05   fc6_3_TT        15.6
     2018-05-13 11:00:05   fc6_3_Td         8.5
     2018-05-13 11:00:05   fc6_3_VV        16300
     2018-05-13 11:00:05   fc6_3_dd         43
     2018-05-13 11:00:05   fc6_3_ff          9.3
     2018-05-13 11:00:05   fc6_3_fx         22.2
     2018-05-13 11:00:05   fc6_3_time      20:00
     2018-05-13 11:00:05   fc6_3_ww         3
     2018-05-13 11:00:05   fc6_3_wwd       Bewölkung zunehmend
     2018-05-13 11:00:05   fc6_SS24         6.6
     2018-05-13 11:00:05   fc6_Tg           5.9
     2018-05-13 11:00:05   fc6_Tm          11.8
     2018-05-13 11:00:05   fc6_Tn           9.7
     2018-05-13 11:00:05   fc6_Tx          18.5
     2018-05-13 11:00:05   fc6_date        2018-05-19
     2018-05-13 11:00:05   fc6_ev           1.0
     2018-05-13 11:00:05   fc6_weekday     Sa
     2018-05-13 11:00:05   fc7_0_NH        2
     2018-05-13 11:00:05   fc7_0_NL        3
     2018-05-13 11:00:05   fc7_0_NM        3
     2018-05-13 11:00:05   fc7_0_Nf        5
     2018-05-13 11:00:05   fc7_0_PPPP      1018.7
     2018-05-13 11:00:05   fc7_0_RR6        0.3
     2018-05-13 11:00:05   fc7_0_RRp12      37
     2018-05-13 11:00:05   fc7_0_RRp24      49
     2018-05-13 11:00:05   fc7_0_RRp6       27
     2018-05-13 11:00:05   fc7_0_TT         9.6
     2018-05-13 11:00:05   fc7_0_Td         7.9
     2018-05-13 11:00:05   fc7_0_VV        18100
     2018-05-13 11:00:05   fc7_0_dd         14
     2018-05-13 11:00:05   fc7_0_ff          7.4
     2018-05-13 11:00:05   fc7_0_fx         14.8
     2018-05-13 11:00:05   fc7_0_time      02:00
     2018-05-13 11:00:05   fc7_0_ww         2
     2018-05-13 11:00:05   fc7_0_wwd       Bewölkung unverändert
     2018-05-13 11:00:05   fc7_date        2018-05-20
     2018-05-13 11:00:05   fc7_weekday     So
     2018-05-13 11:00:05   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2018-05-13 11:00:05   fc_station      K172
     2018-05-13 11:00:05   fc_time         2018-05-13 11:00:05
     2018-05-13 11:15:05   state           alerts updated
Attributes:
   alertArea  807138012
   forecastDays 7
   forecastStation K172
   forecastWW2Text 1
   room       Wetter


Danke und einen schönen Sonntag

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Mai 2018, 11:38:16
@somansch
Zitat... kannst du für die Alarme das Reading "a_x_eventGroup" auch in deutsch bereitstellen? Im Moment wird dort "Thunderstorm" eingetragen, obwohl die restlichen Readings in Deutsch sind.
Bei diesem Reading handelt es sich um Rohdaten des DWD, die ich nicht ändern möchte. Ich wollte genau wegen des Sprachunterschieds dieses Reading ursprünglich ganz weglassen, habe es der Vollständigkeit halber aber doch bereitgestellt.

Für die Übersetzung muss man die CAP-Spezifikation heranziehen und alle möglichen Gruppenbezeichner übersetzen. Für eine schnelle Lösung kannst du dir mit einem notifiy aus "a_x_eventGroup" ein "a_x_eventGroupDE" selbst erzeugen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Mai 2018, 11:42:29
@curt
Der Hinweis auf die amtlichen Gemeindeschlüssel ist super. Habe den Wiki-Text noch einmal angepasst, auch in Bezug auf den Zusammenhang zwischen IDs und Attributen. Vielleicht kannst du den neuen Wiki-Text noch einmal ansehen und mir sagen, ob die neue Version deine Fragen schlüssig beantwortet oder ob du weitere Verbesserungsvorschläge hast.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Mai 2018, 11:44:02
@Intruder1956
Habe da spontan noch keine Idee, wo diese Meldungen herkommen. Werde mir das aber noch genauer ansehen und mich noch mal melden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Mai 2018, 13:23:54
@Intruder1956

Bitte ersetze die Zeile 1308 von 55_DWD_OpenData.pm mit:
$hash->{ALERTS_IN_CACHE} = defined($dwd_alerts[0])? scalar(keys(%{$dwd_alerts[0]})) : 0 + defined($dwd_alerts[1])? scalar(keys(%{$dwd_alerts[1]})) : 0;

lade die neue Modulversion mit "reload 55_DWD_OpenData" und führe "get updateAlertsCache" aus. Die Warnungen sollten dann nicht mehr auftauchen.

Bitte Rückmeldung, ob es hilft, da ich das nicht nachgestellt bekomme.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 13 Mai 2018, 15:03:24
hallo Jens,
nach der Stromausfall hier im Dorf und Internet wieder geht habe ich deine Änderung ausgeführt.
Habe noch folgendes im Log:
2018.05.13 14:50:27 3: eval: { DWDOD_AsHtmlH("DWD") }
2018.05.13 14:50:27 1: PERL WARNING: Use of uninitialized value $fcStart in addition (+) at FHEM/DWDODweblink.pm line 666.
2018.05.13 14:50:27 3: eval: { DWDOD_AsHtmlH("DWD") }
2018.05.13 14:50:59 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','-2','1526215859.09071')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.

2018.05.13 15:00:06 1: ERROR evaluating {DWD_OpenData_GetAlertsFinishFn('DWD','','807138012','1526216406.09877')}: Not a HASH reference at ./FHEM/55_DWD_OpenData.pm line 1308.


Gruß Werner

Edit: jetzt erstmal Formel1 schauen
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Mai 2018, 18:56:14
Hallo Werner,

hier noch ein Versuch für Zeile 1308 zum Ausprobieren (natürlich erst nach Formel 1 ;) ):
$hash->{ALERTS_IN_CACHE} = (ref($dwd_alerts[0]) eq 'HASH'? scalar(keys(%{$dwd_alerts[0]})) : 0) + (ref($dwd_alerts[1]) eq 'HASH'? scalar(keys(%{$dwd_alerts[1]})) : 0);

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 13 Mai 2018, 21:11:57
Hallo Jens,
wir kommen der Sache schon näher  ;) habe nur noch dieses im Log nach einem "shutdown restart"

2018.05.13 20:37:32 3: eval: { DWDOD_AsHtmlH("DWD") }
2018.05.13 20:37:32 1: PERL WARNING: Use of uninitialized value $fcStart in addition (+) at FHEM/DWDODweblink.pm line 666.
2018.05.13 20:37:32 3: eval: { DWDOD_AsHtmlH("DWD") }


Noch eine Frage, wie kann ich die Warnmeldungen sichtbar machen, habe in beiden Modulen die Anleitungen gelesen aber leider nicht kapiert  :)

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Mai 2018, 22:06:13
Hallo Werner,

aus deiner Rückmeldung schließe ich, dass mit meinem 2. Vorschlag das von dir gemeldete Problem (ERROR ... Not a HASH reference) aus 55_DWD_OpenData.pm gelöst ist, das sich ja mit jeder Aktualisierung der Wetterwarnungen wiederholte. Werde das so als Update zur Verfügung stellen.

Dein Logging zeigt auch, dass der Weblink beim Neustart eine Fehlermeldung verursacht (WARNING ... Use of uninitialized value). Da es "nur" eine Warnung ist die nur einmal beim Neustart auftritt, ist das vor allem unschön, aber keine wirkliches Problem. Werde mir das demnächst mal vornehmen.

Zitat... wie kann ich die Warnmeldungen sichtbar machen ...
Du willst die Warnmeldungen wahrscheinlich im Weblink sehen. Zunächst einmal muss aber das DWD_OpenData-Modul richtig eingestellt sein. Wenn Warnungen vorliegen (z.B. auf der DWD-Website nachsehen), dann müssen bei dir "a_n_xxxx Readings" vorhanden sein. Dann sollte aber auch der Weblink (Version ab 02.04.18) am dazugehörigen Icon ein Warnsymbol anzeigen (in der Wiki ist ein Screenshot (https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_f.C3.BCr_die_Einrichtung_eines_Weblinks)). Auf das Warnsymbol kann man klicken, um die Warninfos zu lesen. Zum Ausprobieren kannst du auch "get alerts" für eine Warnzelle aufrufen, die gerade Warnungen hat.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 13 Mai 2018, 22:19:36
Zitat von: jensb am 13 Mai 2018, 22:06:13
Hallo Werner,
aus deiner Rückmeldung schließe ich, dass ...

Ich bin jetzt zwar nicht Werner - habe aber auch Probleme. Ich sehe keinerlei Readings. Und die theoretischen Grafiken der Vorhersage sind alle n/a.

@jensb
Ich habe daher einen Vorschlag - der zumindest mir das Leben leichter machen würde: Es wäre (mindestens für mich) hilfreich, wenn Du ein komplettes (echtes) Beispiel in das Wiki tun könntest.

Begründung:
Das könnte ich (und andere) nehmen, um erstmal zu sehen, wie das Ganze theoretisch dann bei mir aussehen und funktionieren muss. (Sicher kann man das mit trail und error nach vielen Stunden selbst - aber diesen Teilprozess kann man vielleicht doch abkürzen.)
Titel: Antw:Modul für DWD Open Data
Beitrag von: dafex am 14 Mai 2018, 12:41:04
Servus und Danke für das Modul.

@curt Hab auch ein paar Anfangsschwierigkeiten gehabt. Hast du auch die ID aus der dritte Spalte des (Katalog's MOSMIX  (https://www.dwd.de/DE/leistungen/met_verfahren_mosmix/mosmix_stationskatalog.cfg?view=nasPublication&nn=16102) genommen. Musste auch zwei mal neu starten.

Ja man muss ein bisschen spielen. Ist aber in Ordnung finde ich. Ist ja noch ein junges Modul mit Potential. Da wird sicher noch einiges kommen  ;) .

Danke und Gruaß
Josef
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 Mai 2018, 20:22:55
@curt
Wenn du die Vorbereitungsschritte aus der Wiki erledigt hast, kannst du als "komplettes (echtes) Beispiel" die Beispielkonfiguration für das Modul aus der Wiki nehmen. Das ist zwar zufälligerweise für Berlin, aber funktionell vollständig. Eigentlich braucht man davon sogar nur das "define" und die beiden ersten Attribute.

Wenn du dann mit "get forecast" immer noch keine Readings im Device siehst, dann stimmt irgend etwas anderes an der Installation nicht. Dann wird es Zeit für Attribut verbose=5, noch mal "get xxx" auslösen und nachsehen, was im Logfile steht. Wenn dir die Logeinträge zu kryptisch sind, kannst du sie auch hier posten. Hilfreich kann auch der "state" des Device sein. Bei Ablauffehlern steht da nämlich "error xxx". Bei "get alerts" ist es je nach Wetterlage dagegen normal, dass es keine Readings gibt.

Der Weblink kann nur anzeigen was das Device zur Verfügung stellt und mit n/a will der Weblink dem Betrachter klar machen, dass ihm die Vorhersagedaten fehlen, was ja zu klappen scheint.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 Mai 2018, 20:29:58
N/A hatte ich auch, als ich beschlossen hatte die Readings "einzuschränken": Attribut forecastProperties

Als ich alle Readings "zugelassen" hatte ging es...
...wenn allerdings keine Readings (egal welcher Grund) kommen kann (wie bereits ausgeführt) der weblink nat. nichts anzeigen.

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 Mai 2018, 21:44:10
Ab Dienstag ca. 08:00 steht ein Update für 55_DWD_OpenData.pm per FHEM Update zur Verfügung, dass den von @Intruder1956 hier (https://forum.fhem.de/index.php/topic,83097.msg801702.html#msg801702) gemeldeten Fehler "Not a HASH reference" behebt. Dieser Fehler tritt nicht auf allen Systemen auf und dürfte selbst wenn er auftritt keine relevanten Fehlfunktionen verursachen. Das Update hilft also nicht, wenn z.B. noch Installationsprobleme vorliegen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Skipper am 15 Mai 2018, 19:47:33
Hallo zusammen,

ich bin sehr froh, dass das Modul jetzt über das FHEM Update verfügbar ist. Ich hatte mir das Modul schon vor einiger Zeit angesehen und wollte es aktivieren, bin aber bisher nicht dazu gekommen. Jetzt habe ich es per Update installiert und will es aktivieren und siehe da ich bekomme folgenden Fehler:
Undefined subroutine &main::timelocal called at ./FHEM/55_DWD_OpenData.pm line 462
Wie kann ich diesen beheben?

Grüße
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 Mai 2018, 20:27:58
Hallo Skipper,

timelocal ist eine Funktion aus dem Perl-Standardmodul Time::Local. Vermutlich verwenden viele ein anderes FHEM-Modul, das Time::Local bereits lädt, so dass vor dir noch keiner gemerkt hat, dass im Modul 55_DWD_OpenData.pm der Aufruf

use Time::Local;

fehlt. Bitte z.B. in Zeile 48 hinzufügen und dann noch mal testen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Skipper am 15 Mai 2018, 21:23:49
Vielen Dank, das hat geholfen.
Sollte dringend nachgepflegt werden für solche User wie mich ;-)

Kurze Frage noch zu den Daten selber.
Aus dem Wert Nf, NL, NM, NH kann ich da den Bewölkungsgrad ablesen?
Wenn ja, ich würde gerne meine Rolläden wenn für den Tag  ein bestimmter Bewölkungsgrad vorhergesagt ist herunter fahren.
Oder andersherum ausgedrückt, wenn die Sonne scheint und kaum bis keine Wolken da sind soll der Rolladen runter fahren aber nicht wenn es bedeckt ist.
(Rolläden sind natürlich per FHEM steuerbar)
Wie würdet ihr vorgehen?
Mir ist auch wichtig, dass die Daten nicht aus einem Messpunkt kommen sondern die Vorhersage des Tages berücksichtigen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 Mai 2018, 21:59:41
Hallo Skipper,

danke für die schnelle Rückmeldung. Wird natürlich nachgepflegt, damit andere nicht an der gleichen Stelle stolpern.

ZitatAus dem Wert Nf, NL, NM, NH kann ich da den Bewölkungsgrad ablesen?
Ja, der Wetterfrosch redet in diesem Zusammenhang von Achteln, wobei 8/8 der vollständigen Bewölkung entspricht.

Zitat... ich würde gerne meine Rolläden wenn für den Tag  ein bestimmter Bewölkungsgrad vorhergesagt ist herunter fahren. ... Wie würdet ihr vorgehen?
Das hatten wir in ähnlicher Form schon mal weiter vorn in diesem Thread, wobei es da um das Rasenmähen ging. Ich würde es nicht mit dem Bewölkungsgrad steuern wollen, da das für mich nicht aussagekräftig genug ist und mir hier wichtiger ist, was gerade war bzw. ist und nicht was sein wird. Dafür habe ich einen TSL2561 auf dem Dach. Der hat einen Helligkeits- und einen IR-Sensor. Dadurch ist man von der Theorie der Wettervorhersage unabhängig. Die Messwerte kann man z.B. auch über einen Zeitraum integrieren, um aus mehreren  Messpunkten die Gesamtwirkung zu bestimmen. Vor allem hat man damit Helligkeit und Wärme als getrennte Messwerte. Manchmal will man nicht zu viel Licht, aber zumindest im Sommer will man nicht zu viel Wärme.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 Mai 2018, 22:15:49
Ab Mittwoch ca. 08:00 steht ein Update für 55_DWD_OpenData.pm per FHEM Update zur Verfügung, dass den von @Skipper hier (https://forum.fhem.de/index.php/topic,83097.msg802448.html#msg802448) gemeldeten Fehler "Undefined subroutine &main::timelocal" behebt. Dieser Fehler tritt abhängig von den aktiven Modulen nur auf einzelnen Systemen auf und verhindert dann das Laden des Moduls durch FHEM.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 15 Mai 2018, 23:03:19
Zitat von: dafex am 14 Mai 2018, 12:41:04
@curt Hab auch ein paar Anfangsschwierigkeiten gehabt. Hast du auch die ID aus der dritte Spalte des (Katalog's MOSMIX  (https://www.dwd.de/DE/leistungen/met_verfahren_mosmix/mosmix_stationskatalog.cfg?view=nasPublication&nn=16102) genommen. Musste auch zwei mal neu starten.

Danke für den Hinweis. Jetzt tut es, ich habe feine Wölkchen.

Darf ich bitte dumme Fragen stellen?

* ALERTS_IN_CACHE 7
Schön für den Cache. Noch schöner wäre es, wenn ich die irgendwie angezeigt bekäme. Nur wie?

* attr DWD forecastDays 3
Wie weit geht das theoretisch?

* define DWDweblink weblink htmlCode { DWDOD_AsHtmlH("DWD", 4, 0) }
Was kann man damit schönes veranstalten? Also was bedeuten 4 und 0? Gibt es weitere Parameter? Oder gibt es Attribute dazu?

P.S: Das Rasenmäherproblem habe ich auch. Ich gehe mal viele Seiten blättern.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Mai 2018, 21:22:35
@curt
ZitatALERTS_IN_CACHE 7 - Noch schöner wäre es, wenn ich die irgendwie angezeigt bekäme. Nur wie?
Die willst du vermutlich gar nicht sehen - und wenn du sie wirklich sehen willst, musst du nur oft genug "get alerts" aufrufen. Im Cache stehen alle Wetterwarnungen für das gesamte Bundesgebiet. Wenn du alle Warnzellen von ganz Deutschland hintereinander abfragst, wirst du alle 7 Warnungen früher oder später zusammen haben. Bitte beachte, dass manchmal mehrere hundert Warnungen im Cache sind. Den ganzen Cache immer als Readings auszuliefern würde nur viel Overhead generieren und am Ende interessiert sich doch niemand dafür.

Auch wenns schwer fällt - bitte lies noch mal die Wiki und die gesamte englische Modulhilfe durch - da stehen die Antworten auf die anderen Fragen. Beim Weblink musst du dazu - wie es in der Wiki steht - die Datei öffnen und den Text am Ende lesen. Wenn noch Fragen bleiben noch mal melden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 16 Mai 2018, 22:35:29
Ja, es fällt schwer. Mal abgesehen davon, dass ich mir nicht sicher bin, ob es sinnvoll ist, dass jeder Einzelne stundenlang jede einzelne Fall mitnimmt - es fällt auch so schwer. Am Beispiel:

The function accepts two optional parameters to limit the number of icons to display (1...7, default 4) and to use minimum of ground and minimum temperature instead of the minimum temperature (0/1, default 0).

Vielleicht liegt es an meinem schlechten Englisch oder veralteter Mathematikausbildung: Ich hatte "4,0" übernommen und sehe acht Icons. Das sind schon mal mehr als die sieben in dem empfohlenen Text. Ich schalte testweise auf "7" - und habe 14 Icons. Der zweite Satzteil erschließt sich mir nun überhaupt nicht: Was ist mit "minimum of ground" gemeint? Die Bodentemperatur? Ich bekomme beide bei "1"? Rein von der Textlogik würde ich zwei Werte aber bei "0" bekommen. Hmm. Ratespiel.

Und über commandref will ich nichtmal nachdenken: Wenn man als Neuling da ran muss, ist das eigentlich immer Stochern im Nebel.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Mai 2018, 21:07:11
@curt
Was du da bezüglich des Weblink-Hilfetexts feststellst ist richtig. Er ist weit davon entfernt selbsterklärend zu sein. Aber bitte berücksichtigen, dass das Modul ursprünglich nur für den Eigenbedarf programmiert wurde und das sich weder das Programmieren noch das Dokumentieren von allein erledigen. Ich möchte diese Ansage auch nicht regelmäßig wiederholen, aber das hier ist mindestens das 3. Mal in diesem Thread.

Jeder darf mithelfen das Vorhandene zu verbessern. Das haben auch beim DWD-OpenData-Modul mehrere getan, durch Verbesserungsvorschläge, Hintergrundinformationen, genaue Fehlerbeschreibungen oder konkrete Fragen.

Ich weiß, dass nicht jeder FHEM-Nutzer selbst gut programmieren kann und das einigen das Englisch schwer fällt. Deshalb ist das Modul explizit nicht für Anfänger gedacht (das steht allerdings in der Commandref und die muss man ja nicht lesen ::) ). Wer es doch wagt, muss sich ein bisschen investieren - und Lesen ist der erste Schritt.

Hier ein Beispiel aus dem Weblink-Modul (ca. ab Zeile 560):

=item DWDOD_AsHtmlH($;$$)

  create forecast display as a horizontal CSS table with two icons per day

  @param   device name, scalar
  @param   number of days, scalar, optional, default 4 (including today)
  @param   flag to use minimum of ground and minimum temperature, scalar, optional, default 0
 
  @return  HTML string, scalar

=cut


Da steht "number of days, scalar, optional, default 4 (including today)" was deine Feststellung mit der Anzahl erklärt. Man müsste also im Hilfetext "icons" mit "days" ersetzen. Aber man sieht das ja scheinbar auch durch ein Experiment, wie du es gemacht hast.

minimum of ground and minimum temperature = min(Tg, Tn)

Darauf könnte man auch kommen, wenn man die Beschreibung der Readings in der Commandref lesen würde, denn da werden die gleichen Begriffe verwendet.

ZitatUnd über commandref will ich nichtmal nachdenken: Wenn man als Neuling da ran muss, ist das eigentlich immer Stochern im Nebel.

Das ist meiner Meinung nach der falsche Ansatz. Wenn ich etwas Neues machen will, dann mach ich mich schlau - selbst wenn ich nicht alles sofort verstehe. Und wenn es anfängt zu funktionieren, dann bringt ein zweiter Schlaumach-Durchgang den einen oder anderen Aha-Effekt. Dazu ist bei FHEM die Commandref da. Die Wiki kann das allein nicht leisten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 17 Mai 2018, 23:57:43
Erstens (das ist mir wichtig): Danke für Deine Arbeit.

Zweitens: Ich verstehe Deine Sicht, die wohl die offizielle FHEM-Sicht ist, jedenfalls begegnet sie mir oft. Allein - ich teile diese Sicht nicht. Das hat mehrere Gründe, die ich Dir gern erkläre: Ich bin durchaus berufstätig (übrigens in der Branche). Die Zeit, mich mit FHEM zu beschäftigen ist beschränkt. Gleichwohl bringe ich mich im Rahmen meiner bescheidenen Möglichkeiten bei mehreren Modulen aktiv ein. Vielleicht erinnerst Du Dich, dass u.a. der Tipp mit dem AGS von mir kam.

Bei einem Modul wie dem von Dir gestalteten ist der Hauptzweck durchaus klar, die Masse der künftigen Nutzer wird einige Möglichkeiten nutzen - welche das sind, ist vorhersehbar. Von daher muss eigentlich nicht jeder das Rad neu erfinden - das ist aber die Quintessenz Deines Beitrags.

Es gibt ein weiteres Problem (nicht nur bei Deinem Modul - aber auch da): Als neuer Nutzer kann man überhaupt nicht abschätzen, was das Modul eigentlich alles sinnvolles erledigen kann. Wenn es ideal läuft, findet man Schnipsel in der Diskussion. Oft läuft es weniger ideal: Jemand frug genau die Frage, die man selbst hat. Die Antwort ist das sybillische "guck commandref". Der Fragende meldete sich nicht wieder - und man weiß nicht: Hat er es geschafft, wie hat er es geschafft? Oder hat er es nicht geschafft?

Um die Haupteinsatzmöglichkeiten abschätzen zu können, gehören die eigentlich (optisch!) in den Wiki-Artikel. Da sieht der Nutzer "oh sowas schönes kann ich damit machen!". Nein, ich kann den Wiki-Artikel nicht erweitern, ich überschaue es derzeit ja nicht.

Anderes Beispiel: Offenbar besteht oft die Frage, wie man etwas (den Mover) in Abhängigkeit von angesagtem Regen in die Garage schicken kann - oder das Licht einschalten, was weiß ich. Das ist offensichtlich eine Haupteinsatzmöglichkeit. Und weil es eine ist, sollte man die erklären. - Es wird nicht erklärt. Sondern commandref lesen. Und Thread lesen, in der Hoffnung, dass da nicht nur "lies commandref" steht. Das ist oft durchaus frustrierend. Also werde ich das Rad zum freiunddrölfzigsten Mal neu erfinden. Ich werde überlegen, ab wieviel mm Regen und welcher Regenwahrscheinlichkeit ich "es kommt Regen" setzen sollte. Ich werde überlegen, wie man das mit DOIF oder diesem Hilfsmodul dafür oder weißderGeierwie macht. Und ich werde vermutlich scheitern. Mich maßlos ärgern.

Dabei existiert das grundsätzliche Problem seit gut 30 Jahren. Damals hieß IT noch EDV, in einigen Landstrichen ADV. Aber es hat sich über die Zeit nie geändert. Nur stolpert jede neue Generation von Codern dort.

Ich weiß nicht, ob Du es mitbekommen hast: Inzwischen haben sich Anfänger zusammengetan und schreiben erste solche Artikel, nachvollziehbare Artikel. Und es gibt Weblogs, die extern mit Beispielen zeigen, wie man ein ganz konkretes Problem bei FHEM angeht.

Tut mir leid - ich finde, dass musste gesagt werden. Weil ich an dieser Stelle erstmal aufgebe. Verhaltenseffizienz: Ich mache die Dinge, die Erfolg versprechen. Sehr viele Dinge, die in FHEM mir vermutlich sehr nützlich wären, sehe ich gar nicht, werde ich nie sehen. Das geht weit über Dein Modul hinaus, das ist offensichtlich ein Problem des Klimas der FHEM-Community.

Ich wiederhole:
Erstens (das ist mir wichtig): Danke für Deine Arbeit.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 Mai 2018, 21:53:56
@curt
Danke für die klaren Worte und danke für deinen Dank.

Aus der Anwenderperspektive hast du zu 100 % recht. Dass man im Forum oft Richtung Commandref geschickt wird, stimmt auch, da die Commandref die meisten Details bietet, denn sie wird vom Programmierer zusammen mit dem Modul gepflegt. Und es liegt auch daran, dass Programmierer nicht so gern Wiki-Texte schreiben. Das ist nichts neues, denn du schreibst ja selbst "Dabei existiert das grundsätzliche Problem seit gut 30 Jahren. ... Nur stolpert jede neue Generation von Codern dort."

Wenn du vom Fach bist, weißt du, dass für ein perfektes Ergebnis sehr viele koordiniert zusammen arbeiten müssen. Diese Voraussetzung ist aber bei einer nichtkommerziellen Lösung wie FHEM im Bezug auf ein einzelnes Modul nicht gegeben oder ergibt sich nur in Ausnahmefällen. Ich habe hier im Thread mehrfach um Mithilfe gebeten, da ich das Modul eigentlich nicht als offizielles Modul einbringen wollte, sondern "nur" meinen Eigenbau auch anderen zur Verfügung stellen wollte, damit das Rad nicht neu erfunden werden muss. Die gesuchte Hilfe gab es hier und da, und darüber habe ich mich sehr gefreut. Aber es kam genauso vor, dass sie großmundig versprochen wurde und als es um konkrete Arbeiten ging plötzlich Sendepause war.

Zitat
Ich weiß nicht, ob Du es mitbekommen hast: Inzwischen haben sich Anfänger zusammengetan und schreiben erste solche Artikel, nachvollziehbare Artikel. Und es gibt Weblogs, die extern mit Beispielen zeigen, wie man ein ganz konkretes Problem bei FHEM angeht.
Das ist mir durchaus bekannt. Ich halte das sogar für den besten Ansatz, dass jemand, der ein Modul mit Mühe zum Laufen bekommen hat, einen Artikel schreibt. Denn der kann das aus einer ganz anderen Perspektive als der Programmierer, und das ist für den nächsten Einsteiger die bessere Hilfe. Wenn der Artikel nicht nur in einem Blog sondern auch in der FHEM-Wiki landet, hat auch die FHEM-Community was davon. Die Blogger haben nämlich meist kein Problem damit sich hier im Forum schlau zu machen. Wenn sie dann auch für FHEM und nicht nur für sich schreiben, dann stimmt das Verhältnis von geben und nehmen. Das hier gesagt trifft natürlich nicht auf jeden zu, also bitte nicht missverstehen.

ZitatSehr viele Dinge, die in FHEM mir vermutlich sehr nützlich wären, sehe ich gar nicht, werde ich nie sehen.
Ja, die Details kommen einem nicht entgegen, da FHEM nicht eine auf bestimmte Funktionen beschränkte Lösung mit einer anwenderoptimierten Oberfläche ist sondern genau das Gegenteil: eine technisch offene Lösung mit einer minimalistischen Standardoberfläche für Enthusiasten. Wer es einfach haben will, muss sich bei den kommerziellen Lösungen umsehen, Testberichte lesen und sich entscheiden, auf welche technologische Monokultur(en) er sich einlassen will. Wer seine Möglichkeiten ausloten will und nach mehr Flexibilität und Interoperabilität sucht, der ist bei FHEM richtig. Der Preis dafür ist die Aufwand, sich mit der heterogenen Dokumentation auseinanderzusetzen und zum Teil lange zu experimentieren, bis etwas so funktioniert wie man es sich vorstellt. So lernt man Programmiersprachen und so lernt man FHEM. Wer etwas anderes erwartet hat die Einleitung der Pflichtlektüre  (https://fhem.de/Heimautomatisierung-mit-fhem.pdf)nicht gelesen.

Zitat... das ist offensichtlich ein Problem des Klimas der FHEM-Community
Da liegt sicherlich ein sehr kleines und nicht FHEM-spezifisches Körnchen Wahrheit drin, aber es stimmt meiner Meinung nach in dieser allgemeinen Form nicht. Hier investieren viele viel Zeit in die Programmierung und den Support bei einem Stundensatz von - richtig - 0 EUR. Und die FHEM Infrastruktur kostet jeden Monat echtes Geld. Zur Community gehören auch die Anwender die - richtig - 0 EUR für das Produkt FHEM und den Support zahlen. Es ist aber jedem überlassen, ob er nur Fragen stellt oder auch Antworten für andere hat. Trotzdem gibt es viele Anwender, die anderen Anwendern helfen und nur so kann es auch funktionieren.

ZitatWeil ich an dieser Stelle erstmal aufgebe.
Das finde ich sehr bedauerlich, aber aus deiner Perspektive nachvollziehbar. Falls du es dir noch mal anders überlegst empfehle ich konkrete Fragen wie die Steuerung eines Rasenmähers über einen eigenen Thread zu klären, sofern du das noch nicht versucht hast, denn nur so bekommst du Diskussionsteilnehmer, die sich genau für diese Fragestellung interessieren.

Deshalb hier noch mal mein Wunsch: Helft alle mit - jeder bei dem Thema zu dem er sich berufen fühlt. Aber bitte erwartet nicht, dass es schon die anderen machen werden. Man muss übrigens kein Programmierer sein, um einen Wiki-Artikel zu schreiben oder zu überarbeiten (Details zum Wiki-Benutzerkonto finden sich hier (https://wiki.fhem.de/wiki/FHEMWiki:Administratoren)).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 19 Mai 2018, 03:49:15
Hallo Jens,

danke für Deine freundliche Antwort (wir werden zunehmend offtopic, aber vielleicht ist es notwendig). Du bist da aus meiner Sicht die große Ausnahme, gerade bin ich (bei einem anderen Modul/Entwickler) fröhlich auf die Nase gefallen. Ich hatte mich da aktiv eingebracht.

Insgesamt halte ich das Forum in wesentlichen Teilen für wenig nutzerfreundlich. Natürlich ist das eine vereinfachte Darstellung, aber das ist schon meine Empfindung. Ich weiß nicht, wie ich das am besten beschreibe, ich versuche es: Es sind mehrere Faktoren: Das fängt mit dem beliebten "lies commandref" an, welches AUCH Machtdemonstration ist: Du doof, ich wissend. Dabei wäre in der gleichen Zeit ein Auszug der eigenen fhem.conf machbar.

Man kann auch den direkten Vergleich zum Forum von ubuntuusers wählen, dieses wirkt sehr freundlich: Dort wird die Machtposition des Wissenden durch sehr kurze, sehr präzise Fragen/Anweisungen demonstriert. Auch ein Weg, kommt besser.

Insgemsat stört (mich) am Forum, dass bei gelösten Nutzerproblemen niemand schreibt, WIE das Problem denn nun gelöst wurde. Es wird auch nicht darauf gedrungen.

Zu Deiner Anmerkung "mitmachen, Wiki schreiben" usw: Das Forum erzieht die neuen Nutzer. In diesem Fall (aus meiner Sicht) negativ: Der Mensch passt sich Umgebungen an. Das führt dann -ich sage es extrem überhöht- dazu, dass der, der gerade für sich selbst ein Problem löste, auch zum Kreis der Wissenden gehört. Und die sagen nichts. Warum soll nun ausgerechnet ich etwas sagen?

Aber weiter zu Wiki und "mitmachen" - mal ganz konkret an meiner Situation:
Ich bin seit 9 Monaten dabei. Und da ich ansich ja vom Fach komme und zudem vor vielen Jahren auch einige Semester Automatsierungstechnik hörte, fällt es mir wohl leichter, die Hintergründe zu erfassen - will sagen: Ich habe ein ganz ordentliches System zusammengestolpert. Aber, jetzt kommt das große Aber:

Movie soll nicht nass werden. Messenger Signal muss Ende-zu-Ende-verschlüsselt eingebunden werden. Kalender hängt, weil ich ein Script zur Umwandlung meines bisherigen Kalenders schreiben muss, die fünf RPi-Kameras sind nicht in FHEM eingebunden, Alarme dafür gibt es daher auch nicht. Der User xyz hat mir Hilfe für Tab-Oberfläche angeboten (toll übrigens, so ein Angebot), das Modul für meine Weishauptheizung liegt seit einem Monat verpackt auf meinem Schreibtisch. Und so weiter und so weiter.

Die meisten Probleme der Aufzählung wären gelöst, wenn eine freundliche Seele geschrieben hätte "Keule, guck meine fhem.conf, aber mehr kriegst nicht, mach dann selbst weiter". Diese Antwort gibt es selten bis nie - wenn überhaupt eine Antwort kommt, heißt die "lies commandref". Ich will es nochmals sagen: Das ist schwierig, wenn die realen Möglichkeiten des Moduls nicht abschätzen kann.

Das führt nun zum Effekt "Katze beißt sich in den eigenen Schwanz": Wenn ich ein Problem für mich gelöst habe, könnte ich meinen Ansatz und mein Beispiel in das Wiki tun (ich habe Erfahrung mit Wikis). Könnte. Aber: Ich habe keine Zeit dafür. Ich muss mich endlich mal um die Heizung kümmern, Und dann die Kameras. Und dann ... das würde als Problem alles nicht existieren, wenn der Informationsaustausch im Forum freier wäre. Dann wäre ich schneller.

Entwickler-Threads lesen bringt auch wenig. Mal abgesehen davon, dass da faktisch nie Beispiele (gar mit Screenshots) kommen, gibt es da noch ein ganz anderes Problem. Gern erläutert an diesem Thread, der mit 13 Seiten ja noch direkt klein und übersichtlich ist: Du weißt nie, ob das, was Du liest, nicht schon veraltet ist. Von hinten lesen bringt aber auch nichts: Da fehlen immer die Vorinformationen.

Um endlich konstruktiv zu werden: Ich bin auf Seite 5 Deinen Beitrag #62.
Zitat von: jensb am 08 März 2018, 21:22:41
Ab der 2. Tageshälfte steht aber auch schon in der bisherigen Version am 2. Icon das Wetter von 01:00 des nächsten Tages, darunter aber nach wie vor die Min/Max-Temperaturen des aktuellen Tages. Das ist so nicht selbsterklärend und gefällt mir deshalb nicht wirklich. Anderseits ist es die einzige Möglichkeit, die mir eingefallen ist, um die Anzahl und Abfolge der Icons nicht tageszeitabhängig zu verändern. Man könnte alternativ ab Mittag das 2. Icon für den 1. Tag weglassen und mit dem 2. Tag weiter machen, verliert dabei aber die Temperatur für die nächste Nacht.

Wenn jemand hier Ideen oder Wünsche hat, lasst es mich wissen.

An Ideen und Wünschen mangelt es nun nicht. ;) Kennst Du Yahoo-Wetter bei FHEM? Bei mir sieht die grafische Umsetzung wie folgt aus (gemopst von irgendwo) [Screenshot unten].

Wie man sieht, ist Deine Detailinfo deutlich besser [Screenshot]. Allerdings gibt es die Generalisierung auf "ein Icon + Textinformationen" pro Tag bei Dir nicht. Siehst Du eine Möglichkeit, diese Generalisierung (alternativ) vorzuhalten?

Jens, nochmals:
Ganz abgesehen von Deiner freiwilligen Arbeit - ich empfinde Deinen Diskussionsstil als sachlich, fair, angenehm. Danke!
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 19 Mai 2018, 04:37:20
Zitat von: jensb am 13 Mai 2018, 22:06:13
Hallo Werner,
...
Du willst die Warnmeldungen wahrscheinlich im Weblink sehen. Zunächst einmal muss aber das DWD_OpenData-Modul richtig eingestellt sein. Wenn Warnungen vorliegen (z.B. auf der DWD-Website nachsehen), dann müssen bei dir "a_n_xxxx Readings" vorhanden sein. Dann sollte aber auch der Weblink (Version ab 02.04.18) am dazugehörigen Icon ein Warnsymbol anzeigen (in der Wiki ist ein Screenshot (https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_f.C3.BCr_die_Einrichtung_eines_Weblinks)). Auf das Warnsymbol kann man klicken, um die Warninfos zu lesen.

Ich bin jetzt zwar nicht Werner und weiß auch nicht, ob er mit der Antwort glücklich ist. Aus meiner Sicht ist die Frage nicht beantwortet bzw. mit "nein" beantwortet. Und ich verstehe endlich, warum ich keine Lösung finde, es gibt wohl gar keine im Moment. - Dazu muss ich ganz kurz ausholen:

Ich habe hier momentan alle möglichen und unmöglichen Wetterdienste (leider nicht Kachelmann mit der XL-10-Tage (die wäre genial, aber ich sehe da im Moment keinen Ansatz, da müsste Kachelmann mitspielen [¹])). Das tut auch wenig zur Sache - bei einem dieser Dienste gibt es eine sehr feine Sache, bei der Unwetterzentrale.

Das UWD-Modul (Unwetterzentrale, nutzt meteogroup.com) sind die Warnmeldungen so aufbereitet, dass sie EINZELN als Icon (+Text) zur Verfügung stehen. Im Vergleich dazu sagst Du "bei mir muss man schon klicken".

Ich habe -um es abzuschließen- einen Raum "Die Lage", das ist der taktische Bildschirm und kommt ansatzweise aus dem Militärischen: Da kommt im übertragenen Sinn nur hin "hier brennt es" und "Katastrophe da". Dort stehet bei mir für UWZ entweder "Warnungen: 0" oder das/die Icon(s) für Warnungen. Leider kann ich das im Moment grafisch nicht zeigen, ich habe keine Warnungen.

Es wäre aus meiner Sicht ideal, wenn Dein Modul losgelöst von der Zeitlinie mit "klick auf Warnungen" allein die Warnungen (jede einzeln) grafisch zur Verfügung stellen könnte.

[¹] Kachelmann XL-10 (hier Station Brocken, weil die Station so extrem ist): https://kachelmannwetter.com/de/vorhersage/2943991-brocken/xltrend
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 19 Mai 2018, 09:01:31
@curt:

Vielleicht ist diese "Diskussion" (für dich) notwendig/wichtig...
...die Stelle ist es (finde ich) nicht.
Ist menschlich und passiert ist kein Ding!

Wenn es dir wichtig ist, nimm doch deine erste Ausführung (mit Link zu hier) und eröffne einen Thread...

Dann können auch andere ihre Meinung kund tun (ich habe es [bis auf jetzt] vermieden, damit der Thread seinen ursprünglichen Zweck nicht [gänzlich] verliert)...

Danke, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: Phiolin am 30 Mai 2018, 12:09:10
Besteht vielleicht die Möglichkeit, ein Reading für das passende Wetter-Icon für die Vorhersagen zu generieren? Die entsprechenden Mappings und Funktionen sind ja im Weblink praktisch schon vorhanden. Vielleicht lässt sich das ja einfach umsetzen?
Das würde die Darstellung im FTUI vereinfachen. :)
Titel: Antw:Modul für DWD Open Data
Beitrag von: maddinthebrain am 02 Juni 2018, 16:46:37
Hallo,

Ich habe nun DWD Open Data zusammen mit dem Weblink im Einsatz. Sehr schönes Teil!

Nur ein paar Fragen habe ich dann doch:

- Wie kann ich den Inhalt der Warnungen in Textform in den Weblink integrieren? Ist da schon was vorhanden bzw. vorgesehen?
- Gibt es eine Kartendarstellung der Warnungen vergleichbar dem UWZ plug-in.

Vielen Dank

Martin
Titel: Antw:Modul für DWD Open Data
Beitrag von: Rudy am 03 Juni 2018, 15:57:54
Zu den Karten: Auf der Seite des DWD direkt scheint es nur eine interaktive Karte zu geben. Aber auf der Seite von Proplanta werden jedoch Warnkarten des DWD im png-Format angeboten. Für Bayern bspw. unter Link (https://www.proplanta.de/Wetter/Unwetterwarnung-Bayern_Wetterkarte1244286861.html). Die Grafiken könnte man sich dann direkt einbinden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 03 Juni 2018, 16:36:00
Zitat von: Rudy am 03 Juni 2018, 15:57:54
Zu den Karten: Auf der Seite des DWD direkt scheint es nur eine interaktive Karte zu geben. Aber auf der Seite von Proplanta werden jedoch Warnkarten des DWD im png-Format angeboten. Für Bayern bspw. unter Link (https://www.proplanta.de/Wetter/Unwetterwarnung-Bayern_Wetterkarte1244286861.html). Die Grafiken könnte man sich dann direkt einbinden.

Vom DWD gibt es auch Grafiken:

Für Deutschland komplett: https://www.dwd.de/DWD/warnungen/warnapp_gemeinden/json/warnungen_gemeinde_map_de.png (https://www.dwd.de/DWD/warnungen/warnapp_gemeinden/json/warnungen_gemeinde_map_de.png)
z.B. für Bayern: https://www.dwd.de/DWD/warnungen/warnstatus/SchilderMS.jpg (https://www.dwd.de/DWD/warnungen/warnstatus/SchilderMS.jpg)
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tobias am 06 Juli 2018, 15:23:41
Hi,
sehr schönes Modul :) dazu ein paar Fragen:
* Wie oft werden die Daten aktualisiert? ICh habe nix dazu gefunden. Bei Proplanta habe ich zZ ein 4h Intervall. Kann ich mit diesem Modul genauer zb stündlich kommen?
* Ich habe die alertArea 115003000 für Magdeburg angegeben, der Status des Modul ist seit 30min auf "updating alerts". Ist das normal? Starte ich ein Update erneut kommt nur die Fehlermeldung das der Updateprozess immer noch läuft undich warten soll ;)
* Ich habe die Proplanta-Daten mit der im WEiki beschrieben Lösung mittels Logproxy als sehr schöne Grafik dargestellt. Gibt es hier etwas ähnliches?

Edit:
zu 1) automatisch alle Stunde
zu 2) Neustart half, alledings keine Alert Readings :(
zu 3) https://forum.fhem.de/index.php/topic,89188.msg816745.html#msg816745
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tobias am 12 Juli 2018, 17:38:53
Die Fragen die noch bleiben: Wie komme ich an die Alterts ran? Diese stehen in keinem Reading :(

Ich habe auch noch ein VErsändnisproblem. Die Tageswerte, zb fc1_ev beschreiben laut Doku den Wert des Vortages. Ist das so korrekt? Kann man das im Modul selbst nicht auf den korrekten Tag mappen?? Das macht das plotten bzw die Interpretation viel schwieriger
Titel: Antw:Modul für DWD Open Data
Beitrag von: PeterKl am 15 Juli 2018, 09:54:38
Hallo Jens,
vielen Dank für das schöne Modul DWD_OpenData.
Im Wiki steht, dass man die Datei DWDODweblink.pm herunterladen muss. Ich habe in Wiki, Forum Commandref und SVN die Datei DWDODweblink.pm nicht gefunden. Wo muss ich suchen?
Vielen Dank!
Peter
PS: Ich hoffe, ich habe hier richtig gepostet. Ist mein erster Post im fhem Forum...
Titel: Antw:Modul für DWD Open Data
Beitrag von: Octopus180 am 15 Juli 2018, 12:47:58
Ist doch im 1. Beitrag vorhanden, ganz unten.
Titel: Antw:Modul für DWD Open Data
Beitrag von: PeterKl am 15 Juli 2018, 17:26:46
Vielen Dank Octopus180!

Das war mein Problem:
Ich hatte immer als Gast (also ohne Anmeldung) im Forum nach der Datei gesucht, und als Gast sieht man die Attachments zu den Forumsbeiträgen nicht.
Als ich mich mit meinem Benutzernamen angemeldet hatte, konnte ich die Datei sehen und herunterladen.

Vermutlich haben alle FHEM-Nutzer, die als Gast im Forum diese Datei suchen, das gleiche Problem.
Titel: Antw:Modul für DWD Open Data
Beitrag von: roman1528 am 22 Juli 2018, 14:57:22
Moin.

Für interessierte:
[Neues WIDGET] dwdopendata -> ehemals GDS (https://forum.fhem.de/index.php/topic,89570.msg820325.html#msg820325)

FTUI-Widget

Grüße^^
Titel: Antw:Modul für DWD Open Data
Beitrag von: premultiply am 29 Juli 2018, 17:09:30
Die vollständige MOSMIX-Stationsliste in einem parsertauglichen Format findet sich übrigens unter:
https://www.dwd.de/DE/leistungen/met_verfahren_mosmix/mosmix_stationskatalog.cfg?view=nasPublication&nn=16102

Die aktuellsten Messwerte sowie die vom DWD in "normale Sprache" und Symbole übersetzten Vorhersagen bekommt man aber scheinbar weiterhin nicht über die OpenData-Schnittstelle in einem brauchbaren Format aber weiterhin zuverlässig über die altbekannten Dateien per HTTP.
Daher bleibe ich weiterhin dabei. Ist auch um Größenordnungen daten- und ressourcenschonender ::)
Titel: Antw:Modul für DWD Open Data
Beitrag von: premultiply am 29 Juli 2018, 18:36:21
Oooh, übrigens - meine Erfahrung mit dem DWD hat wohl leider voll ins Schwarze getroffen  >:(
Die Datenquelle für dieses Modul wird wohl in Kürze abgeschaltet: :o
https://www.dwd.de/DE/leistungen/opendata/neuigkeiten/opendata_jul2018_02.html
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tobias am 10 August 2018, 17:25:39
Weiss jemand wie man die vorhersagen mit dem kleinklima imageset in TabletUI anzeigen kann??

Gesendet von meinem Leap mit Tapatalk

Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 25 August 2018, 19:59:59
Hallo Tobias,

dafür müsste das weather_widget im FTUI angepasst werden. Basis dafür könnte die Übersicht aus "DWDODweblink.pm" sein:# weather code to FHEM weather icon name mapping
my @dwdod_dayWeatherIconMap = ( "na",              # "Bewölkungsentwicklung nicht beobachtet",
                                "na",              # "Bewölkung abnehmend",
                                "na",              # "Bewölkung unverändert",
                                "na",              # "Bewölkung zunehmend",
                                # 4 Dunst, Rauch, Staub oder Sand
                                "fog",             # "Sicht durch Rauch oder Asche vermindert",
                                "haze",            # "trockener Dunst (relative Feuchte < 80 %)",
                                "fog",             # "verbreiteter Schwebstaub, nicht vom Wind herangeführt",
                                "fog",             # "Staub oder Sand bzw. Gischt, vom Wind herangeführt",
                                "fog",             # "gut entwickelte Staub- oder Sandwirbel",
                                "fog",             # "Staub- oder Sandsturm im Gesichtskreis, aber nicht an der Station",
                                # 10 Trockenereignisse
                                "haze",            # "feuchter Dunst (relative Feuchte > 80 %)",
                                "fog",             # "Schwaden von Bodennebel",
                                "fog",             # "durchgehender Bodennebel",
                                "na",              # "Wetterleuchten sichtbar, kein Donner gehört",
                                "na",              # "Niederschlag im Gesichtskreis, nicht den Boden erreichend",
                                "na",              # "Niederschlag in der Ferne (> 5 km), aber nicht an der Station",
                                "na",              # "Niederschlag in der Nähe (< 5 km), aber nicht an der Station",
                                "thunderstorm",    # "Gewitter (Donner hörbar), aber kein Niederschlag an der Station",
                                "na",              # "Markante Böen im Gesichtskreis, aber kein Niederschlag an der Station",
                                "na",              # "Tromben (trichterförmige Wolkenschläuche) im Gesichtskreis",
                                # 20 Ereignisse der letzten Stunde, aber nicht zur Beobachtungszeit
                                "na",              # "nach Sprühregen oder Schneegriesel",
                                "na",              # "nach Regen",
                                "na",              # "nach Schneefall",
                                "na",              # "nach Schneeregen oder Eiskörnern",
                                "na",              # "nach gefrierendem Regen",
                                "na",              # "nach Regenschauer",
                                "na",              # "nach Schneeschauer",
                                "na",              # "nach Graupel- oder Hagelschauer",
                                "na",              # "nach Nebel",
                                "na",              # "nach Gewitter",
                                # 30 Staubsturm, Sandsturm, Schneefegen oder -treiben
                                "na",              # "leichter oder mäßiger Sandsturm, an Intensität abnehmend",
                                "na",              # "leichter oder mäßiger Sandsturm, unveränderte Intensität",
                                "na",              # "leichter oder mäßiger Sandsturm, an Intensität zunehmend",
                                "na",              # "schwerer Sandsturm, an Intensität abnehmend",
                                "na",              # "schwerer Sandsturm, unveränderte Intensität",
                                "na",              # "schwerer Sandsturm, an Intensität zunehmend",
                                "na",              # "leichtes oder mäßiges Schneefegen, unter Augenhöhe",
                                "na",              # "starkes Schneefegen, unter Augenhöhe",
                                "na",              # "leichtes oder mäßiges Schneetreiben, über Augenhöhe",
                                "na",              # "starkes Schneetreiben, über Augenhöhe",
                                # 40 Nebel oder Eisnebel
                                "na",              # "Nebel in einiger Entfernung",
                                "fog",             # "Nebel in Schwaden oder Bänken",
                                "fog",             # "Nebel, Himmel erkennbar, dünner werdend",
                                "fog",             # "Nebel, Himmel nicht erkennbar, dünner werdend",
                                "fog",             # "Nebel, Himmel erkennbar, unverändert",
                                "fog",             # "Nebel, Himmel nicht erkennbar, unverändert",
                                "fog",             # "Nebel, Himmel erkennbar, dichter werdend",
                                "fog",             # "Nebel, Himmel nicht erkennbar, dichter werdend",
                                "fog",             # "Nebel mit Reifansatz, Himmel erkennbar",
                                "fog",             # "Nebel mit Reifansatz, Himmel nicht erkennbar",
                                # 50 Sprühregen
                                "chance_of_rain",  # "unterbrochener leichter Sprühregen",
                                "mist",            # "durchgehend leichter Sprühregen",
                                "chance_of_rain",  # "unterbrochener mäßiger Sprühregen",
                                "mist",            # "durchgehend mäßiger Sprühregen",
                                "chance_of_rain",  # "unterbrochener starker Sprühregen",
                                "mist",            # "durchgehend starker Sprühregen",
                                "mist",            # "leichter gefrierender Sprühregen",
                                "mist",            # "mäßiger oder starker gefrierender Sprühregen",
                                "mist",            # "leichter Sprühregen mit Regen",
                                "mist",            # "mäßiger oder starker Sprühregen mit Regen",
                                # 60 Regen
                                "chance_of_rain",  # "unterbrochener leichter Regen oder einzelne Regentropfen",
                                "rain",            # "durchgehend leichter Regen",
                                "chance_of_rain",  # "unterbrochener mäßiger Regen",
                                "rain",            # "durchgehend mäßiger Regen",
                                "chance_of_rain",  # "unterbrochener starker Regen",
                                "rain",            # "durchgehend starker Regen",
                                "sleet",           # "leichter gefrierender Regen",
                                "sleet",           # "mäßiger oder starker gefrierender Regen",
                                "sleet",           # "leichter Schneeregen",
                                "sleet",           # "mäßiger oder starker Schneeregen",
                                # 70 Schnee
                                "chance_of_snow",  # "unterbrochener leichter Schneefall oder einzelne Schneeflocken",
                                "snow",            # "durchgehend leichter Schneefall",
                                "chance_of_snow",  # "unterbrochener mäßiger Schneefall",
                                "snow",            # "durchgehend mäßiger Schneefall",
                                "chance_of_snow",  # "unterbrochener starker Schneefall",
                                "snow",            # "durchgehend starker Schneefall",
                                "icy",             # "Eisnadeln (Polarschnee)",
                                "snow",            # "Schneegriesel",
                                "snow",            # "Schneekristalle",
                                "icy",             # "Eiskörner (gefrorene Regentropfen)",
                                # 80 Schauer
                                "drizzle",         # "leichter Regenschauer",
                                "drizzle",         # "mäßiger oder starker Regenschauer",
                                "drizzle",         # "äußerst heftiger Regenschauer",
                                "chance_of_sleet", # "leichter Schneeregenschauer",
                                "chance_of_sleet", # "mäßiger oder starker Schneeregenschauer",
                                "chance_of_snow",  # "leichter Schneeschauer",
                                "chance_of_snow",  # "mäßiger oder starker Schneeschauer",
                                "chance_of_snow",  # "leichter Graupelschauer",
                                "chance_of_snow",  # "mäßiger oder starker Graupelschauer",
                                "chance_of_snow",  # "leichter Hagelschauer",
                                "chance_of_snow",  # "mäßiger oder starker Hagelschauer",
                                # 90 Gewitter
                                "chance_of_storm", # "Gewitter in der letzten Stunde, zurzeit leichter Regen",
                                "chance_of_storm", # "Gewitter in der letzten Stunde, zurzeit mäßiger oder starker Regen",
                                "chance_of_storm", # "Gewitter in der letzten Stunde, zurzeit leichter Schneefall/Schneeregen/Graupel/Hagel",
                                "chance_of_storm", # "Gewitter in der letzten Stunde, zurzeit mäßiger oder starker Schneefall/Schneeregen/Graupel/Hagel",
                                "thunderstorm",    # "leichtes oder mäßiges Gewitter mit Regen oder Schnee",
                                "thunderstorm",    # "leichtes oder mäßiges Gewitter mit Graupel oder Hagel",
                                "thunderstorm",    # "starkes Gewitter mit Regen oder Schnee",
                                "thunderstorm",    # "starkes Gewitter mit Sandsturm",
                                "thunderstorm"     # "starkes Gewitter mit Graupel oder Hagel",);
                              );


Bin leider kein Entwickler, vielleicht hast du das "Know-How"  ;)
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 26 August 2018, 15:07:36
@Tobias,
habe bei mir das "weather_widget" angepasst. Siehe https://forum.fhem.de/index.php/topic,86847.0.html (https://forum.fhem.de/index.php/topic,86847.0.html)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 September 2018, 19:00:37
Hallo allerseits,

der DWD hat mal wieder am Rad gedreht und die Bereitstellung von Vorhersagedaten für Stationen im CSV-Format eingestellt. Damit ist diese Funktion des DWD OpenData Moduls obsolet. Die Funktion für die Wetterwarnungen ist davon nicht betroffen. Wer bisher beides nutzt, sollte das Attribut "forecastStation" löschen, um sinnlose Serveranfragen zu vermeiden.

Es gibt möglicherweise Ersatz, denn vom DWD werden alternativ Vorhersagedaten im KML-Format zur Verfügung gestellt. In wie weit Stationskatalog und Datenumfang vergleichbar sind, habe ich noch nicht geprüft. Wenn eine vielleicht sogar kompatible Lösung möglich ist, werde ich sie in den kommenden Wochen bereitstellen.

Grüße,
Jens

Update: Eine Schnellprüfung hat ergeben, dass sich passendes unter https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/ findet. Die Stationsbezeichnungen sind identisch und der Datenumfang ist sogar umfangreicher als bisher.

Update 2: Das Grobkonzept für Download, Unzip und Datenextraktion steht, die Umwandlung in Readings steht noch aus. Das neue Format ist eigenschaftenorientiert aufgebaut. Trotzdem muss man die eigentlichen Nutzwerte immer noch wie bei CSV ausparsen - das ist inkonsequent aber nicht zu ändern.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 September 2018, 23:02:31
Danke für die Aufmunterung, hier ein Zwischenstand zum Stand der Entwicklung:


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 22 September 2018, 03:33:41
Zitat von: jensb am 21 September 2018, 23:02:31
Danke für die Aufmunterung,

Das klingt resigniert.

Nur zur Sicherheit, ich habe folgendes in fhem.cfg:

define DWD DWD_OpenData
attr DWD alertArea 815091375
attr DWD alertLanguage DE
attr DWD forecastDays 7
attr DWD forecastStation 10474
attr DWD forecastWW2Text 1define DWD DWD_OpenData
attr DWD alertArea 815091375
attr DWD alertLanguage DE
attr DWD forecastDays 7
attr DWD forecastStation 10474
attr DWD forecastWW2Text 1
attr DWD room 00 Test Wettervorhersage

define DWDweblink weblink htmlCode { DWDOD_AsHtmlH("DWD", 7, 1) }
attr DWDweblink room 00 Test Wettervorhersage

attr DWD room 00 Test Wettervorhersage

define DWDweblink weblink htmlCode { DWDOD_AsHtmlH("DWD", 7, 1) }
attr DWDweblink room 00 Test Wettervorhersage


Dieser ansich erstaunlich präzisen Vorhersage darf ich nun hinterherwinken? Offenbar schon, dabei dachte ich erst an ein Update-Problem, es gab zeitnah ja noch ein weiteres.

Wie kann ich Dich denn unterstützen? Rein technisch wohl eher nicht. Aber vielleicht wirklich durch Aufmunterung: Ich hätte das schon gern wieder.
Titel: Antw:Modul für DWD Open Data
Beitrag von: enno am 22 September 2018, 09:58:04
Zitat von: jensb am 21 September 2018, 23:02:31
Danke für die Aufmunterung, hier ein Zwischenstand zum Stand der Entwicklung:

Moin Jens,
ich würde auch gerne helfen. Bin aber eher der Anwender mit ungesunden Perl halbwissen ;) Testen kann ich aber gut. Wenn es hilft, würde ich dir auch Kaffee oder Bier zur Motivation spendieren.

Gruss
  Enno
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 September 2018, 13:34:03
ZitatDanke für die Aufmunterung ...
war anerkennend gemeint für die "Gefällt mir" Rückmeldungen zu meinem Post.

Auch Danke für eure Hilfsangebote. Bei Programmieren ist sie nicht nötigt, mein Prototyp funktioniert bereits wieder mit kleinen Einschränkungen:
Auch den Weblink habe ich bereits angepasst.

Für Anwender wird vor allem relevant sein, dass es die meisten Readings immer noch gibt, sie aber zum Teil ganz andere Namen haben. Man könnte in die alten Namen umbenennen, das ist aber in vielen Fällen unglücklich, da es dann durch das deutliche mehr an verfügbaren Daten zu einer unsystematischen Benennung kommt. Auch ein Kompatibilitätsmodus wäre vorstellbar, ist mir aber in Anbetracht der offenen Punkte nicht wichtig genug und langfristig sowie überflüssig. Wer den anderen Users einen Gefallen tun will, kann hierfür einen Patch bereitstellen, den ich dann integriere.

Werde als nächstes die Modul-Hilfe so weit anpassen, dass man damit zumindest die neue Version zum Laufen bekommt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 22 September 2018, 14:00:45
Zitat von: jensb am 22 September 2018, 13:34:03
war anerkennend gemeint für die "Gefällt mir" Rückmeldungen zu meinem Post.

Auch Danke für eure Hilfsangebote. Bei Programmieren ist sie nicht nötigt, mein Prototyp funktioniert bereits wieder mit kleinen Einschränkungen:

  • keine Auswahl der abzufragenden Eigenschaften möglich, aktuell auf eine feste Liste beschränkt, da viele der mehr als 70 verfügbaren Eigenschaften meist nicht interessieren
  • kein Offline-Support
  • Performance, aktuell auf meinem Zero um 3 Sekunden
Auch den Weblink habe ich bereits angepasst.

Für Anwender wird vor allem relevant sein, dass es die meisten Readings immer noch gibt, sie aber zum Teil ganz andere Namen haben. Man könnte in die alten Namen umbenennen, das ist aber in vielen Fällen unglücklich, da es dann durch das deutliche mehr an verfügbaren Daten zu einer unsystematischen Benennung kommt. Auch ein Kompatibilitätsmodus wäre vorstellbar, ist mir aber in Anbetracht der offenen Punkte nicht wichtig genug und langfristig sowie überflüssig. Wer den anderen Users einen Gefallen tun will, kann hierfür einen Patch bereitstellen, den ich dann integriere.

Werde als nächstes die Modul-Hilfe so weit anpassen, dass man damit zumindest die neue Version zum Laufen bekommt.

Grüße,
Jens

Hallo Jens,
auch an dieser Stelle noch mal die Aufmunterung persönlich  ;).

Ich denke auch, dass es wenig Sinn macht, die "alten" Readings irgendwie wieder halbwegs anzupassen bzw. eine Migration umzusetzen. Ich persönlich habe kein Problem mit neuen Namen für die Readings. Wenn es vom Inhalt her passt, schalge ich vor, die Namesngebung der Readings vom "Proplanta" Modul zu verwenden, da die meisten User dies ebenfalls im Einsatz haben.

PS: Falls du eine erste Testversion hast, stehe ich gern bereit.

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 September 2018, 16:43:28
Hallo allerseits,

nun kann getestet werden. Die Prototypen für das OpenData-Modul und den dazugehörigen Weblink findet sich hier (https://github.com/jnsbyr/fhem/tree/master/FHEM). Bitte vor Tests die aktuelle Konfig und die zu testenden Module in ihrer aktuellen Version sichern, damit ihr im Zweifelsfall den Rückwärtsgang eingelegt bekommt.

Die Installation des OpenData-Moduls selbst dürfte unproblematisch sein. Arbeit macht vor allem die Anpassung der Reading-Namen. In der Modulhilfe habe ich die neuen Reading-Namen des KML-Formats aufgeführt. Wenn man mit der alten Modulhilfe vergleicht hat man die Umsetzungstabelle. Bitte das vorhandene Attribut forecastProperties löschen bzw. geeignet anpassen.

Wer Proplanta-Reading-Namen bevorzugt, kann entweder das Modul für sich selbst patchen (siehe u.a. forecastPropertyAliases im Modul-Code) oder mir einen Patch für eine optionale Umschaltung zur Verfügung stellen. Default ist die DWD-Bezeichnung.

Wer den Weblink verwendet hat noch etwas mehr Arbeit vor sich. Die neue Version hat neben der Kompatibilität zum neuen OpenData-Modul noch die zusätzlichen Funktion, sich auch mit FHEMWEB ohne Page-Refresh periodisch und bei Tab-Wechsel zu aktualisieren und unterstützt nun auch das 3-Stunden Zeitraster des OpenData-Moduls. Die aktuelle Weblink-Datei bitte entfernen und ein eventuell vorhandenes "use ..." im 99_myUtils ebenfalls. Dann wie in der Modulhilfe des neuen Weblinks beschrieben erst das Weblink-Device anlegen und konfigurieren und dann den vorhandenen Weblink selbst aktualisieren. Die FHEM-Wiki ist für die neue Version des Weblinks nicht mehr korrekt und wird demnächst angepasst.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 22 September 2018, 18:06:44
Zitat von: jensb am 22 September 2018, 16:43:28
Hallo allerseits,

nun kann getestet werden. Die Prototypen für das OpenData-Modul und den dazugehörigen Weblink findet sich hier (https://github.com/jnsbyr/fhem/tree/master/FHEM). Bitte vor Tests die aktuelle Konfig und die zu testenden Module in ihrer aktuellen Version sichern, damit ihr im Zweifelsfall den Rückwärtsgang eingelegt bekommt.

Die Installation des OpenData-Moduls selbst dürfte unproblematisch sein. Arbeit macht vor allem die Anpassung der Reading-Namen. In der Modulhilfe habe ich die neuen Reading-Namen des KML-Formats aufgeführt. Wenn man mit der alten Modulhilfe vergleicht hat man die Umsetzungstabelle. Bitte das vorhandene Attribut forecastProperties löschen bzw. geeignet anpassen.

Wer Proplanta-Reading-Namen bevorzugt, kann entweder das Modul für sich selbst patchen (siehe u.a. forecastPropertyAliases im Modul-Code) oder mir einen Patch für eine optionale Umschaltung zur Verfügung stellen. Default ist die DWD-Bezeichnung.

Wer den Weblink verwendet hat noch etwas mehr Arbeit vor sich. Die neue Version hat neben der Kompatibilität zum neuen OpenData-Modul noch die zusätzlichen Funktion, sich auch mit FHEMWEB ohne Page-Refresh periodisch und bei Tab-Wechsel zu aktualisieren und unterstützt nun auch das 3-Stunden Zeitraster des OpenData-Moduls. Die aktuelle Weblink-Datei bitte entfernen und ein eventuell vorhandenes "use ..." im 99_myUtils ebenfalls. Dann wie in der Modulhilfe des neuen Weblinks beschrieben erst das Weblink-Device anlegen und konfigurieren und dann den vorhandenen Weblink selbst aktualisieren. Die FHEM-Wiki ist für die neue Version des Weblinks nicht mehr korrekt und wird demnächst angepasst.

Grüße,
Jens

Hallo Jens,
erstes Feedback. Modul neu angelegt, readings und Alarme werden erzeugt  :). Wie du bereits gesagt hast, sind die Readings jetzt etwas anders. Leider kann ich die neue Beschreibung nicht finden?! Die Commandref (in Englisch) verweist noch auf die ehemaligen Readings, die deutsche Commandref hat keine Einträge.

Wo finde ich die Modulhilfe für den neuen Weblink?

VG
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 September 2018, 18:37:44
@somansch
Die Commandref wird nicht aktualisiert, wenn man manuell Modul-Dateien ändert. Es gibt mehrere Möglichkeit, das manuell zu erledigen. Eine davon besteht darin, sich auf dem FHEM-Sever anzumelden, in das FHEM-Verzeichnis zu wechseln und folgendes aufzurufen:
root@raspi:/opt/fhem# ./contrib/commandref_join.pl
Ansonsten findest du die Modulhilfe auch, wenn du dir das Ende der Modul-Dateien mit einem Texteditor ansiehst.
Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: enno am 22 September 2018, 18:55:37
Habe das neue Modul auch installiert. Läuft und bringt Daten ohne Fehlermeldungen. Super soweit.

Die Abkürzungen suche ich mir hier gerade zusammen:

https://opendata.dwd.de/weather/lib/MetElementDefinition.xml

Gruss
  Enno
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 22 September 2018, 19:06:48
Habe die Hilfe in den Modulen gefunden und entsprechend meine FTUI Umsetzung angepasst. Gibt ja ein paar neue Readings  :). Bild im Anhang. Der Weblink funktioniert auch für FHEM. Woher hast du die Regenmenge geholt? In den Readings finde ich leider nichts mehr?! Weiterhin ist mir aufgefallen, dass "FF" (Windstärke) nicht in den Readings auftaucht, lediglich "FX1" für maximale Windstärke... Wird es das Reading für die tägliche Sonnenscheindauer "SS24" wieder geben?

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 September 2018, 22:03:16
@somansch

Die Regenmenge kommt nach wie vor aus den R-Readings, siehe Modulhilfe zum Weblink und deren Beschreibung in der Modulhilfe im OpenData-Modul. Auch FF gibt es immer noch (siehe dazu auch den von @enno geposteten Link).

Damit dir die gewünschten Readings zur Verfügung stehen musst du sie als eine mit Kommas getrennten Liste dem Attribut "forecastProperties" des OpenData-Moduls zuweisen. Standardmäßig werden nur ein paar Readings abgefragt, deshalb fehlt dir z.B. FF. Siehe auch dazu die Modulhilfe des OpenData-Moduls.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 23 September 2018, 01:10:48
@jensb
Ich habe das weitere Vorgehen nicht verstanden, ich erahne es nur.

Du gibst Dein geändertes Modul irgendwann in den normalen Update-Prozess. Dann ist das nach meinem Update bei mir. Soweit vermutlich richtig.

Meine in #218 genannte Konfiguration ist dann trotzdem für die Tonne, weil sich alle Bezeichnungen änderten? Habe ich das richtig verstanden? (Das ist dumm, da weiß ich nicht, was ich tun muss.)

Insgesamt (das als Vorschlag) wäre es sehr schön, wenn einige Anwendungsbeispiele zusammengetragen werden könnten. Also nicht nur von Dir, auch wie andere das Modul nutzen. Das würde ich als sehr spannend empfinden. (Aber vielleicht ein neuer Thread.)

P.S: Danke für Deine Mühen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 11:18:42
@curt

Nein, deine in #219 aufgeführte Konfiguration bleibt weitestgehend erhalten. Nur die Zeile

define DWDweblink weblink htmlCode { DWDOD_AsHtmlH("DWD", 7, 1) }

muss ersetzt werden durch den Teil, der als "Example" in der Modulhilfe des neuen Weblink-Moduls (bzw. am Ende der Moduldatei) aufgeführt ist. Du musst dabei noch die "My..". Namen durch deine eigenen Devicenamen ersetzen. Da steht:

define MyDWDWeblinkDevice DWD_OpenData_Weblink
attr MyDWDWeblinkDevice IODev MyDWDDevice
attr MyDWDWeblinkDevice forecastDays 4
attr MyDWDWeblinkDevice refreshRate 900
define MyDWDWeblink weblink htmlCode { DWD_OpenData_Weblink::AsHtmlH("MyDWDWeblinkDevice") }


Wenn du nichts anderes mit den Daten des OpenData-Moduls machst außer den Weblink zu füttern musst du auch nichts weiter machen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 23 September 2018, 13:05:19
Hallo Jens,
ich habe heute das neue Modul inkl. Weblink erfolgreich installiert  :)
Habe aber noch Fragen  :o

Beim Weblink wie im Bild zu sehen funktionieren einige Umlaute nicht und es fehlt etwas ab "Mi 8:00"
und was ich nicht kapiere, wie bekomme ich die Unwettermeldungen angezeigt ??

Hier die drei List
DWD
Internals:
   .TZ        Europe/Berlin
   .warncellId 807138012
   ALERTS_IN_CACHE 71
   FHEM_TZ    Europe/Berlin
   NAME       DWD
   NR         624
   STATE      alerts updated
   TYPE       DWD_OpenData
   .alertsBlockingCall1:
     abortFn    DWD_OpenData::GetAlertsAbort
     bc_pid     56
     finishFn   DWD_OpenData::GetAlertsFinish
     fn         DWD_OpenData::GetAlertsStart
     pid        932
     telnet     telnetPort_127.0.0.1_59998
     terminated 1
     timeout    60
     abortArg:
     arg:
   .attraggr:
   .attrminint:
   OLDREADINGS:
   READINGS:
     2018-09-23 13:00:06   a_0_altitude    0
     2018-09-23 13:00:06   a_0_area        807138012
     2018-09-23 13:00:06   a_0_areaColor   255, 153, 0
     2018-09-23 13:00:06   a_0_areaDesc    Stadt Dierdorf
     2018-09-23 13:00:06   a_0_category    Met
     2018-09-23 13:00:06   a_0_ceiling     3000
     2018-09-23 13:00:06   a_0_description Es tritt Dauerregen wechselnder Intensität auf. Dabei werden Niederschlagsmengen zwischen 25 l/m² und 40 l/m² erwartet. In Staulagen werden Mengen bis 50 l/m² erreicht.
     2018-09-23 13:00:06   a_0_event       63
     2018-09-23 13:00:06   a_0_eventDesc   DAUERREGEN
     2018-09-23 13:00:06   a_0_eventGroup  RAIN
     2018-09-23 13:00:06   a_0_expires     2018-09-23 18:00:00
     2018-09-23 13:00:06   a_0_headline    Amtliche WARNUNG vor DAUERREGEN
     2018-09-23 13:00:06   a_0_instruction
     2018-09-23 13:00:06   a_0_onset       2018-09-23 07:00:00
     2018-09-23 13:00:06   a_0_responseType None
     2018-09-23 13:00:06   a_0_severity    Moderate
     2018-09-23 13:00:06   a_0_urgency     Immediate
     2018-09-23 13:00:06   a_1_altitude    0
     2018-09-23 13:00:06   a_1_area        807138012
     2018-09-23 13:00:06   a_1_areaColor   255, 255, 0
     2018-09-23 13:00:06   a_1_areaDesc    Stadt Dierdorf
     2018-09-23 13:00:06   a_1_category    Met
     2018-09-23 13:00:06   a_1_ceiling     3000
     2018-09-23 13:00:06   a_1_description Es treten Windböen mit Geschwindigkeiten bis 60 km/h (17m/s, 33kn, Bft 7) aus südwestlicher Richtung auf. In exponierten Lagen muss mit Sturmböen bis 70 km/h (20m/s, 38kn, Bft 8) gerechnet werden.
     2018-09-23 13:00:06   a_1_event       51
     2018-09-23 13:00:06   a_1_eventDesc   WINDBÖEN
     2018-09-23 13:00:06   a_1_eventGroup  WIND
     2018-09-23 13:00:06   a_1_expires     2018-09-24 00:00:00
     2018-09-23 13:00:06   a_1_headline    Amtliche WARNUNG vor WINDBÖEN
     2018-09-23 13:00:06   a_1_instruction
     2018-09-23 13:00:06   a_1_onset       2018-09-23 11:45:00
     2018-09-23 13:00:06   a_1_responseType None
     2018-09-23 13:00:06   a_1_severity    Minor
     2018-09-23 13:00:06   a_1_urgency     Immediate
     2018-09-23 13:00:06   a_2_altitude    0
     2018-09-23 13:00:06   a_2_area        807138012
     2018-09-23 13:00:06   a_2_areaColor   255, 128, 128
     2018-09-23 13:00:06   a_2_areaDesc    Stadt Dierdorf
     2018-09-23 13:00:06   a_2_category    Met
     2018-09-23 13:00:06   a_2_ceiling     3000
     2018-09-23 13:00:06   a_2_description Ein Sturmtief zieht am Sonntag über die mitlleren Landesteile Deutschlands hinweg ostwärts. Dabei kommt es an der Südflanke des Tiefs verbreitet zu schweren Sturmböen (Bft 10, um 95 km/h). Bei Passage der zugehörigen Kaltfront sind auch orkanartige Böen (Bft 11, um 110 km/h) wahrscheinlich. 

Dies ist ein Hinweis auf erwartete Unwetter. Er soll die rechtzeitige Vorbereitung von Schutzmaßnahmen ermöglichen. Bitte verfolgen Sie die weiteren Wettervorhersagen mit besonderer Aufmerksamkeit.

Detaillierte Warninformationen erhalten Sie unter http://www.wettergefahren.de oder in der WarnWetter-App.

     2018-09-23 13:00:06   a_2_event       55
     2018-09-23 13:00:06   a_2_eventDesc   VORABINFORMATION ORKANBÖEN
     2018-09-23 13:00:06   a_2_eventGroup  WIND
     2018-09-23 13:00:06   a_2_expires     2018-09-23 20:00:00
     2018-09-23 13:00:06   a_2_headline    VORABINFORMATION UNWETTER vor ORKANBÖEN
     2018-09-23 13:00:06   a_2_instruction Dies ist ein Hinweis auf erwartete Unwetter. Er soll die rechtzeitige Vorbereitung von Schutzmaßnahmen ermöglichen. Bitte verfolgen Sie die weiteren Wettervorhersagen mit besonderer Aufmerksamkeit.
     2018-09-23 13:00:06   a_2_onset       2018-09-23 13:00:00
     2018-09-23 13:00:06   a_2_responseType Prepare
     2018-09-23 13:00:06   a_2_severity    Severe
     2018-09-23 13:00:06   a_2_urgency     Future
     2018-09-23 13:00:06   a_3_altitude    0
     2018-09-23 13:00:06   a_3_area        807138012
     2018-09-23 13:00:06   a_3_areaColor   255, 153, 0
     2018-09-23 13:00:06   a_3_areaDesc    Stadt Dierdorf
     2018-09-23 13:00:06   a_3_category    Met
     2018-09-23 13:00:06   a_3_ceiling     3000
     2018-09-23 13:00:06   a_3_description Es treten schwere Sturmböen mit Geschwindigkeiten bis 90 km/h (25m/s, 48kn, Bft 10) auf. In Schauernähe sowie in exponierten Lagen muss mit orkanartigen Böen bis 115 km/h (32m/s, 63kn, Bft 11) gerechnet werden.
     2018-09-23 13:00:06   a_3_event       53
     2018-09-23 13:00:06   a_3_eventDesc   SCHWERE STURMBÖEN
     2018-09-23 13:00:06   a_3_eventGroup  WIND
     2018-09-23 13:00:06   a_3_expires     2018-09-23 20:00:00
     2018-09-23 13:00:06   a_3_headline    Amtliche WARNUNG vor SCHWEREN STURMBÖEN
     2018-09-23 13:00:06   a_3_instruction ACHTUNG! Hinweis auf mögliche Gefahren: Vereinzelt können zum Beispiel Bäume entwurzelt und Dächer beschädigt werden. Achten Sie besonders auf herabstürzende Äste, Dachziegel oder Gegenstände.
     2018-09-23 13:00:06   a_3_onset       2018-09-23 14:00:00
     2018-09-23 13:00:06   a_3_responseType Prepare
     2018-09-23 13:00:06   a_3_severity    Moderate
     2018-09-23 13:00:06   a_3_urgency     Immediate
     2018-09-23 13:00:06   a_copyright     Geobasisdaten: Copyright Bundesamt für Kartographie und Geodäsie, Frankfurt am Main, 2013
     2018-09-23 13:00:06   a_count         4
     2018-09-23 13:00:06   a_time          2018-09-23 13:00:05
     2018-09-23 11:29:13   fc0_1_DD        140.00
     2018-09-23 11:29:13   fc0_1_FX1       26
     2018-09-23 11:29:13   fc0_1_Neff      100.00
     2018-09-23 11:29:13   fc0_1_RR6c      2.80
     2018-09-23 11:29:13   fc0_1_RRhc      5.50
     2018-09-23 11:29:13   fc0_1_Rh00      100.00
     2018-09-23 11:29:13   fc0_1_TTT       8.5
     2018-09-23 11:29:13   fc0_1_time      08:00
     2018-09-23 11:29:13   fc0_1_ww        53
     2018-09-23 11:29:13   fc0_1_wwd       durchgehend mäßiger Sprühregen
     2018-09-23 13:00:05   fc0_2_DD        232.00
     2018-09-23 13:00:05   fc0_2_FX1       24
     2018-09-23 13:00:05   fc0_2_Neff      100.00
     2018-09-23 13:00:05   fc0_2_RR6c      7.90
     2018-09-23 13:00:05   fc0_2_TTT       12.5
     2018-09-23 13:00:05   fc0_2_time      14:00
     2018-09-23 13:00:05   fc0_2_ww        65
     2018-09-23 13:00:05   fc0_2_wwd       durchgehend starker Regen
     2018-09-23 13:00:05   fc0_3_DD        319.00
     2018-09-23 13:00:05   fc0_3_FX1       50
     2018-09-23 13:00:05   fc0_3_Neff      100.00
     2018-09-23 13:00:05   fc0_3_RR6c      12.00
     2018-09-23 13:00:05   fc0_3_RRhc      19.50
     2018-09-23 13:00:05   fc0_3_Rh00      98.00
     2018-09-23 13:00:05   fc0_3_TTT       6.40
     2018-09-23 13:00:05   fc0_3_time      20:00
     2018-09-23 13:00:05   fc0_3_ww        63
     2018-09-23 13:00:05   fc0_3_wwd       durchgehend mäßiger Regen
     2018-09-23 11:29:13   fc0_Tg          6.90
     2018-09-23 11:29:13   fc0_Tn          7.70
     2018-09-23 13:00:05   fc0_Tx          13
     2018-09-23 13:00:05   fc0_date        2018-09-23
     2018-09-23 13:00:05   fc0_weekday     So
     2018-09-23 13:00:05   fc0_wwd         durchgehend leichter Regen
     2018-09-23 13:00:05   fc1_0_DD        305.00
     2018-09-23 13:00:05   fc1_0_FX1       35
     2018-09-23 13:00:05   fc1_0_Neff      98.00
     2018-09-23 13:00:05   fc1_0_RR6c      2.60
     2018-09-23 13:00:05   fc1_0_TTT       5.30
     2018-09-23 13:00:05   fc1_0_time      02:00
     2018-09-23 13:00:05   fc1_0_ww        61
     2018-09-23 13:00:05   fc1_0_wwd       durchgehend leichter Regen
     2018-09-23 13:00:05   fc1_1_DD        299.00
     2018-09-23 13:00:05   fc1_1_FX1       30
     2018-09-23 13:00:05   fc1_1_Neff      85.00
     2018-09-23 13:00:05   fc1_1_RR6c      0.20
     2018-09-23 13:00:05   fc1_1_RRhc      2.70
     2018-09-23 13:00:05   fc1_1_Rh00      96.00
     2018-09-23 13:00:05   fc1_1_TTT       5.30
     2018-09-23 13:00:05   fc1_1_time      08:00
     2018-09-23 13:00:05   fc1_1_ww        61
     2018-09-23 13:00:05   fc1_1_wwd       durchgehend leichter Regen
     2018-09-23 13:00:05   fc1_2_DD        292.00
     2018-09-23 13:00:05   fc1_2_FX1       33
     2018-09-23 13:00:05   fc1_2_Neff      74.00
     2018-09-23 13:00:05   fc1_2_RR6c      0.60
     2018-09-23 13:00:05   fc1_2_TTT       8.60
     2018-09-23 13:00:05   fc1_2_time      14:00
     2018-09-23 13:00:05   fc1_2_ww        80
     2018-09-23 13:00:05   fc1_2_wwd       leichter Regenschauer
     2018-09-23 13:00:05   fc1_3_DD        313.00
     2018-09-23 13:00:05   fc1_3_FX1       26
     2018-09-23 13:00:05   fc1_3_Neff      52.00
     2018-09-23 13:00:05   fc1_3_RR6c      0.70
     2018-09-23 13:00:05   fc1_3_RRhc      1.30
     2018-09-23 13:00:05   fc1_3_Rh00      94.00
     2018-09-23 13:00:05   fc1_3_TTT       7.10
     2018-09-23 13:00:05   fc1_3_time      20:00
     2018-09-23 13:00:05   fc1_3_ww        1
     2018-09-23 13:00:05   fc1_3_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc1_Tg          4.30
     2018-09-23 13:00:05   fc1_Tn          4.70
     2018-09-23 13:00:05   fc1_Tx          10.2
     2018-09-23 13:00:05   fc1_date        2018-09-24
     2018-09-23 13:00:05   fc1_weekday     Mo
     2018-09-23 13:00:05   fc1_wwd         Bewölkung abnehmend
     2018-09-23 13:00:05   fc2_0_DD        319.00
     2018-09-23 13:00:05   fc2_0_FX1       19
     2018-09-23 13:00:05   fc2_0_Neff      36.00
     2018-09-23 13:00:05   fc2_0_RR6c      0.00
     2018-09-23 13:00:05   fc2_0_TTT       4.90
     2018-09-23 13:00:05   fc2_0_time      02:00
     2018-09-23 13:00:05   fc2_0_ww        1
     2018-09-23 13:00:05   fc2_0_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc2_1_DD        345.00
     2018-09-23 13:00:05   fc2_1_FX1       11
     2018-09-23 13:00:05   fc2_1_Neff      40.00
     2018-09-23 13:00:05   fc2_1_RR6c      0.00
     2018-09-23 13:00:05   fc2_1_RRhc      0.10
     2018-09-23 13:00:05   fc2_1_Rh00      33.00
     2018-09-23 13:00:05   fc2_1_TTT       4.80
     2018-09-23 13:00:05   fc2_1_time      08:00
     2018-09-23 13:00:05   fc2_1_ww        1
     2018-09-23 13:00:05   fc2_1_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc2_2_DD        356.00
     2018-09-23 13:00:05   fc2_2_FX1       17
     2018-09-23 13:00:05   fc2_2_Neff      53.00
     2018-09-23 13:00:05   fc2_2_RR6c      0.00
     2018-09-23 13:00:05   fc2_2_TTT       9.90
     2018-09-23 13:00:05   fc2_2_time      14:00
     2018-09-23 13:00:05   fc2_2_ww        1
     2018-09-23 13:00:05   fc2_2_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc2_3_DD        77.00
     2018-09-23 13:00:05   fc2_3_FX1       9
     2018-09-23 13:00:05   fc2_3_Neff      36.00
     2018-09-23 13:00:05   fc2_3_RR6c      0.00
     2018-09-23 13:00:05   fc2_3_RRhc      0.00
     2018-09-23 13:00:05   fc2_3_Rh00      10.00
     2018-09-23 13:00:05   fc2_3_TTT       8.30
     2018-09-23 13:00:05   fc2_3_time      20:00
     2018-09-23 13:00:05   fc2_3_ww        1
     2018-09-23 13:00:05   fc2_3_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc2_Tg          1.30
     2018-09-23 13:00:05   fc2_Tn          3.60
     2018-09-23 13:00:05   fc2_Tx          11.4
     2018-09-23 13:00:05   fc2_date        2018-09-25
     2018-09-23 13:00:05   fc2_weekday     Di
     2018-09-23 13:00:05   fc2_wwd         Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc3_0_DD        98.00
     2018-09-23 13:00:05   fc3_0_FX1       15
     2018-09-23 13:00:05   fc3_0_Neff      8.00
     2018-09-23 13:00:05   fc3_0_RR6c      0.00
     2018-09-23 13:00:05   fc3_0_TTT       6.20
     2018-09-23 13:00:05   fc3_0_time      02:00
     2018-09-23 13:00:05   fc3_0_ww        0
     2018-09-23 13:00:05   fc3_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc3_1_DD        133.00
     2018-09-23 13:00:05   fc3_1_FX1       11
     2018-09-23 13:00:05   fc3_1_Neff      17.00
     2018-09-23 13:00:05   fc3_1_RR6c      0.00
     2018-09-23 13:00:05   fc3_1_RRhc      0.00
     2018-09-23 13:00:05   fc3_1_Rh00      10.00
     2018-09-23 13:00:05   fc3_1_TTT       6.10
     2018-09-23 13:00:05   fc3_1_time      08:00
     2018-09-23 13:00:05   fc3_1_ww        0
     2018-09-23 13:00:05   fc3_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc3_2_DD        196.00
     2018-09-23 13:00:05   fc3_2_FX1       22
     2018-09-23 13:00:05   fc3_2_Neff      23.00
     2018-09-23 13:00:05   fc3_2_RR6c      0.00
     2018-09-23 13:00:05   fc3_2_TTT       12.9
     2018-09-23 13:00:05   fc3_2_time      14:00
     2018-09-23 13:00:05   fc3_2_ww        0
     2018-09-23 13:00:05   fc3_2_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc3_3_DD        223.00
     2018-09-23 13:00:05   fc3_3_FX1       11
     2018-09-23 13:00:05   fc3_3_Neff      24.00
     2018-09-23 13:00:05   fc3_3_RR6c      0.00
     2018-09-23 13:00:05   fc3_3_RRhc      0.00
     2018-09-23 13:00:05   fc3_3_Rh00      12.00
     2018-09-23 13:00:05   fc3_3_TTT       11.9
     2018-09-23 13:00:05   fc3_3_time      20:00
     2018-09-23 13:00:05   fc3_3_ww        1
     2018-09-23 13:00:05   fc3_3_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc3_Tg          1.60
     2018-09-23 13:00:05   fc3_Tn          4.70
     2018-09-23 13:00:05   fc3_Tx          14.9
     2018-09-23 13:00:05   fc3_date        2018-09-26
     2018-09-23 13:00:05   fc3_weekday     Mi
     2018-09-23 13:00:05   fc3_wwd         Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc4_0_DD        252.00
     2018-09-23 13:00:05   fc4_0_FX1       13
     2018-09-23 13:00:05   fc4_0_Neff      21.00
     2018-09-23 13:00:05   fc4_0_RR6c      0.00
     2018-09-23 13:00:05   fc4_0_TTT       9.60
     2018-09-23 13:00:05   fc4_0_time      02:00
     2018-09-23 13:00:05   fc4_0_ww        0
     2018-09-23 13:00:05   fc4_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc4_1_DD        218.00
     2018-09-23 13:00:05   fc4_1_FX1       11
     2018-09-23 13:00:05   fc4_1_Neff      32.00
     2018-09-23 13:00:05   fc4_1_RR6c      0.00
     2018-09-23 13:00:05   fc4_1_RRhc      0.00
     2018-09-23 13:00:05   fc4_1_Rh00      11.00
     2018-09-23 13:00:05   fc4_1_TTT       9.5
     2018-09-23 13:00:05   fc4_1_time      08:00
     2018-09-23 13:00:05   fc4_1_ww        0
     2018-09-23 13:00:05   fc4_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc4_2_DD        201.00
     2018-09-23 13:00:05   fc4_2_FX1       22
     2018-09-23 13:00:05   fc4_2_Neff      26.00
     2018-09-23 13:00:05   fc4_2_RR6c      0.00
     2018-09-23 13:00:05   fc4_2_TTT       16.2
     2018-09-23 13:00:05   fc4_2_time      14:00
     2018-09-23 13:00:05   fc4_2_ww        0
     2018-09-23 13:00:05   fc4_2_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc4_3_DD        252.00
     2018-09-23 13:00:05   fc4_3_FX1       13
     2018-09-23 13:00:05   fc4_3_Neff      23.00
     2018-09-23 13:00:05   fc4_3_RR6c      0.00
     2018-09-23 13:00:05   fc4_3_RRhc      0.00
     2018-09-23 13:00:05   fc4_3_Rh00      15.00
     2018-09-23 13:00:05   fc4_3_TTT       14.1
     2018-09-23 13:00:05   fc4_3_time      20:00
     2018-09-23 13:00:05   fc4_3_ww        0
     2018-09-23 13:00:05   fc4_3_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc4_Tg          3.40
     2018-09-23 13:00:05   fc4_Tn          8.20
     2018-09-23 13:00:05   fc4_Tx          17.9
     2018-09-23 13:00:05   fc4_date        2018-09-27
     2018-09-23 13:00:05   fc4_weekday     Do
     2018-09-23 13:00:05   fc4_wwd         Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc5_0_DD        303.00
     2018-09-23 13:00:05   fc5_0_FX1       15
     2018-09-23 13:00:05   fc5_0_Neff      24.00
     2018-09-23 13:00:05   fc5_0_RR6c      0.00
     2018-09-23 13:00:05   fc5_0_TTT       11.6
     2018-09-23 13:00:05   fc5_0_time      02:00
     2018-09-23 13:00:05   fc5_0_ww        0
     2018-09-23 13:00:05   fc5_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc5_1_DD        326.00
     2018-09-23 13:00:05   fc5_1_FX1       15
     2018-09-23 13:00:05   fc5_1_Neff      44.00
     2018-09-23 13:00:05   fc5_1_RR6c      0.00
     2018-09-23 13:00:05   fc5_1_RRhc      0.00
     2018-09-23 13:00:05   fc5_1_Rh00      34.00
     2018-09-23 13:00:05   fc5_1_TTT       10.3
     2018-09-23 13:00:05   fc5_1_time      08:00
     2018-09-23 13:00:05   fc5_1_ww        0
     2018-09-23 13:00:05   fc5_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2018-09-23 13:00:05   fc5_2_DD        326.00
     2018-09-23 13:00:05   fc5_2_FX1       24
     2018-09-23 13:00:05   fc5_2_Neff      62.00
     2018-09-23 13:00:05   fc5_2_RR6c      0.00
     2018-09-23 13:00:05   fc5_2_TTT       12.9
     2018-09-23 13:00:05   fc5_2_time      14:00
     2018-09-23 13:00:05   fc5_2_ww        2
     2018-09-23 13:00:05   fc5_2_wwd       Bewölkung unverändert
     2018-09-23 13:00:05   fc5_3_DD        339.00
     2018-09-23 13:00:05   fc5_3_FX1       19
     2018-09-23 13:00:05   fc5_3_Neff      49.00
     2018-09-23 13:00:05   fc5_3_RR6c      0.00
     2018-09-23 13:00:05   fc5_3_RRhc      0.00
     2018-09-23 13:00:05   fc5_3_Rh00      37.00
     2018-09-23 13:00:05   fc5_3_TTT       11.5
     2018-09-23 13:00:05   fc5_3_time      20:00
     2018-09-23 13:00:05   fc5_3_ww        1
     2018-09-23 13:00:05   fc5_3_wwd       Bewölkung abnehmend
     2018-09-23 13:00:05   fc5_Tg          6.80
     2018-09-23 13:00:05   fc5_Tn          9.60
     2018-09-23 13:00:05   fc5_Tx          14.1
     2018-09-23 13:00:05   fc5_date        2018-09-28
     2018-09-23 13:00:05   fc5_weekday     Fr
     2018-09-23 13:00:05   fc5_wwd         Bewölkung abnehmend
     2018-09-23 13:00:05   fc_coordinates  7.97,50.67,547.0
     2018-09-23 13:00:05   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2018-09-23 13:00:05   fc_description  B.MARIENBG.
     2018-09-23 13:00:05   fc_station      10526
     2018-09-23 13:00:05   fc_time         2018-09-23 13:00:05
     2018-09-23 13:00:06   state           alerts updated
Attributes:
   alertArea  807138012
   alertLanguage DE
   forecastDays 5
   forecastStation 10526
   forecastWW2Text 1
   group      Wetter
   room       Wetter


WeblinkDevice
Internals:
   IODev      DWD
   NAME       DWDWeblinkDevice
   NR         689
   STATE      initialized
   TYPE       DWD_OpenData_Weblink
   .attraggr:
   .attrminint:
   READINGS:
     2018-09-23 12:35:37   state           initialized
Attributes:
   IODev      DWD
   forecastDays 5
   refreshRate 900
   room       Wetter


Weblink
DEF        htmlCode { DWD_OpenData_Weblink::AsHtmlH("DWDWeblinkDevice") }
   LINK       { DWD_OpenData_Weblink::AsHtmlH("DWDWeblinkDevice") }
   NAME       MyDWDWeblink
   NR         690
   STATE      initialized
   TYPE       weblink
   WLTYPE     htmlCode
Attributes:
   room       Wetter



Danke für Antworten  ;)

Gruß Werner

EDIT: PS: kann das jetzt aus der 99_myUtils entfernt werden ??
eval "use DWDODweblink;";





Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 13:28:19
@Intruder1956

ZitatBeim Weblink wie im Bild zu sehen funktionieren einige Umlaute nicht
Das ist aus meiner Sicht nicht typisch, vor allem da bei dir einige Texte Umlaute enthalten (die aus dem OpenData-Modul) und einige nicht (die aus dem Weblink-Modul). Bitte schau dir noch einmal die Weblink-Moduldatei an und suche nach "°C" bzw. anderen Umlauten. Auf GitHub ist die Welt noch in Ordnung. Prüfe einmal deine Version auf deinem PC mit einem Editor, der UTF-8 unterstützt (z.B. mit Notepad++) und einmal auf deinem FHEM-Server. Es ist möglich, dass beim Download bzw. beim Kopieren auf den FHEM-Server das Encoding von deinem Copy-Tool modifiziert und damit zerstört wurde. Bei Tools wie WinSCP die Dateien im Binär-Modus und nicht im Text-Modus übertragen.

Zitatund es fehlt etwas ab "Mi 8:00"
Nein, ab Mi lautet die Meldung bei dir "Bewölkungsentwicklung nicht beobachtet" und die wird unterdrückt, da sie nicht viel aussagt.

Zitatwie bekomme ich die Unwettermeldungen angezeigt ??
Gute Frage. Eigentlich müsstest du was sehen, denn du hast a-Readings und die Zeiten passen. Ich bekomme mit deiner alertArea aktuell Warnsymbold für heute angezeigt. Vielleicht hängt es mit dem Umlaut-Problem zusammen?

Zitatkann das jetzt aus der 99_myUtils entfernt werden ??
Ja.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 23 September 2018, 13:53:22
Hallo Jens,
danke für die Antworten  :)

Habe mir die beiden Dateien aus dem Github gezogen und über kopiert, jetzt funktionieren auch alle Umlaute  ;)
Fhem wurde neu gestartet

Leider noch keine Warnsymbole oder Text

Gruß Werner 
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 14:17:01
Hallo Werner,

ZitatLeider noch keine Warnsymbole

Dann brauche ich mehr Logging von dir. Bitte ändere den Weblink-Code wie folgt ab ca. Zeile 1050, mach einen Page-Refresh mit dem gepatchten Code und poste den Output (er muss mindesten die Ausgabe für a_count enthalten). Habe den gepatchten Code selbst nicht getestet, er könnte Tippfehler enthalten:

  # prepare alerts
  my $alerts = ::ReadingsVal($d, "a_count", 0);
  my %alertMessages;
  ::Log 1, "PrepareForecastData: a_count:$a_count";
  if ($alerts > 0) {
    for (my $i=-1; $i<$items; $i++) {
      my ($day, $index) = ToForecastIndex($i, \@offsets, $timeResolution);
      if ($i >= 0) {
        # future alerts 0=rest of today, 1=tomorrow morning, 2=tomorrow evening, ...
        my $fcStart = $data[$i+1]{startTime};
        my $fcEnd = ($i + 1) < $items? $data[$i+2]{startTime} : ($fcStart + 43200 - 1); # 12 hours
        $alertMessages{"$day-$index"} = undef;
        for(my $a=0; $a<$alerts; $a++) {
          my $start = DWD_OpenData::ParseDateTimeLocal($hash, ::ReadingsVal($d, "a_".$a."_onset", '1970-01-01 00:00:00'));
          my $end   = DWD_OpenData::ParseDateTimeLocal($hash, ::ReadingsVal($d, "a_".$a."_expires", '1970-01-01 00:00:00'));
          ::Log 1, "PrepareForecastData: day $i start:$start, end:$end, fcStart:$fcStart, fcEnd:$fcEnd";
          if (IsInRange($start, $end, $fcStart, $fcEnd)) {
            if (!defined($alertMessages{"$day-$index"})) {
              $alertMessages{"$day-$index"} = "";
            }
            if (IsActive($start, $end, $fcStart)) {
              # already active, skip onset
              $alertMessages{"$day-$index"} .= sprintf('<div class="weaterAlertMessage" style="color:black; background-color:rgb(%s)">%s bis %s<br>%s<p>%s</div>', ::ReadingsVal($d, "a_".$a."_areaColor", "255, 255, 255"), ::ReadingsVal($d, "a_".$a."_areaDesc", "?"), ::ReadingsVal($d, "a_".$a."_expires", "?"), ::ReadingsVal($d, "a_".$a."_headline", "?"), ::ReadingsVal($d, "a_".$a."_description", "?"));
            } else {
              $alertMessages{"$day-$index"} .= sprintf('<div class="weaterAlertMessage" style="color:black; background-color:rgb(%s)">%s von %s bis %s<br>%s<p>%s</div>', ::ReadingsVal($d, "a_".$a."_areaColor", "255, 255, 255"), ::ReadingsVal($d, "a_".$a."_areaDesc", "?"), ::ReadingsVal($d, "a_".$a."_onset", "?"), ::ReadingsVal($d, "a_".$a."_expires", "?"), ::ReadingsVal($d, "a_".$a."_headline", "?"), ::ReadingsVal($d, "a_".$a."_description", "?"));
            }
          }
        }
      } else {
        # currently valid alerts
        my $fcStart = $data[0]{startTime};
        my $fcEnd = $data[1]{startTime};
        $alertMessages{'NOW'} = undef;
        for(my $a=0; $a<$alerts; $a++) {
          my $start = DWD_OpenData::ParseDateTimeLocal($hash, ::ReadingsVal($d, "a_".$a."_onset", '1970-01-01 00:00:00'));
          my $end   = DWD_OpenData::ParseDateTimeLocal($hash, ::ReadingsVal($d, "a_".$a."_expires", '1970-01-01 00:00:00'));
          ::Log 1, "PrepareForecastData: current start:$start, end:$end, fcStart:$fcStart, fcEnd:$fcEnd";
          if (IsInRange($start, $end, $fcStart, $fcEnd)) {
            if (!defined($alertMessages{'NOW'})) {
              $alertMessages{'NOW'} = "";
            }
            if (IsActive($start, $end, $now)) {
              $alertMessages{'NOW'} .= sprintf('<div class="weaterAlertMessage" style="color:black; background-color:rgb(%s)">%s bis %s<br>%s<p>%s</div>', ::ReadingsVal($d, "a_".$a."_areaColor", "255, 255, 255"), ::ReadingsVal($d, "a_".$a."_areaDesc", "?"), ::ReadingsVal($d, "a_".$a."_expires", "?"), ::ReadingsVal($d, "a_".$a."_headline", "?"), ::ReadingsVal($d, "a_".$a."_description", "?"));
            } else {
              $alertMessages{'NOW'} .= sprintf('<div class="weaterAlertMessage" style="color:black; background-color:rgb(%s)">%s von %s bis %s<br>%s<p>%s</div>', ::ReadingsVal($d, "a_".$a."_areaColor", "255, 255, 255"), ::ReadingsVal($d, "a_".$a."_areaDesc", "?"), ::ReadingsVal($d, "a_".$a."_onset", "?"), ::ReadingsVal($d, "a_".$a."_expires", "?"), ::ReadingsVal($d, "a_".$a."_headline", "?"), ::ReadingsVal($d, "a_".$a."_description", "?"));
            }
          }
        }
      }
    }
  }


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 23 September 2018, 14:40:19
Habe dies bekommen,

2018.09.23 14:33:04 1: PERL WARNING: Constant subroutine DWD_OpenData_Weblink::COLOR_FREEZE redefined at /usr/share/perl/5.24/constant.pm line 171, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Constant subroutine DWD_OpenData_Weblink::COLOR_WARM redefined at /usr/share/perl/5.24/constant.pm line 171, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Constant subroutine DWD_OpenData_Weblink::COLOR_RAIN redefined at /usr/share/perl/5.24/constant.pm line 171, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine Define redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 320, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine Get redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 346, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine GetForecastCssH redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 382, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine IsDay redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 558, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine IsActive redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 591, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine IsInRange redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 619, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine GetWeatherIconTag redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 649, <$fh> line 655.
2018.09.23 14:33:04 1: PERL WARNING: Subroutine ToForecastIndex redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 699, <$fh> line 655.
2018.09.23 14:33:04 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Global symbol "$a_count" requires explicit package name (did you forget to declare "my $a_count"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1053, <$fh> line 655.
syntax error at ./FHEM/99_DWD_OpenData_Weblink.pm line 1100, near "} else"
Can't redeclare "my" in "my" at ./FHEM/99_DWD_OpenData_Weblink.pm line 1103, near ""
Global symbol "@data" requires explicit package name (did you forget to declare "my @data"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1103, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1104, <$fh> line 655.
Global symbol "$alerts" requires explicit package name (did you forget to declare "my $alerts"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1105, <$fh> line 655.
Global symbol "$hash" requires explicit package name (did you forget to declare "my $hash"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1106, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1106, <$fh> line 655.
Global symbol "$hash" requires explicit package name (did you forget to declare "my $hash"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1107, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1107, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1109, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1110, <$fh> line 655.
Global symbol "$now" requires explicit package name (did you forget to declare "my $now"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1112, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
syntax error at ./FHEM/99_DWD_OpenData_Weblink.pm line 1119, near "}"
./FHEM/99_DWD_OpenData_Weblink.pm has too many errors.

2018.09.23 14:33:04 0: Global symbol "$a_count" requires explicit package name (did you forget to declare "my $a_count"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1053, <$fh> line 655.
syntax error at ./FHEM/99_DWD_OpenData_Weblink.pm line 1100, near "} else"
Can't redeclare "my" in "my" at ./FHEM/99_DWD_OpenData_Weblink.pm line 1103, near ""
Global symbol "@data" requires explicit package name (did you forget to declare "my @data"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1103, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1104, <$fh> line 655.
Global symbol "$alerts" requires explicit package name (did you forget to declare "my $alerts"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1105, <$fh> line 655.
Global symbol "$hash" requires explicit package name (did you forget to declare "my $hash"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1106, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1106, <$fh> line 655.
Global symbol "$hash" requires explicit package name (did you forget to declare "my $hash"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1107, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1107, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1109, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1110, <$fh> line 655.
Global symbol "$now" requires explicit package name (did you forget to declare "my $now"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1112, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1113, <$fh> line 655.
Global symbol "%alertMessages" requires explicit package name (did you forget to declare "my %alertMessages"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
Global symbol "$d" requires explicit package name (did you forget to declare "my $d"?) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1115, <$fh> line 655.
syntax error at ./FHEM/99_DWD_OpenData_Weblink.pm line 1119, near "}"
./FHEM/99_DWD_OpenData_Weblink.pm has too many errors.

2018.09.23 14:33:04 1: Including ./log/fhem.save
2018.09.23 14:33:04 1: configfile: Cannot load module DWD_OpenData_Weblink
./log/fhem.save: Please define DWDWeblinkDevice first
Please define DWDWeblinkDevice first
2018.09.23 14:33:17 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWDWeblinkDevice") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 474) line 1.


2018.09.23 14:36:09 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWDWeblinkDevice") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 780) line 1.

2018.09.23 14:36:43 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWDWeblinkDevice") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 950) line 1.



Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 15:00:22
Sorry, bitte ersetze die 1. Logausgabe mit a_count durch
Zitat::Log 1, "PrepareForecastData: alerts:$alerts";
Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 23 September 2018, 15:32:35
jetzt folgendes  ;)
2018.09.23 15:28:10 1: PERL WARNING: Constant subroutine DWD_OpenData_Weblink::COLOR_FREEZE redefined at /usr/share/perl/5.24/constant.pm line 171, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Constant subroutine DWD_OpenData_Weblink::COLOR_WARM redefined at /usr/share/perl/5.24/constant.pm line 171, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Constant subroutine DWD_OpenData_Weblink::COLOR_RAIN redefined at /usr/share/perl/5.24/constant.pm line 171, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine Define redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 320, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine Get redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 346, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine GetForecastCssH redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 382, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine IsDay redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 558, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine IsActive redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 591, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine IsInRange redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 619, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine GetWeatherIconTag redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 649, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine ToForecastIndex redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 699, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine GetForecastHtmlH redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 1130, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine AsHtmlH redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 1235, <$fh> line 655.
2018.09.23 15:28:10 1: PERL WARNING: Subroutine DWD_OpenData_Weblink_Initialize redefined at ./FHEM/99_DWD_OpenData_Weblink.pm line 1300, <$fh> line 655.
2018.09.23 15:28:10 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Missing right curly or square bracket at ./FHEM/99_DWD_OpenData_Weblink.pm line 1433, at end of line
syntax error at ./FHEM/99_DWD_OpenData_Weblink.pm line 1433, at EOF

2018.09.23 15:28:10 0: Missing right curly or square bracket at ./FHEM/99_DWD_OpenData_Weblink.pm line 1433, at end of line
syntax error at ./FHEM/99_DWD_OpenData_Weblink.pm line 1433, at EOF

2018.09.23 15:28:10 1: Including ./log/fhem.save
2018.09.23 15:28:11 1: configfile: Cannot load module DWD_OpenData_Weblink
./log/fhem.save: Please define DWDWeblinkDevice first
Please define DWDWeblinkDevice first


Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 16:10:42
Hallo Werner,

das wird so nichts, wahrscheinlich ist eine Klammer beim Einfügen verloren gegangen. Anbei das bereits vorbereitete Modul zum Testen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 23 September 2018, 16:17:14
ok, dann nochmal  ;)

2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value in string eq at ./FHEM/99_DWD_OpenData_Weblink.pm line 357.
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2018.09.23 16:14:30 1: PrepareForecastData: alerts:6
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $start in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1088.
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $end in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1088.
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $fcEnd in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1088.
2018.09.23 16:14:30 1: PrepareForecastData: current start:, end:, fcStart:1537712070, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: current start:, end:, fcStart:1537712070, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: current start:, end:, fcStart:1537712070, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: current start:, end:, fcStart:1537712070, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: current start:, end:, fcStart:1537712070, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: current start:, end:, fcStart:1537712070, fcEnd:
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $start in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1066.
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $end in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1066.
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $fcStart in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1066.
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $fcEnd in concatenation (.) or string at ./FHEM/99_DWD_OpenData_Weblink.pm line 1066.
2018.09.23 16:14:30 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value $fcStart in addition (+) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1061.
2018.09.23 16:14:30 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:30 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:30 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:30 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:30 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:30 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:30 1: GetForecastHtmlH: i:-1, data:NOW
2018.09.23 16:14:30 1: GetForecastHtmlH: i:0, data:1-0
2018.09.23 16:14:30 1: GetForecastHtmlH: i:1, data:1-1
2018.09.23 16:14:30 1: GetForecastHtmlH: i:2, data:1-2
2018.09.23 16:14:30 1: GetForecastHtmlH: i:3, data:2-1
2018.09.23 16:14:30 1: GetForecastHtmlH: i:4, data:2-2
2018.09.23 16:14:30 1: GetForecastHtmlH: i:5, data:3-1
2018.09.23 16:14:30 1: GetForecastHtmlH: i:6, data:3-2
2018.09.23 16:14:30 1: GetForecastHtmlH: i:7, data:4-1
2018.09.23 16:14:30 1: GetForecastHtmlH: i:8, data:4-2
2018.09.23 16:14:38 1: PrepareForecastData: alerts:6
2018.09.23 16:14:38 1: PrepareForecastData: current start:, end:, fcStart:1537712078, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: current start:, end:, fcStart:1537712078, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: current start:, end:, fcStart:1537712078, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: current start:, end:, fcStart:1537712078, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: current start:, end:, fcStart:1537712078, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: current start:, end:, fcStart:1537712078, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:0, day:1, index:0, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:1, day:1, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:2, day:1, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:3, day:2, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:4, day:2, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:5, day:3, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:6, day:3, index:2, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:7, day:4, index:1, start:, end:, fcStart:, fcEnd:
2018.09.23 16:14:38 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:38 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:38 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:38 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:38 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:38 1: PrepareForecastData: i:8, day:4, index:2, start:, end:, fcStart:, fcEnd:43199
2018.09.23 16:14:38 1: GetForecastHtmlH: i:-1, data:NOW
2018.09.23 16:14:38 1: GetForecastHtmlH: i:0, data:1-0
2018.09.23 16:14:38 1: GetForecastHtmlH: i:1, data:1-1
2018.09.23 16:14:38 1: GetForecastHtmlH: i:2, data:1-2
2018.09.23 16:14:38 1: GetForecastHtmlH: i:3, data:2-1
2018.09.23 16:14:38 1: GetForecastHtmlH: i:4, data:2-2
2018.09.23 16:14:38 1: GetForecastHtmlH: i:5, data:3-1
2018.09.23 16:14:38 1: GetForecastHtmlH: i:6, data:3-2
2018.09.23 16:14:38 1: GetForecastHtmlH: i:7, data:4-1
2018.09.23 16:14:38 1: GetForecastHtmlH: i:8, data:4-2


Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 17:47:16
Hallo Werner,

das Logging zeigt, dass der Code die Zeitstempel nicht findet (hinter start, end und fcEnd steht nichts), obwohl es 6 Warnungen gibt (alerts:6). Das ist für mich aktuell nicht nachvollziehbar, denn dann dürfte deine Darstellung des Weblinks eigentlich auch nichts anzeigen, denn es sind die gleichen Zeitstempel (technisch gesprochen ist das Array @data bei der Wetterwarnungsaufbereitung also vorübergehend leer).

Da ich von hier nicht selbst auf deinem FHEM-Server testen kann und das Problem auf meinen beiden FHEM-Servern nicht auftritt, bleiben nicht viele Optionen. Bitte prüfe noch mal, ob du die "alte" Weblink-Datei ohne "99_" davor im Dateinamen wirklich aus dem FHEM-Unterverzeichnis gelöscht hast und ob du anschließend wenigstens einmal FHEM neu gestartet hast. Versuchsweise vielleicht noch einmal den FHEM-Server neu starten.

Hier noch ein Hinweis:

Zitat2018.09.23 16:14:30 1: PERL WARNING: Use of uninitialized value in string eq at ./FHEM/99_DWD_OpenData_Weblink.pm line 357.
Bitte setze das Attribut "theme" am Weblink-Device. In der nächsten Version des Weblink-Moduls wird das nicht mehr nötig sein.

Falls noch jemand den gleichen Effekt hat und keine Warnmeldungen im neuen Weblink sieht, bitte melden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 September 2018, 21:01:46
Auf GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) gibt es ein Update für die Prototypen des OpenData-Moduls und des Weblink-Moduls. Die Updates enthalten mehrere kleinere Funktionsverbesserung und Fehlerbehebungen. Details können den Commit-Kommentaren auf GitHub entnommen werden (Maus über den Text in der mittleren Spalte halten).

Für ein Update über FHEM wären weitere Rückmeldungen zu den Prototypen hilfreich.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: connaisseur am 24 September 2018, 16:52:48
Zitat von: jensb am 23 September 2018, 21:01:46
Für ein Update über FHEM wären weitere Rückmeldungen zu den Prototypen hilfreich.

Die manuell aktualisierten Module von GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) tun bei mir auf einem Cubietruck mit aktuellem FHEM wie sie sollen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: connaisseur am 24 September 2018, 16:55:33
Einen FeatureRequest hätte ich da: Wie wäre es, wenn man in den Weblink den Output von "fc_description" per Attribut hineinblenden könnte?

So als Status...
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 24 September 2018, 18:44:26
Hallo Jens, habe heute das neue Modul aus Github installiert, läuft bis jetzt ohne Meldung.
Leider sind ab heute keine Unwetterwarnungen, sodaß ich das noch nicht prüfen konnte.

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 September 2018, 20:12:12
@connaisseur
Zitatin den Weblink den Output von "fc_description" ... hineinblenden
Die Frage ist wohin. Der Weblink ist ein einzeilige Tabelle, aber die Beschreibung müsste wohl als Überschrift mehrere Tabellen-Zellen umfassen. Dadurch benötigt der Weblink mehr Höhe bei der Darstellung. Sobald ich mit sowas anfange muss ich auch das Copyright vom DWD unterbringen, aber eher unten und das kostet noch mal Höhe (momentan ist dafür jeder selbst verantwortlich). Außerdem besteht die Beschreibung nur aus Großbuchstaben, das sieht nicht aus. Da wäre es schon besser man würde einen frei konfigurierbaren Titel vorsehen. Die Idee gefällt mir aber - habe mir dafür ein @TODO ins Modul geschrieben.

@Intruder1956
Solange ALERTS_IN_CACHE größer 0 ist, könntest du zum Testen auf eine andere Station wechseln.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 25 September 2018, 01:13:15
Zitat von: jensb am 24 September 2018, 20:12:12
@connaisseurDie Frage ist wohin. Der Weblink ist ein einzeilige Tabelle, aber die Beschreibung müsste wohl als Überschrift mehrere Tabellen-Zellen umfassen. Dadurch benötigt der Weblink mehr Höhe bei der Darstellung. Sobald ich mit sowas anfange muss ich auch das Copyright vom DWD unterbringen,

Ich nehme an, diese Zeile ist gemeint:
define DWDweblink weblink htmlCode { DWDOD_AsHtmlH("DWD", 7, 1) }

Ich würde tatsächlich gern sieben Tage-Vorschau sehen. Leider sprengt das das Display. Der Traum wäre, dass das tatsächlich auf zwei Zeilen umgebrochen wird (sagen wir: bei mehr als drei Tagen).

Das Copyright käme dann per default in die dritte Zeile - aber via attr vom Nutzer abschaltbar. Damit sollte dem Recht Genüge getan sein.

Ich weiß. Ich bin der mit den ganz schlauen Ideen, der sowas aber nicht kann ...
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 25 September 2018, 20:16:25
@curt
7 Tage nebeneinander auf einem "normalen" Full HD Bildschirm sollte schon jetzt funktionieren. Hat man aber deutlich weniger Pixel zur Verfügung ist das eher ambitioniert. Man könnte die Icons noch etwas weiteres kleiner machen ohne dass gleich Verwechslungsgefahr besteht. Den Text kann man dagegen nicht deutlich kleiner machen, sonst muss man mit der Lupe ran. 2zeilig ist sicher eine Möglichkeit aber besonders harmonisch wird das nicht 'rüber kommen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 25 September 2018, 21:02:48
Zitat von: jensb am 25 September 2018, 20:16:25
7 Tage nebeneinander auf einem "normalen" Full HD Bildschirm sollte schon jetzt funktionieren.
@jensb
Ich habe gerade begonnen, mit dem offiziellen RPi-Display rumzuspielen, da stehen 800px in der Breite zur Verfügung. Leider kann ich nur den WebLink Deines Moduls. Vermutlich geht es mit Deinem Modul auch ganz anders und es geht auch noch viel mehr. Nur kann ich das nicht:

Ich hatte gelesen und so verstanden, dass es eine offizielle DWD-Doku mit 700 Seiten gäbe, die müsse man lesen und dann könne man vieles mit Deinem Modul ... stimmt so? Na jedenfalls hat mich das derart verschreckt, dass ich dache: Ach komm, der WebLink geht, da habe ich erstmal was - und einen schnellen Erfolg.
Titel: Antw:Modul für DWD Open Data
Beitrag von: enno am 25 September 2018, 21:30:52
Moin Jens,

kurze Rückmeldung: Deine letzte Version läuft bei mir ohne Fehlermeldungen. Ich habe mir per attr forecastProperties die Daten von RR1c,RR3c,Rh00,R602,Rh02,Rd02,Rh10,R650,Rh50,Rd50,PEvap dazugeholt. Funktioniert auch. Beim Weblink fehlen mir immer ein paar Icons (N/A) und "? mm ? %". Ich nutze nur forecastResolution 3 frei nach dem Motto; "Today is the day"  ;D weitere Vorrausschau glaube ich sowieso nicht.

Du hattest mal in einem anderen Thread angegeben, dass du die Notwendigkeit für Rasensprengen an oder nicht mit den Daten von DWD berechnest. Hast du da einen Tip wie du das machst. Ich bastel da auch dran rum weil ich keinen Feuchtigkeitssensor vergraben moechte.

Gruss
  Enno
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 September 2018, 20:42:45
@curt
Das mit den 700 Seiten stammt nicht von mir. Die Doku vom DWD ist aber tatsächlich deutlich umfangreicher als die, die man in einer Modulhilfe unterbringen kann. Das wichtigste findest du, wenn du den Links aus der Modulhilfe folgst.

Wenn du ein RPi-Display hast, dann empfehle ich dir die TabletUI (https://wiki.fhem.de/wiki/FHEM_Tablet_UI). Das macht zwar bei der Konfiguration deutlich mehr Arbeit, wirkt aber auch entsprechend besser. Weiter unten im Thread gibt es Anwender, die sich das Proplanta-kompatible Wettermodul für die TabletUI angepasst haben.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 September 2018, 21:07:59
@enno
Danke für die Rückmeldung. Wenn du den "neuen" Weblink verwendest, solltest du keine ? mehr sehen. Kann es sein, dass du einen Teil der erforderlichen forecastProperties wegkonfiguriert hast? In der Modulhilfe des Weblinks steht, was er auf jeden Fall braucht.

Mit forecastResolution=3 stellst du ein, dass es für jedes Property ein Reading alle 3 Stunden gibt. Wenn du wirklich nur einen Tag brauchst, solltest du auch forecastDays=1 einstellen.

Ich habe einen Regensensor und ein DOIF. Das Regelwerk ist vergleichsweise simple und sorgt für konstante Beregnung ohne bisher die Verdunstung zu berücksichtigen:
([DWD:fc_time:sec] < 10800 &&
  (
   ## actual rain in the last 1/12/24 hours
   [Niederschlag:rainSensor] > 0 ||
   [Niederschlag:rain1h]     > 0 ||
   [Niederschlag:rain12h]   >= 2 ||
   [Niederschlag:rain24h]   >= 4 ||
   
   ## expected rain in the morning
   ##([DWD:fc0_0_wwd] =~ "(Regen(?!schauer))" && DateTime->now(time_zone => 'UTC')->hour() < 6)   ||
   ##([DWD:fc0_1_wwd] =~ "(Regen(?!schauer))" && DateTime->now(time_zone => 'UTC')->hour() < 13)  ||
   ##([DWD:fc0_2_wwd] =~ "(Regen(?!schauer))" && DateTime->now(time_zone => 'UTC')->hour() < 19)  ||
   
   ## at least 1 mm/qm with 60 % expected rain in the hours between 13:00/19:00 and 06:00 UTC
   ([DWD:fc0_6_R600] > 60 && [DWD:fc0_6_RR6c] >= 1 && DateTime->now(time_zone => 'UTC')->hour() >= 13) ||
   ([DWD:fc1_0_R600] > 60 && [DWD:fc1_0_RR6c] >= 1 && DateTime->now(time_zone => 'UTC')->hour() >= 19) ||   
   ([DWD:fc1_2_R600] > 60 && [DWD:fc1_2_RR6c] >= 1 && DateTime->now(time_zone => 'UTC')->hour() >= 19)   
  )
)
  ## it has rained within the last 12 hours or will rain in the next 12 hours -> disable irrigation
  ({if (ReadingsVal('WasserRasen', 'mode', '?')  eq 'AUTO') { fhem("set WasserRasen  OFF") }})
DOELSE
  ## no rain -> auto irrigation
  ({if (ReadingsVal('WasserRasen', 'mode', '?')  eq 'OFF') { fhem("set WasserRasen  AUTO") }})


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 27 September 2018, 02:41:56
@jensb
Zitat von: jensb am 26 September 2018, 20:42:45
Das mit den 700 Seiten stammt nicht von mir. Die Doku vom DWD ist aber tatsächlich deutlich umfangreicher als die, die man in einer Modulhilfe unterbringen kann. Das wichtigste findest du, wenn du den Links aus der Modulhilfe folgst.

Und da ist ein Problem. Ich selbst lerne am schnellsten durch Beispiele. Eine Hand voll leicht nachvollziehbarer Beispiele (idealerweise im FHEM-Wiki) wäre mein Traum.

Zitat von: jensb am 26 September 2018, 20:42:45
Wenn du ein RPi-Display hast, dann empfehle ich dir die TabletUI (https://wiki.fhem.de/wiki/FHEM_Tablet_UI). Das macht zwar bei der Konfiguration deutlich mehr Arbeit, wirkt aber auch entsprechend besser.

Danke Jens!
Das war der entscheidende Tipp. (Und bodenständig ist das auch, html kann ich noch.) Falls ich hier Orden zu vergeben hätte, bekämst Du heute von mir den "selbstloser-Helfer-Orden" in Purpur - danke für den Tipp.

Anmerkung nachträglich: Raspberry Origial-Display 7" mit 800x480, Minimal-X11 (C't 19/2018, S. 68ff) und als Browser Midori im Kioskmode (https://www.midori-browser.org)

Zitat von: jensb am 26 September 2018, 20:42:45
Weiter unten im Thread gibt es Anwender, die sich das Proplanta-kompatible Wettermodul für die TabletUI angepasst haben.

Den Satz habe ich leider nicht verstanden.
Es gibt ein nicht offizielles "DWD Open Data Wettermodul" für TabletUI? Das muss ich dann selbst reinfrickeln? Und das schenkt mir jemand, wenn ich dolle lieb bin? Oder wie genau?
Eigentlich wollte ich Dich an DER Stelle ja auch bitten, einige Beispiele zu zeigen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: cheanrod am 27 September 2018, 10:04:30
Hallo Jens,

Zitat von: jensb am 23 September 2018, 21:01:46
Für ein Update über FHEM wären weitere Rückmeldungen zu den Prototypen hilfreich.

Das Modul von GitHub läuft auch bei mir problemlos. Ich nutze nur die Forecasts.

Gruß
Sven
Titel: Antw:Modul für DWD Open Data
Beitrag von: juli am 27 September 2018, 19:41:36
Hallo

ich habe folgende Fehlermeldung in meinem Logfile

ZitatERROR evaluating { DWDOD_AsHtmlH("DWD", 7, 1) }: Undefined subroutine &main::DWDOD_AsHtmlH called at (eval 238) line 1.

Ich bin recht neu in der Fhem welt... also seit einem halbeb jahr..

Liebe Grüße

Juli
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 September 2018, 20:10:57
@curt
ZitatEs gibt ein nicht offizielles "DWD Open Data Wettermodul" für TabletUI?
Möglicherweise. Ich meine das aus einem Post herausgelesen zu haben. Es ging um FTUI bzw. Proplanta-Kompatilität. Wenn du es genau wissen willst, musst du die Beiträge rückwärts durchgehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 September 2018, 20:21:38
@juli (und alle anderen, die noch den Weblink ohne vorangestelltes 99_ im Dateinamen verwenden)
Bitte die "alte" Datei deinstallieren und aus dem FHEM-Verzeichnis entfernen. Diese "alte" Version ist nicht kompatibel mit dem neuen OpenData-Modul, da sich viele Reading-Namen vom DWD geändert haben.

Wer die DWD-Wettervorhersage mit oder ohne Weblink benötigt, muss auf die Prototypen-Versionen von GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) umsteigen.

Es gibt noch keinen passenden Wiki-Beitrag für den Weblink. Eine Kurzbeschreibung findet sich in Antwort 223 (https://forum.fhem.de/index.php/topic,83097.msg838638.html#msg838638) und in der Modulhilfe des Weblinks (einfach die Moduldatei mit einem Texteditor öffnen - am Ende ist der Hilfstext).

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: juli am 27 September 2018, 20:52:29
Hallo Jens

Dir schon  mal Danke für das Entwickeln des Tools und die schnelle Reaktionszeit die du am 20.09.2018 an den Tag gelegt hast.
Habe das Modul am 20.09.2018 versucht zu Installieren  :(, bis ich deinen Thread fand :o.
Habe mich diverse Stunden damit beschäftigt...
Habe einfach die Wiki befolgt..
nun-ja habe einiges gelernt und einige Logfile Fehler beseitigt.
Ich arbeite aktuell mit der neuen Version von dir, die von git-hub.
Aber weil ich keine Programmiererin bin scheitre ich an manche Dingen gerade gnadenlos..
müsste ich das 99_ nun irgendwo zusätzlich in der Fhem.cfg oder 99_MyUtils davor schreiben.
Ich werde mal versuchen es ans laufen zu bekommen.
Wenn ich erfolgreich bin schreibe ich es hier als Antwort.

Liebe Grüße

Juli
Titel: Antw:Modul für DWD Open Data
Beitrag von: juli am 27 September 2018, 20:57:37
Ich bekomme schon Daten raus was mich freut ...
Ein kleiner Trost für heute a_count

0

2018-09-27 20:45:06
a_time

2018-09-27 20:45:05

2018-09-27 20:45:06
fc0_3_DD

208

2018-09-27 20:00:05
fc0_3_FX1

15

2018-09-27 20:00:05
fc0_3_Neff

17

2018-09-27 20:00:05
fc0_3_RR6c

0.00

2018-09-27 20:00:05
fc0_3_RRhc

0.00

2018-09-27 20:00:05
fc0_3_Rh00

1

2018-09-27 20:00:05
fc0_3_TTT

17.5

2018-09-27 20:00:05
fc0_3_time

20:00

2018-09-27 20:00:05
fc0_3_ww

0

2018-09-27 20:00:05
fc0_3_wwd

Bewölkungsentwicklung nicht beobachtet

2018-09-27 20:00:05
fc0_Tn

13

2018-09-27 20:00:05
fc0_Tx

23.5

2018-09-27 20:00:05
fc0_date

2018-09-27

2018-09-27 20:00:05
fc0_weekday

Do

2018-09-27 20:00:05
fc1_0_DD

266

2018-09-27 20:00:05
fc1_0_FX1

11

2018-09-27 20:00:05
fc1_0_Neff

15

2018-09-27 20:00:05
fc1_0_RR6c

0.00

2018-09-27 20:00:05
fc1_0_TTT

11.2

2018-09-27 20:00:05
fc1_0_time

02:00

2018-09-27 20:00:05
fc1_0_ww

0

2018-09-27 20:00:05
fc1_0_wwd

Bewölkungsentwicklung nicht beobachtet

2018-09-27 20:00:05
fc1_1_DD

301

2018-09-27 20:00:05
fc1_1_FX1

15

2018-09-27 20:00:05
fc1_1_Neff

69

2018-09-27 20:00:05
fc1_1_RR6c

0.00

2018-09-27 20:00:05
fc1_1_RRhc

0.00

2018-09-27 20:00:05
fc1_1_Rh00

4

2018-09-27 20:00:05
fc1_1_TTT

10.4

2018-09-27 20:00:05
fc1_1_time

08:00

2018-09-27 20:00:05
fc1_1_ww

2

2018-09-27 20:00:05
fc1_1_wwd

Bewölkung unverändert

2018-09-27 20:00:05
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 September 2018, 21:14:29
@juli (und alle anderen, die noch den "alten" Weblink ohne vorangestelltes 99_ im Dateinamen verwenden)

Die Daten sehen gut aus.

Es wird aber nicht helfen, an das bestehende Weblink-Modul "99_" davor zu schreiben. Wem die englische Beschreibung in der Modulhilfe des "neuen" Weblinks auf GitHub nicht zusagt, sollte noch etwas Geduld haben, bevor viel Zeit mit einem erfolglosen Installationsversuch vergeht, denn ich werde vermutlich am Wochenende den Wiki-Eintrag für den Weblink überarbeiten.

Beim neuen OpenData-Modul ändert sich nicht viel, die Neuinstallation wird sogar einfacher und wie das Update funktioniert ist in Antwort 223 (https://forum.fhem.de/index.php/topic,83097.msg838638.html#msg838638) beschrieben.

Trotzdem sollte man schon mal den "alten" Weblink loswerden. Dazu die bestehende Wiki-Beschreibung rückwärts abarbeiten. Im wesentlichen das Weblink-Device entfernen (mit delete <devicename>), die Modul-Datei DWDODweblink.pm aus dem FHEM-Ordner entfernen, den "use DWDODweblink" Eintrag aus 99_myUtils.pm entfernen und vor der Installation des neuen Weblink-Moduls FHEM neu starten.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 27 September 2018, 22:51:37
Zitat von: jensb am 27 September 2018, 20:10:57
@curtMöglicherweise. Ich meine das aus einem Post herausgelesen zu haben. Es ging um FTUI bzw. Proplanta-Kompatilität. Wenn du es genau wissen willst, musst du die Beiträge rückwärts durchgehen.

Vermutlich Beitrag #210 von @roman1528 , der verlinkt zu https://forum.fhem.de/index.php/topic,89570.msg820325.html

Das kann ich aber erst, wenn ... ich muss mal was ganz Doofes fragen, ich weiß das nicht mehr: Kommt Dein Modul über den normalen Update-Prozess von FHEM? Oder habe ich das mal von Hand reingekloppt und inzwischen vergessen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tobias am 28 September 2018, 10:43:22
Hi,
seit neuestem kommt nur noch ein Fehler:
forecast error: error 404 retrieving URL 'https://opendata.dwd.de/weather/local_forecasts/poi/10361-MOSMIX.csv'

Hat sich etwas geändert??
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 28 September 2018, 13:03:54
Zitat von: Tobias am 28 September 2018, 10:43:22
Hat sich etwas geändert??
ja, du brauchst für vorhersagen die neue modulversion aus dem git von jens. https://github.com/jnsbyr/fhem (https://github.com/jnsbyr/fhem)

@jensb
alerts und forecasts funktionieren bei mir mit der gitversion des moduls scheinbar fehlerfrei, merci. weblink noch nicht probiert.

ohne attr forecastDays bekomme ich 10 tage vorhersage. vielleicht sollte man hier einen anderen default einstellen. nach der commandref (default=none) hätte ich weniger erwartet.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 September 2018, 19:09:30
@frank

Danke für die Rückmeldung. Lt. meinen Unterlagen betrug der Vorhersagezeitraum in der "alten" Daten 7 Tage. Das könnte ich als Voreinstellung verwenden (also forecastDays=6 + heute). Man wird sonst mit Daten zugeschmissen und das drückt auch deutlich auf die Performance.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 September 2018, 21:04:58
Info:

Das neue DWD_OpenData-Modul ist jetzt eingecheckt und wird ab 29.09.18 über FHEM Update verfügbar sein. Die Wiki ist auch aktualisiert. Wer noch immer das alte Weblink-Modul im FHEM-Ordner hat: bitte vor dem Update wie weiter unter (https://forum.fhem.de/index.php/topic,83097.msg840270.html#msg840270) beschrieben entfernen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 30 September 2018, 02:44:31
@jensb
Weblink funktioniert bei mir leider nicht - da wird schlicht absolut nichts angezeigt.

Ich habe
* alte Weblink-Device deleted
* pm umbenannt in /DWDODweblink.pm.2018-09-29-kann-weg
* fhem-update
* neue Weblink-Device laut Wiki erstellt
* (danach erst) https://raw.githubusercontent.com/jnsbyr/fhem/master/FHEM/99_DWD_OpenData_Weblink.pm mit Editor in Datei geschrieben


ls -l /opt/fhem/FHEM/*DWD*
-rw-r--r-- 1 fhem dialout 77974 Sep 30 01:16 /opt/fhem/FHEM/55_DWD_OpenData.pm
-rw-r--r-- 1 fhem dialout 65239 Sep 30 02:26 /opt/fhem/FHEM/99_DWD_OpenData_Weblink.pm
-rw-r--r-- 1 fhem dialout 54037 Mai 13 04:38 /opt/fhem/FHEM/DWDODweblink.pm.2018-09-29-kann-weg


In fhem.cfg sieht es so aus:

define DWD DWD_OpenData
attr DWD alertArea 815091375
attr DWD forecastStation 10474
attr DWD forecastDays 7
#attr DWD alertLanguage DE
#attr DWD forecastWW2Text 1
attr DWD room 00 Test Wettervorhersage

define DWD_Weblink_Generator DWD_OpenData_Weblink
attr DWD_Weblink_Generator IODev DWD
attr DWD_Weblink_Generator forecastDays 4
attr DWD_Weblink_Generator refreshRate 900
attr DWD_Weblink_Generator room 00 Test Wettervorhersage

define DWD_Weblink weblink htmlCode { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }
attr DWDweblink room 00 Test Wettervorhersage


Das wird bei einem Neustart auch alles ohne Fehler-Nörgerlel geladen. Aber von schönen DWD-Weblink-Grafiken in dem Raum - keine Spur. Genau genommen wird da gar nichts von DWD angezeigt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 30 September 2018, 10:41:20
@curt
Dein Vorgehen ist korrekt und deine Konfiguration sieht gut aus. Nur das Attribut forecastWW2Text muss bei Verwendung des Weblinks auf 1 gestellt werden (das fehlt wohl noch in der Wiki).

Frage 1: Verwendest du das neue DWD-Modul (von GitHub oder per FHEM Update nach 29.09.18 08:00)?

Wenn du in der FHEM-Kommandozeile "version" eingibts, sollte folgendes dabei sein:

55_DWD_OpenData.pm         17420 2018-09-28 18:54:58Z jensb

Frage 2: Hat dein DWD-Device aktuelle Readings?

ZitatGenau genommen wird da gar nichts von DWD angezeigt
Das kann ich mir nicht richtig vorstellen. Wenn der Weblink 4 Tage anzeigen soll, dann macht er auch Platzhalter für 4 Tage, selbst wenn er keine Daten hat. Meinst du damit, dass man die Platzhalter sieht, aber keine Daten?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 30 September 2018, 23:10:45
@jensb
Zitat von: jensb am 30 September 2018, 10:41:20
Dein Vorgehen ist korrekt und deine Konfiguration sieht gut aus. Nur das Attribut forecastWW2Text muss bei Verwendung des Weblinks auf 1 gestellt werden (das fehlt wohl noch in der Wiki).

Habe ich umgestellt, keine Verhaltensänderung.

Zitat von: jensb am 30 September 2018, 10:41:20
Frage 1: Verwendest du das neue DWD-Modul (von GitHub oder per FHEM Update nach 29.09.18 08:00)?

Offenbar nicht, siehe unten.

Zitat von: jensb am 30 September 2018, 10:41:20
Wenn du in der FHEM-Kommandozeile "version" eingibts, sollte folgendes dabei sein:

55_DWD_OpenData.pm         17420 2018-09-28 18:54:58Z jensb
99_DWD_OpenData_Weblink.pm 201402 2018-09-23 16:47:00Z jensb

Die Weblink-Datei kam NICHT über FHEM-Update. Hätte ich dafür noch irgend einen Schalter umlegen müssen? - Also habe ich mir cut-paste die (scheinbar) aktuelle Datei bei Git-Dingens geholt, gestern Nacht. Aber die scheint vom 23.09.

Zitat von: jensb am 30 September 2018, 10:41:20
Frage 2: Hat dein DWD-Device aktuelle Readings?

Ja, ganz viele fc-Readings usw.

Zitat von: jensb am 30 September 2018, 10:41:20
Das kann ich mir nicht richtig vorstellen. Wenn der Weblink 4 Tage anzeigen soll, dann macht er auch Platzhalter für 4 Tage, selbst wenn er keine Daten hat. Meinst du damit, dass man die Platzhalter sieht, aber keine Daten?

Da ist absolut nichts zu sehen, rein gar nichts. Weißer Adler auf weißem Grund.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 30 September 2018, 23:22:26
@curt
Das das Weblink-Modul nicht per FHEM-Update kommt ist normal. Möglicherweise ist es dein Browser, siehe auch Wiki-Hinweise zu Java-Script. Setze bitte mal das Weblink-Attribut refreshRate auf 0 bzw. lösche es.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 30 September 2018, 23:41:35
@jensb
Zitat von: jensb am 30 September 2018, 23:22:26
Das das Weblink-Modul nicht per FHEM-Update kommt ist normal.

Schade.

Zitat von: jensb am 30 September 2018, 23:22:26
Möglicherweise ist es dein Browser, siehe auch Wiki-Hinweise zu Java-Script. Setze bitte mal das Weblink-Attribut refreshRate auf 0 bzw. lösche es.

Drei Browser unter Ubuntu 16.04 LTS, überall das Gleiche: Im Raum "00 Test Wettervorhersage" ist nichts vom Weblink zu sehen. Kann eine Rolle spielen, dass in dem Raum auch andere Sachen angezeigt werden?

Jens, mir ist aber etwas anderes aufgefallen: Beim Umstellen von refreshRate sah ich "Probably associated with _DWD_Weblink_ ... da habe ich natürlich draufgeklickt. Und staunte: DORT wird der Weblink angezeigt. Hmmm. Also müssen wir ihn nur noch in den Raum prügeln, in den der Weblink gehört. Hast Du bitte eine Idee?

Und ganz am Rande: Kann ICH danach die Größe der Icons skalieren?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 01 Oktober 2018, 20:47:49
@curt

ZitatKann ICH danach die Größe der Icons skalieren?
Der Weblink ist Open Source. Niemand wird dich daran hindern die Skalierung von Text und Bildern im Quelltext deinen Anforderungen anzupassen. Schwierig ist das auch nicht, die Stellen sind im Inline-CSS schnell ausgemacht.

ZitatHast Du bitte eine Idee?
Noch nicht. Bitte stelle refreshRate auf 0 und ruf noch mal die Seite auf, auf der "nichts" angezeigt wird und lass dir vom Browser den HTML-Quelltext anzeigen. Diese Ausgabe hier posten (sofern sie nichts vertrauliches enthält).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 02 Oktober 2018, 02:03:04
Hallo @jensb

ganz übler Stockfehler meinerseits:


diff fhem.cfg.2018-09-29h fhem.cfg

< attr DWDweblink room 00 Test Wettervorhersage
> attr DWD_Weblink room 00 Test Wettervorhersage


Danke für Deine Geduld.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Bruchflieger am 02 Oktober 2018, 10:44:56
Guten Morgen,

ich bin neu hier...  ;)
Ich habe die Plugins vom Github am Sonntag geladen und auch per updatefunktion nochmal drüber rödeln lassen.
Dann hab ich die Config-datei um den Code von Curt ergänzt, und nun auch die Weblinks im Raum wetter angezeigt (bis eben waren sie bei unsortiert).
Aber die Icons sind leer und nur Fragezeichen als Daten.
Die Readings zu den Plugins haben nur den Eintrag state intitialized.
Ich nehme an, ich muss da noch irgendwas zusätzlich konfigurieren oder ich habe die falsche Wetterstation ausgewählt?
AlertArea = 815091160
forecastStation =99809 (Kemberg)

Grüße Daniel.
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 02 Oktober 2018, 12:37:53
forecaststation für kemberg-radis ist N671.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 02 Oktober 2018, 17:24:40
Zitat von: Bruchflieger am 02 Oktober 2018, 10:44:56
ich bin neu hier...  ;)

Mal schauen ...

Zitat von: Bruchflieger am 02 Oktober 2018, 10:44:56
Dann hab ich die Config-datei um den Code von Curt ergänzt, und nun auch die Weblinks im Raum wetter angezeigt (bis eben waren sie bei unsortiert).

Wenn Du wirklich meine Config übernommen hast: Dann gehe mal in den Wetterraum, dann klick mal bitte auf "DWD_Weblink_Generator", neue Seite kommt. Da ins untere Drittel. Zeilenbeginn "attr" suchen. Auf "room" umstellen, sofern nicht voreingestellt. Dann in das offene Textfeld klicken, Auswahlliste erscheint. Du kannst nun andere Räume mit aufnehmen oder nur in anderen Raum verschieben. ACHTUNG: DANACH auf "attr (links) klicken und dann noch (links oben) auf "Save config" (mit rotem Fragezeichen) klicken. Das verschwindet - Änderung gespeichert.

Ein Schritt zurück: Ganz unten steht da "Probably associated with - DWD_Weblink", da drauf klicken. DORT kannst Du den eigentlichen Weblink in einen anderen Raum tun. (attr klicken danach speichern nie vergessen!)

Zitat von: Bruchflieger am 02 Oktober 2018, 10:44:56
forecastStation =99809 (Kemberg)

Ich habe nicht geschaut, mein Vorredner wird aber recht haben. Hinweis: Mir war aufgefallen, dass manche Stationen in meiner Nähe nicht stabil laufen. Und manche haben nicht alle Werte vorrätig.

Grüße einmal über die Elbe ...
Titel: Antw:Modul für DWD Open Data
Beitrag von: Bruchflieger am 02 Oktober 2018, 20:02:53
Hallo,

Danke für die Hinweise - mit der neuen Station und etwas Warten hat's dann funktioniert und im richtigen Raum hab ichs  ja schon einsortiert bekommen. - hab ja nicht 100% gleich einkopiert, sondern schon entsprechend angepasst... und nun gibt's im Objekt DWD auch drölfundneunzig readings und die Icons sind bunt - mal abgesehen dass mir die Bildchen selbst mir nicht so zusagen... (heute Regen und morgen stärker bewölkt... ;) )

Mal eine weitere Frage - ich hab die 99_utils.pm nicht angefasst, bekomme aber im log solche Meldungen:

2018.10.02 13:45:34 1: PERL WARNING: Use of uninitialized value $a[1] in subtraction (-) at ./FHEM/99_Utils.pm line 21.
2018.10.02 13:45:34 1: PERL WARNING: Argument "?" isn't numeric in subtraction (-) at ./FHEM/99_Utils.pm line 21.
2018.10.02 13:45:34 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2018.10.02 13:45:34 1: PERL WARNING: Use of uninitialized value $epoch in addition (+) at ./FHEM/99_DWD_OpenData_Weblink.pm line 758.
2018.10.02 13:45:34 1: PERL WARNING: Use of uninitialized value $cloudCover in multiplication (*) at ./FHEM/99_DWD_OpenData_Weblink.pm line 864.
2018.10.02 13:45:34 1: PERL WARNING: Argument "?" isn't numeric in numeric gt (>) at ./FHEM/99_DWD_OpenData_Weblink.pm line 976.
2018.10.02 13:45:34 1: PERL WARNING: Use of uninitialized value $fcStart in addition (+) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1060.


bzw. das hier:

2018.10.02 19:37:19 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2018.10.02 19:37:19 1: PERL WARNING: Use of uninitialized value $fcStart in addition (+) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1060.
2018.10.02 19:39:50 1: PERL WARNING: Argument "%" isn't numeric in numeric gt (>) at ./FHEM/98_SVG.pm line 1556.
2018.10.02 19:39:50 1: PERL WARNING: Argument "%" isn't numeric in subtraction (-) at ./FHEM/98_SVG.pm line 2106.


Zeile 21 in der 99_utils.pm:
   return mktime($a[5],$a[4],$a[3],$a[2],$a[1]-1,$a[0]-1900,0,0,-1);


Die Datei beginnt dabei so:
##############################################
# $Id: 99_Utils.pm 15713 2017-12-28 11:01:02Z rudolfkoenig $
package main;

use strict;
use warnings;

sub
Utils_Initialize($$)
{
  my ($hash) = @_;
}

sub
time_str2num($)
{
  my ($str) = @_;
  my @a;
  if($str) {
    @a = split("[T: -]", $str);
    return mktime($a[5],$a[4],$a[3],$a[2],$a[1]-1,$a[0]-1900,0,0,-1);
  } else {
    my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
    return mktime($sec, $min, $hour, $mday, $mon, $year, 0, 0, -1);
  }
}

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 02 Oktober 2018, 20:40:06
@Bruchflieger

Die Fehlermeldungen werden vom Weblink verursacht, denn der reagiert so auf fehlende Daten vom OpenData-Modul, insbesondere wenn die "_date" und "_time"-Readings nicht vorhanden sind oder keine lesbaren Zeitangaben enthalten. Das würde allerdings nur zu der "?"-Situation passen die du hattest, bevor du endlich "drölfundneunzig" Readings zu sehen bekommen hast.

Wenn die Fehlermeldungen aber immer wieder kommen, wenn du z.B. mit einem Browser die Seite mit dem Weblink aufrufst, der Weblink aber für alle Platzhalter korrekte Daten hat, dann stimmt da etwas anderes nicht.

Am Standard-Modul 99_utils.pm sollte man nichts ändern. Eigene Erweiterung kann man aber in 99_myUtils.pm unterbringen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 02 Oktober 2018, 23:58:51
Hallo Jens,

hab nun das Modul upgedatet und soweit scheint es erst ein mal zu funktionieren.

Allerdings sehe ich beim Weblink keine "°"-Zeichen vor dem "C" ? Und die Umlaute passen auch nicht.

Fehlt da noch irgend was? Das UTF habe ich meine ich nach dem Wiki umgestellt.

Danke und schönen Feiertag!

Gruss Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Oktober 2018, 08:34:29
@Maista
Das hat sehr wahrscheinlich mit dem Download der Weblink-Moduldatei zu tun. Siehe dazu die Beiträge 232 und 233 (https://forum.fhem.de/index.php/topic,83097.msg838874.html#msg838874).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Maista am 03 Oktober 2018, 14:16:00
Hallo Jens,

war klar das der Fehler zwischen den Ohren war ;)

Ich hatte den ASCII-Text vom GIT kopiert und dann eingespielt.
Da war dann natürlich die falsche Kodierung aktiv :o

War wieder zu spät um das geschwind zu machen.

Danke Dir und noch schönen Feiertag!

Gerd
Titel: Antw:Modul für DWD Open Data
Beitrag von: maddinthebrain am 23 Oktober 2018, 08:19:18
Hallo zusammen,

mein DWD Weblink zeigt nur diese Fehlermeldung

Undefined subroutine &main::DWD_OpenData_ParseDateTimeLocal called at FHEM/DWDODweblink.pm line 643

Was ist da los? Hatte nichts verändert. Das DWD_OpenData Modul scheint noch zu funktionieren. Die Daten/Warnungen werden aktualisiert.

viele Grüße

Martin
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 Oktober 2018, 20:28:37
@maddinthebrain
Das DWD_OpenData-Modul und der Weblink wurden vor einigen Wochen stark überarbeitet. Die Datei des Weblinks heißt jetzt auch nicht mehr "DWDODweblink.pm".

Du solltest das DWD_OpenData-Modul updaten und nach Bedarf neu konfigurieren und den Weblink deinstallieren und neu installieren. Die erforderlichen Hinweise findest du, wenn du im Wiki-Beitrag (https://wiki.fhem.de/wiki/DWD_OpenData) ganz oben anfängst "Versionänderung: ...".

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: maddinthebrain am 25 Oktober 2018, 12:02:08
Ja, das wars. Dieses Update hatte ich übersehen. Aber das Wiki beschreibt ja schön, wie man es heilen muss. Danke
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 28 Oktober 2018, 09:58:04
Hallo jensb und natürlich alle anderen,

ich bin recht neu hier und habe mich ein weinig mit dem Wetter in FTUI und deinem Modul auseinander gesetzt.

Ich möchte mich einerseits gern auf die Icondarstellung beziehen die hier im Thread vor einigerzeit angesprochen wurde.
Aktuell benutze ich PP, möchte aber gern auf dein Modul wechseln. Wie du schon richtig beschrieben hast, ist PP nicht das Maß der Dinge - es werden nur wenige daten geliefert - aber es bietet meiner Meinung nach einen guten Ansatzpunkt mit den verschiedenen Wetterstadien. Du hast nach einer Lösung gefragt, wie man die ersten 5 abbilden kann. mir würde dazu folgendes einfallen:

sunny.png  //Sonnig
mostly_sunny.png  // Heiter
partly_cloudy.png  // leicht bewölkt
mostly_cloudy.png  // stark bewölkt
cloudy.png  //  bedeckt


So könnte man alles gut abdecken und würde sich auch an das Schema von PP anlehnen.

Ich hätte dann noch 3 Fragen bzw Anliegen, ob man folgenden implementieren kann.

- eine TAG/NACHT Funktion für die Icons, war auch schon mal irgenwo angesprochen.

- einen Wert einfügen, der das aktuelle Wetter als Icon ausgibt, evtl aus dem Wert "ww3".

- kann man die Texte "wwD" irgendwie kürzen für FTUI?

Gruß Knallkopp_02
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 Oktober 2018, 11:39:29
@Knallkopp_02
Ich sehe die Funktion des DWD OpenData Modul in der Bereitstellung von Rohdaten in FHEM kompatibler Form, also als Readings. Allein das ist bisweilen nicht einfach, da der DWD des öfteren Datenformate und Datenumfang ändert.

Da es mehrere UIs für FHEM gibt, kann es nicht Aufgabe eines Datenmoduls sein, spezielle Anpassungen für eine bestimmte UI bereit zu stellen. Das muss ggf. ein Koppelmodul erledigen oder es erfolgt direkt in der UI.

Ein Beispiel dafür ist das Modul 99_DWD_OpenData_Weblink.pm: es führt die Anpassung der Daten für FHEMWEB durch. Wenn du dir den Modul-Source ansiehst, findest du die beiden Funktionen GetWeatherIconTag und IsDay, die das machen was du benötigts: Icons und Tag/Nacht.

Meine Empfehlung: Auf Basis von 99_DWD_OpenData_Weblink.pm ein eigenes Koppelmodl für die FTUI schreiben. Ich bin mir sicher, dass das auch einige andere gerne nutzen würden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 28 Oktober 2018, 12:07:59
@jensb

danke für die schnelle Anwort, werde mir das mal ansehen, denke aber das ich dafür nicht der Richtige bin sowas umzusetzen, da ich kein Programmierer bin.

Gruß und schönen Sonntag noch
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 31 Oktober 2018, 21:15:51
Für die Benutzer des Moduls 99_DWD_OpenData_Weblink.pm gibt es auf GitHub  (https://github.com/jnsbyr/fhem/tree/master/FHEM)ein Update. Es korrigiert die je nach Tageszeit teilweise fehlenden Niederschlagsmengen des 1. Tags insbesondere bei Verwendung von 3 Stunden Zeitauflösung für die Vorhersage.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 11 November 2018, 00:43:26
Hat sich zufällig schon jemand eine Funktion geschrieben, die aus den Daten des Moduls einen kurzen Wetterbericht für eine TTS Ansage generiert?

Sowas in dem Stil wie: Es wird Vormittags sonnig und Nachmittag bewölkt. Nachmittags ist mit Schauern und Gewittern zu rechnen. Die Höchsttemperatur beträgt 20 Grad Celsius.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 November 2018, 17:38:13
@mumpitzstuff

Das sollte prinzipiell nicht sehr schwierig sein. Man könnte den Code in ein notify stecken und per Event auslösen. Je nach Geschmack und Vorhersageansprüchen kann man die DWD OpenData Readings direkt scannen oder auf die Vorverarbeitung vom OpenData Weblink Modul aufsetzten. Ein Teil der Arbeit wird es sein, die Sprach-Grammatik für variable Angaben zu definieren. Im Ergebnis muss man aber "nur" einen String zusammenbauen, denn TTS frisst alles.

Ein anderer Ansatz wäre es, die Vorhersagetexte vom OpenData Server (https://opendata.dwd.de/weather/text_forecasts/) herunterzuladen und direkt auszugeben. Wenn der Inhalt passt, spart man viel Arbeit und es klingt sehr offiziell.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 12 November 2018, 07:52:53
Das mit dem Text ist ein guter Hinweis aber leider entschieden zu viel. Ich werde mich dann mal ran setzen müssen und dachte nur, dass ich vorher mal frage, um doppelte Arbeit zu vermeiden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 12 November 2018, 21:44:53
Hallo Zusammen,


ich möchte mir gerne die Wetterberichtsanzeige in fhem einrichten.
Wenn ich
define DWD_Weblink_Generator DWD_OpenData_Weblink
eingebe bekomme ich folgende Fehlermeldung:
Cannot load module DWD_OpenData_Weblink

Meine Version der Module55_... und 99_... sind aktuell, auch mein fhem habe ich heute geupdatet

Kann mir da jemand helfen?

Danke[/code]
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 November 2018, 22:08:03
Ich hatte die Sache so verstanden, dass die Voraussetzung dafür "define DWD DWD_OpenData" sei - sonst weiß er ja nicht, um welchen Ort es überhaupt geht. Dieses "define" hast Du? Falls nicht: Beispiel erwünscht?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 12 November 2018, 22:14:11
Ja, das define DWD DWD_OpenData

habe ich, das war das erste, was ich gemacht habe.
[/size]
Alles gemäß dem Wiki über DWD_OpenData
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 November 2018, 22:16:15
Teste mal mit meiner Config (Auszug aus fhem.cfg)


define DWD DWD_OpenData
attr DWD alertArea 815091375
attr DWD alertLanguage DE
attr DWD forecastDays 7
attr DWD forecastStation 10474
attr DWD forecastWW2Text 1
attr DWD room 99_System
#attr DWD alertLanguage DE
#attr DWD forecastWW2Text 1

define DWD_Weblink_Generator DWD_OpenData_Weblink
attr DWD_Weblink_Generator IODev DWD
attr DWD_Weblink_Generator forecastDays 4
attr DWD_Weblink_Generator refreshRate 900
attr DWD_Weblink_Generator room 99_System

define DWD_Weblink weblink htmlCode { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }
attr DWD_Weblink room 00 Test Wettervorhersage

Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 12 November 2018, 22:25:26
Das habe ich jetzt mal gemacht, aber dann kommt die selbe Fehlermeldung direkt nach dem Speichern der fhem.cfg.
Die Räume werden aber angezeigt und beim Klick auf "00 Test Wettervorhersage" kommt zusätlich jetzt diese Meldung:


Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 604) line 1
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 November 2018, 22:30:31
Diese subroutine ist in 99_DWD_OpenData_Weblink.pm definiert. Kurzer Blick auf meine:


# ls -l
-rw-r--r-- 1 fhem dialout 65239 Sep 30 02:26 99_DWD_OpenData_Weblink.pm


Sieht das bei Dir anders aus?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 12 November 2018, 22:43:06
Wie kommst Du zu dieser Anzeige?


Ich habe eben die 99_DWD_OpenData_Weblink.pm nochmals von GitHub kopiert und die aktuelle eingespielt.
Jetzt hab ich folgende Meldung:
Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 248) line 1.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 12 November 2018, 22:48:55
Ich werde da aber erst morgen weitersuchen können, heute ist es mir zu spät geworden.


Trotzdem schonmal "Danke" für eure Hilfe.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 November 2018, 20:16:41
@Da_Erdinga
Du hattest zuerst geschrieben:
ZitatCannot load module DWD_OpenData_Weblink
Das deutet darauf hin, dass FHEM das Weblink-Modul nicht laden kann, z.B. weil die Zugriffsberechtigungen auf die Moduldatei fehlen oder beim Laden etwas schief geht.

Die Zugriffsberechtigungen kannst du auf der Linux Kommandozeile mit dem Befehl überprüfen, den @curt angegeben hat "ls -l". Bei den meisten Systemen sieht die Ausgabe so aus wie die von @curt.

Es besteht die Möglichkeit, dass du das Weblink-Modul noch immer nicht erfolgreich geladen hast. Auch das kannst du überprüfen, indem du auf der FHEM Kommandozeile "list" eingibst und prüfst, ob das Modul "DWD_Weblink_Generator" aufgeführt ist. Bei dem Beispiel von @curt muss das Modul außerdem im Raum "99_System" mit aufgeführt werden. Wenn ja, dann mal prüfen, was das Reading "state" anzeigt. Wenn was beim Laden schief gegangen ist, lohnt ein Blick in die FHEM Protokolldatei, entweder über die Weboberfläche oder über die Linux Kommandozeile. Hier stehen dann oft noch weitere Ausgaben, die dabei helfen können, die Ursache einzugrenzen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 17:34:09
Hallo zusammen,


wenn ich ein "ls -l" in der Shell eingebe erhalte ich folgende Ausgabe:


drwxrwxr-x 9  501 staff     4096 Mai 21  2013 culfw-1.55
-rw-r--r-- 1 root root   1959123 Mai 21  2013 culfw-1.55.tar.gz
-rw-r--r-- 1 root root   2043131 Jul  7  2014 culfw-1.61.tar.gz
drwxrwxr-x 9  501 staff     4096 Jul  7  2014 CUL_VER_161
drwxr-xr-x 2 pi   pi        4096 Feb 16  2015 Desktop
-rw-r--r-- 1 root root  10305196 Nov  9  2014 fhem-5.6.deb
-rw-r--r-- 1 root root  14207592 Nov 15  2015 fhem-5.7.deb
-rw-r--r-- 1 root root  14207592 Nov 15  2015 fhem-5.7.deb.1
drwxr-xr-x 2 root root      4096 Dez 21  2015 –p
drwxrwxr-x 2 pi   pi        4096 Jan 27  2015 python_games
drwxr-xr-x 3 pi   pi        4096 Feb  7  2016 repo
drwxr-xr-x 3 pi   pi        4096 Aug 29  2015 speedtest-cli

Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 17:35:27
Bei Eingabe von "list" in der Kommandozeile erscheint leider nicht das Modul "DWD_Weblink_Generator"
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 17:56:41
Ich habe eben in der "fhem.cfg" nachgeschaut, da fehlt mir der komplette Teil des @curt-Codes wo es um den "define DWD_Weblink_Generator DWD_OpenData_Weblink" geht.


Auch wenn ich diesen Teil in die .cfg kopiere übernimmt mir fhem das nicht.


Wenn ich dann versuche den Code über die Kommandozeile einzugeben, dann erhalte ich folgende Fehlermeldung:

Cannot load module DWD_OpenData_Weblink
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 18:08:37
Das ls -la musst du schon im richtigen Verzeichnis ausführen...

Oder (sofern Standardinstallation):

ls -la /opt/fhem/FHEM/

Hast du denn die Datei(en) (also Modul-Datei und Weblink-Datei, also die .pm Dateien) kopiert bzw. angelegt und in das oben genannte Verzeichnis eingespielt?

EDIT: und wenn eingespielt: wie. Also wie von git "geholt" und wie ins fhem-Verzeichnis kopiert/gebracht. Gegebenenfalls die Rechte angepasst!?

Steht etwas mehr im fhem-Log, wenn du das define eingibst?

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 19:36:28
Falsches Verzeichnis.

Bitte folgender Befehl

ls -l /opt/fhem/FHEM/*DWD*

Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 21:54:46
Hallo zusammen,


hier ist jetzt das richtige Listing:


ls -l /opt/fhem/FHEM/*DWD*
-rw-r--r-- 1 fhem dialout 77974 Okt  2 17:50 /opt/fhem/FHEM/55_DWD_OpenData.pm
-rw-r--r-- 1 pi   pi      66033 Nov 12 22:38 /opt/fhem/FHEM/99_DWD_OpenData_Weblink.pm





Die Modul-Datei habe ich von git kopiert und dann mit FileZilla in /opt/fhem/FHEM geschoben.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:02:52
Eigentümer und Eigentümergruppe von "99_DWD_OpenData_Weblink.pm" sind falsch.

Folgendes machen:

cd /opt/fhem/FHEM
sudo chown fhem 99_DWD_OpenData_Weblink.pm
sudo chgrp dialout 99_DWD_OpenData_Weblink.pm
ls -l *DWD*


(Der erste Befehl wechselt in das Verzeichnis. Der zweite Befehl setzt den Eigentümer der Datei auf fhem. Der dritte Befehl setzt die Eigentümergruppe auf dialout. [Merken! Brauchst Du oft!])

Die Ausgabe des vierten Befehls (ls -l) hier zeigen. Ausgabe von list bei fhem hier auch zeigen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:05:50
Das habe ich jetzt gemacht und jetzt schaut mein List so aus:


ls -l *DWD*
-rw-r--r-- 1 fhem dialout 77974 Okt  2 17:50 55_DWD_OpenData.pm
-rw-r--r-- 1 fhem dialout 66033 Nov 12 22:38 99_DWD_OpenData_Weblink.pm



jetzt schau ich nochmal in fhem, ob sich da was bewegt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:06:44
Jetzt kommt immernoch:

Cannot load module DWD_OpenData_Weblink
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:07:52
Kommandozeile von fhem:


shutdown restart


Dann list zeigen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:10:34
Hier ist meine Ausgabe von List (in der fhem-Kommandozeile eingegeben):

Type list <name> for detailed info. Global: global               (no definition) CUL: CUL_0                (Initialized) HMLAN: HMLAN1               (opened) FHEMWEB: WEB                  (Initialized) WEB_192.168.178.32_37476 (Connected) WEB_192.168.178.32_37482 (Connected) WEB_192.168.178.32_37484 (Connected) WEBphone             (Initialized) WEBtablet            (Initialized) HTTPSRV: TABLETUI             (TABLETUI) CUL_HM: ActionDetector       (alive:10 dead:0 unkn:0 off:0) Aqualicht            (off) Deko_Garage          (off) Deko_Pavillon        (MISSING ACK) Deko_TRH             (unreachable) Effekt_Schrank       (on) Fenster_Bad          (closed) Fenster_KiZi_EG      (closed) Fenster_Kueche_Pavillon (closed) Fenster_SZ           (closed) Frei2                (off) Gartenhaus_Aussen    (off) HM_597E47_Btn_01     (Short 1_62 (to broadcast)) HM_597E47_Btn_02     (Short 1_126 (to broadcast)) HM_5980A2_Btn_01     (LongRelease 2_252 (to HMLAN1)) HM_5980A2_Btn_02     (Short 1_100 (to HMLAN1)) HZG_Bad              (on) HZG_EG               (CMDs_done) HZG_EG_Buam          (off) HZG_EG_Eltern        (off) HZG_EG_Eltern_Sicherheit (on) HZG_KiZi_Buam_OG     (off) HZG_Kueche           (on) HZG_OG               (CMDs_done) HZG_WohnZi           (on) KiZi_Buam_SwitchTr   (peered) KiZi_Buam_Weather    (T: 17.4 H: 64) KiZi_Buam_WindowRec  (last:Fenster_KiZi_EG:closed) KiZi_Buam_remote     (unpeered) KiZi_EG              (CMDs_done) KiZi_EG_Climate      (T: 17.4 desired: 17.0) KiZi_OG_Fenster      (closed) KiZi_OG_Temp         (CMDs_done) KiZi_OG_Temp_Climate (T: 17.3 desired: 17.0) KiZi_OG_Temp_SwitchTr (peered) KiZi_OG_Temp_Weather (T: 17.3 H: 65) KiZi_OG_Temp_WindowRec (last:KiZi_OG_Fenster:closed) KiZi_OG_Temp_remote  (unpeered) Oeffner1             (HM_5980A2_Btn_01 LongRelease) Oeffner2             (HM_597E47_Btn_01 Short) RM_TRH               (off) Rollo_KiZi_OG        (runter) SZ_Eltern            (CMDs_done) SZ_Eltern_Climate    (T: 18.0 desired: 17.0) SZ_Eltern_SwitchTr   (peered) SZ_Eltern_Weather    (T: 18.0 H: 44) SZ_Eltern_WindowRec  (last:Fenster_SZ:closed) SZ_Eltern_remote     (unpeered) Temp_aussen          (T: 5.0 H: 95) Tueroeffner          (off) WZ_Fenster           (on) FS20: Christbaum           (off) Effekt_Schrank_an    (on) Entfeuchter          (off) FS20_847f01          (off) FS20_847f04          (???) FS20_847f05          (???) FS20_847f06          (???) FS20_847f07          (???) FS20_847f0a          (???) FS20_847f0b          (???) FS20_847f0c          (???) FS20_847f0d          (???) FS20_847f0e          (???) FS20_847f10          (???) FS20_cca602          (off) FS20_cca603          (off) FS20_cf4b40          (on) Osterdeko            (on) Tablet_Dockingstation (on) Weihnachten_KiZi_OG  (off) Weihnachtsbeleuchtung (off) speedtest: speedtest            (Initialized) DWD_OpenData: DWD                  (alerts updated) Calendar: BY_Ferien            (triggered) ESA2000: PV_Zaehler           (Summe: 7872.57 kWh - Aktuell: 0 W - heute: 3.08 kWh - gestern: 6.83 kWh) MPD: Kuechenradio         (stop) at: Heizung_morgends_an  (Next: 06:00:00) Heizung_nachts_aus   (Next: 23:00:00) Heizungen_an         (Next: 06:00:00) Heizungen_aus        (Next: 23:00:00) Pool_Pumpe_Abends_an (Next: 18:00:00) Pool_Pumpe_Abends_aus (Next: 18:30:00) Pool_Pumpe_Mittags_an (Next: 12:00:00) Pool_Pumpe_Mittags_aus (Next: 12:30:00) Pool_Pumpe_Nachts_an (Next: 00:30:00) Pool_Pumpe_Nachts_aus (Next: 01:00:00) RolloAuf             (Next: 06:30:00) sun_riseSet_timer    (Next: 00:05:00) eventTypes: eventTypes           (active) notify: BY_Ferien.notify     (2018-11-14 22:08:40) Effekt_Schrank_an_notify_1 (active) Effekt_Schrank_aus_notify_2 (active) FS20_cf4b40_notify_1 (active) FS20_cf4b40_notify_2 (active) Oeffner1_notify_1    (active) Oeffner1_notify_2    (active) Oeffner1_notify_3    (active) Oeffner1_notify_4    (active) Oeffner2_notify_1    (active) Oeffner2_notify_2    (active) Oeffner2_notify_3    (active) Oeffner2_notify_4    (active) initialUsbCheck      (2018-11-14 22:08:35) FileLog: FileLog_Aqualicht    (active) FileLog_Christbaum   (active) FileLog_Deko_Gang    (active) FileLog_Deko_Garage  (active) FileLog_Deko_Pavillon (active) FileLog_Deko_TRH     (active) FileLog_Dekobeleuchtung (active) FileLog_Effekt_Schrank (active) FileLog_Effekt_Schrank_an (active) FileLog_Effekt_WZ_Schrank (active) FileLog_Entfeuchter  (active) FileLog_FS20_847f01  (active) FileLog_FS20_847f04  (active) FileLog_FS20_847f05  (active) FileLog_FS20_847f06  (active) FileLog_FS20_847f07  (active) FileLog_FS20_847f0a  (active) FileLog_FS20_847f0b  (active) FileLog_FS20_847f0c  (active) FileLog_FS20_847f0d  (active) FileLog_FS20_847f0e  (active) FileLog_FS20_847f10  (active) FileLog_FS20_cca601  (active) FileLog_FS20_cca602  (active) FileLog_FS20_cca603  (active) FileLog_FS20_cf4b40  (active) FileLog_Fenster_Bad  (active) FileLog_Fenster_KiZi_EG (active) FileLog_Fenster_Kueche_Pavillon (active) FileLog_Fenster_SZ   (active) FileLog_Gartenhaus_Aussen (active) FileLog_HM_459028    (active) FileLog_HZG_EG       (active) FileLog_HZG_OG       (active) FileLog_Kaffeemaschine (active) FileLog_KiZi_EG      (active) FileLog_KiZi_OG_Fenster (active) FileLog_KiZi_OG_Temp (active) FileLog_Oeffner1     (active) FileLog_Oeffner2     (active) FileLog_Osterdeko    (active) FileLog_PV_Zaehler   (active) FileLog_Pool_Pumpe   (active) FileLog_RM_TRH       (active) FileLog_Rollo_KiZi_OG (active) FileLog_SZ_Eltern    (active) FileLog_Schalter_WZ  (active) FileLog_Tablet_Dockingstation (active) FileLog_Temp_aussen  (active) FileLog_Tueroeffner  (active) FileLog_WZ_Fenster   (active) FileLog_Weihnachten_KiZi_OG (active) FileLog_Weihnachtsbeleuchtung (active) FileLog_speedtest    (active) Dashboard: anyView              (Initialized) FLOORPLAN: Grundriss            (Defined) holiday: by                   (none) allowed: allowed_WEBphone     (validFor:WEBphone) DOIF: Heizung_Bad          (cmd_2) Heizung_Kueche       (cmd_2) Ostern               (initialized) SZ_Entfeuchter       (disabled) Weihnachten_KiZi     (cmd_3) Weihnachten_Light    (cmd_3) Weihnachtsbeleuchtung1 (cmd_3) HMinfo: hm                   (updated:2015-11-29 23:15:05) SVG: SVG_FileLog_KiZi_Buam_1 (initialized) SVG_FileLog_KiZi_EG  (initialized) SVG_FileLog_PV_Zaehler_1 (initialized) SVG_FileLog_SZ_Eltern_1 (initialized) SVG_FileLog_Temp_aussen_1 (initialized) wl_speedtest         (initialized) THRESHOLD: Hitzeschutz          (initialized) WeekdayTimer: Aqua_Licht_Abend_an  (active) Aqua_Licht_Abend_aus (active) Aqua_Licht_Wochenende_morgens_an (inactive) Aqua_Licht_Wochenende_morgens_aus (inactive) HZG_Arbeit_morgends_an (inactive) HZG_Arbeit_morgends_aus (inactive) HZG_Arbeit_nachmittag_an (inactive) HZG_Nachts_aus       (active) HZG_Zuhause_morgends_an (active) Tablet_abends_an     (active) Tablet_morgens_aus   (active) Woche_KiZi_OG        (active) Wochenende_KiZi_OG   (inactive) autocreate: autocreate           (active) dummy: BY_Ferientag         (0) Sonnenaufgang        (06:44:09) Sonnenuntergang      (17:11:38) Testheizung          (on) telnet: telnetPort           (Initialized) telnetPort_127.0.0.1_53790 (Connected) weblink: DWD_Weblink          (initialized) anyViews_weblink     (initialized)
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:11:27
Jetzt schreibt die SW schon wieder alles in einer Reihe
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:13:45
Zitat von: Da_Erdinga am 14 November 2018, 22:11:27
Jetzt schreibt die SW schon wieder alles in einer Reihe

Und was sagt dieser Satz uns?

Du musst bitte vom Leser aus denken. Nicht von Dir aus. Der Leser guckt sich den Satz an und grübelt: Will er sagen "oh fein, es geht" oder will er sagen "es geht, aber falschrum" oder gar "es geht nicht"?
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:14:11
Kleine Anmerkung:

sudo chown fhem:dialout Datei

macht die Anpassung auf einmal...


Nun noch die gestellten Fragen beantworten:

Steht etwas im fhem Log wenn du den define machst!?

Wie genau hast du die Dateien geholt, also welchen Befehl/Methode, welches Betriebssystem, ...?

Hast du mit der hier genutzten Methode schon mal fhem-Module manuell "installiert"?

Das Modul nach den Änderungen in fhem "geladen" (reload Datei.pm)?
Bzw. fhem neu gestartet?

Was kommt bei:

cat /opt/fhem/FHEM/55_DWD_OpenData.pm

und

cat /opt/fhem/FHEM/99_DWD_OpenData_Weblink.pm

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:16:06
Zitat von: curt am 14 November 2018, 22:13:45
Und was sagt dieser Satz uns?

Du musst bitte vom Leser aus denken. Nicht von Dir aus. Der Leser guckt sich den Satz an und grübelt: Will er sagen "oh fein, es geht" oder will er sagen "es geht, aber falschrum" oder gar "es geht nicht"?

Das Problem mit der Formatierung bei code-Tags ist gemeint.
Das hatte er schon mal...
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:17:37
Nur "list" eintippen war eher nicht gemeint...

Vermutlich eher ein list des DWD-Devices...

Oder hast du auch das noch nicht angelegt?

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:20:05
OT:
Zitat von: MadMax-FHEM am 14 November 2018, 22:14:11
Kleine Anmerkung:
sudo chown fhem:dialout Datei
macht die Anpassung auf einmal...

Der Kollege scheint keine UNIX-Erfahrung zu haben, daher wollte ich ihm damit gleichzeitig erklären, was er damit bewirkt. Und daher auch shutdown restart.

P.S: Weiteren Beitrag von Dir gerade gesehen. Den Weblink kann man nicht formatieren, da stolperte ich zunächst auch. Der geht halt von links nach rechts. Einzige Möglichkeit: Die Zahl der Tage verkürzen. Hier:


attr DWD forecastDays 7


PP.S: Doch, er hat eigentlich alles. Und das sollte auch laufen. Er muss wie gesagt präziser formulieren: Aus diesem Bröckchensatz werde ich nicht schlau.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:22:39
Was ich meinte ist, das ich keine "schöne" Anzeige des Codes mehr habe.
Das hatte ich schon unter dem Firefox und jetzt mit Chromium auch...[size=78%]


@MadMax-FHEM
Kannst Du mir sagen, wie ich an genau die Log-Datei komme, die du benötigst?


Ich habe die Datei direkt von Github auf meinen Rechner kopiert und die Datei dann mit FileZilla nach /opt/fhem/FHEM kopiert.


Ich verwende ein Xubuntu 18.04. LTS[/size]
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:25:01
Gemeint ist nicht die Länge des weblinks etc.

Sondern wenn er etwas aus dem Browser kopiert (z.B. Ausgabe von list in fhem) und dann hier in code-Tags einstellt wird es nur in einer langen Zeile angezeigt statt untereinander wie in der Ausgabe von list...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:27:55
Es fehlt nicht nur (massiv) an Unix Kenntnissen, obwohl du ein Ubuntu nutzt...
...sondern auch an rudimentärem fhem-Wissen...

EDIT: daran solltest du unbedingt "arbeiten" sonst bleibt es schwierig...

Die ganz normale fhem-Logdatei...
Es sollte links im fhem-Menü einen Eintrag "Logfile" geben...

Evtl. steht da mehr als nur "cannot load" also z.B. warum (genau) nicht...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:30:03
Bzgl. Kopieren wollte ich nur sicherstellen, dass da nichts an der Formatierung etc. schief gelaufen ist.

Kann schon mal vorkommen, wenn dazwischen mal ein Windows(editor) war...

Daher die Ausgaben per "cat" damit wird der Inhalt einer Datei auf der Console "angezeigt"...

EDIT: solltest damit eigentlich selbst prüfen können, ob die Dateien passen. Also keine "komischen" Zeichen etc. enthalten sind... Ansonsten halt posten... Zunächst aber mal nach einem Define im Log schauen...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:33:18
[quote author=Da_Erdinga link=topic=83097.msg858624#msg858624 date=1542230559]
Was ich meinte ist, das ich keine "schöne" Anzeige des Codes mehr habe.


Mehr Präzision bitte!
Eben ging es noch um "99_DWD_OpenData_Weblink.pm". Und da erwarte ich, dass Du zunächst sagst, wie der neue Stand ist: Ob das nun geladen wird.

Es mag ja sein, dass Du Dich sehr freust und schon das nächste Problem anpackst. Aber wir sind doch alle keine Hellseher. - Also mehr Präzision bitte.

Zitat von: Da_Erdinga am 14 November 2018, 22:22:39
Das hatte ich schon unter dem Firefox und jetzt mit Chromium auch...[size=78%]

Eher mit <div style="height:100px; width=300px"> . Wenn Du aber damit gar keine Erfahrung hast - lieber erstmal nicht.

Zitat von: Da_Erdinga am 14 November 2018, 22:22:39
Ich habe die Datei direkt von Github auf meinen Rechner kopiert und die Datei dann mit FileZilla nach /opt/fhem/FHEM kopiert.

Das wirst Du vermutlich noch öfter tun. Ab sofort bitte meinen Beitrag #304 beachten: Eigentümer/Gruppe richtig setzen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:34:48
Hallo Joachim,


da muss ich Dich enttäuschen, in meinem linken Menü existiert kein Logfile-Eintrag.
Ich verwende ein dunkles Thema, könnte es daran liegen?


@curt
Leider wird das Modul immer noch nicht geladen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: rabehd am 14 November 2018, 22:39:53
Wenn ich mir die Beiträge so ansehe, dann ist die Dateigröße von 99_DWD... von curt und Da_Erdinga verschieden.
Könnte da das Probelm sein?
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:40:58
Zitat von: Da_Erdinga am 14 November 2018, 22:34:48
da muss ich Dich enttäuschen, in meinem linken Menü existiert kein Logfile-Eintrag.

Schwer vorstellbar: Von unten beginnend die letzten 7 nennen.

Zitat von: Da_Erdinga am 14 November 2018, 22:34:48
Leider wird das Modul immer noch nicht geladen.

"shutdown restart" in der FHEM-Zeile im Browser hast Du gemacht?

Die Logfiles liegen auf Betriebsystemebene unter /opt/fhem/log und heißen entweder fhem-2018.log oder fhem-2018-11.log

@rabehd
Im Moment kann es an allem liegen. Wobei er vermutlich eine neuere Version hat als ich. - Problem ist eher, dass die Verständigung schwierig ist. Aber das geht uns ja allen so, wenn wir uns irgendwo einarbeiten und an einer Stelle überhaupt nicht voran kommen ...
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:42:41
Mit dem dark style hat das vermutlich nichts zu tun.
Hast du etwas mittels "hidden" ausgeblendet...

Egal, dann halt mit Linux-Mitteln...

Erst mal die neueste fhem Logdatei finden:

ls -la /opt/fhem/log/fhem*.*

Da dann die aktuelle finden...

Dann mittels:

tail -50 FhemLogDatei

Statt FhemLogDatei halt den Namen der oben gefundenen aktuellen Logdatei...

Den "tail-Befehl" (zeigt die letzten Zeilen einer Datei bei -50 eben die letzten 50) direkt nach dem define Aufruf...

Du musst herausfinden warum die Datei nicht geladen werden kann...

Und das list von deinem DWD-Device fehlt noch...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 14 November 2018, 22:45:02
Zitat von: rabehd am 14 November 2018, 22:39:53
Wenn ich mir die Beiträge so ansehe, dann ist die Dateigröße von 99_DWD... von curt und Da_Erdinga verschieden.
Könnte da das Probelm sein?

Drum ja die Frage nach der EXAKTEN Methode des Kopierens...

Und auch nach "Anzeige" der Dateiinhalte (cat)...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:48:03
Hallo zusammen,


also hier ist mal die Ausgabe der .Log-Datei:


2018.11.14 22:17:57 3: eval: {DashboardAsHtml("anyViews")}
2018.11.14 22:17:57 1: PERL WARNING: Use of uninitialized value in concatenation (.) or string at ./FHEM/95_Dashboard.pm line 536.
2018.11.14 22:17:57 3: eval: {DashboardAsHtml("anyViews")}
2018.11.14 22:17:57 1: PERL WARNING: Use of uninitialized value in concatenation (.) or string at ./FHEM/95_Dashboard.pm line 537.
2018.11.14 22:17:57 3: eval: {DashboardAsHtml("anyViews")}
2018.11.14 22:17:57 1: PERL WARNING: Use of uninitialized value in concatenation (.) or string at ./FHEM/95_Dashboard.pm line 540.
2018.11.14 22:17:57 3: eval: {DashboardAsHtml("anyViews")}
2018.11.14 22:17:57 1: Error: >anyViews< has no TYPE, but following keys: >READINGS<
2018.11.14 22:23:43 1: devspec2array *DWD*: Unknown verb pattern 'DWD*' in regex; marked by <-- HERE in m/^(*DWD*) <-- HERE $/ at fhem.pl line 1296.


2018.11.14 22:23:43 1: stacktrace:
2018.11.14 22:23:43 1:     main::devspec2array                 called by fhem.pl (2412)
2018.11.14 22:23:43 1:     main::CommandList                   called by fhem.pl (1217)
2018.11.14 22:23:43 1:     main::AnalyzeCommand                called by fhem.pl (1063)
2018.11.14 22:23:43 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2587)
2018.11.14 22:23:43 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (906)
2018.11.14 22:23:43 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (535)
2018.11.14 22:23:43 1:     main::FW_Read                       called by fhem.pl (3601)
2018.11.14 22:23:43 1:     main::CallFn                        called by fhem.pl (726)
2018.11.14 22:24:06 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 409) line 1.


2018.11.14 22:30:06 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Can't locate DateTime.pm in @INC (@INC contains: . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl ./FHEM) at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.


2018.11.14 22:30:06 0: Can't locate DateTime.pm in @INC (@INC contains: . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl ./FHEM) at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.


2018.11.14 22:30:14 1: No Logdevice >FileLog_KiZi_Buam<
2018.11.14 22:30:16 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 471) line 1.


2018.11.14 22:30:17 1: Error: >anyViews< has no TYPE, but following keys: >READINGS<
2018.11.14 22:36:59 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Can't locate DateTime.pm in @INC (@INC contains: . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl ./FHEM) at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.


2018.11.14 22:36:59 0: Can't locate DateTime.pm in @INC (@INC contains: . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl ./FHEM) at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.


2018.11.14 22:37:02 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 527) line 1.

Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 14 November 2018, 22:49:25
Den Rest versuche ich morgen zu Posten, ich muss für heute "Feierabend" machen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:49:46
Zitat von: MadMax-FHEM am 14 November 2018, 22:45:02
Drum ja die Frage nach der EXAKTEN Methode des Kopierens...

Überzeugendes Argument.

Ok, ich würde ihm für diese einzelne Datei (es ist nur eine) den wget-Weg vorschlagen - wenn ich denn wüsste, wo genau auf github die liegt. Jaja, wir machen auch noch apt install wget ... aber ehe wir hier tagelang versuchen eine defekte Datei zu finden ...
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 November 2018, 22:55:11
Zitat von: Da_Erdinga am 14 November 2018, 22:48:03

Can't locate DateTime.pm in @INC (@INC contains: . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl ./FHEM) at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 34.


Auf der Kommandozeile das fehlende Perl-Modul installieren:

sudo apt-get install libdatetime-perl


Hier auch erklärt: https://wiki.fhem.de/wiki/DWD_OpenData

Gute Nacht, bis morgen!
Morgen viel präziser antworten. Und nicht aufgeregt sein - wir kennen "das" alle.
Titel: Antw:Modul für DWD Open Data
Beitrag von: rabehd am 15 November 2018, 07:57:52
Ich konnte es nachstellen.
Beim define habe ich auch die Fehlermeldung erhalten, dass das Modul nicht geladen werden kann.

sudo apt-get install libdatetime-perl
war nicht erfolgreich, erst

sudo apt-get update
sudo apt-get install libdatetime-perl

brachte den Erfolg
Titel: Antw:Modul für DWD Open Data
Beitrag von: MadMax-FHEM am 15 November 2018, 09:13:24
Ein Update der Paketlisten (apt-get update) empfiehlt sich IMMER bevor man Pakete installiert...

Gruß, Joachim
Titel: Antw:Modul für DWD Open Data
Beitrag von: Da_Erdinga am 15 November 2018, 22:09:06
Hallo Zusammen,


Nachdem ich das Update und die Libdatetime-perl installiert habe geht jetzt alles.


Vielen Dank nochmals.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 17 November 2018, 02:16:40
Zitat von: MadMax-FHEM am 15 November 2018, 09:13:24
Ein Update der Paketlisten (apt-get update) empfiehlt sich IMMER bevor man Pakete installiert...

Da hielt ich nicht für erwähnenswert - ich würde allerdings weitergehen: Ich würde vorher das System auf den neuesten Stand bringen wollen:


sudo apt-get update && sudo apt-get upgrade


@Da_Erdinga
Obige Befehlskette bringt Dein Ubuntu/Debian/Raspian als Bestriebssystem auf den neuesten Stand der Dinge. Sollte man ab und an tun. Ach so: Datensicherung ...
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 17 November 2018, 04:06:55
@jensb
Zitat von: jensb am 21 Januar 2018, 14:38:48
Die Vorhersagedaten  (https://opendata.dwd.de/weather/local_forecasts/poi/) sind relativ detailliert im 3 Stunden Raster.

Hallo Jens,
sage bitte nicht "lies die Doku beim DWD" - Du kannst meine Fragen in 30 Sekunden beantworten, während ich Stunden oder Tage unterwegs bin:

* Das bedeutet faktisch, dass es im Vorhersagebereich (der Tag übermorgen) keine Minimal/Maximalwerte gibt?

* Wie ist dieses Drei-Stundenraster aufgeteilt, wie erkenne ich das an den Variablen? Zwei Beispiele EINER Variablen reichen mir.

Ich danke Dir sehr.

P.S: Ach so, Hintergrund: Wir (sind derzeit mehrere) schauen grad, wie wir das mit dem FTUI-Widget "weather" zusammenbringen können.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 November 2018, 11:46:22
@curt
Ich habe prinzipiell kein Problem damit konkreten Fragen zu beantworten, im Gegenteil.

Die Beschreibung der Daten habe ich in der Commandref nur andeuten können. Die Daten stammen ja vom DWD und nicht von mir, und die DWD-Doku, die ich bisher gelesen habe, geht darauf auch nicht konkret ein.

Zunächst einmal ist der Link für die Vorhersagedaten seit der letzten Umstellung beim DWD nun https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/ (https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/). Die KMZ-Dateien lassen sich in .ZIP umbenennen und dann findet man KML-Dateien mit XML-Format im ZIP-Archiv.

Die "alten" CSV hatten Daten für Zeitstempel, die 3 Stunden auseinander liegen. Die neuen KML-Daten liegen sogar stündlich vor (siehe ForecastTimeSteps in der KML-Datei). Das OpenData-Modul liest die gesamte KML-Datei ein und wandelt je nach Attribut forecastResolution die entsprechenden Rohdaten in Readings um. Dabei werden nur Reading berücksichtigt, die ein vielfaches der forecastResolution sind.

Beispiel: forecastResolution=3, fc0_0_... = Tag 0, Index 0 -> 0*3 = 0-2 h nach 0:00, fc0_1_... = Index 1 -> 1*3 = 3-5 h nach 0:00 usw.

Die "echten" Uhrzeiten muss man dem Reading ..._time entnehmen, da der Index in der UTC-Zeitzone verankert ist.

Die verschiedenen DWD-Daten liegen in unterschiedlichen Zeitrastern vor, die auch von Station zu Station variieren können. Hier hilft nur ein Blick in die KML-Datei. Wo ein Bindestrich steht, ist für die jeweilige Zeit kein neuer Messwert vorhanden. Im OpenData-Modul fehlt dann das Reading für den jeweiligen Index.

Es gibt zum Glück für alle Vorhersagetage Min- und Maxwerte und sogar eine ganze Menge. Details gibt es hier: https://opendata.dwd.de/weather/lib/MetElementDefinition.xml (https://opendata.dwd.de/weather/lib/MetElementDefinition.xml). Je nach Bedarf einfach das Attribut forecastProperties anpassen. Man muss bei den Min/Max-Werten aber im Normalfall rückwärts denken: z.B. gilt ein 6h Max-Wert für 13:00 für die Zeit von 07:00 - 13:00.

Viel Erfolg bei der Umsetzung für die FTUI! Bitte melden, wenn ihr Anpassung am DWD-Modul braucht, die sich anders nicht sinnvoll umsetzen lassen bzw. es doch für euch Sinn machen sollte, dass das OpenData-Weblink-Modul Readings generiert.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 17 November 2018, 19:08:09
Hallo an Alle,

Ich habe mir nun mit Hilfe von mehreren Threads einiges an Info zusammen gesucht. Danke erstmal für die viele Hilfe.

Aktuell stehe ich allerdings noch vor einem Problem, welches ich nicht gelöst bekomme.

Dafür würde ich dich jensb doch noch mal in Anspruch nehmen wollen, bzw brauch ich noch ein paar Infos.

Dass das Modul ,,nur" die Daten bereit stellen soll und FTUI oder ein andere Frontend für die Darstellung zuständig ist kann ich nachvollziehen.
Leider habe ich das Weblink Modul bislang nicht ans laufen bekommen (habe auch noch nicht ganz verstanden was es macht, außer eine vordefinierte Wetteranzeige) habe mir nun aber mit FTUI eine Anzeige auf meinem 7" Display für Tests zusammen gebaut die auch mit Tag/Nacht funktioniert.

Nun wirklich zu Dir jensb, wie bekomme ich das aktuelle Wetter als Icon ins FTUI?
Würde da evtl eine neue Funktion bei dir im Modul helfen, die einfach jede Stunde wenn dein Modul aktualisiert ein neues Reading (z.b. fc_aktuelles_Wetter) erzeugt welches aus dem passenden Reading das neue erzeugt (z.b. Nimm aktuelle Zeit und und hole den passenden Wert aus ww/wwd).

Oder denke ich da zu kompliziert und es geht einfach mit FTUI?

Gruß und schönen Abend
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 November 2018, 21:19:10
@Knallkopp_02
Zitat... wie bekomme ich das aktuelle Wetter als Icon ins FTUI?
Das "alte" DWD GDS-Modul hatte eine Funktion, um das aktuelle Wetter vom DWD abzurufen. Das DWD OpenData-Modul hat diese Funktion (noch) nicht, es kann "nur" Vorhersagen und Wetterwarnungen. Das OpenData-Weblink-Modul ist aktuell nur für FHEMWEB und nicht für FTUI ausgelegt. Es macht aber das was du brauchst: es sucht aus den Vorhersagedaten abhängig von der aktuellen Uhrzeit die Vorhersage für ungefähr "jetzt" heraus und zeigt sie am 1. Icon an. Das hat natürlich nichts mit tatsächlichen Messwerten zu tun, es bleiben Vorhersagewerte.

Ich hatte hier (https://forum.fhem.de/index.php/topic,86847.msg858047.html#msg858047) schon einen Lösungsvorschlag gemacht, aber es hat zu dem Zeitpunkt keinen interessiert. Das was das OpenData-Weblink-Modul macht, kann man auch direkt in der FTUI mit JavaScript nachmachen. Alternativ könnte man versuchen, aktuelle Messwerte vom OpenData-Server zu verwenden und sie über das OpenData-Modul bereitstellen. Das ist aber auch nicht einfach: die stationsbezogenen Daten unter https://opendata.dwd.de/weather/weather_reports/poi/ (https://opendata.dwd.de/weather/weather_reports/poi/) wären zwar relativ leicht zugängig, liegen aber meist ca. 1-2 Stunden in der Vergangenheit und sind für mich damit als "Istwerte" unbrauchbar. Bei den anderen verfügbaren Istwerten, die ich mir angesehen habe, ist die Vorverarbeitung aber relativ aufwendig. Deshalb bleibe ich bis auf weiteres bei den Vorhersagedaten. Wenn jemand auf dem OpenData-Server wirklich aktuelle stationsbezogene Istwerte findet, schaue ich mir das gern an.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 18 November 2018, 08:22:07
@jensb,

Ja das mit den aktuellen Werten ist eine schwierige Sache, die wahrscheinlich auch nie gelöst werden kann. Wie du schon richtig gesagt hast, man könnte die Wettervorhersage für die nächste Stunde nehmen. Außerdem wer wissen will, wie das Wetter ist, soll aus dem Fenster schauen. Ich habe hier eine kleine Wetterstation von Netatmo und selbst dort wird oft das falsche aktuelle Wetter angezeigt, obwohl es bestimmt 15 Stationen in meinem Umfeld gibt, da sie anscheinen nicht ihre eigenen Daten für diese Anzeige verwenden. Wir wohnen hier an einer Wetterscheide und die eigentliche Messstation nehme ich an ist ca 7 Km entfernt. Anzeige von der Station strahlender Sonnenschein und hier geht die Welt bei Starkregen unter.

Gruss
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 November 2018, 13:35:52
@Knallkopp_02
Es gibt 99 internationale Wettercodes, davon mindestens 20, die sich deutlich unterscheiden. Um die als Istmesswert selbst zu ermitteln, wenn man nicht aus dem Fenster gucken will, braucht man ein ganzes Rudel von Sensoren, um z.B. Hagel von Schnee unterscheiden zu können. Das macht meiner Ansicht für die meisten von uns keinen Sinn. Hilfreich finde ich es trotzdem, einen eigenen Regensensor zu haben und genauso wichtig ist mir ein Außen-Helligkeitssensor und ein Außen-IR-Sensor. Damit kann man z.B. Rollos und Gartenbewässung viel differenzierter steuern.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 November 2018, 13:44:16
Beim Tageswechsel vom 17.11. zum 18.11. war der DWD OpenData-Server vorübergehend nicht erreichbar. Gut fand ich, dass der Fehler ziemlich eindeutig im state zu lesen war und dass die Verarbeitung ohne Eingriff wieder aufgenommen wurde, nachdem der Server wieder erreichbar war. Nicht gefallen hat mir, dass alle Vorhersage-Readings gelöscht wurden.

Hier mein Verbesserungsvorschlag für die nächste Version:

Bitte melden, wenn jemand hierfür noch andere Ideen hat.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 18 November 2018, 14:46:21
Zitat von: jensb am 18 November 2018, 13:35:52
@Knallkopp_02
Es gibt 99 internationale Wettercodes, davon mindestens 20, die sich deutlich unterscheiden. Um die als Istmesswert selbst zu ermitteln, wenn man nicht aus dem Fenster gucken will, braucht man ein ganzes Rudel von Sensoren, um z.B. Hagel von Schnee unterscheiden zu können. Das macht meiner Ansicht für die meisten von uns keinen Sinn. Hilfreich finde ich es trotzdem, einen eigenen Regensensor zu haben und genauso wichtig ist mir ein Außen-Helligkeitssensor und ein Außen-IR-Sensor. Damit kann man z.B. Rollos und Gartenbewässung viel differenzierter steuern.

Grüße,
Jens

Ich bin da völlig bei dir, Sensoren wie Temperatur, Luftfeuchtigkeit, Luftdruck sowie deine aufgezählten sind kein Problem. Andere sind nur immenser Aufwand und sollten Profis vorbehalten sein.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 19 November 2018, 22:35:39
Zitat von: jensb am 17 November 2018, 11:46:22
@curt
Ich habe prinzipiell kein Problem damit konkreten Fragen zu beantworten, im Gegenteil.

Die Beschreibung der Daten habe ich in der Commandref nur andeuten können. Die Daten stammen ja vom DWD und nicht von mir, und die DWD-Doku, die ich bisher gelesen habe, geht darauf auch nicht konkret ein.
[gekürzt]

Ich jammere ja auch gar nicht - herzlichen Dank für Deine Ausführungen!

Folgendes plane ich (mit zwei, drei anderen): Deine Arbeit vermittels FTUI widget_weather.js zu nutzen. Da ist aber noch so einiges zu tun. Derzeit liegen verschiedene Templates (außerhalb des Widgets) vor - aus diesem Grund frug ich nach Wertebedeutungen. Die optische Umsetzung Sonne-Wolke-Regen-Schnee-Nebel-dunkel-usw. existiert dank @somansch im Widget, ist aber derzeit deutlich zu grob. Viel zu tun ...

Soweit erstmal von mir.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 23 November 2018, 20:10:57
Zitat von: jensb am 17 November 2018, 11:46:22
@curt
Ich habe prinzipiell kein Problem damit konkreten Fragen zu beantworten, im Gegenteil.

@jensb
Dann möchte ich mir keck viel Anfangsarbeit mit folgenden Fragen sparen:

* Rd10 -> Probability of precipitation > 1.0 mm during the last 24 hours
Verstehe ich recht, dass -kombiniert mit Tag drei (fc3)- mir das die Niederschlagswahrscheinlichkeit für Montag (heute ist Freitag) liefert? Anders formuliert: Gibt es die Niederschlagswahrscheinlichkeit, auf den künftigen Tag bezogen? Der heißt Rd10?

* Min/Max-Werte für den heutigen bzw. einen konkreten künftigen Tag: Temperatur, Niederschlagsmenge, Windgeschwindigkeit - gibt es das? Wie heißen die?

* Windrichtung: Bezogen auf einen Tag - gibt es da einen Parameter "Hauptwindrichtung", so etwas in dieser Art?

* @somansch bastelt sich aus day_4_wwd eine Grafik: Sonne, Wolke, Regen, sowas. 4*3= 12 <- das ist also der Wert für 1200 Uhr, habe ich richtig gerechnet? Gibt es einen Parameter "heutiges vorrangiges Wetter"? (Yahoo hat so etwas - ein Symbol pro Tag.)

* wie vorheriger Punkt - nur für Vormittag/Nachmittag?

Lieber Jens, ja natürlich: Ich will mir viel Arbeit sparen - auf Deine Kosten. Kurz-präzise Antwort reicht. Ich kann auch richtig nett gucken. :)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 24 November 2018, 20:47:32
@curt

ZitatKurz-präzise Antwort reicht.
Du hast aber auch überhaupt keine Ansprüche ::)

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 25 November 2018, 07:42:38
Jaha ... aber ich glaube, dass ich den Teil jetzt allein verstanden habe. Also das hat sich erledigt.

Ein Teil ist mir noch unklar, aber mir ist klar, dass das kein Thema für Dich ist - ich erzähle es lediglich: Readings wie fc0_0_wwd kommen bei mir in deutsch. Warum und wie das widget nun wieder englische strings in Symbole umsetzen kann - ist mir im Moment schleierhaft.

@jensb
Ich wollte Dir nicht auf den Fuß treten oder über Gebühr beanspruchen. Andererseits ist es so: Wer fragt kann vielleicht keine Antwort bekommen. Wer nicht fragt, bekommt definitiv keine Antwort.

Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 25 November 2018, 10:25:15
@curt

die "Übersetzung" der ganzen Werte erfolgt in der widget_weather.js, dort bin ich aktuell auch dran, aber wie setstate irgenwann gesagt hatte, das ist alles etwas verwirrend, warscheinlich weil das widget gewachsen ist, und immer nur erweitert wurde.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 27 November 2018, 23:06:40
(Zitate aus dem allgemeinen DWD-opendata-Thread)

Zitat von: Knallkopp_02 am 24 November 2018, 09:41:32
Zum Thema Icons Tag/Nacht und vorallem einheitlicher Nutzung für FTUI oder andere Frontends stecke ich fest.
Das Tag/Nacht scheint zu klappen, aber nur für DWD->Kleinklima.
Für mich selbst wäre das jetzt erledigt, da ich diese Konstellation für mich angepasst habe.

Das würde ich mir gern mal ansehen.
Insbesondere ist mir Dein konzeptioneller Tag/Nacht-Ansatz nicht klar. - Wir müssten gelegentlich (wenn Du magst) mal ganz substanziell über das Sonne/Mond/Wolke-Icon reden: Was wollen wir da eigentlich genau darstellen? Und wo bekommen wir sinnvolle Werte her?

Zitat von: Knallkopp_02 am 24 November 2018, 09:41:32
Aber für die Allgemeinheit ist es keine Lösung. Ich habe testweise Proplanta, Yahoo und DWD mal als Datenlieferanten erstellt und für die 3 FTUI Anzeigemöglichkeiten meteocons, weathericons und Kleinklima einen Bereich in FTUI definiert. Mal funktioniert diese Anzeige, mal eine andere. Je nach dem was man kombiniert.

Was fällt euch dazu ein, sowas global Nutzbar zu machen, damit der User einfach nur sein Frontend mit dem passenden Modul wählen muss und die Anpassungen für die anzuzeigenden Daten erstellen muss.

Ich hatte vor Tagen mal ziellos im Web nach lizenzfreien Icon-Sätzen gesucht. Da fiel mir ein stark stilisierter Satz auf (der vielleicht sogar in FHEM ist, das habe ich nicht geprüft). Solche stark vereinfachten Symbolsätze haben ja den Vorteil, dass man da zusätzlich mit Farben arbeiten kann. Das geht bei Kleinklima nicht - der sieht einfach nur "schön" aus.

Vermutlich gibt es noch -und da würde es spannend- einen Iconsatz von DWD-opendata: In einer Excel-Tabelle vom DWD (wohl ein Link von @somansch , müsste hier verlinkt sein) tauchen genaue Zuordungen zu Dateinamen auf, die wohl Icons sind. [Siehe P.S.]

Zu Deiner Frage:
Im Grunde läuft es darauf hinaus, in einer Tabelle in den ersten Spalten die denkbaren Readings der verschiedenen Wetter-Devices, in den weiteren Spalten die zuzuordnenden verschiedenen Icon-Sätze (da konkrete Icons) zu erfassen. Eine Fleißarbeit mit vermutlich hohem Frustfaktor.

Mein Status:
Inzwischen habe ich die auszuwertenden Readings bei mir präzisiert (erweitert). Unter anderem kommen dann (bei mir) nun Wetterwarnungen. Dabei fiel ein unschöner Konzept-Fehler auf: Beim DWD heißt es z.B: TN, bei @jensb heißt es Tn. Das ist nicht ganz ungefährlich, da das case-sensitiv ist.

Ich habe den Template-Gedanken aufgenommen und die aus meiner Sicht wichtigen Readings vereinzelt. Das ist dann deutlich übersichtlicher und weniger fehlerträchtig - ich kann meine Dateien gern vorstellen. (Rein optisch macht das bei mir absolut nichts her - ich bin noch in der Phase der Tests.

Ein Problem tut sich bei mir mit verschiedenen Browsern auf: Textausgaben, die über zuerst über das Widget DWD-opendata und danach noch über das Widget Label laufen, werden nicht bzw. nur stochastisch aktualisiert. Da hilft kein class=nocache, das geht einfach nur schief. - Das Problem scheint es nicht nur bei mir zu geben, im Forum fand ich zwei oder drei unbeantwortete sehr ähnliche Themen.

Da es so schön kalt ist:
Ich fand einen Thread, der Frostwarnung spielt. Der Thread gleitet dann ab, bei anderen Devices gibt es wohl direkt ein fc0_frost. Aber der ganz vorn erörterte Ansatz ist sehr schön: https://forum.fhem.de/index.php/topic,63067.msg543345.html#msg543345 - Habe ich nicht umgesetzt, nur erstmal gefunden.

Ich selbst bin etwas in Stress, ich bin die nächsten Tage unterwegs.

P.S: Ja, war Hinweis von @somansch : https://www.dwd.de/DE/leistungen/opendata/help/inhalt_allgemein/opendata_content_de_en_xls.xls
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 November 2018, 21:20:27
ZitatBeim DWD heißt es z.B: TN, bei @jensb heißt es Tn. Das ist nicht ganz ungefährlich, da das case-sensitiv ist.
Das war mein Versuch im Sinn einer Abwärtskompatibilität, um nicht alle vor der letzten Umstellung des DWD bekannten Readings über den Haufen zu werfen. Auf diesem Umstand habe ich hier (https://forum.fhem.de/index.php/topic,83097.msg838507.html#msg838507) zum Zeitpunkt der Umstellung hingewiesen. Wer selbst programmiert kann ggf. case-insensitiv vergleichen oder mappen. Wenn jemand einen guten Grund kennt, die Abwärtskompatibilität des OpenData-Moduls aufzuheben, dann muss er ihn nennen.

ZitatIch fand einen Thread, der Frostwarnung spielt ...
Das ist in ähnlicher Form im OpenData-Weblink umgesetzt. Solange man aber nur die Temperatur heranzieht, hat das in etwa die gleiche Aussage wie die Schneeflocke in vielen Autos.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 01 Dezember 2018, 13:14:03
@curt
Zitat
Das würde ich mir gern mal ansehen.
Insbesondere ist mir Dein konzeptioneller Tag/Nacht-Ansatz nicht klar. - Wir müssten gelegentlich (wenn Du magst) mal ganz substanziell über das Sonne/Mond/Wolke-Icon reden: Was wollen wir da eigentlich genau darstellen? Und wo bekommen wir sinnvolle Werte her?

Ich habe mal 2 Grafiken angefügt, die meine Vorstellung der Anzeige darstellen und mit den von mir gemachten Anpassungen auch laufen. Das ist aber nur hingefuscht weil mir die Kenntnisse fehlen.

Sinnvolle Werte werden von den einzelnen Wetter-Modulen ja schon geliefert. Leider werden sie nicht sauber in FTUI über das Wetter Widget ausgegeben, was auch echt kompliziert ist, ich steige auch nicht durch.

BTW: Großen Danke an setstate das du das wenigsten übernommen hast und etwas pflegst. Ist nicht einfach etwas von jemandem zu übernehmen und dann auch noch zu verstehen, was da eigendlich vor geht, wenn man es nicht nutzt.

Zitat
Ich hatte vor Tagen mal ziellos im Web nach lizenzfreien Icon-Sätzen gesucht. Da fiel mir ein stark stilisierter Satz auf (der vielleicht sogar in FHEM ist, das habe ich nicht geprüft). Solche stark vereinfachten Symbolsätze haben ja den Vorteil, dass man da zusätzlich mit Farben arbeiten kann. Das geht bei Kleinklima nicht - der sieht einfach nur "schön" aus.

Insgesamt sind ja 3 verschiedene Darstellungsmöglichkeiten in FTUI integriert.
Icons von Meteocons, Icons von Weathericons und Grafiken von Kleinklima.
Das ist ja schonmal eine entsprechende Auswahl. Funktionieren scheint aber nur DWD und Kleinklima obwohl es dank setstate auch schon mal mit Proplanta und weathericons funktioniert hat. habe bestimmt irgendwas versaut beim basteln.

Gruß           
Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 02 Dezember 2018, 21:41:58
@Knallkopp_02
Es scheint da noch einen weiteren Grafik-Satz zu geben, der mir geeignet erscheint. Aber ich bin wirklich erst in diesem Moment zurück von Reisen - ich habe mir das noch nicht näher angesehen.

Ganz allgemein:
Mir fehlt die Übersetzungsmöglichkeit des schnellen Blicks: "Wie wird es denn morgen?"

Die meisten von uns sind ja keine Landwirte - die meisten interessiert eher: Wird es ein sonniger Tag oder trüb oder regnerisch? Und das mit genau einer Grafik übersetzt ...
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 02 Dezember 2018, 21:53:03
Zitat von: jensb am 28 November 2018, 21:20:27
ZitatBeim DWD heißt es z.B: TN, bei @jensb heißt es Tn. Das ist nicht ganz ungefährlich, da das case-sensitiv ist.
Das war mein Versuch im Sinn einer Abwärtskompatibilität, um nicht alle vor der letzten Umstellung des DWD bekannten Readings über den Haufen zu werfen.

Mein Hinweis war doch nur "Herr Lehrer, ich weiß auch was". Mir fiel das auf. - Mal allgemein gefragt: Spielt case-Sensitivität überhaupt eine Rolle? Sonst wäre es doch besser, wenn Du im Modul ganz pauschal alles mappst.

Zitat von: jensb am 28 November 2018, 21:20:27
ZitatIch fand einen Thread, der Frostwarnung spielt ...
Das ist in ähnlicher Form im OpenData-Weblink umgesetzt.

Falls ich nichts übersehen habe, ist der OpenData-Weblink für FTUI unbrauchbar. Man kann ihn dort nicht sinnvoll integrieren.

Zitat von: jensb am 28 November 2018, 21:20:27
Solange man aber nur die Temperatur heranzieht, hat das in etwa die gleiche Aussage wie die Schneeflocke in vielen Autos.

So sind sie, die unterschiedlichen Kinderchen: Ich wohne (ohne es näher beschreiben zu wollen) in einer Gegend mit einem etwas ungewöhnlichem Mikroklima. Und mir würde diese grafische Auto-Aussage wirklich helfen; mit Betonung auf "graphisch". (Denn ich steige bei angeblichen 3°C ins Auto, vorher kratze ich diese 3°C von der Frontscheibe. Dann fahre ich los und nach 2km kommt eine Senke ... und so weiter.)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Dezember 2018, 20:35:56
@curt
ZitatMal allgemein gefragt: Spielt case-Sensitivität überhaupt eine Rolle?
Das kommt auf die Programmiersprache bzw. die Daten an. Jeder, der das aber wirklich ausnutzt und mit z.B. Tn, TN, tN und tn herum operiert, der sollte mit dem Programmieren aufhören. In den meisten Fällen kann man zumindest Daten ohne Mehrdeutigkeiten in Lower- oder Uppercase vergleichen. Da spielen dann eher noch Stylguides oder Lesbarkeit eine Rolle. "T" für Temperatur, "n" für einen Index, den man ja ohne Textverarbeitung nicht wirklich tief stellen kann. "TN" würde das nicht so gut 'rüber bringen und "tn" auch nicht.

ZitatSonst wäre es doch besser, wenn Du im Modul ganz pauschal alles mappst.
Besser ist relativ. Jeder der es braucht kann sich austoben: einfach die Zeile 71 vom OpenData-Module (die mit "forecastPropertyAliases") und die davon abhängigen Zeilen 78 und 83 nach belieben anpassen.

ZitatIch fand einen Thread, der Frostwarnung spielt ...
Ihr arbeitet doch an einer Lösung. Wollte nur anmerken, dass ihr auch im OpenData-Weblink-Modul nachsehen könntet, um ein paar Ideen zu bekommen.

ZitatUnd mir würde diese grafische Auto-Aussage wirklich helfen ...
Mir auch, vor allem wenn man sie vorhersagen könnte. Dann wäre das der Schalter für die Auto-Standheizung. Ich suche aber noch nach einer besseren Lösung als die bloße Temperatur. Meiner Ansicht nach benötigt man für die bessere Schneeflocke den Temperaturverlauf der letzten Stunden und vielleicht auch die Windgeschwindigkeit. Es geht ja bei Frost um Kondensation auf kalten Flächen. Dazu muss die Fläche (als z.B. das Autoglas) kälter sein als die Luft und die Luft muss eine bestimmte Feuchtigkeit bzw. einen bestimmten Taupunkt bzw. eine bestimmte Taupunktdifferenz haben (oder so ähnlich).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 03 Dezember 2018, 21:02:32
@jensb
Alles verstanden. (War ja nur Diskussion. Ich lebe gut mit dem case-sensitiven Stand; ich stolperte halt darüber.)

Frostwarnung:
Eigentlich will man (ich) ja etwas anderes. Es soll vor Frost gewarnt werden, wenn Frost mit einer Wahrscheinlichkeit x kommt. - Meine Situation: Obwohl ich auf ca. 150m Seehöhe lebe, habe ich hier Mittelgebirgsklima. Das liegt an der exponierten Lage hinter dem Harz sowie am Übergang Elbe->Endmoräne. Beispiel: Die fährst die BAB 9 von süd nach Berlin. Es regnet leicht. Du passierst die Elbebrücke Vockerode, wenige Kilometer später steht "120". Dabei ist es nur leicht kurvig, es geht unmerklich hoch. Und Du hast gute Chancen, völlig unerwartet auf Glatteis weiterzufahren.

Ich verstehe Deinen Gedankengang und habe da vielleicht einen Hinweis: Vor so einigen Jahren hatte ich eine Wetterstation WS2300 seriell an einem kleinen Linux-Server. Die Software entstammte einer damals regen Community; Grafiken, Vorhersagen, Statistiken usw. Vermutlich habe ich die Software (war Perl) noch irgendwo. Auf alle Fälle erinnere ich mich da an etwas. Vielleicht suchst Du "windchill" bzw. dessen Berechnung (unzureichend mit "gefühlte Temperatur" übersetzt).

Andere Baustelle, vielleicht kannst Du mir da helfen:
Einige Textwerte (wie: Minimaltemperatur Tag3) werfe ich mit dem FTUI-Widget Label raus. Leider muss ich feststellen, dass das in FTUI nicht bzw. nur sporadisch aktualisiert. Dafür gibt es zig mögliche Ursachen. Ich fange mal bei Deinem Modul an:

Mache ich da etwas mit event-on-... falsch? Schaue Dir mal bitte meine Definition an, ist die richtig oder mache ich da Fehler?


define DWD DWD_OpenData
attr DWD alertArea 815091375
attr DWD alertLanguage DE
attr DWD event-on-update-reading 1
attr DWD forecastDays 4
attr DWD forecastProperties wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD
attr DWD forecastResolution 3
attr DWD forecastStation 10474
attr DWD forecastWW2Text 1
attr DWD room 99_System
attr DWD userReadings fc0_SunDh {ReadingsVal("DWD","fc0_SunD","")/3600},\
fc1_SunDh {ReadingsVal("DWD","fc1_SunD","")/3600},\
fc2_SunDh {ReadingsVal("DWD","fc2_SunD","")/3600},\
fc3_SunDh {ReadingsVal("DWD","fc3_SunD","")/3600},\
fc4_SunDh {ReadingsVal("DWD","fc4_SunD","")/3600}

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 03 Dezember 2018, 22:06:43
@curt
ZitatVielleicht suchst Du "windchill" ...
Über den habe ich mir auch schon Gedanken gemacht. Ob es (fast) das Gleiche ist wie zugefrorene Fensterscheiben kann ich (noch) nicht sagen.

ZitatMache ich da etwas mit event-on-... falsch?
Soweit ich weiß, ja. Das Attribut braucht eine mit Kommas getrennte Liste von Readings und keinen Zahlenwert. Wenn du etwas zeitlich zusammenfassen willst, dann solltest du dir event-aggregator ansehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 03 Dezember 2018, 23:36:38
Zitat von: jensb am 03 Dezember 2018, 22:06:43
Zitat
Vielleicht suchst Du "windchill" ...
Über den habe ich mir auch schon Gedanken gemacht. Ob es (fast) das Gleiche ist wie zugefrorene Fensterscheiben kann ich (noch) nicht sagen.

Das (windchill) kommt schon einigermaßen hin. Mehr wird nicht zu haben sein. (es fehlt noch die Luftfeuchte als Wärmeträger. Aber das ist Kaffeesatzleserei - Stichwort Eisregen.)

Zitat von: jensb am 03 Dezember 2018, 22:06:43
Zitat
Mache ich da etwas mit event-on-... falsch?

Soweit ich weiß, ja. Das Attribut braucht eine mit Kommas getrennte Liste von Readings und keinen Zahlenwert.

<seufzt>
Woher auch immer ich das mit cut+paste holte ... ich habe da also noch so eine Gurke irgendwo in der config.

Ok, ich habe nun die Parameter aus "attr DWD forecastProperties wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD" genommen und werde beobachten.

Zitat von: jensb am 03 Dezember 2018, 22:06:43
Wenn du etwas zeitlich zusammenfassen willst, dann solltest du dir event-aggregator ansehen.

Satz nicht verstanden.
Was meinst Du mit "etwas zeitlich zusammenfassen"? Was möchte ich zeitlich zusammenfassen? Wofür kann man (ich) das ggf. brauchen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 05 Dezember 2018, 02:52:20
@jensb

Zitat von: curt am 03 Dezember 2018, 23:36:38
Ok, ich habe nun die Parameter aus "attr DWD forecastProperties wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD" genommen und werde beobachten.

Es geht um event-on-update-reading - dazu habe ich noch Fragen: a_0_eventDesc und a_0_description hätte ich da auch ganz gern drin. Mir ist leider nicht klar, wie ich die beiden adressiere: Ohne das "a_0_" oder wie genau?

Weiteres Verständnisproblem: SunDh bekomme ich auch nicht aktualisiert in das Widget. Ist SunDh ein Attribut Deines Moduls, also vom DWD? (Ich habe da ein entsprechendes userReading ...)

Ansonsten kommt das langsam in das Gleis, in das es gehört.
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 05 Dezember 2018, 10:02:16
wozu brauchst du "event-on-update"?
das ist sowieso schon eingeschaltet. wenn das dein einziges event-on attribut ist, dann einfach löschen und gut ist.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 Dezember 2018, 21:23:09
@curt
Bzgl. event-on-update-reading und event-aggregator hilft wie so oft die Commandref. Ich dachte, dass du vielleicht mit event-on-update-reading=1 erreichen wolltest, dass z.B. nur jede Sekunde ein Update des Readings gemeldet wird, auch wenn sich das Reading tatsächlich häufiger ändert. Das geht mit event-aggregator. Aber genau wie frank das bzgl. event-on-update bereits gesagt hat, brauch man auch event-aggregator beim OpenData-Modul nicht, da sich die Readings nicht so schnell ändern können.

ZitatSunDh bekomme ich auch nicht aktualisiert ...
SunDh gibt es nicht vom DWD, aber SunD und das ist ja in deinen Attribut forecastProperties aufgeführt. Ein Reading wird aber nur erzeugt, wenn der DWD dafür auch Daten liefert und das tut er nicht für alle Stationen in gleicher Weise. In der Modulhilfe steht dazu, dass man sich eine Messdatendatei für seine Station vom DWD-Server herunterladen sollte, um nachzusehen, was für Daten tatsächlich verfügbar sind. Dazu dem Link in der Modulhilfe (https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/) folgen, in das Unterverzeichnis kml wechseln, eine der Dateien herunterladen, in .zip umbenennen und eine der im Archiv enthaltenen Dateien mit einem Texteditor öffnen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 06 Dezember 2018, 03:45:29
@frank
Zitat von: frank am 05 Dezember 2018, 10:02:16
wozu brauchst du "event-on-update"?

Ich nutze das Modul DWDopendata mit nachgelagertem FTUI-Widget weather sowie weiteren wie label. Dort stellt sich heraus, dass nicht korrekt aktualisiert wird. Dafür gibt es zig Verdächtige: Der Browser mit seinem Caching selbst. FTUI mit ziemlich viel Javascript-Budenzauber und insbesondere dem class-Parameter  "nocache". Und interessanterweise auch event-on-update im DWDopendata-Modul, das bewirkt tatsächlich, dass veränderte Daten zügig durch die genannte Kette durchgereicht werden.

EDV ist halt immer auch eine Priese magisches Zaubersalz ...

BTW: Ich rede hier auch über schmale Browser wie Vivaldi. Sowas braucht man, wenn man erstens den Client aud RPi mit Monitor laufen läßt und zweitens keine Browser mag, die jede URL an den Hersteller oder sonstwen verpetzen.

@jensb
Zitat von: jensb am 05 Dezember 2018, 21:23:09
SunDh gibt es nicht vom DWD, aber SunD und das ist ja in deinen Attribut forecastProperties aufgeführt. Ein Reading wird aber nur erzeugt, wenn der DWD dafür auch Daten liefert und das tut er nicht für alle Stationen in gleicher Weise.

Ok, verstanden.
Im Moment habe ich das interessante Phänomen, dass das errechnete Reading SunDh mit Vivaldi auf dem RPi korrekt dargestellt wird - auf meinem riesig großen PC mit Ubuntu 18.04 aber nicht aktualisiert wird. Ja, gleiche Browserversionsstände, gleiche Einstellungen. Ähnlich ist das bei den Warnungen: Der Vivaldi auf dem Ubuntu-PC kommt nicht damit zurecht, dass Warnungen (also ein Reading) einfach so verschwindet. - Aber alles nicht Dein Problem: Ich erzähle es nur.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Dezember 2018, 20:14:23
@curt
Ich kann im Detail deine merkwürdigen Phänomene nicht erklären, aber dass event-on-update=1 irgendetwas (positives) bewirkt, kann ich mir nicht vorstellen. Das gibt die Verarbeitung in fhem.pl meiner Ansicht nach nicht her.

Die Aktualisierungsprobleme, die du beschreibst, haben eher etwas mit Browsern, Websockets und JavaScript zu tun. Habe selbst Epiphanie als Browser auf dem RPi. Der zeigt den gleichen Effekt selbst bei einer Mini-FTUI-Seite mit 3 Elementen. Die Zeitanzeige läuft einwandfrei, aber Änderungen der Readings kommen nicht immer an, meist erst nach einem Reload. Bin der Sache aber noch nicht nachgegangen, sie hat jedenfalls nichts mit dem OpenData-Modul zu tun.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 06 Dezember 2018, 20:31:38
@jensb @Knallkopp_02
Zitat von: jensb am 06 Dezember 2018, 20:14:23
Ich kann im Detail deine merkwürdigen Phänomene nicht erklären, aber dass event-on-update=1 irgendetwas (positives) bewirkt, kann ich mir nicht vorstellen

Missverständnis. - Das Attribut habe ich auf Deinen Hinweis hin geändert. Das hatte das Ergebnis, dass auf mehreren Browsern die meisten Werte (leider nicht alle) nun tatsächlich aktuell via FTUI/widget-weather/widget-label dargestellt werden. Ich habe keine Ahnung, warum das so ist - aber es ist so.

Hier:
attr DWD event-on-update-reading wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD,a_0_description,a_0_eventDesc,SunDh[/quote]

Zitat von: jensb am 06 Dezember 2018, 20:14:23Die Aktualisierungsprobleme, die du beschreibst, haben eher etwas mit Browsern, Websockets und JavaScript zu tun. Habe selbst Epiphanie als Browser auf dem RPi. Der zeigt den gleichen Effekt selbst bei einer Mini-FTUI-Seite mit 3 Elementen. Die Zeitanzeige läuft einwandfrei, aber Änderungen der Readings kommen nicht immer an, meist erst nach einem Reload. Bin der Sache aber noch nicht nachgegangen, sie hat jedenfalls nichts mit dem OpenData-Modul zu tun.

Sekundär schon, siehe oben.
Ansich hast Du völlig recht. Mir ist schon klar, wie viele Komponenten da rein spielen. (Ich habe z.B. den Effekt, dass Vivaldi auf RPi sowie alle schnell greifbaren Browser auf Ubuntu-14.04 identische Werte darstellen - aber Vivaldi auf Ubuntu-18.04 schwer hinterher hängt, also teils veraltete Werte zeigt. Cache usw, ich weiß ... alles probiert.

Ansich müsste ich in dem parallelen FTUi-Thread meine aktuelle Konfiguration zeigen. Ich zögere, da sind vermutlich formale Gurken drin, optisch sieht der Prototyp auch alles andere als gut aus. Vielleicht am Wochenende.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Dezember 2018, 22:35:31
Vielleicht noch einmal zur Klarstellung:

event-on-update-reading=1
bewirkt wahrscheinlich, dass du gar keine Reading-Update-Events von dem Device mehr bekommst.

event-on-update-reading=wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD,a_0_description,a_0_eventDesc,SunDh
bewirkt wahrscheinlich, dass du für die Readings a_0_description und a_0_eventDesc Update-Events bekommst. Alle anderen Elemente der Liste sind keine Reading-Namen des Devices und keine regulären Ausdrücke, und damit kann event-on-update-reading nichts anfangen. Wenn du z.B. alle Readings für FF angeben willst, solltest du .*_FF schreiben.

Wenn du aber sowieso für alle Readings Update-Events erhalten willst, macht es keinen Sinn, das Attribut event-on-update-reading überhaupt zu setzten, darauf hatte frank schon hingewiesen.

Du kannst das leicht mit FHEMWEB überprüfen. Da, wo sich die Zeitstempel der Readings ohne Seitenneuaufbau aktualisieren, sind die Update-Events aktiv.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 06 Dezember 2018, 22:49:48
Zitat von: jensb am 06 Dezember 2018, 22:35:31
event-on-update-reading=wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD,a_0_description,a_0_eventDesc,SunDh
bewirkt wahrscheinlich, dass du für die Readings a_0_description und a_0_eventDesc Update-Events bekommst. Alle anderen Elemente der Liste sind keine Reading-Namen des Devices und keine regulären Ausdrücke, und damit kann event-on-update-reading nichts anfangen. Wenn du z.B. alle Readings für FF angeben willst, solltest du .*_FF schreiben.

Also ".*_Neff" beispielsweise?

Zitat von: jensb am 06 Dezember 2018, 22:35:31
Wenn du aber sowieso für alle Readings Update-Events erhalten willst, macht es keinen Sinn, das Attribut event-on-update-reading überhaupt zu setzten, darauf hatte frank schon hingewiesen.

Satz leider nicht verstanden.

Zitat von: jensb am 06 Dezember 2018, 22:35:31
Du kannst das leicht mit FHEMWEB überprüfen. Da, wo sich die Zeitstempel der Readings ohne Seitenneuaufbau aktualisieren, sind die Update-Events aktiv.

Leider auch nicht verstanden. (Ich ahne aber, was gemeint sein könnte.)

Nein, das stimmt nicht. Min/Max-Temperatur aktualisieren in FTUI erst seitdem ich meine vermutlich falsche attr-Konstruktion habe. Es ist so - warum auch immer es so ist.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Dezember 2018, 23:04:16
@curt
ZitatAlso ".*_Neff" beispielsweise?
Ja, und auch ".*Neff" sollte funktionieren.

ZitatSatz leider nicht verstanden.
Die verschiedenen Weboberflächen nutzen für die Aktualisierung der Anzeige die internen FHEM Events, die beim Update eines Readings erzeugt werden. Mit dem Setzen des Attributs event-on-update-reading kann man diese Standardfunktion auf bestimmte Readings EINSCHRÄNKEN. Es macht also keinen Sinn, dass Attribut zu setzten, wenn man keine Einschränkung will.

ZitatLeider auch nicht verstanden.
Drück beim OpenData-Modul über die normale FHEM-Weboberfläche (FHEMWEB) auf "get forecast" und schau dir an, welche fc-Readings anschließend einen neuen Zeitstempel haben. Das stellt FHEM mit einem Farbumschlag dar.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 06 Dezember 2018, 23:24:25
auch mal auf den eventmonitor schauen.
nur hier "sieht" man den gesamten event kosmos von fhem.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 09 Dezember 2018, 04:26:41
@jensb
Zitat von: jensb am 06 Dezember 2018, 22:35:31
event-on-update-reading=wwP,wwD,FF,DD,FX1,Neff,TTT,ww,Tg,Tn,Tx,RR6c,RRhc,Rh00,SunD,a_0_description,a_0_eventDesc,SunDh
bewirkt wahrscheinlich, dass du

Jens,
ich habe das komplette Konstrukt rausgeworfen. Ihr seid die Profis - und ich der mit dem ganz schmalen Fuß.

Danke für die Zeit, die Ihr mit mir investiert.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 09 Dezember 2018, 08:54:38
@jensb

wir hatten ja schonmal wegen Erweiterungen des Moduls gesprochen. Du sagtest damals, dass du das Modul als reines Datenmodul siehst welches Daten zur verfügung stellt, was ich auch verstehe.

Ich würde gerne folgendes wissen, der Wert "wwd" wird nicht von DWD geholt, sondern von deinem Modul aus "ww" generiert, ist das richtig?

Wäre es möglich das gleiche für "DD" zu machen?

Wäre es ebenso denkbar eine Wert "fc_condition" aus der aktuellen Vorhersage"fc0_* und der aktuellen Zeit zu generieren für die nächste Stunde zu generieren?

so wäre das Anzeigen wesentlich einfacher, als mit irgendwelchen Konstrukten aus JS, FTUI, IF usw. die ich bislang noch nicht hinbekommen habe.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Dezember 2018, 11:05:14
Zitat... der Wert "wwd" wird nicht von DWD geholt, sondern von deinem Modul aus "ww" generiert, ist das richtig?
Ja, und es fehlt noch die englische Version.

ZitatWäre es möglich das gleiche für "DD" zu machen?
Mit Software kann man (fast) alles machen, also ja, aber: die Windrichtung will der eine in 4, der andere in 8 und noch ein andere in 16 Teile geteilt haben. Das ist also wieder eine Darstellungsfunktion. Eine mögliche Umsetzung ist, wie schon mehrfach erwähnt, im OpenData Weblink enthalten. Ich rate noch einmal dazu, das Weblink-Modul als Basis für die Weiterverarbeitung zu verwenden. Dazu müsste man, wie schon mehrfach erwähnt, aus den Weblink-Modul-internen Daten noch Readings generieren und dann könnten FTUI & Co. die Daten aus dem Weblink-Device abholen. Es wären die Daten, die man jetzt im OpenData-Weblink zu sehen bekommt. Natürlich könnte man auch die Daten von einem OpenData-Device und einem Weblink-Device für die Darstellung mischen. Wenn jemand einen Patch für das Weblink-Modul bereit stellt (ein neues Attribut für die Reading-Generierung + Code + Modulhilfe + Wiki), werde ich ihn integrieren.

ZitatWäre es ebenso denkbar eine Wert "fc_condition" aus der aktuellen Vorhersage"fc0_* und der aktuellen Zeit zu generieren für die nächste Stunde zu generieren?
fc0_* sind im Wesentlichen die Eigenschaften des 1. und 2. Icons des Weblink-Moduls: siehe vorherige Antwort. - Habe noch einmal geprüft, ob man hierfür statt Vorhersagewerte die Istwerte des DWD nutzen könnte (siehe https://opendata.dwd.de/weather/weather_reports/poi/ (https://opendata.dwd.de/weather/weather_reports/poi/)): es würde gehen und man erhält dann vor allem ein paar Temperaturen und die Luftfeuchtigkeit. Allerdings sind die Daten nicht wirklich aktuell sonder knapp 1 Stunde alt. Außerdem liegen sie im CSV-Format vor. Das ist für sich keine Problem, aber dieses Format steht beim DWD auf der Abschussliste (vgl. Vorhersgedaten 17.09.2018). Es könnte also sein, dass diese Daten nach ein paar Monaten abgelöst würden oder entfallen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Dezember 2018, 12:51:53
Eine Vorabversion des neusten OpenData-Moduls ist ab sofort auf GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) verfügbar.

Es handelt sich um einen größeren interner Umbau des Codes mit dem Hauptziel, die Performance und die Fehlerbehandlung weiter zu verbessern. Es gibt auch ein paar kleine funktionelle Erweiterungen. Hier die Details:


Obwohl es eines der Hautziele war, die Performance des Moduls zu verbessern, indem die Auslastungsdauer von FHEM pro Modulaktion verringert wird, liegt das größte Potential im Setzten des Attributs "event-on-update-reading" (z.B. auf "state,fc_time,a_time"). Diese Ansatz ist nicht für jeden sinnvoll, aber er zeigt, wie man viel erreichen kann. Hintergrund ist, dass vor allem die Vorhersage je nach Einstellung des OpenData-Devices relativ viele Readings aktualisiert. In den Standardeinstellungen generiert FHEM für jede Reading-Änderung ein Ereignis, dass dann von allen Beobachtungsmodulen (z.B. notify, DOIF) empfangen und geprüft wird. Wenn sich für ein Reading aber kein Modul interessiert, ist das nur Overhead. Daher kann man mit "event-on-update-reading" diese Ereignisgenerierung auf das Notwendige reduzieren. Bei mir macht das fast 2 Sekunden bei der Vorhersage-Aktualisierung aus.

Ich würde es begrüßen, wenn sich jemand die Mühe macht, die neue Version zu testen und nach ein paar Tagen Rückmeldung gibt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: moskito am 09 Dezember 2018, 15:36:58
Ach es hätte so schön sein können...  ;)

Leider wird das neue Modul nicht geladen.

2018.12.09 15:28:14 1: reload: Error:Modul 55_DWD_OpenData deactivated:
Experimental each on scalar is now forbidden at ./FHEM/55_DWD_OpenData.pm line 1300.



This is perl 5, version 24, subversion 1 (v5.24.1)


Zitat
und nach ein paar Tagen Rückmeldung gibt
So lange wollte ich dann doch nicht warten.  ;D

Gruß
Danny
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Dezember 2018, 19:24:09
@moskito
Danke für die Rückmeldung, auf GitHub warte eine neue Version, der ich in den Zeile 1300 und 1344 noch ein zusätzliches %{} spendiert habe. Mein Perl (v5.14.2 + v5.22.1) sieht in beiden Versionen leider kein Problem. Ob die neue Version bei dir laufen wird, kann ich daher nicht sicher sagen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: moskito am 09 Dezember 2018, 20:36:05
Hallo Jens,

läuft wieder und macht einen guten Eindruck.
Werde dann mal weiter beobachten...

Besten Dank!

Gruß
Danny
Titel: Antw:Modul für DWD Open Data
Beitrag von: klausw am 10 Dezember 2018, 14:39:17
Hallo Jens,

Zitat von: jensb am 09 Dezember 2018, 12:51:53
Eine Vorabversion des neusten OpenData-Moduls ist ab sofort auf GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) verfügbar.

Ich würde es begrüßen, wenn sich jemand die Mühe macht, die neue Version zu testen und nach ein paar Tagen Rückmeldung gibt.

habe beide Dateien mal aufgespielt.
Macht einen guten Eindruck, keine Fehler, Aktualisierung klappt.


Zitat von: jensb am 09 Dezember 2018, 12:51:53
Obwohl es eines der Hautziele war, die Performance des Moduls zu verbessern, indem die Auslastungsdauer von FHEM pro Modulaktion verringert wird, liegt das größte Potential im Setzten des Attributs "event-on-update-reading" (z.B. auf "state,fc_time,a_time"). Diese Ansatz ist nicht für jeden sinnvoll, aber er zeigt, wie man viel erreichen kann. Hintergrund ist, dass vor allem die Vorhersage je nach Einstellung des OpenData-Devices relativ viele Readings aktualisiert. In den Standardeinstellungen generiert FHEM für jede Reading-Änderung ein Ereignis, dass dann von allen Beobachtungsmodulen (z.B. notify, DOIF) empfangen und geprüft wird. Wenn sich für ein Reading aber kein Modul interessiert, ist das nur Overhead. Daher kann man mit "event-on-update-reading" diese Ereignisgenerierung auf das Notwendige reduzieren. Bei mir macht das fast 2 Sekunden bei der Vorhersage-Aktualisierung aus.

Ich habe mich jetzt nicht im Detail mit der Datenaktualisierung befasst, vielleicht macht es aber Sinn im Modul (vielleicht auch nur teilweise) "readingsBulkUpdateIfChanged" einzusetzen.
Damit wird unabhängig der event-on-.* Attribute bei den entsprechenden Readings nur bei Änderung ein Event ausgelöst.

Klaus

Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 10 Dezember 2018, 15:15:01
ich würde es begrüssen, wenn das event-verhalten der "norm" entspricht.

also, ohne event-attribute erzeugt dann jedes reading bei jedem update ein event. das kann dann jeder user bis auf 0 events drosseln.

das zusammenspiel der event-attribute ist eh schon tricky, wie man es im forum an jeder ecke sehen kann. unterschiedliches modulverhalten wird es sicher nicht verbessern.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Dezember 2018, 20:29:07
@Klaus+ Frank
Es ging mir bei meiner Beschreibung der Nebenwirkungen nicht nur um das OpenData-Modul. Der Effekt tritt prinzipbedingt bei allen datenlastigen Modulen so auf.

Ich hatte mir die Möglichkeiten die Event-Flut zu bändigen schon länger durch den Kopf gehen lassen und die Varianten getestet. Am beruhigensten ist es natürlich, wenn man die Reading-Updates ohne Notifikation auslöst, dann reichen auch für ca. 100 Readings auf einem RPi ein paar Millisekunden. Allerdings bekommt man dann nichts mehr davon mit, selbst wenn man es will. Das Ganze über ein Modul-Attribut ein- und ausschaltbar machen ist nicht selektiv genug und der konfigurierbare Weg ist mit den even-on-Attributen bereits in FHEM vorhanden und muss nicht noch einmal im Modul nachgebaut werden. Auch die Variante readingsBulkUpdateIfChanged allein ist keine optimale Lösung für das OpenData-Modul. Die Wetterwarnungen werden sowieso immer gelöscht und neu geschrieben, da sich Anzahl und Reihenfolge beliebig ändern können. Und die Vorhersagedaten werden tagsüber aktualisiert, wo ein readingsBulkUpdateIfChanged Sinn machen würde, und zum Tageswechsel vollständig ersetzt, wo ein normales Update meiner Ansicht nach besser ist. Hier könnte man natürlich differenziert vorgehen. Mit einem event-on-... für 3 Readings hat es in meinem Test schon über 100 ms länger gedauert als ohne Notifikation und ganz ohne Filterung über 2000 ms.

Meine Bedenken gehen vor allem dahin, dass eine Reihe Anwender keine event-on-Attribute verwenden werden, obwohl sie es könnten, und sich dann aber wundern, dass z.B. bei einem Tastendruck nicht immer sofort etwas passiert. Dagegen kann man aber wohl nichts machen. Andererseits werden die Vorhersagedaten nur einmal pro Stunde aktualisiert. Die Trefferwahrscheinlichkeit ist also klein.

Danke für eure Rückmeldungen und Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 Dezember 2018, 00:59:33
@jensb Knallkopp_02 @frank
Das bedeutet im Grunde, dass mein in #365 erwähntes Konstrukt sofort wieder (aber völlig anders) Sinn bekommt? Ja, so scheint es.

Darf ich bitte als immer-wieder-Anfänger auf die Mühen der Ebene zurück kommen? Ich habe eine Frage.

Die Werte sind ja in Drei-Stunden-Scheiben. Beispielsweise kann man die Temperatur von 18 bis 21 Uhr adressieren, wenn ich richtig rechne.

Aber wie mache ich es, wenn ich grundsätzlich ein Reading auf "gleich passiert es" haben möchte? Also eine Vorschau auf das nächste 3h-Fenster?

Vermutlich muss ich da ziemlich wild mit Perl rummanschen und ein völlig neues Reading erzeugen? Ich gebe zu, dass ich das nicht kann. Habt ihr so etwas? Wie geht das denn genau?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 12 Dezember 2018, 21:00:11
@curt
ZitatDas bedeutet im Grunde, dass mein in #365 erwähntes Konstrukt sofort wieder (aber völlig anders) Sinn bekommt? Ja, so scheint es.
Ja, event-on-... sollte genau anders herum eingesetzt werden, als du es versucht hast, also für weniger statt mehr FHEM interne Update-Meldungen (sofern man sie nicht wirklich braucht, und das Weblink-Modul z.B. braucht sie nicht, da es selbst periodisch pollt).

ZitatAber wie mache ich es, wenn ich grundsätzlich ein Reading auf "gleich passiert es" haben möchte?
Um ein Stück Programmcode kommt man für so etwas nicht herum. FHEM ist kein Wahrsager und kennt die Zusammenhänge zwischen den Readings des OpenData-Moduls nicht. Deshalb muss man so etwas selbst machen und warum nicht in Perl. Dafür ist z.B. 99_myUtils.pm gut zu gebrauchen oder ein notify oder at. Der erforderliche Ablauf ist relativ überschaubar:


Der Rest ist die Verpackung in Perl. So ähnlich wird das für "jetzt" im Weblink-Modul gemacht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Dezember 2018, 20:51:27
Die hier (https://forum.fhem.de/index.php/topic,83097.msg869647.html#msg869647) angekündigte Version des OpenData-Moduls ist nun per FHEM-Update verfügbar. Noch mal Dank an alle Tester für die Rückmeldungen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 16 Dezember 2018, 21:49:08
hallo Jens,
bekomme nach Update heute folgende Meldung immer nach einem "shutdown restart"

2018.12.16 21:20:21 1 : PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2018.12.16 21:20:21 1 : PERL WARNING: Use of uninitialized value $fcStart in addition (+) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1070.


Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: mlmss am 16 Dezember 2018, 22:14:31
Hallo zusammen,

beim erstmaligen Einrichten dieses Moduls ist mir gerade aufgefallen, dass im Wiki-Artikel der Link zum Modul 99_DWD_OpenData_Weblink.pm tatsächlich auf https://raw.githubusercontent.com/jnsbyr/fhem/master/FHEM/55_DWD_OpenData.pm zeigt.

Nach meinem Verständnis ist das so nicht richtig.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Dezember 2018, 19:43:36
Hallo Werner,

das mit den Warnings ist nicht schön.

Die Frage ist aber:
a) Tritt es nur beim Neustart auf oder bei jeder Aktualisierung des Weblinks und
b) hat es überhaupt einen Einfluss auf die Darstellung im Weblink (betroffen wären die Wetterwarnungen)

Habe das bei mir auch schon sporadisch beobachtet, habe aber noch keine wasserdichte Lösung.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Dezember 2018, 19:46:51
@mlmss

ZitatNach meinem Verständnis ist das so nicht richtig.
Was ist deiner Meinung nach hier nicht "richtig"?

Hintergrund: Wenn man nicht die RAW-Version herunterlädt, ändert man z.T. das Encoding und es kommt dann zu Fehlern bei der Ausführung. Der Link wurde daher wegen entsprechender Rückmeldungen hier im Thread auf die jetzige Version geändert, damit dieses Problem nicht auftritt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 17 Dezember 2018, 20:28:04
Hallo Jens,

habe heute auch das Update gemacht. Soweit keine Probleme  :).

Jedoch hätte ich noch einen "Feature Request":

Da bei der jetzigen Wetterlage (Winter) quasi permanent eine Wettermeldung bezüglich FROST existiert, möchte ich gerne Meldungen hierfür deaktivieren. Eine solche Warnung hat momentan diese Readings:
setstate DWD alerts updated
setstate DWD 2018-12-17 20:15:09 a_0_altitude 0
setstate DWD 2018-12-17 20:15:09 a_0_area xxxxx
setstate DWD 2018-12-17 20:15:09 a_0_areaColor 255, 255, 0
setstate DWD 2018-12-17 20:15:09 a_0_areaDesc Gemeinde xxxxx
setstate DWD 2018-12-17 20:15:09 a_0_category Met
setstate DWD 2018-12-17 20:15:09 a_0_ceiling 3000
setstate DWD 2018-12-17 20:15:09 a_0_description Es tritt leichter Frost zwischen -1 °C und -5 °C auf.
setstate DWD 2018-12-17 20:15:09 a_0_event 22
setstate DWD 2018-12-17 20:15:09 a_0_eventDesc FROST
setstate DWD 2018-12-17 20:15:09 a_0_eventGroup FROST
setstate DWD 2018-12-17 20:15:09 a_0_expires 2018-12-18 10:00:00
setstate DWD 2018-12-17 20:15:09 a_0_headline Amtliche WARNUNG vor FROST
setstate DWD 2018-12-17 20:15:09 a_0_instruction
setstate DWD 2018-12-17 20:15:09 a_0_onset 2018-12-17 21:00:00
setstate DWD 2018-12-17 20:15:09 a_0_responseType None
setstate DWD 2018-12-17 20:15:09 a_0_severity Minor
setstate DWD 2018-12-17 20:15:09 a_0_urgency Immediate


Wäre die "a_x_event"-Nummer (hier 22) eindeutig für nur Frostwarnung? Könntest ein Attribute für Excludes hinzufügen?

Danke und Gruß
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 Dezember 2018, 21:38:58
Ich habe mir für Proplanta einen Plot erstellt und würde gern etwas ähnliches für dwd Open Data machen, habe aber Schwierigkeiten die entsprechenden Readings zu finden. Folgendes habe ich bisher zuordnen können:

sun: SunD (nutzbar nach Konvertierung in % aus 12h bezogen)
temp: TTT
tempMax: Tx
tempMin: Tn
cloud: Neff

Was mir noch fehlt ist:

rain
chanceOfRain

Hat jemand einen Tipp was man da nehmen könnte? Für chanceOfRain habe ich schon R600 versucht, das unterscheidet sich aber sehr von Proplanta, so das ich mir hier unsicher bin.



Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Dezember 2018, 22:33:16
Hallo Andreas,

deinen Vorschlag mit dem Filter für bestimmte Warnungen finde ich gut. Dazu den CAP Event Code zu verwenden ist auch eindeutig (siehe Abschnitt 3.1.1 (https://www.dwd.de/DE/leistungen/opendata/help/warnungen/cap_dwd_profile_de_pdf.pdf)), wobei der genaue Event-Text auch von den Eigenschaften Urgency und Certainty abhängt, sich aber immer auf das gleiche Wetter- bzw. Gesundheitsphänomen bezieht.

Ein Anwender müsste sich entweder gegen bestimmte bereits empfangene Warnungen entscheiden oder sich dieses Dokument ansehen, um die richtigen Event-Codes zur Verfügung zu haben.

Es ist ja bald Weihnachten. Wenn ich die Zeit finde, werde ich es einbauen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Dezember 2018, 22:50:06
@mumpitzstuff
Folge den Brotkrumen (hier: Modulhilfe) ;)

1. In der Modulhilfe steht:

    RR6c [kg/m2] - precipitation amount in the last 6 hours
    R600 [%] - probability of rain in the last 6 hours
    RRhc [kg/m2] - precipitation amount in the last 12 hours
    Rh00 [%] - probability of rain in the last 12 hours
    RRdc [kg/m2] - precipitation amount in the last 24 hours
    Rd00 [%] - probability of rain in the last 24 hours

2. Alle möglichen Werte sind hier (https://opendata.dwd.de/weather/lib/MetElementDefinition.xml) aufgelistet.

ZitatFür chanceOfRain habe ich schon R600 versucht, das unterscheidet sich aber sehr von Proplanta, so das ich mir hier unsicher bin.
Schau dir die Definition für die beiden gesuchten Werte bei Proplanta an. Vermutlich ist der Betrachtungszeitraum und der Bezugszeitpunkt unterschiedlich. Wenn du z.B. einen 12 Stunden-Wert verwendest, dann spielt es eine Rolle, ob er sich auf 00:00, 06:00 oder ... bezieht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 Dezember 2018, 23:52:14
Okay hab's mal damit versucht. Von Proplanta kenne ich leider die Bezugszeiträume nicht, deshalb ist es natürlich etwas schwierig zu vergleichen. Ich spiel mal noch ein wenig und poste mal das Ergebnis.

Danke für die Information.

An der Beschreibung hatte mich vor allem immer das "in the last" verwirrt. Hat für mich immer so nach Vergangenheit und nicht wie eine Vorhersage geklungen. Eventuell muss ich die Zeitpunkte auch noch verschieben, denn ich muss ja quasi rückwärts den Punkt setzen.

Wenn also z.b. um 6:00 ein Reading existiert, das in den letzten 6h irgendwas auf beispielsweise 100 stand, dann muss ich auf der Zeitachse die 100 bei 3:00 Uhr setzen, wenn ich das richtig verstanden habe.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 18 Dezember 2018, 14:55:05
Das ist das Resultat bisher. Insbesondere der Wert für Sonneneinstrahlung macht wenig Sinn bei DWD. Über 80% Bewölkung und 60% Sonne? Passt irgendwie nicht zusammen. Habe aber jetzt mehrfach die Rohwerte verglichen und eigentlich passt die Auswertung. Insgesamt sehen die Proplanta Werte plausibler aus.
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 18 Dezember 2018, 15:21:28
da du für sun nur einen wert pro tag hast, müstest du wohl ein reading nutzen, das einen wert für 24h bereitstellt. in der dwd liste beziehen sich die daten aber immer auf einen zurückliegenden zeitraum.

bei sunD, habe ich gesehen, stand last day.
sunD für nächsten sonntag müsste dann der wert für samstag sein.

wenn du also alle sun werte um einen tag vorziehst, passt es doch dann im vergleich zu proplanta eigentlich, oder?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 Dezember 2018, 20:35:05
@mumpitzstuff + @frank

Zitatin the last ... hours
bedeutet, dass es sich auf die entsprechende Anzahl Stunden vor dem Meldezeitpunkt bezieht.

Beispiel 1: Meldezeitpunkt ist 12:00, Wert ist "in the last 6 h". Dann ist also 06:00 bis 12:00 gemeint.
Beispiel 2: Meldezeitpunkt ist 12:00 Sonntag, Wert ist "in the last 24 h". Dann ist also 12:00 Samstag bis 12:00 Sonntag gemeint.

Bei sunD wird glaube ich um 06:00 UTC gemeldet. Dann muss man also am Sonntag nachsehen, wie viel Sonne am Samstag scheint. Ähnlich wie in der Wirklichkeit weiß man auch bei der Vorhersage erst am Ende was heraus kommt.

Die Summe aus % Bewölkung und % Sonne muss je nach beteiligten Messgrößen nicht zwingend 100% ergeben.

Man sollte bei so einem Vergleich auch versuchen, die Daten mit den eigenen Wetterbeobachtungen abzugleichen. Zumindest in Tagessumme stimmen bei mir z.B. die Niederschlagmengen in etwa mit meinem Regensensor überein.

Im Endeffekt hat jeder Vorhersagedienst seine Spezialitäten, so dass Unterschiede nicht verwunderlich sind. Der Vergleich ist allein deshalb oft schon schwierig, weil die Messgrößen nicht identisch sind. Dahinter stecken komplexe meteorologische Modelle mit Millionen von Werten, die mit einer bestimmten räumlichen und zeitlichen Auflösung über einen magischen Algorithmus in für uns fassbare Datenmengen herunter gebrochen werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 18 Dezember 2018, 22:23:49
Jetzt hast Du nun wieder mich verunsichert ...

fc0_SunD (Sonnenscheindauer Sekunden) oder fc0_Tx (Maximaltemperatur) beziehen sich auf welche 24 Stunden, welcher Tag? Und wann wird bei den beiden fc1 zu fc0?
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 19 Dezember 2018, 01:32:33
Das Ganze ist mir ehrlich gesagt zu komplex bzw. zeitaufwendig, aber dafür kann ja niemand was, sondern lediglich DWD selbst. Ich müsste mir mühsamst separat für jedes Reading die Zeitpunkte zurecht fummeln, denn auch die anderen Werte beziehen sich auf die zurückliegenden Stunden. Alles sehr verwirrend und den Aufwand für mich nicht wert.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 19 Dezember 2018, 01:40:44
Nun lauf mal nicht gleich weg.

Der DWD hat neben dem von Dir benannten Nachteil einen riesigen Vorteil: Während alle anderen Wettermodelle mit 10x10-Kilometer-Raster rechnen, hat der DWD das 1x1-Kilometer-Raster. Dies ind die präzisesten, die man für Deutschland haben kann.

Wir mühen uns ja alle (nochmal besonderen Dank an @jensb ), dass das sowohl als Modul als auch vias FTUI-weather-Widget handhabbar wird.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Dezember 2018, 20:20:47
Die zuletzt angesprochene Problematik mit der Vergleichbarkeit der Vorhersagewerte lässt sich im Normalfall mit genauem Lesen der Dokumentation in den Griff bekommen.

Der DWD meldet bei der Vorhersage z.B. keine standardisierten Werte für alle Stationen sondern so genau, wie es die lokale Messstation hergibt, und die ist je nach Standort nicht immer gleich ausgestattet, insbesondere da auch internationale Stationen dabei sind.

Zitatfc0_SunD (Sonnenscheindauer Sekunden) oder fc0_Tx (Maximaltemperatur) beziehen sich auf welche 24 Stunden, welcher Tag?
In der Modulhilfe steht dazu "day properties (typically for 06:00 station time, see raw data of station for time relation)". Mit "raw data" ist gemeint, dass man sich mal eine Datei vom Open Data Server manuell herunterlädt, auspackt und nachsieht, auf welchem Meldezeitpunkt sich der Wert tatsächlich bezieht. Das OpenData-Modul will dem Anwender bei den Tageswerten den Zugriff erleichtern und meldet den Wert nicht als Stundenwert, denn dann könnte sich der Stundenindex sporadisch ändern. Allerdings steht so die Meldezeit nicht zur Verfügung. Ansonsten die Antwort #390 noch mal in Ruhe lesen.

ZitatUnd wann wird bei den beiden fc1 zu fc0?
Um 00:00 werden alle fc0_* gelöscht und alle anderen um einen Tages-Index in Richtung 0 verschoben. Stehen neue Daten vom DWD zur Verfügung werden die rotierten Daten mit den neuen Daten überschrieben. Ansonsten fehlt nach dem Tageswechsel der letzte Tag bis wieder neue Daten eintreffen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 19 Dezember 2018, 20:35:16
hallo jens,
ich verstehe curts problem so:

fc0_sunD ist einerseits ein vorhersagewert der heute ausgegeben wird, aber andererseits daten von gestern liefert.

das ist schon kurios, oder?
da wäre ja ein messwert von gestern genauer.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Dezember 2018, 20:41:53
@mumpitzstuff

ZitatIch müsste mir mühsamst separat für jedes Reading die Zeitpunkte zurecht fummeln, denn auch die anderen Werte beziehen sich auf die zurückliegenden Stunden.
Je nachdem was du aus den Daten machen willst, wird sich das nicht vermeiden lassen. Dieses Problem stellt sich aber immer in der einen oder anderen Weise und ist meiner Meinung nach kein spezielles Feature des DWD.

Leichter wird es dann, wenn man alle Daten den gleichen Bezugszeitraum haben, wie man an Datendichte benötigt, also wenn man z.B. alle 3 Stunden Werte haben will und alle Summenwerte (wie z.B. die Niederschalgsmenge) auch über 3 Stunden gebildet werden.

Es gibt vom DWD auch noch sehr viele andere Datensätze, allerdings braucht man dann auch ein Stück mehr Rechenleistung und Algorithmik, um diese Rohdaten auszuwerten. Dann bist du aber nicht mehr auf Stationen beschränkt und kannst wahrscheinlich auch zeitlich eine höhere Auflösung erreichen. Diesen Weg hatte @betateilchen mal als Alternative zum alten DWD GDS-Dienst angedeutet.

Aktuell ist das OpenData-Modul bei der Vorhersage künstlich in der Zeitauflösung beschränkt. Wenn es hilft, kann ich diese Beschränkung entfernen und dann 1, 2, 3, 4, 6, 8 und 12 Stunden zur Auswahl anbieten. Dann hat man mit forecastResolution=1h alles zur Verfügung was der DWD für die Station anbietet.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 19 Dezember 2018, 20:47:50
Zitat von: frank am 19 Dezember 2018, 20:35:16
hallo jens,
ich verstehe curts problem so:
fc0_sunD ist einerseits ein vorhersagewert der heute ausgegeben wird, aber andererseits daten von gestern liefert.

Ich bin mir eben nicht sicher, ob das stimmt. fc0_date sagt aktuell 2018-12-19. Also heute. Daher ist logisch und erwartbar, dass fc0_sunD eben die heutige Sonnenscheindauer und fc0_Tx die heutige Maximaltemperatur ist.

Wenn dem nicht so wäre, wäre die Datumsangabe völlig sinnfreier Mumpitz.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Dezember 2018, 21:02:09
@frank + @curt

Zitatfc0_sunD ist einerseits ein vorhersagewert der heute ausgegeben wird, aber andererseits daten von gestern liefert.
ZitatDaher ist logisch und erwartbar, dass fc0_sunD eben die heutige Sonnenscheindauer und fc0_Tx die heutige Maximaltemperatur ist.

Ich verstehe den scheinbaren Widerspruch, aber das ist meiner Meinung nach ein Frage der Perspektive.

Der DWD bietet die Messwerte in Tabellenform an (es ist nicht wirklich eine Tabelle aber es ist so besser vorzustellen). Die Zeilen sind die Stunden und die Spalten sind die Messwerte. Am Ende der Tabelle wird irgendwann der nächste Vorhersagetag angehängt und so wie die Zeit vergeht, werden die vorderen Zeilen der Tabelle von der Gegenwart eingeholt. Wenn ich im OpenData-Modul die veralteten Readings löschen würde, würden sich wahrscheinlich viele Anwender beschweren. Deshalb kommt man nicht umhin, die Uhrzeit bei der Auswertung mit einzubeziehen.

Das OpenData-Modul ändert die Tabelle vom DWD nicht, sondern wandelt sie in Readings um. Ein Wert mit 24h-Bezug der für heute 06:00 geliefert wird, bezieht sich dann immer noch auf die 24h davor, aber immerhin noch auf 6h von heute, die allerdings um 07:00 bereits vorbei sind.

Theoretisch könnte man im OpenData-Modul diesen Effekt minimieren, indem man die Daten verschiebt. Aber das ist wie gesagt kein leichtes Unterfangen, da es sehr viele Stationen gibt und nicht alle gleich sind. Eine Alternative wäre eine konfigurierbare Verschiebung pro Reading, die aber wahrscheinlich auch nicht jeder Anwender in den Griff bekommt.

Wenn man aber weiß, dass die Sonnenscheindauer von heute im Reading von morgen steckt, dann ist das doch nicht schwierig zu verarbeiten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Dezember 2018, 21:35:51
Hier noch die Rückmeldung zu Tn und Tx. Die Modulhilfe sagt dazu:

ZitatTn [°C] - minimum temperature of previous 24 hours (typically for 06:00 station time ...)
Tn bezieht sich also bei den meisten Stationen auf den laufenden Tag bis 06:00. Eine Ausnahme wäre ein sehr kalter Vortag, gefolgt von einer heißen Nacht. Tn ist in einigen Fällen nicht die kälteste Temperatur des laufenden Tages, da die z.T. nach 06:00 noch weiter fällt, vor allem im Winter.

ZitatTx [°C] - maximum temperature of previous 24 hours (typically for 18:00 station time)
Tx bezieht sich also bei den meisten Stationen auf den laufenden Tag bis 18:00. Eine Ausnahme wäre ein sehr heißer Abend, gefolgt von einem sehr kalten Tag. Tx ist in einigen Fällen nicht die heißeste Temperatur des laufenden Tages, da die im Sommer z.T. nach 18:00 noch etwas steigen kann.

Wer andere Zeitbezüge benötigt, könnte auf Basis der Stundenwerte Minimum und Maximum selbst bestimmen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 19 Dezember 2018, 22:01:45
ZitatWenn man aber weiß, dass die Sonnenscheindauer von heute im Reading von morgen steckt, dann ist das doch nicht schwierig zu verarbeiten.
finde ich auch.

bei fc0_day habe ich mich nur gefragt, ob der dwd am morgen des aktuellen tages wirklich nochmal das rechenzentrum eingeschaltet hat, um diesen wert aufwendig neu zu berechnen. inklusive den fehlern, die eine vorhersage mit sich bringt. das fände ich kurios.

oder ist es einfach nur durch verschieben vom vortag entstanden? oder ist es vielleicht sogar der tatsächliche messwert von gestern.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Dezember 2018, 22:09:29
Zitatbei fc0_day habe ich mich nur gefragt, ob der dwd am morgen des aktuellen tages wirklich nochmal das rechenzentrum eingeschaltet hat, um diesen wert aufwendig neu zu berechnen. inklusive den fehlern, die eine vorhersage mit sich bringt. das fände ich kurios.
oder ist es einfach nur durch verschieben vom vortag entstanden? oder ist es vielleicht sogar der tatsächliche messwert von gestern.
Ich vermute, dass der DWD die Daten bei jeder Aktualisierung neu berechnet hat. Die meterologische Simulation betrachtet mehr als nur eine Station und ihr ist es egal wie spät oder hell es irgendwo ist.

Das macht zwar für die Sonnenscheindauer nach Sonnenuntergang scheinbar keinen Sinn, aber dann doch wieder, wenn die Sonne vor 06:00 aufgeht.

Wenn man die Zeitstempel an den Readings beobachtet, sieht man, dass bestimmte Readings für heute ab einer bestimmten Uhrzeit nicht mehr aktualisiert werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 19 Dezember 2018, 22:19:34
ZitatDas macht zwar für die Sonnenscheindauer nach Sonnenuntergang scheinbar keinen Sinn, aber dann doch wieder, wenn die Sonne vor 06:00 aufgeht.
bei sunD steht wirklich "yesterday" als zeitbezug,  nicht die letzten 24std. dafür gibt es noch andere werte.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 19 Dezember 2018, 23:46:12
Mein bisherigen Ergebnisse:

Funktion in myUtils eintragen:
sub logProxy_dwd2Plot($$$$;$$$)
{
  my ($device, $fcValue, $from, $to, $fcHour, $expMode, $shiftTime) = @_;
  my $regex;
  my @rl;

  return undef if(!$device);

  if ($fcValue =~ s/_$//)
  {
    $regex = "^fc[\\d]+_[\\d]{1}_".$fcValue."\$";
  }
  else
  {
    $regex = "^fc[\\d]+_".$fcValue."\$";
  }

  $fcHour = 12 if(!defined($fcHour));
  $expMode = "point" if(!defined($expMode));
  #Log3 undef,2, "Regex: ".$regex;

  # ermitteln aller relevanten Readings
  if ( defined($defs{$device}) )
  {
    if ( $defs{$device}{TYPE} eq "DWD_OpenData" )
    {
      @rl = sort
      {
        my ($an) = ($a =~ m/fc(\d+)_.*/);
        my ($bn) = ($b =~ m/fc(\d+)_.*/);
        $an <=> $bn or $a cmp $b;
      } ( grep /${regex}/,keys %{$defs{$device}{READINGS}} );
      #Log3 undef,2, Dumper(@rl);
      return undef if ( !@rl );
    }
    else
    {
      Log3 undef, 2, "logProxy_dwd2Plot: $device is not a DWD_OpenData device";
      return undef;
    }
  }
  #Log3 undef,2, Dumper(@rl);

  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);
  my $sec = $fromsec;
  my ($h, $hp, $fcDay, $mday, $mon, $year);
  my $timestamp;

  my $reading;
  my $value;
  my $prev_value;
  my $min = 999999;
  my $max = -999999;
  my $ret = "";

  # while not end of plot range reached
  while (($sec < $tosec) && @rl)
  {
    #remember previous value for start of plot range
    $prev_value = $value;

    $reading = shift @rl;
    ($fcDay) = $reading =~ m/^fc(\d+).*/;
    ($hp) = $reading =~ m/^fc[\d]_(\d).*/;
    #Log 1, "hp: ".$hp;

    if ($hp)
    {
      $h = ReadingsVal($device, "fc".$fcDay."_".$hp."_time", $fcHour);
      if ($h =~ m/^(\d\d):\d\d/)
      {
        $h = $1;
      }
    }
    else
    {
      $h = $fcHour;
    }

    $value = ReadingsVal($device, $reading, undef);
    $value = (100 * $value) / (12 * 3600) if ('SunD' eq $fcValue);

    ($year, $mon, $mday) = split('\-',ReadingsVal($device, "fc".$fcDay."_date",undef));
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, $h, 0, 0);
    $sec = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $sec += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    # skip all values before start of plot range
    next if ( $sec < $fromsec );

    # add first value at start of plot range
    if ( !$ret && $prev_value )
    {
      $min = $prev_value if ( $prev_value < $min );
      $max = $prev_value if ( $prev_value > $max );
      $ret .= "$from $prev_value\n";
    }

    # done if after end of plot range
    last if ($sec > $tosec);

    $min = $value if ( $value < $min );
    $max = $value if ( $value > $max );

    # add actual control point
    $ret .= "$timestamp $value\n";

    #Log 1, "$timestamp $value <<< $reading";
  }

  if (($sec < $tosec) && !@rl && ($expMode eq "day"))
  {
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, 23, 59, 59);
    $_ = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $_ += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    if ($_ < $tosec)
    {
      $ret .= "$timestamp $value\n";
    }
    else
    {
      $ret .= "$to $value\n";
    }
  }
  elsif (($sec > $tosec) && ($expMode eq "day"))
  {
    $value = $prev_value + ($value - $prev_value) * (86400 + ($tosec - $sec)) / 86400;
    $ret .= "$to $value\n";
  }

  return ($ret, $min, $max, $prev_value);
}


Plot anlegen (LOG_PROXY durch eigenes LogProxy device ersetzen und WETTER_DWD durch das eigene DWD device):
set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<TL>'
set ytics
set y2tics
set grid ytics
set ylabel "rain mm"
set y2label "temperature"
set y3label "cloud / chOfRain / sun (rel) %"
set y3range [0:100]

#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","TTT_",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tx",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tn",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","SunD",$from,$to,0,"day",(-36*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","RR6c_",$from,$to,0,"day",(-3*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","R600_",$from,$to,0,"day",(-3*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Neff_",$from,$to,0,"day")
#LOG_PROXY ConstY:0
#LOG_PROXY ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'fc_temp' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMin' ls l6 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_sun' ls l4fill lw 1 with bars,\
     "<IN>" using 1:2 axes x1y1 title 'fc_rain' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'fc_chOfRain' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_cloud' ls l6fill lw 1 with quadraticSmooth,\     
     "<IN>" using 1:2 axes x1y3 notitle ls l4fill lw 1 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l2 lw 2 with lines

Anstatt Neff kann man auf N verwenden und anstatt SunD auch RSunD (braucht dann nicht umgerechnet zu werden).

Das filelog device auf dem der Plot aufbaut, muss diese Attribute haben:

attr SVG_FileLog_WETTER_DWD_1 fixedoffset 6
attr SVG_FileLog_WETTER_DWD_1 fixedrange 7days
attr SVG_FileLog_WETTER_DWD_1 nrAxis 1,2


Bei DWD OpenData habe ich diese Attribute gesetzt:

attr WETTER_DWD forecastProperties Tx,Tn,Tg,TTT,DD,FX1,N,Neff,RR6c,RRhc,Rh00,ww,SunD,RSunD,R600
attr WETTER_DWD forecastResolution 3
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 Dezember 2018, 18:51:30
@mumpitzstuff
Das ist schon sehr interessant. Bilder sagen wie so oft mehr als Worte.

Auf den ersten Blick wirkt der Plot für den DWD sehr "weich" im Vergleich zu Proplanta. Das liegt wahrscheinlich am 3h-Raster. Ich werde auf jeden Fall die 1h-Auflösung in der nächsten Version verfügbar machen. Dann dürfe auch beim DWD mehr Differenzierung sichtbar werden. Es gibt mehrere R1xx Werte für den Niederschlag und SunD1 für die Sonne, die dann in Frage kommen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 Dezember 2018, 19:59:49
@frank
Zitatbei sunD steht wirklich "yesterday" als zeitbezug ...
Danke für den Hinweis. Der Text aus der Modulhilfe stammt z.T. noch aus der Beschreibung der nicht mehr verfügbaren CSV-Daten vom DWD. Habe den ganzen Block noch mal kontrolliert. Die Min-/Max-Temperaturen sind übrigens nur für die letzten 12 Stunden. Die neue Version sieht nun so aus:

day properties (typically for 06:00 station time, see raw data of station for time relation)
             <li>date           - date based on the timezone attribute</li>
             <li>weekday    - abbreviated weekday based on the timezone attribute in the language of your FHEM system</li>
             <li>Tn [°C]       - minimum temperature of previous 12 hours</li>
             <li>Tx [°C]       - maximum temperature of previous 12 hours (typically at 18:00 station time)</li>
             <li>Tm [°C]      - average temperature of previous 24 hours</li>
             <li>Tg [°C]       - minimum temperature 5 cm above ground of previous 12 hours</li>
             <li>PEvap [kg/m2] - evapotranspiration of previous 24 hours</li>
             <li>SunD [ s]    - total sunshine duration of previous day</li>

Die Beschreibung des DWD für PEvap "Potential evapotranspiration within the last hour" kann nicht stimmen, da es nur 1 Wert pro Tag gibt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 Dezember 2018, 20:47:57
Auf GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) gibt es eine Vorabversion des OpenData-Moduls, mit der man forecastResolution=1 ausprobieren kann. Damit bekommt man bei einigen Readings wirklich 24 Werte pro Tag. Bitte die Performance-Hinweise in der Modulhilfe beachten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 20 Dezember 2018, 23:25:36
@mumpitzstuff,

danke für deine logproxy-Funktion  :).

Habe den Teil für max. Temp, min. Temp und Niederschlagsmenge verwendet. Jetzt fehlt noch ein Lösung für die jeweiligen Icons der Wetterlage für ein perfektes Meteogram mit dem Chart-widget im FTUI:
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 21 Dezember 2018, 00:36:28
Zitat von: mumpitzstuff am 19 Dezember 2018, 23:46:12
Das filelog device auf dem der Plot aufbaut, muss diese Attribute haben:

Das Device müsste in meinem Verständnis die Perl-Routine aufrufen. Ich weiß nicht, wie das geht.

Kannst Du bitte die komplette Sektion zeigen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 02:48:04
Ich habe mir vom DWD device ein filelog Device abgeleitet. Wenn man dieses dann öffnet, dann kann man dort ein SVG erstellen. Dieses SVG kann man unter edit files bearbeiten.

define FileLog_WETTER_DWD FileLog ./log/WETTER_DWD-%Y-%m.log WETTER_DWD
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 03:00:16
Danke für den Hinweis. Habe bei Tn und Tx jeweils um (-6*3600) verschoben. Das mit den Stundenwerten probiere ich beizeiten aus und poste die Ergebnisse.

Das mit den Icons hätte ich auch gern mit Logproxy gemacht, nur leider wird das dort nicht unterstützt. Sieht aber echt super aus.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 21 Dezember 2018, 03:09:08
Hmmm :(

Kannst Du Deinen aktuellen Stand bitte einfach mal komplett zeigen? Das würde sicher nicht nur mir helfen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 03:16:30
Was verstehst du unter komplett? Die komplette Definition vom dwd device, dem filelog device und den Inhalt der svg Datei? Das ist eigentlich schon sehr vollständig in meinem Post. Wo genau hängst du denn fest?
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 20:44:02
Zitat von: somansch am 20 Dezember 2018, 23:25:36
@mumpitzstuff,

danke für deine logproxy-Funktion  :).

Habe den Teil für max. Temp, min. Temp und Niederschlagsmenge verwendet. Jetzt fehlt noch ein Lösung für die jeweiligen Icons der Wetterlage für ein perfektes Meteogram mit dem Chart-widget im FTUI:

Könntest du für die Icons nicht erst mal die Proplanta Icons für die jeweiligen Tage verwenden? Kann man in FTUI nicht Dinge aus 2 verschiedenen Devices mixen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 21:17:33
forecastResolution kann man anscheinend mit dem Kommando bereits auf 1 setzen:

attr WETTER_DWD forecastResolution 1
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 Dezember 2018, 22:12:24
Hier noch ein paar Zusammenhänge für den Plot von @mumpitzstuff:

SVG fixedoffset = DWD_OpenData forecastDays
SVG fixedrange = (SVG fixedoffset + 1)  + "days"

Für Aggregatewerte wie die Regenmenge, die sich auf mehrere Stunden beziehen, sollte man den Messwert durch die Anzahl Stunden dividieren. Im Plot sieht man die Fläche und die muss die ursprüngliche Summe ergeben. Dann ist auch ein direkter Vergleich mit dem Regensensor plausibel.

Auf die Schnelle hilft dafür hinter der Zeile für SunD in der sub logProxy_dwd2Plot
$value = $value/6  if ('RR6c' eq $fcValue);
Ein weiterer Übergabeparameter für die sub wäre aber besser.

Da die sub automatisch die forecastResolution übernimmt, sollte man nur Aggregatewerte für die gleiche Zeitspanne verwenden. Will man das nicht, bietet es ich an, zusätzlich durch das (Miss-)Verhältnis zu dividieren, also bei forecastResolution=3h und Zeitspanne=6h noch einmal durch 2 dividieren.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 21 Dezember 2018, 22:26:11
Zitat von: mumpitzstuff am 21 Dezember 2018, 20:44:02
Könntest du für die Icons nicht erst mal die Proplanta Icons für die jeweiligen Tage verwenden? Kann man in FTUI nicht Dinge aus 2 verschiedenen Devices mixen?

Ja, jedoch sind das natürlich dann die Vorhersagesymbole von Proplanta und sie werden auch nicht auf der Linie mit der jeweiligen Temp. max. angezeigt:
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 22:40:46
Ja gut. Aber erst mal besser als nix. Das Symbol ist sowieso extrem grob, das sollte in den meisten Fällen gleich sein.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 21 Dezember 2018, 22:56:07
So langsam wirds doch was. Hier sind jetzt meine kompletten Devices. Ich habe inzwischen 2 Plots erstellt, damit man das mal im direkten Vegleich sehen kann. im ersten DWD Plot sind die meisten Werte bezogen auf 3h und im zweiten auf 1h. Die Vorschläge von jensb sind aber noch nicht mit eingearbeitet, darüber muss ich noch ein wenig nachdenken.

1.) DWD Device (aktuell kann man forecastResolution 1 nur als Kommando setzen und nicht über die Oberfläche):
defmod WETTER_DWD DWD_OpenData
attr WETTER_DWD alertArea 808118011
attr WETTER_DWD event-on-change-reading .*
attr WETTER_DWD forecastProperties Tx,Tn,Tg,TTT,DD,FX1,N,Neff,RR1c,RR3c,RR6c,RRhc,RRL1c,Rh00,ww,SunD,SunD1,SunD3,RSunD,R101,R600
attr WETTER_DWD forecastResolution 1
attr WETTER_DWD forecastStation 10738
attr WETTER_DWD forecastWW2Text 1


2.) Logproxy Device:
defmod LOG_PROXY logProxy

3.) Filelog Device:
defmod FileLog_WETTER_DWD FileLog ./log/WETTER_DWD-%Y-%m.log WETTER_DWD

4.) Funktion in der myUtils.pm
sub logProxy_dwd2Plot($$$$;$$$)
{
  my ($device, $fcValue, $from, $to, $fcHour, $expMode, $shiftTime) = @_;
  my $regex;
  my @rl;

  return undef if(!$device);

  if ($fcValue =~ s/_$//)
  {
    $regex = "^fc[\\d]+_[\\d]+_".$fcValue."\$";
  }
  else
  {
    $regex = "^fc[\\d]+_".$fcValue."\$";
  }

  $fcHour = 12 if(!defined($fcHour));
  $expMode = "point" if(!defined($expMode));
  #Log3 undef,2, "Regex: ".$regex;

  # ermitteln aller relevanten Readings
  if ( defined($defs{$device}) )
  {
    if ( $defs{$device}{TYPE} eq "DWD_OpenData" )
    {
      @rl = sort
      {
        my ($an) = ($a =~ m/fc(\d+)_.*/);
        my ($bn) = ($b =~ m/fc(\d+)_.*/);
        my ($ao) = ($a =~ m/fc\d+_(\d+).*/);
        my ($bo) = ($b =~ m/fc\d+_(\d+).*/);
        $an <=> $bn or $ao <=> $bo or $a cmp $b;
      } ( grep /${regex}/,keys %{$defs{$device}{READINGS}} );
      #Log3 undef,2, Dumper(@rl);
      return undef if ( !@rl );
    }
    else
    {
      Log3 undef, 2, "logProxy_dwd2Plot: $device is not a DWD_OpenData device";
      return undef;
    }
  }
  #Log3 undef,2, Dumper(@rl);

  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);
  my $sec = $fromsec;
  my ($h, $hp, $fcDay, $mday, $mon, $year);
  my $timestamp;

  my $reading;
  my $value;
  my $prev_value;
  my $min = 999999;
  my $max = -999999;
  my $ret = "";

  # while not end of plot range reached
  while (($sec < $tosec) && @rl)
  {
    #remember previous value for start of plot range
    $prev_value = $value;

    $reading = shift @rl;
    ($fcDay) = $reading =~ m/^fc(\d+).*/;
    ($hp) = $reading =~ m/^fc\d+_(\d+).*/;
    #Log 1, "hp: ".$hp;

    if ($hp)
    {
      $h = ReadingsVal($device, "fc".$fcDay."_".$hp."_time", $fcHour);
      if ($h =~ m/^(\d+):\d+/)
      {
        $h = $1;
      }
    }
    else
    {
      $h = $fcHour;
    }

    $value = ReadingsVal($device, $reading, undef);
    if ($fcValue =~ /^SunD(\d+)/)
    {
      if (defined($1))
      {
        $value = (100 * $value) / ($1 * 3600);
      }
      else
      {
        $value = (100 * $value) / (12 * 3600);
      }
    }

    ($year, $mon, $mday) = split('\-',ReadingsVal($device, "fc".$fcDay."_date",undef));
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, $h, 0, 0);
    $sec = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $sec += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    # skip all values before start of plot range
    next if ( $sec < $fromsec );

    # add first value at start of plot range
    if ( !$ret && $prev_value )
    {
      $min = $prev_value if ( $prev_value < $min );
      $max = $prev_value if ( $prev_value > $max );
      $ret .= "$from $prev_value\n";
    }

    # done if after end of plot range
    last if ($sec > $tosec);

    $min = $value if ( $value < $min );
    $max = $value if ( $value > $max );

    # add actual control point
    $ret .= "$timestamp $value\n";

    #Log 1, "$timestamp $value <<< $reading";
  }

  if (($sec < $tosec) && !@rl && ($expMode eq "day"))
  {
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, 23, 59, 59);
    $_ = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $_ += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    if ($_ < $tosec)
    {
      $ret .= "$timestamp $value\n";
    }
    else
    {
      $ret .= "$to $value\n";
    }
  }
  elsif (($sec > $tosec) && ($expMode eq "day"))
  {
    $value = $prev_value + ($value - $prev_value) * (86400 + ($tosec - $sec)) / 86400;
    $ret .= "$to $value\n";
  }

  return ($ret, $min, $max, $prev_value);
}


5.) Im Filelog Device kann man auf "Create SVG Plot" klicken, dann wird eine SVG Datei erzeugt. In dieser Detei muss man den Inhalt komplett durch den folgenden ersetzen:

3h Daten:
set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<TL>'
set ytics
set y2tics
set grid ytics
set ylabel "rain mm"
set y2label "temperature"
set y3label "cloud / chOfRain / sun (rel) %"
set y3range [0:100]

#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","TTT_",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tx",$from,$to,0,"day",(-6*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tn",$from,$to,0,"day",(-6*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","SunD3_",$from,$to,0,"day",(-1.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","RR3c_",$from,$to,0,"day",(-1.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","R600_",$from,$to,0,"day",(-3*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Neff_",$from,$to,0,"day")
#LOG_PROXY ConstY:0
#LOG_PROXY ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'fc_temp' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMin' ls l6 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_sun' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'fc_rain' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'fc_chOfRain' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_cloud' ls l6fill lw 1 with quadraticSmooth,\     
     "<IN>" using 1:2 axes x1y3 notitle ls l4fill lw 1 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l2 lw 2 with lines


1h Daten:
set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<TL>'
set ytics
set y2tics
set grid ytics
set ylabel "rain mm"
set y2label "temperature"
set y3label "cloud / chOfRain / sun (rel) %"
set y3range [0:100]

#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","TTT_",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tx",$from,$to,0,"day",(-6*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tn",$from,$to,0,"day",(-6*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","SunD1_",$from,$to,0,"day",(-0.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","RR1c_",$from,$to,0,"day",(-0.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","R101_",$from,$to,0,"day",(-0.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Neff_",$from,$to,0,"day")
#LOG_PROXY ConstY:0
#LOG_PROXY ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'fc_temp' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMin' ls l6 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_sun' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'fc_rain' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'fc_chOfRain' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_cloud' ls l6fill lw 1 with quadraticSmooth,\     
     "<IN>" using 1:2 axes x1y3 notitle ls l4fill lw 1 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l2 lw 2 with lines


Den stündlichen Wert für die Regenwahrscheinlichkeit gabs nur für Regenmengen > 0.1mm. Aus diesem Grund ist hier wahrscheinlich die Gesamtwahrscheinlichkeit tendenziell geringer.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 22 Dezember 2018, 05:51:45
@mumpitzstuff
Zitat von: mumpitzstuff am 21 Dezember 2018, 22:56:07
Hier sind jetzt meine kompletten Devices.

Sehr herzlichen Dank!
Jetzt tut sich was. Mir fehlte No. 2.

Zitat von: mumpitzstuff am 21 Dezember 2018, 22:56:07
1.) DWD Device (aktuell kann man forecastResolution 1 nur als Kommando setzen und nicht über die Oberfläche):

Kannst Du bitte erklären, wie man das konkret macht?

P.S: Ich lese gerade @jensb in #405: Vorabversion. Ok, verstanden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 22 Dezember 2018, 10:03:46
Einfach #413 in diedie Fhem Kommandozeile eingeben, dann geht das auch schon ohne Vorabversion.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 Dezember 2018, 11:17:37
@mumpitzstuff
Ein paar kleine Modifikationen sollten noch einfließen:

Änderung: Regenmenge [mm] und Sonnenscheindauer [min] pro Stunde

sub logProxy_dwd2Plot($$$$;$$$)
{
  my ($device, $fcValue, $from, $to, $fcHour, $expMode, $shiftTime) = @_;
  my $regex;
  my @rl;

  return undef if(!$device);

  if ($fcValue =~ s/_$//)
  {
    $regex = "^fc[\\d]+_[\\d]+_".$fcValue."\$";
  }
  else
  {
    $regex = "^fc[\\d]+_".$fcValue."\$";
  }

  $fcHour = 12 if(!defined($fcHour));
  $expMode = "point" if(!defined($expMode));
  #Log3 undef,2, "Regex: ".$regex;

  # ermitteln aller relevanten Readings
  if ( defined($defs{$device}) )
  {
    if ( $defs{$device}{TYPE} eq "DWD_OpenData" )
    {
      @rl = sort
      {
        my ($an) = ($a =~ m/fc(\d+)_.*/);
        my ($bn) = ($b =~ m/fc(\d+)_.*/);
        my ($ao) = ($a =~ m/fc\d+_(\d+).*/);
        my ($bo) = ($b =~ m/fc\d+_(\d+).*/);
        $an <=> $bn or $ao <=> $bo or $a cmp $b;
      } ( grep /${regex}/,keys %{$defs{$device}{READINGS}} );
      #Log3 undef,2, Dumper(@rl);
      return undef if ( !@rl );
    }
    else
    {
      Log3 undef, 2, "logProxy_dwd2Plot: $device is not a DWD_OpenData device";
      return undef;
    }
  }
  #Log3 undef,2, Dumper(@rl);

  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);
  my $sec = $fromsec;
  my ($h, $hp, $fcDay, $mday, $mon, $year);
  my $timestamp;

  my $reading;
  my $value;
  my $prev_value;
  my $min = 999999;
  my $max = -999999;
  my $ret = "";

  # while not end of plot range reached
  while (($sec < $tosec) && @rl)
  {
    #remember previous value for start of plot range
    $prev_value = $value;

    $reading = shift @rl;
    ($fcDay) = $reading =~ m/^fc(\d+).*/;
    ($hp) = $reading =~ m/^fc\d+_(\d+).*/;
    #Log 1, "hp: ".$hp;

    if ($hp)
    {
      $h = ReadingsVal($device, "fc".$fcDay."_".$hp."_time", $fcHour);
      if ($h =~ m/^(\d+):\d+/)
      {
        $h = $1;
      }
    }
    else
    {
      $h = $fcHour;
    }

    $value = ReadingsVal($device, $reading, undef);

    # calculate minutes of sunshine per hour
    if ($fcValue =~ /^SunD(\d+)/)
    {
      if (defined($1))
      {
        $value = $value / ($1 * 60);
      }
      else
      {
        $value = $value / (12 * 60);
      }
    }

# calculate amount of rain per hour
if ($fcValue =~ /^RR(\d+)c$/)
{
  if (defined($1))
      {
    $value /= $1;
  }
}

    ($year, $mon, $mday) = split('\-',ReadingsVal($device, "fc".$fcDay."_date",undef));
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, $h, 0, 0);
    $sec = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $sec += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    # skip all values before start of plot range
    next if ( $sec < $fromsec );

    # add first value at start of plot range
    if ( !$ret && $prev_value )
    {
      $min = $prev_value if ( $prev_value < $min );
      $max = $prev_value if ( $prev_value > $max );
      $ret .= "$from $prev_value\n";
    }

    # done if after end of plot range
    last if ($sec > $tosec);

    $min = $value if ( $value < $min );
    $max = $value if ( $value > $max );

    # add actual control point
    $ret .= "$timestamp $value\n";

    #Log 1, "$timestamp $value <<< $reading";
  }

  if (($sec < $tosec) && !@rl && ($expMode eq "day"))
  {
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, 23, 59, 59);
    $_ = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $_ += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    if ($_ < $tosec)
    {
      $ret .= "$timestamp $value\n";
    }
    else
    {
      $ret .= "$to $value\n";
    }
  }
  elsif (($sec > $tosec) && ($expMode eq "day"))
  {
    $value = $prev_value + ($value - $prev_value) * (86400 + ($tosec - $sec)) / 86400;
    $ret .= "$to $value\n";
  }

  return ($ret, $min, $max, $prev_value);
}


Wesentliche Änderung (Beispiel für forecastResolution=3): Verschiebung für Sonne und Regen
Optional: Markierung für "jetzt", deutsche Beschriftung, Festskalierung für Temperatur

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title 'DWD'
set ytics
set y2tics
set grid ytics
set ylabel "Regen [mm]"
set y2label "Temperatur [°C]"
set y2range [-5:25]
set y3label "Wolken/Regen [%] / Sonne [min]"
set y3range [0:100]

#logProxy Func:logProxy_dwd2Plot("DWD","TTT_",$from,$to,0,"day")
#logProxy Func:logProxy_dwd2Plot("DWD","Tx",$from,$to,0,"day",(-6*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","Tn",$from,$to,0,"day",(-6*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","SunD3_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","RR3c_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","R600_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","Neff_",$from,$to,0,"day")
#logProxy ConstX:TimeNow(),-5,25
#logProxy ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'T' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmin' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Sonnendauer' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'Regenmenge' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'Regenwahrsch.' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Wolken' ls l6fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 4 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 1 with lines


Anbei der dazugehörige Plot. Er zeigt außerdem für heute die Regenmenge von meinem Sensor (mit 1 Stunde Versatz).

Grüße,
Jens

P.S.: Es ist übrigens kein FileLog vom OpenData-Modul für das SVG erforderlich, der logProxy schafft das allein. Im define für das SVG kann man das Feld vor dem 1. und nach dem 2. Doppelpunkt leer lassen. Ein FileLog für das OpenData-Modul ist, wenn man es sonst für nichts braucht, je nach Konfiguration eher eine Systembremse wegen der vielen Daten.
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 22 Dezember 2018, 14:50:30
echt cool, habt ihr schön gemacht.  :)

ZitatDen stündlichen Wert für die Regenwahrscheinlichkeit gabs nur für Regenmengen > 0.1mm.
im sommer, beim warten und hoffen auf regen, ist mir aufgefallen, dass der regen, der im niederschlagsradar mit den kleinst möglichen intensitäten angezeigt wurde, es nie bis zum boden geschafft hat.

somit könnte dieser wahrscheinlichkeitswert vielleicht besser zu "echtem", spürbarem regen, der auch den boden erreicht, passen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 Dezember 2018, 17:12:38
Hier noch ein bisschen Errata:

Änderung (Beispiel für forecastResolution=3): Verschiebung für min./max. Temperatur - nur so bleibt die Isttemperatur TTT im Verlauf zwischen Min und Max

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title 'DWD'
set ytics
set y2tics
set grid ytics
set ylabel "Regen [mm]"
set y2label "Temperatur [°C]"
set y2range [-5:25]
set y3label "Wolken/Regen [%] / Sonne [min]"
set y3range [0:100]

#logProxy Func:logProxy_dwd2Plot("DWD","TTT_",$from,$to,0,"day")
#logProxy Func:logProxy_dwd2Plot("DWD","Tx",$from,$to,18,"day")
#logProxy Func:logProxy_dwd2Plot("DWD","Tn",$from,$to,6,"day")
#logProxy Func:logProxy_dwd2Plot("DWD","SunD3_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","RR3c_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","R600_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","Neff_",$from,$to,0,"day")
#logProxy ConstX:TimeNow(),-5,25
#logProxy ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'T' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmin' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Sonnendauer' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'Regenmenge' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'Regenwahrsch.' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Wolken' ls l6fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 4 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 1 with lines


ZitatIm define für das SVG kann man das Feld vor dem 1. und nach dem 2. Doppelpunkt leer lassen.
Ist unzuverlässig, FHEMWEB zeigt dann sporadisch einen Fehler. Man kann das FileLog im SVG define wohl nicht weglassen, aber man kann ein beliebiges angeben, das schon existiert, es muss keine Werte vom OpenData-Modul enthalten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 23 Dezember 2018, 01:21:47
Ich habe da noch ein paar Fragen:

1.) Wie kommst du auf die 6 und 18 bei der min/Max Temperatur?
2.) Warum verschiebst du z.b. RR3c um 3 Stunden und nicht um 1.5, damit der Punkt in der Mitte des Messzeitraumes liegt?
3.) Min pro Stunde für SunD ist nur eine andere Einheit, die dich persönlich mehr anspricht? Ich fand es sinnvoll hier einen prozentualen Wert zu haben, um ihn mit der Bewölkung und der Regenwahrscheinlichkeit besser vergleichen zu können.

Das mit dem Regen pro Stunde sehe ich ein, da ansonsten bei Verwendung des 3h Wertes Niederschlagsmengen mehrfach gezählt werden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 23 Dezember 2018, 01:47:19
Entschuldigung, darf ich bitte etwas konzeptionelles fragen?

Motivation: Mir fällt gerade wieder schwer, der Diskussion zu folgen, ich bin ja nach einem Jahr immer noch in vielen Dingen Anfänger. - Hier konkret fällt mir schwer jeder Umrechnung zu folgen - und warum und wie die motiviert ist. Und wie ich die wo einbaue.

Wäre es denn nicht viel klüger, dass @jensb direkt im Modul (zusätzlich) Readings bereitstellt, die schon umgerechnet sind?

Falls Jens nun sagt "nicht mein Modulansatz" würde ich alternativ vorschlagen, dass wir uns diese umgerechneten Readings als Attribute der DWD-Device via userReadings schaffen und der Allgemeinheit (z.B. über Wiki) zur Verfügung stellen.

Ich komme wegen eines Beispiels drauf, das habe ich mir irgendwo mal abgeschrieben:

attr DWD userReadings fc0_SunDh {ReadingsVal("DWD","fc0_SunD","")/3600},\
fc1_SunDh {ReadingsVal("DWD","fc1_SunD","")/3600},\
fc2_SunDh {ReadingsVal("DWD","fc2_SunD","")/3600},\
fc3_SunDh {ReadingsVal("DWD","fc3_SunD","")/3600},\
fc4_SunDh {ReadingsVal("DWD","fc4_SunD","")/3600}


Falls wir uns nicht schreiben:
Ich wünsche allen frohe und gesegnete Weihnachten!
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 23 Dezember 2018, 02:01:34
Es gibt zu viele Möglichkeiten. Der eine will mm pro Quadratmeter und der nächste was weiß ich was. Ich denke das Modul sollte sich auch die Rohwerte beschränken. Das mit den Userreadings ist mir nicht so ganz klar ob das geht. Man hat hier Tage und Stunden im Reading mit drin. Ich bin mir nicht sicher, ob sich das sinnvoll mit Userreadings abbilden lässt.

Ich poste nach dem Abschluss der Diskussionen noch mal die Ergebnisse, letztendlich sind ja nur die für dich interessant. Können dann gern auch ins Wiki übernommen werden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 23 Dezember 2018, 02:04:29
Bei ConstX habe ich keine hardcoded Temperaturwerte verwendet, sondern das Folgende:

#logProxy ConstX:TimeNow(),0,100

Dann muss man die Linie noch auf Achse 3 anstatt 2 beziehen und fertig. Ansonsten kriegt man jedes Mal Probleme, wenn die Temperatur aus dem Raster raus fällt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 23 Dezember 2018, 02:37:38
Zitat von: mumpitzstuff am 23 Dezember 2018, 02:01:34
Es gibt zu viele Möglichkeiten.

Das ist ja erstmal sehr erfreulich.

Zitat von: mumpitzstuff am 23 Dezember 2018, 02:01:34
Der eine will mm pro Quadratmeter und der nächste was weiß ich was.

Ich würde vorschlagen: Wir halten uns an den klassischen Wetterbericht. Die dort genutzten Parameter sind ja nicht vom Himmel gefallen, die haben sich über Jahrzehnte für die Allgemeinheit (und das sind wir ja) bewehrt.

Ich selbst will und muss mich an das halten, was andere schlaue Coder so coden. Mein Beitrag wird (hier) gering sein. (Ich bin dann erst wieder bei FTUI aktiv dabei.)

Zitat von: mumpitzstuff am 23 Dezember 2018, 02:01:34
Ich denke das Modul sollte sich auch die Rohwerte beschränken.

Das ist eben die Frage. Mal sehen, was Jens zu der Frage sagt. Es gäbe ja noch die Version "das eine tun, das andere nicht lassen": Einerseits die Rohwerte, andererseits ausgewählte gewandelte Werte durch das Modul.
(Ich werde mit dem leben und leben müssen, was er entscheidet.)

Zitat von: mumpitzstuff am 23 Dezember 2018, 02:01:34
Das mit den Userreadings ist mir nicht so ganz klar ob das geht.

Das geht - behaupte ich mal keck:
Ich bin ja der FHEM-Weltmeister im Abschreiben (und erweitern), ich lerne durch Beispiele. userReadings (und setreding) habe ich durchaus nicht selten bei anderen Devices mit anderen Modulen. (Und halt das Beispiel "Sonne pro Stunde".)

Was Du da mit Perl in 99_my... vorführst, wäre -aus meiner Sicht- idealtypisch schon beim setzen der (user)Readings zu tun.

Zitat von: mumpitzstuff am 23 Dezember 2018, 02:01:34
Ich poste nach dem Abschluss der Diskussionen noch mal die Ergebnisse, letztendlich sind ja nur die für dich interessant. Können dann gern auch ins Wiki übernommen werden.

Das ist sehr freundlich.
Natürlich geht es ganz egoistisch erstmal um mich, das streite ich gar nicht ab. Aber wenn sich einige schon richtig abquälen, muss das ja einen übergeordneten Sinn haben - beziehungsweise sollte es. Nämlich den, dass andere, viele andere, das auch nutzen. Sonst wäre letzten Endes auch das Modul verschossen ...

Das kommt auch aus einer Erfahrung aus meiner Startzeit hier:
Im Forum wimmelt es von "wie geht denn das" und ich dachte "das will ich auch wissen". Und dann war meist die Antwort "guck mal wir und da und commandref". Und der Fragende antwortete entweder nie wieder - oder mit "oh, danke, jetzt geht es". Hmm, schön für euch. Schlecht für mich. Hättet ihr doch gezeigt, WIE es geht!

Von daher (und um schrittweise diesen Stil im Forum zu ändern) bin ich Dir ausnehmend dankbar, dass Du Dir die Mühe machtest (und machen willst) zu sagen: Guck her, es geht exakt so; hier das Kochrezept.

Ganz herzlichen Dank!
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 Dezember 2018, 10:57:18
@mumpitzstuff

Zitat1.) Wie kommst du auf die 6 und 18 bei der min/Max Temperatur?
Die Daten kommen (zumindest bei vielen Stationen) so vom DWD und es steht auch als Anmerkung zu diesen Readings in der Modulhilfe. Wenn man sie verschiebt, so wie du es vorgeschlagen hast, beginnt der Plot zwar schön links, aber die Isttemperaturen bleiben dann nicht zwischen Min- und Max. Macht man es aber physikalisch richtig, so wie von mir vorgeschlagen, fehlen die Punkte bis zum linken Rand.
Dazu hätte ich einen Lösungsvorschlag: neues Attribut "forecastHistoryDays" für das OpenData-Modul. Dann gäbe ab dem 1. Tageswechsel auch Readings die "fc_-1_xxx" heißen und damit könnte der Plot die Lücken schließen. Die Frage ist für mich: Soll ich das so machen oder hat jemand eine andere Idee?

Zitat2.) Warum verschiebst du z.b. RR3c um 3 Stunden und nicht um 1.5, damit der Punkt in der Mitte des Messzeitraumes liegt?
RR3c ist die Regenmenge für 3 Stunden, also ein Aggregatwert, gemeldet z.B. für 13:00, also gültig von 10:00 bis 13:00. Dividiert durch 3 ist das die Regenmenge pro Stunde. Die muss dann bei Darstellung mit "steps" um 10:00, 11:00 und 12:00 angezeigt werden und um 13:00 aufhören.
Entsprechend sollte man bei RR1c "fsteps" verwenden bzw. bei "steps" um eine ganze Stunde verschieben.
R600 ist dagegen kein Aggregatwert sondern ein Einzelwert, ähnlich wie TTT. Gemeldet z.B. für 13:00, für 6 Stunden, also gültig von 07:00 bis 13:00. Dividieren macht keinen Sinn. Als Einzelwert ist dann die Mitte, also 10:00, die richtige Position. 3 Stunden Verschiebung passen also. Entsprechendes gilt für R101, hier ist, wie von dir vorgeschlagen, die halbe Stunde Verschiebung die richtige Wahl.

Zitat3.) Min pro Stunde für SunD ist nur eine andere Einheit, die dich persönlich mehr anspricht? Ich fand es sinnvoll hier einen prozentualen Wert zu haben, um ihn mit der Bewölkung und der Regenwahrscheinlichkeit besser vergleichen zu können.
Konsens, der eine mag Minuten, der andere %. Vermutlich sind % hierfür die bessere Wahl.

ZitatBei ConstX habe ich keine hardcoded Temperaturwerte verwendet, sondern das Folgende:
#logProxy ConstX:TimeNow(),0,100
Dann muss man die Linie noch auf Achse 3 anstatt 2 beziehen und fertig. Ansonsten kriegt man jedes Mal Probleme, wenn die Temperatur aus dem Raster raus fällt.
Sorry, hab mir wohl beim Experimentieren mit dem Ploteditor die Config zerschossen und dann nicht alles wieder in den ursprünglichen Zustand gebracht. 0-100% für Achse 3 ist die universellere Lösung. Bei Achse 1 und 2 sollte jeder das einstellen, was für seinen Ort typisch ist. Zumindest ich bin kein Freud der Autoskalierung: Wenn die Messwerte oder Wertebereiche klein sind, dann muss für mich auch das Abbild kleiner werden.

ZitatIch poste nach dem Abschluss der Diskussionen noch mal die Ergebnisse ... Können dann gern auch ins Wiki übernommen werden.
Das würde die Anwender des Moduls freuen, die der Diskussion nicht ganz folgen konnten. Bitte leg fest, wie wir das machen sollen, es ist schließlich dein Werk. Du kannst es selbst dem vorhandenen Artikel zum OpenData-Modul hinzufügen. Wenn das aber nicht dein Ding ist, würde ich das übernehmen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Newbee am 23 Dezember 2018, 13:25:54
Zitat von: jensb am 22 Dezember 2018, 11:17:37
@mumpitzstuff
Ein paar kleine Modifikationen sollten noch einfließen:

Änderung: Regenmenge [mm] und Sonnenscheindauer [min] pro Stunde

sub logProxy_dwd2Plot($$$$;$$$)
{
  my ($device, $fcValue, $from, $to, $fcHour, $expMode, $shiftTime) = @_;
  my $regex;
  my @rl;

  return undef if(!$device);

  if ($fcValue =~ s/_$//)
  {
    $regex = "^fc[\\d]+_[\\d]+_".$fcValue."\$";
  }
  else
  {
    $regex = "^fc[\\d]+_".$fcValue."\$";
  }

  $fcHour = 12 if(!defined($fcHour));
  $expMode = "point" if(!defined($expMode));
  #Log3 undef,2, "Regex: ".$regex;

  # ermitteln aller relevanten Readings
  if ( defined($defs{$device}) )
  {
    if ( $defs{$device}{TYPE} eq "DWD_OpenData" )
    {
      @rl = sort
      {
        my ($an) = ($a =~ m/fc(\d+)_.*/);
        my ($bn) = ($b =~ m/fc(\d+)_.*/);
        my ($ao) = ($a =~ m/fc\d+_(\d+).*/);
        my ($bo) = ($b =~ m/fc\d+_(\d+).*/);
        $an <=> $bn or $ao <=> $bo or $a cmp $b;
      } ( grep /${regex}/,keys %{$defs{$device}{READINGS}} );
      #Log3 undef,2, Dumper(@rl);
      return undef if ( !@rl );
    }
    else
    {
      Log3 undef, 2, "logProxy_dwd2Plot: $device is not a DWD_OpenData device";
      return undef;
    }
  }
  #Log3 undef,2, Dumper(@rl);

  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);
  my $sec = $fromsec;
  my ($h, $hp, $fcDay, $mday, $mon, $year);
  my $timestamp;

  my $reading;
  my $value;
  my $prev_value;
  my $min = 999999;
  my $max = -999999;
  my $ret = "";

  # while not end of plot range reached
  while (($sec < $tosec) && @rl)
  {
    #remember previous value for start of plot range
    $prev_value = $value;

    $reading = shift @rl;
    ($fcDay) = $reading =~ m/^fc(\d+).*/;
    ($hp) = $reading =~ m/^fc\d+_(\d+).*/;
    #Log 1, "hp: ".$hp;

    if ($hp)
    {
      $h = ReadingsVal($device, "fc".$fcDay."_".$hp."_time", $fcHour);
      if ($h =~ m/^(\d+):\d+/)
      {
        $h = $1;
      }
    }
    else
    {
      $h = $fcHour;
    }

    $value = ReadingsVal($device, $reading, undef);

    # calculate minutes of sunshine per hour
    if ($fcValue =~ /^SunD(\d+)/)
    {
      if (defined($1))
      {
        $value = $value / ($1 * 60);
      }
      else
      {
        $value = $value / (12 * 60);
      }
    }

# calculate amount of rain per hour
if ($fcValue =~ /^RR(\d+)c$/)
{
  if (defined($1))
      {
    $value /= $1;
  }
}

    ($year, $mon, $mday) = split('\-',ReadingsVal($device, "fc".$fcDay."_date",undef));
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, $h, 0, 0);
    $sec = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $sec += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    # skip all values before start of plot range
    next if ( $sec < $fromsec );

    # add first value at start of plot range
    if ( !$ret && $prev_value )
    {
      $min = $prev_value if ( $prev_value < $min );
      $max = $prev_value if ( $prev_value > $max );
      $ret .= "$from $prev_value\n";
    }

    # done if after end of plot range
    last if ($sec > $tosec);

    $min = $value if ( $value < $min );
    $max = $value if ( $value > $max );

    # add actual control point
    $ret .= "$timestamp $value\n";

    #Log 1, "$timestamp $value <<< $reading";
  }

  if (($sec < $tosec) && !@rl && ($expMode eq "day"))
  {
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, 23, 59, 59);
    $_ = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $_ += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    if ($_ < $tosec)
    {
      $ret .= "$timestamp $value\n";
    }
    else
    {
      $ret .= "$to $value\n";
    }
  }
  elsif (($sec > $tosec) && ($expMode eq "day"))
  {
    $value = $prev_value + ($value - $prev_value) * (86400 + ($tosec - $sec)) / 86400;
    $ret .= "$to $value\n";
  }

  return ($ret, $min, $max, $prev_value);
}


Wesentliche Änderung (Beispiel für forecastResolution=3): Verschiebung für Sonne und Regen
Optional: Markierung für "jetzt", deutsche Beschriftung, Festskalierung für Temperatur

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title 'DWD'
set ytics
set y2tics
set grid ytics
set ylabel "Regen [mm]"
set y2label "Temperatur [°C]"
set y2range [-5:25]
set y3label "Wolken/Regen [%] / Sonne [min]"
set y3range [0:100]

#logProxy Func:logProxy_dwd2Plot("DWD","TTT_",$from,$to,0,"day")
#logProxy Func:logProxy_dwd2Plot("DWD","Tx",$from,$to,0,"day",(-6*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","Tn",$from,$to,0,"day",(-6*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","SunD3_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","RR3c_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","R600_",$from,$to,0,"day",(-3*3600))
#logProxy Func:logProxy_dwd2Plot("DWD","Neff_",$from,$to,0,"day")
#logProxy ConstX:TimeNow(),-5,25
#logProxy ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'T' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmin' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Sonnendauer' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'Regenmenge' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'Regenwahrsch.' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Wolken' ls l6fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 4 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 1 with lines


Anbei der dazugehörige Plot. Er zeigt außerdem für heute die Regenmenge von meinem Sensor (mit 1 Stunde Versatz).

Grüße,
Jens

P.S.: Es ist übrigens kein FileLog vom OpenData-Modul für das SVG erforderlich, der logProxy schafft das allein. Im define für das SVG kann man das Feld vor dem 1. und nach dem 2. Doppelpunkt leer lassen. Ein FileLog für das OpenData-Modul ist, wenn man es sonst für nichts braucht, je nach Konfiguration eher eine Systembremse wegen der vielen Daten.

Hallo Jens,

haben o.g. myUtils code übernommen und die SVG Inhalte aus dem Bsp. "forecastResulution 3"

Alles andere logProxy, attr, etc habe ich wie am Bsp. von mumpitzstuff eingestellt.

Leider ergibt sich in der SVG eine sehr eigenwilligen Darstellung!

Was habe ich übersehen?

Vielen Dank vorab.

Grüße Newbee
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 Dezember 2018, 14:48:50
@Newbee
Das ist ja fast psychedelisch. Irgendwie scheint bei dir die Zeit nicht nur vorwärts sondern auch rückwärts zu gehen.

Hast du vielleicht mehrere forecastResolution Varianten ausprobiert? Wenn du von klein nach groß umschaltest, musst du die überschüssigen Readings einmal manuell entfernen (deletereading DWD fc_.*). Schau dir dazu den größten Stundenindex pro Tag und die Zeiten der Readings an. Bei forecastResolution=3 muss bei 24/3-1=7 Schluss sein.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Newbee am 23 Dezember 2018, 16:12:32
Zitat von: jensb am 23 Dezember 2018, 14:48:50
@Newbee
Das ist ja fast psychedelisch. Irgendwie scheint bei dir die Zeit nicht nur vorwärts sondern auch rückwärts zu gehen.

Hast du vielleicht mehrere forecastResolution Varianten ausprobiert? Wenn du von klein nach groß umschaltest, musst du die überschüssigen Readings einmal manuell entfernen (deletereading DWD fc_.*). Schau dir dazu den größten Stundenindex pro Tag und die Zeiten der Readings an. Bei forecastResolution=3 muss bei 24/3-1=7 Schluss sein.

Grüße,
Jens

Danke Jens das war es!

Hatte wohl von 1 auf 3 und wieder zurück gewechselt, war alles mehrfach vorhanden.

Grüße Newbee
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 25 Dezember 2018, 01:56:29
Ich habe noch rausgefunden wie man sich ein Plot beginnend ab der aktuellen Zeit, für die nächsten 24h erstellt.

defmod SVG_FileLog_WETTER_DWD_3 SVG FileLog_WETTER_DWD:SVG_FileLog_WETTER_DWD_3:CURRENT
attr SVG_FileLog_WETTER_DWD_3 endPlotNow 1
attr SVG_FileLog_WETTER_DWD_3 fixedoffset 1
attr SVG_FileLog_WETTER_DWD_3 nrAxis 1,2


Für mehr als 1 Tag macht es leider keinen Sinn, da man dann nicht mehr die Uhrzeit erkennt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 25 Dezember 2018, 21:38:18
ich schau hier bei euch mit. Für jemanden der gerne Wind und Böen in km/h statt m/s (irgendwie ein visuell schwer erfühlbarer Wert) haben möchte:

in der Sub an der kommentierten Stelle
$value = ReadingsVal($device, $reading, undef);

    # calculate minutes of sunshine per hour
    if ($fcValue =~ /^SunD(\d+)/)
    {
      if (defined($1))
      {
        $value = $value / ($1 * 60);
      }
      else
      {
        $value = $value / (12 * 60);
      }
    }

# calculate amount of rain per hour
if ($fcValue =~ /^RR(\d+)c$/)
{
  if (defined($1))
      {
    $value /= $1;
  }
}

#  calculate wind or gusts in km/h
if ($fcValue =~ /^(FF|FX1|FX3|FXh)$/)
{
    $value = $value * 3.6;
}
# end  calculate wind or gusts in km/h

    ($year, $mon, $mday) = split('\-',ReadingsVal($device, "fc".$fcDay."_date",undef));
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, $h, 0, 0);


ich hoffe, als eher Bastler als Könner, dass ich mich nicht vertan habe.

PS: Ich möchte übrigens curt hier https://forum.fhem.de/index.php/topic,83097.msg875664.html#msg875664 (https://forum.fhem.de/index.php/topic,83097.msg875664.html#msg875664) ein wenig zustimmen. Bin jetzt seit ca 12 Stunden dran die Hieroglyphen der DWD Daten rauszuschreiben, Einheiten zu vergleichen und zu verstehen, die Berechnungen und Verschiebungen in der sub und dann in der SVG Datei nachzuvollziehen ....

Das geht alles (und Hut ab vor mumpitzstuff und jensb ARBEIT), aber ist für die Anwendung und Nachvollziehbarkeit schon eine kleine Herausforderung.... und recht fehleranfällig. Ich möchte vor allem nicht wissen, wenn ich in einem Jahr noch einen Wert zusätzlich plotten will, ob ich mich noch an die Herangehensweise erinnere.

Ich möchte curts Idee die wahrscheinlichen Standardwerte für viele, zB

PLOT 1 -> Sonnendauer (min/%), Regenmenge (mm), Regenwahrscheinlichkeit (%), Wolkenbedeckung (%), Wind (km/h), Boen (km/h)
PLOT 2 -> Temp (C), TempMax (c), TempMin (C), .... (Frost, Frostgefahr .... fällt mir gerade ein weil es das in Proplanta gibt. Glaube in DWD direkt nicht?)

IM Modul aufzuarbeiten, sinnvoll zu benennen, für 3h und 1h aufzuarbeiten und vielleicht sogar die 2 passenden SVG´s automatisch anzulegen, hiermit auch nochmals unterstützen.

Sozusagen als Einsteiger-Set ;) was dann jemand draus macht ist ja ihm überlassen.

Versteht mich nicht falsch. Alles schon ganz weit vorne! (ich habs mit DarkSky hier https://forum.fhem.de/index.php/topic,93869.msg870069.html#msg870069 (https://forum.fhem.de/index.php/topic,93869.msg870069.html#msg870069) versucht und bin bis jetzt komplett gescheitert) .... aber Einfach ist anders (wenn man jetzt den Anspruch hätte es Neu- und Alteinsteigern möglichst einfach zu machen) ... und ich verstehe jeden der sagt "Ich mach das für mich, brauch den ganzen anderen Kremsel nicht und was willst du überhaupt"

.... einen herzlichen Dank für eure Arbeit!

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 Dezember 2018, 11:06:05
@holle75

ZitatIch möchte übrigens curt hier https://forum.fhem.de/index.php/topic,83097.msg875664.html#msg875664 ein wenig zustimmen. Bin jetzt seit ca 12 Stunden dran die Hieroglyphen der DWD Daten rauszuschreiben, Einheiten zu vergleichen und zu verstehen, die Berechnungen und Verschiebungen in der sub und dann in der SVG Datei nachzuvollziehen ....
Das geht alles (und Hut ab vor mumpitzstuff und jensb ARBEIT), aber ist für die Anwendung und Nachvollziehbarkeit schon eine kleine Herausforderung.... und recht fehleranfällig. Ich möchte vor allem nicht wissen, wenn ich in einem Jahr noch einen Wert zusätzlich plotten will, ob ich mich noch an die Herangehensweise erinnere.
Ich möchte curts Idee die wahrscheinlichen Standardwerte ...  IM Modul aufzuarbeiten, sinnvoll zu benennen, für 3h und 1h aufzuarbeiten und vielleicht sogar die 2 passenden SVG´s automatisch anzulegen, hiermit auch nochmals unterstützen.

Ich stimme der dahinter liegenden Idee genauso zu. Allerdings sehe ich nicht, wie wir mit den zur Verfügung stehenden Entwickler-Resourcen dahin kommen und - das ist die noch größere Aufgabe - da auch langfristig bleiben können. Nur wenn sich hier im Forum ein paar Engagierte zusammen tun, etwas auf die Beine stellen und es für andere verständlich in der Wiki hinterlassen, können wir überhaupt leicht Anwendbares zur Verfügung stellen. Leider hat die Vergangenheit gezeigt, dass sich beim DWD z.B. die Rohdaten deutlich ändern können. Werteverfügbarkeit, Zeitbezüge, Einheiten - nichts muss in der nächsten Version vom DWD genauso sein. Natürlich wäre es toll, wenn diese lästigen Anpassungsarbeiten von einem Modul übernommen werden. Aber fehlende Messwerte zu generieren ist schwer bis unmöglich und Zeitbezüge von Wetterdaten umzurechnen ist Meteorologie und keine Datenverarbeitung. Lassen wir mal ganz außen vor, dass es sicherlich einen Satz "wahrscheinlichen Standardwerte" mit eben so wahrscheinlichen Einheiten gibt, aber die Frage nach noch einem Wert X mehr und einer alternativen Einheit für Wert Y wird dann immer noch vom dem einen oder anderen Anwender kommen.

Um den Aufwand in Grenzen zu halten und überhaupt etwas zur Verfügung stellen zu können gibt es das OpenData-Modul in seiner jetzigen Form mit den Rohdaten des DWD. Für die aufbereiteten Werte habe ich schon mehr als einmal vorgeschlagen, die Werte, die das Weblink-Modul anzeigt, als Readings zur Verfügung zu stellen. Die Aufbereitung könnte man auch erweitern und mehr Werte zur Verfügung stellen, als es der Weblink bisher tut. Aber hier hören meine (zeitlich begrenzten) Möglichkeiten auf. Deshalb gibt es schon den Weblink nicht direkt mit FHEM. Wer sich berufen fühlt, kann ein Modul schreiben, dass die Datenaufbereitung in der gewünschten Form übernimmt und z.B. auch die Anpassungen für die FTUI durchführt.

@mumpitzstuff
Gib mir bitte bei Gelegenheit noch eine Rückmeldung zu diesem (https://forum.fhem.de/index.php/topic,83097.msg875728.html#msg875728) Beitrag.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 27 Dezember 2018, 20:19:09
Hallo Jens,

Zitat von: jensb am 27 Dezember 2018, 11:06:05
Ich stimme der dahinter liegenden Idee genauso zu. Allerdings sehe ich nicht, wie wir mit den zur Verfügung stehenden Entwickler-Resourcen dahin kommen und - das ist die noch größere Aufgabe - da auch langfristig bleiben können.
Ja, das ist ein Problem. Oder auch nicht und ist nunmal so.

Zitat von: jensb am 27 Dezember 2018, 11:06:05
Nur wenn sich hier im Forum ein paar Engagierte zusammen tun, etwas auf die Beine stellen und es für andere verständlich in der Wiki hinterlassen, können wir überhaupt leicht Anwendbares zur Verfügung stellen.
Sobald ich einen akzeptablen StatusQuo gefunden und auch mehrere Wochen getestet habe, werde ich hier alles Wichtige verewigen. Wenn das viele in einer gut überschaubaren Manier machen, würde das sicherlich allen helfen (du und Mumpitz machen das ja schon)

Zitat von: jensb am 27 Dezember 2018, 11:06:05
Aber fehlende Messwerte zu generieren ist schwer bis unmöglich und Zeitbezüge von Wetterdaten umzurechnen ist Meteorologie und keine Datenverarbeitung.
Ich meinte auch eher vom DWD gegebene Werte (in vielleicht noch einer anderen Einheit als "Extrawert"). Die sind ohne zeitraubender Lektüre nicht zu verstehen. Die Einheiten/Zeitbezüge (da meine ich die vorgegebenen) dann in einen Plot zu packen ist dann die zweite Herausforderung.

Zitat von: jensb am 27 Dezember 2018, 11:06:05
Lassen wir mal ganz außen vor, dass es sicherlich einen Satz "wahrscheinlichen Standardwerte" mit eben so wahrscheinlichen Einheiten gibt, aber die Frage nach noch einem Wert X mehr und einer alternativen Einheit für Wert Y wird dann immer noch vom dem einen oder anderen Anwender kommen.
Ja, ganz sicher sogar ;) ...

Mein Ansatz war eigentlich nur (und so hatte ich auch curt interpretiert) das von euch schon erarbeitete ein wenig weniger fehleranfällig (für den Nutzer) im Modul zu verpacken.

- schon gegebene DWD "Standardwerte" (zB auch die von mir genannten) im Modul sinnvoll umbennen und Einheiten passend festlegen. Vielleicht Extrawerte aus gegebenen Werten mit anderen Einheiten generieren (zb Windms und Windkmh)
- Im Wiki sub und SVG Plot für copy+paste entsprechend eben dieser Werte/Einheiten/Zeiten verewigen.

Denke, damit ist das Bedürfnis von 90% der Modul-Erstnutzer gestillt und die Fehleranfälligkeit sehr reduziert.

Wer dann mehr will kann ja.

Zitat von: jensb am 27 Dezember 2018, 11:06:05
Um den Aufwand in Grenzen zu halten und überhaupt etwas zur Verfügung stellen zu können gibt es das OpenData-Modul in seiner jetzigen Form mit den Rohdaten des DWD.
Danke dafür!

Zitat von: jensb am 27 Dezember 2018, 11:06:05
Für die aufbereiteten Werte habe ich schon mehr als einmal vorgeschlagen, die Werte, die das Weblink-Modul anzeigt, als Readings zur Verfügung zu stellen. Die Aufbereitung könnte man auch erweitern und mehr Werte zur Verfügung stellen, als es der Weblink bisher tut.
Ich habe mir den Weblink noch nicht näher angeschaut. Werde ich tun.

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 Dezember 2018, 22:22:50
@holle75
Ich habe in der Vorabversion des OpenData-Moduls auf GitHub noch mehr der "wahrscheinlichen Standardwerte" mit ihren Einheiten in die Modulhilfe aufgenommen. Sie im Modul neu zu benennen, damit man sie "sofort" zuordnen kann, ist möglich, aber das werde nicht machen, da Aliase auch zur Verwirrung beitragen. Es gibt sogar schon 4 umbenannte Werte ("nur" geänderte Groß-/Kleinschreibung) und genau deswegen gab es schon Nachfragen.

Für die Beschreibung der Readings gibt es nun mal die Modulhilfe. Wer es wirklich braucht, kann Wunschbezeichnung und Wunscheinheit mit dem FHEM Bordmittel userReadings  (https://wiki.fhem.de/wiki/UserReadings) selbst backen.

Wer mir seine Liste von wichtigen DWD-Messgrößen gibt, die noch in der Modulhilfe fehlen, dann nur her damit.

ZitatAber fehlende Messwerte zu generieren ist schwer bis unmöglich und Zeitbezüge von Wetterdaten umzurechnen ist Meteorologie und keine Datenverarbeitung.
Meine Aussage macht nur im ursprünglichen Kontext Sinn. Gemeint war, dass es Probleme mit der Aufrechterhaltung von Readings gibt, wenn der DWD etwas ändert (was er leider manchmal tut).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 27 Dezember 2018, 22:44:42
Vorschläge habe ich eingearbeitet, soweit ich es als sinnvoll erachtet habe. Ich poste mal die letzten Ergebnisse, damit wir wieder einen Abgleich machen können. Die letzten Tage waren nur etwas stressig...
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 27 Dezember 2018, 23:09:30
Zitat von: holle75 am 27 Dezember 2018, 20:19:09
Mein Ansatz war eigentlich nur (und so hatte ich auch curt interpretiert) das von euch schon erarbeitete ein wenig weniger fehleranfällig (für den Nutzer) im Modul zu verpacken.

Vermutlich bekommt man das auch außerhalb des Moduls über UserReadings hin. Zumindest habe ich bei anderen Devices einige abgeschrieben Beispiele. Falls das geht, müssten wir uns zu einer gemeinsamen -veröffentlichten- Device-Doku durchringen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 27 Dezember 2018, 23:12:27
Hier also noch mal meine aktuellen Devices. Ich habe auf jegliche weiteren Vorschläge zu diversen Umrechnungen verzichtet und diese erst mal so belassen. Ich denke das die Werte hier für ein Großteil der Anwender passen sollten bzw. relativ leicht klar ist, wie und wo man eigene Umrechnungen einfliessen lassen kann. Weiterhin habe ich auf die starre Temperaturrange verzichtet, das finde ich eher suboptimal für den breiten Anwenderkreis.

1.) DWD Device (aktuell kann man forecastResolution 1 nur als Kommando setzen und nicht über die Oberfläche):
defmod WETTER_DWD DWD_OpenData
attr WETTER_DWD alertArea 808118011
attr WETTER_DWD event-on-change-reading .*
attr WETTER_DWD forecastProperties Tx,Tn,Tg,TTT,DD,FX1,N,Neff,RR1c,RR3c,RR6c,RRhc,RRL1c,Rh00,ww,SunD,SunD1,SunD3,RSunD,R101,R600
attr WETTER_DWD forecastResolution 1
attr WETTER_DWD forecastStation 10738
attr WETTER_DWD forecastWW2Text 1


Das Attribut forecastResolution sollte mit der im Plot verwendeten Auflösung übereinstimmen, also entweder auf 1 oder 3 gesetzt sein.

2.) Logproxy Device:
defmod LOG_PROXY logProxy

3.) Filelog Device:
defmod FileLog_WETTER_DWD FileLog ./log/WETTER_DWD-%Y-%m.log WETTER_DWD

4.) SVG Devices:
defmod SVG_FileLog_WETTER_DWD_1 SVG FileLog_WETTER_DWD:SVG_FileLog_WETTER_DWD_1:CURRENT
attr SVG_FileLog_WETTER_DWD_1 fixedoffset 6
attr SVG_FileLog_WETTER_DWD_1 fixedrange 7days
attr SVG_FileLog_WETTER_DWD_1 nrAxis 1,2

Für die Anzeige der Daten im 3h Raster.

defmod SVG_FileLog_WETTER_DWD_2 SVG FileLog_WETTER_DWD:SVG_FileLog_WETTER_DWD_2:CURRENT
attr SVG_FileLog_WETTER_DWD_2 fixedoffset 6
attr SVG_FileLog_WETTER_DWD_2 fixedrange 7days
attr SVG_FileLog_WETTER_DWD_2 nrAxis 1,2

Für die Anzeige der Daten im 1h Raster.

defmod SVG_FileLog_WETTER_DWD_3 SVG FileLog_WETTER_DWD:SVG_FileLog_WETTER_DWD_3:CURRENT
attr SVG_FileLog_WETTER_DWD_3 endPlotNow 1
attr SVG_FileLog_WETTER_DWD_3 fixedoffset 1
attr SVG_FileLog_WETTER_DWD_3 label "max. temperature: $data{max1}°C, min. temperature: $data{min1}°C"
attr SVG_FileLog_WETTER_DWD_3 nrAxis 1,2

Für die Anzeige der nächsten 24h.

5.) Funktion in der myUtils.pm
sub logProxy_dwd2Plot($$$$;$$$)
{
  my ($device, $fcValue, $from, $to, $fcHour, $expMode, $shiftTime) = @_;
  my $regex;
  my @rl;

  return undef if(!$device);

  if ($fcValue =~ s/_$//)
  {
    $regex = "^fc[\\d]+_[\\d]+_".$fcValue."\$";
  }
  else
  {
    $regex = "^fc[\\d]+_".$fcValue."\$";
  }

  $fcHour = 12 if(!defined($fcHour));
  $expMode = "point" if(!defined($expMode));
  #Log3 undef,2, "Regex: ".$regex;

  # ermitteln aller relevanten Readings
  if ( defined($defs{$device}) )
  {
    if ( $defs{$device}{TYPE} eq "DWD_OpenData" )
    {
      @rl = sort
      {
        my ($an) = ($a =~ m/fc(\d+)_.*/);
        my ($bn) = ($b =~ m/fc(\d+)_.*/);
        my ($ao) = ($a =~ m/fc\d+_(\d+).*/);
        my ($bo) = ($b =~ m/fc\d+_(\d+).*/);
        $an <=> $bn or $ao <=> $bo or $a cmp $b;
      } ( grep /${regex}/,keys %{$defs{$device}{READINGS}} );
      #Log3 undef,2, Dumper(@rl);
      return undef if ( !@rl );
    }
    else
    {
      Log3 undef, 2, "logProxy_dwd2Plot: $device is not a DWD_OpenData device";
      return undef;
    }
  }
  #Log3 undef,2, Dumper(@rl);

  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);
  my $sec = $fromsec;
  my ($h, $hp, $fcDay, $mday, $mon, $year);
  my $timestamp;

  my $reading;
  my $value;
  my $prev_value;
  my $min = 999999;
  my $max = -999999;
  my $ret = "";

  # while not end of plot range reached
  while (($sec < $tosec) && @rl)
  {
    #remember previous value for start of plot range
    $prev_value = $value;

    $reading = shift @rl;
    ($fcDay) = $reading =~ m/^fc(\d+).*/;
    ($hp) = $reading =~ m/^fc\d+_(\d+).*/;
    #Log 1, "hp: ".$hp;

    if ($hp)
    {
      $h = ReadingsVal($device, "fc".$fcDay."_".$hp."_time", $fcHour);
      if ($h =~ m/^(\d+):\d+/)
      {
        $h = $1;
      }
    }
    else
    {
      $h = $fcHour;
    }

    $value = ReadingsVal($device, $reading, undef);
    if ($fcValue =~ /^SunD(\d+)$/)
    {
      if (defined($1))
      {
        $value = (100 * $value) / ($1 * 3600);
      }
      else
      {
        $value = (100 * $value) / (12 * 3600);
      }
    }
    if ($fcValue =~ /^RR(\d+)c$/ && defined($1))
    {
        $value /= $1;
    }

    ($year, $mon, $mday) = split('\-',ReadingsVal($device, "fc".$fcDay."_date",undef));
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, $h, 0, 0);
    $sec = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $sec += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    # skip all values before start of plot range
    next if ( $sec < $fromsec );

    # add first value at start of plot range
    if ( !$ret && $prev_value )
    {
      $min = $prev_value if ( $prev_value < $min );
      $max = $prev_value if ( $prev_value > $max );
      $ret .= "$from $prev_value\n";
    }

    # done if after end of plot range
    last if ($sec > $tosec);

    $min = $value if ( $value < $min );
    $max = $value if ( $value > $max );

    # add actual control point
    $ret .= "$timestamp $value\n";

    #Log 1, "$timestamp $value <<< $reading";
  }

  if (($sec < $tosec) && !@rl && ($expMode eq "day"))
  {
    $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $year, $mon, $mday, 23, 59, 59);
    $_ = SVG_time_to_sec($timestamp);
    if (defined($shiftTime))
    {
      $_ += $shiftTime;
      $timestamp = logProxy_shiftTime($timestamp, $shiftTime);
    }

    if ($_ < $tosec)
    {
      $ret .= "$timestamp $value\n";
    }
    else
    {
      $ret .= "$to $value\n";
    }
  }
  elsif (($sec > $tosec) && ($expMode eq "day"))
  {
    $value = $prev_value + ($value - $prev_value) * (86400 + ($tosec - $sec)) / 86400;
    $ret .= "$to $value\n";
  }

  return ($ret, $min, $max, $prev_value);
}


6.) Im Filelog Device kann man auf "Create SVG Plot" klicken (muss man 3x machen, um alle 3 Anzeigen zu erhalten), dann wird eine SVG Datei erzeugt. In dieser Datei muss man den Inhalt komplett durch den folgenden ersetzen:

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<TL>'
set ytics
set y2tics
set grid ytics
set ylabel "rain mm"
set y2label "temperature"
set y3label "cloud / chOfRain / sun (rel) %"
set y3range [0:100]

#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","TTT_",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tx",$from,$to,18,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tn",$from,$to,6,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","SunD3_",$from,$to,0,"day",(-3*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","RR3c_",$from,$to,0,"day",(-3*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","R600_",$from,$to,0,"day",(-3*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Neff_",$from,$to,0,"day")
#LOG_PROXY ConstX:TimeNow(),0,100
#LOG_PROXY ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'fc_temp' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMin' ls l6 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_sun' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'fc_rain' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'fc_chOfRain' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_cloud' ls l6fill lw 1 with quadraticSmooth,\     
     "<IN>" using 1:2 axes x1y3 notitle ls l5 lw 4 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l2 lw 2 with lines

Für die Anzeige im 3h Raster.

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<TL>'
set ytics
set y2tics
set grid ytics
set ylabel "rain mm"
set y2label "temperature"
set y3label "cloud / chOfRain / sun (rel) %"
set y3range [0:100]

#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","TTT_",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tx",$from,$to,18,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Tn",$from,$to,6,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","SunD1_",$from,$to,0,"day",(-1*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","RR1c_",$from,$to,0,"day",(-1*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","R101_",$from,$to,0,"day",(-0.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Neff_",$from,$to,0,"day")
#LOG_PROXY ConstX:TimeNow(),0,100
#LOG_PROXY ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'fc_temp' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'fc_tempMin' ls l6 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_sun' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'fc_rain' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'fc_chOfRain' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_cloud' ls l6fill lw 1 with quadraticSmooth,\     
     "<IN>" using 1:2 axes x1y3 notitle ls l5 lw 4 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l2 lw 2 with lines

Für die Anzeige im 3h Raster.

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<L1>'
set ytics
set y2tics
set y3tics
set grid xtics y2tics
set ylabel "rain mm"
set y2label "temperature"
set y3label "cloud / chOfRain / sun (rel) %"
set y3range [0:100]

#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","TTT_",$from,$to,0,"day")
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","SunD1_",$from,$to,0,"day",(-1*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","RR1c_",$from,$to,0,"day",(-1*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","R101_",$from,$to,0,"day",(-0.5*3600))
#LOG_PROXY Func:logProxy_dwd2Plot("WETTER_DWD","Neff_",$from,$to,0,"day")
#LOG_PROXY ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'fc_temp' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_sun' ls l4fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'fc_rain' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'fc_chOfRain' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'fc_cloud' ls l6fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 notitle ls l2 lw 2 with lines

Für die Anzeige der nächsten 24h.
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 28 Dezember 2018, 10:12:59
... denke, ich habe es gedanklich übetrieben und so wie ihr das macht ist das völlig ausreichend und gut. Hatte mich an eurer Diskussion mit den Verschiebungen und Umrechnungen wahrscheinlich zu lange festgebissen und war verunsichert. Das was Mumpitz hier jetzt en bloc aufgeführt hat ist ja genau die wenig fehleranfällige Variante wo alle drei Bereiche (Modul, Sub, SVG) dann richtig zusammenspielen. Um zusätzliche Werte muß man sich eben selber kümmern.

Dieses Beispiel (oder ein anderes) ins Wiki gepackt löst wahrscheinlich die meisten Probleme.

Kann gerade nur leider die nächsten 6 Wochen nichts mehr testen oder weiterarbeiten, da mein Raspi bei einem Restart gestern nicht mehr booten wollte und ich, da nicht vor Ort, den Stecker nicht ziehen kann. So blöd ....

EDIT: um mir dann jetzt schon Gedanken drüber machen zu können: gibt es eine Möglichkeit nicht eine Station sondern einen GPS-Ort zu definieren beim DWD? "Meine" Station ist nämlich 40 km entfernt und so wird Wettervorhersage eher grob als genau.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 Dezember 2018, 13:34:31
@holle75
Zitat... gibt es eine Möglichkeit nicht eine Station sondern einen GPS-Ort zu definieren beim DWD?
Ja, indem man statt auf die Stationsdaten auf die Rohdaten geht (siehe z.B. ICON https://www.dwd.de/DE/forschung/wettervorhersage/num_modellierung/01_num_vorhersagemodelle/icon_beschreibung.html und BUFR https://www.dwd.de/DE/derdwd/it/_functions/Teasergroup/bufr_de.html).

Damit erhöht sich der Vorverarbeitungsaufwand und die erforderliche Rechenleistung ganz erheblich und ist dann wahrscheinlich nichts mehr für RPis - wobei es auf einen Versuch ankäme. Mir ist allerdings gerade nicht langweilig.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 Dezember 2018, 13:40:47
@mumpitzstuff
Danke für die detaillierte Beschreibung, das ist ja schon fast der Wiki-Artikel. Bleibt die Frage: Du oder ich?

Der andere Punkt war die Idee mit "forecastHistoryDays", damit Tmin/max am linken Rand anfangen. Werde es demnächst einbauen und ausprobieren.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 28 Dezember 2018, 14:04:35
Mir wäre es liebt, wenn du die Vorabversion übernehmen könntest, da ich mich nicht in die Struktur des DWD Moduls einmischen möchte. Ich kann dann aber gern noch ein paar Dinge dazu schreiben, die mir dann noch so einfallen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 28 Dezember 2018, 14:34:30
Zitat von: jensb am 28 Dezember 2018, 13:34:31
Damit erhöht sich der Vorverarbeitungsaufwand und die erforderliche Rechenleistung ganz erheblich und ist dann wahrscheinlich nichts mehr für RPis - wobei es auf einen Versuch ankäme. Mir ist allerdings gerade nicht langweilig.

Ich hatte auf eine einfachere Möglichkeit gehofft ;)

Ich bin übrigens dank eurer Ergüsse mit DarkSky (irgendwo weiter oben hatte ich davon geschrieben) was die grafische Auswertung angeht endlich weitergekommen.... funktioniert, aber ich kann es gerade nicht verewigen weil, wie oben geschrieben, ich keinen Zugriff mehr auf die Kiste habe. Kommt dann in 6 Wochen hier -> https://forum.fhem.de/index.php/topic,93869.msg870069.html#msg870069 (https://forum.fhem.de/index.php/topic,93869.msg870069.html#msg870069)

Vorteil -> Standort nach Lon/Lat definiert
Nachteil -> anderes, denke weniger genaues Modell ... und was mich total nervt kein Wert für die Sonnendauer (jemand eine Idee wie man die anhand der Bewölkung errechnen kann)? .... und Bezeichnung der Wettericons sind leider nicht mit den anderen bereits verfügbaren Wettermodulen in fhem kompatibel. Schade für ftui zB.

Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 28 Dezember 2018, 17:26:23
Im einfachsten Fall scheint die Sonne genau dann, wenn keine Wolken da sind. Das bedeutet, wenn du 60% Bewölkung hast, dann bleiben 40% Sonne über. Bei 80% Bewölkung = 20% Sonne usw. Das ist allerdings nur ein sehr grober Wert...
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 28 Dezember 2018, 18:33:10
@mumpitzstuff @jensb
Wenn ich meinen berühmten goldenen Papporden "Freundlicher Helfer des Tages" verleihen dürfte: Ihr beide würdet ihn heute bekommen. Sehr herzlichen Dank!

Falls ich beim Wiki mithelfen soll: Bitte sagen.

Ich habe #439 umgesetzt. Abgesehen von der lustigen Darstellung der zurückgehenden Zeit (ja, ich habe #430 berücksichtigt) ist alles schick. Bei der zurückgehenden Zeit nehme ich an, dass sich das auswächst.


defmod FileLog_WETTER_DWD FileLog ./log/WETTER_DWD-%Y-%m.log WETTER_DWD


Hier ist es vermutlich günstiger, auf die monatsweise Dateierstellung zu verzichten. Wenn ich recht erinnere, schränkt das das FTUI-Widget chart_widget zu sehr ein. In dem Fall wäre "defmod FileLog_WETTER_DWD FileLog ./log/WETTER_DWD-%Y.log WETTER_DWD" wohl zielführender.

Das führt mich zum FTUi-chart-widget: Die nun vorliegenden Grafiken kann man auch in FTUI darstellen. Die simple Methode ist das Widget "chart" - das zeigt allerdings nur den SVG-Plot ohne weitere Möglichkeiten. Viel komfortabler ist das chart-widget von eki, den ich mal auf das Thema aufmerksam mache:

@eki
Schaue Dir doch mal bitte #439 an. Danach hast Du den Deutschen Wetterdienst. - Es wäre wunderschön, wenn wir die angegebenen drei Grafiken auch für FTUI, für Dein Widget hätten. Wenn ich das mache, dauert es drei Tage (und mehrere Nachfragen an Dich) - im günstigsten Fall. Wenn Du das machst, das ist eine reine Fingerübung für Dich.

OT
@holle
Nun hast Du uns lange genug auf die Folter gespannt: Wo steht denn Deine FHEM-Maschine? Direkt am Nordpol?

Ich hatte das Problem bei  meinem DSL-Router, der ist debianbasiert handgefeilt auf APU. Natürlich immer dann, wenn ich in Urlaub war ... Ich löste das so:
1) Booten, wenn Strom anliegt
2) automatisches Reboot alle 24h.
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 28 Dezember 2018, 19:00:48
Zitat von: curt am 28 Dezember 2018, 18:33:10
OT
@holle
Nun hast Du uns lange genug auf die Folter gespannt: Wo steht denn Deine FHEM-Maschine? Direkt am Nordpol?

Nee, ganz unabenteuerlich in Italien und ich bin gerade in der Schweiz. Fürchterlich wenn man Zeit zum Basteln hat und nicht kann.

Ich komm über alle erdenklichen Wege an den Raspi ran .... allerdings nur wenn er läuft. Man könnte ihn ja auch über fhem vom Strom trennen im Fall der Fälle, aber ist halt nix mit fhem ohne fhem :D Gerade noch auf der Suche nach dem Schwanz der Katze ohne dass sie reinbeißt.

Normalerweise ist der Raspi Rock solid, nur Restart mag er neuerdings ab und zu nicht mehr. Das war Jahrelang kein Problem. Wie machst du das mit dem 24h Reboot wenn er hängt? Hart vom Strom nehmen über Zeitschaltuhr oder so? Kann mir nicht vorstellen, dass er das mag.



Ein Jahres-Filelog bei der Menge der Daten könnte evtl schmerzhaft groß sein.
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 28 Dezember 2018, 19:05:53
Zitat von: mumpitzstuff am 28 Dezember 2018, 17:26:23
Im einfachsten Fall scheint die Sonne genau dann, wenn keine Wolken da sind. Das bedeutet, wenn du 60% Bewölkung hast, dann bleiben 40% Sonne über. Bei 80% Bewölkung = 20% Sonne usw. Das ist allerdings nur ein sehr grober Wert...
Danke fürs Mitdenken.


Ich bin gerade gedanklich hier dran -> https://www.hev-schweiz.ch/vermieten/nebenkostenabrechnungen/sonnenscheindauer/ (https://www.hev-schweiz.ch/vermieten/nebenkostenabrechnungen/sonnenscheindauer/)
ZitatAlsbald die Differenz zwischen diffuser und direkter Sonnenstrahlung einen Wert von 200 W/m2 erreicht, wird dies als Sonnenschein erfasst.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 28 Dezember 2018, 19:43:58
OT:
Zitat von: holle75 am 28 Dezember 2018, 19:00:48
Ich komm über alle erdenklichen Wege an den Raspi ran .... allerdings nur wenn er läuft. Man könnte ihn ja auch über fhem vom Strom trennen im Fall der Fälle, aber ist halt nix mit fhem ohne fhem :D Gerade noch auf der Suche nach dem Schwanz der Katze ohne dass sie reinbeißt.

<lacht>
Im Hauptberuf ein Hochverfügbarkeitsrechenzentrum. Und als Entspannung als Hobby noch eins, aber zu Hause.

Zitat von: holle75 am 28 Dezember 2018, 19:00:48
Wie machst du das mit dem 24h Reboot wenn er hängt?

Also für kernel-panic habe ich bei meinem Router genau gar keine Lösung, Katze-in-Schwanz-Problem. Bislang stolperte ich über Stromausfall, über Drecksding will mit neuem Strom nicht booten, über Drecksding will nicht mehr mit VDSL spielen.

Zitat von: holle75 am 28 Dezember 2018, 19:00:48
Ein Jahres-Filelog bei der Menge der Daten könnte evtl schmerzhaft groß sein.

Optimierungsproblem.
Spätestens, wenn man @eki s chart-Widget mal bei der Arbeit gesehen hat, will man über das komplette Jahr navigieren. Aktuell tut mein RPi3 das auch ganz schön. Falls er da mal überfordert sein sollte, kommt an die Stelle eine APU für um die 200 Euro hin.

Nein. Das DB-Logging halte ich für Budenzauber. Ich habe es geschafft, mich 30 Jahre von jeder Art von Datenbank fernzuhalten. Ich habe nicht vor, das zu ändern.

Ich wünsche schönen Urlaub bei bestem Wetter.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Intruder1956 am 29 Dezember 2018, 12:19:57
Zitat von: jensb am 17 Dezember 2018, 19:43:36
Hallo Werner,

das mit den Warnings ist nicht schön.

Die Frage ist aber:
a) Tritt es nur beim Neustart auf oder bei jeder Aktualisierung des Weblinks und
b) hat es überhaupt einen Einfluss auf die Darstellung im Weblink (betroffen wären die Wetterwarnungen)

Habe das bei mir auch schon sporadisch beobachtet, habe aber noch keine wasserdichte Lösung.

Grüße,
Jens

Hallo Jens,
sorry das ich mich erst jetzt melde  :) (Arbeit,Weihnachtsstress)

folgendes habe ich immer nur bei einem Fhem "shutdown restart" und anschl. öffnen der Weboberfläche
2018.12.29 11:44:49 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2018.12.29 11:44:49 1: PERL WARNING: Use of uninitialized value $fcStart in addition (+) at ./FHEM/99_DWD_OpenData_Weblink.pm line 1070


Bitte ./FHEM/99_Utils.pm line 21. nicht mit 99_myutils verwechseln.

Wenn ich die Weboberfläche von Fhem erneut aktualisiere kommt keine Meldung, also nur bei Neustart.

Gruß Werner
Titel: Antw:Modul für DWD Open Data
Beitrag von: holle75 am 29 Dezember 2018, 12:33:38
Hallo Werner, bei mir kommen Fehlermeldungen beim Start (denn da werden die Daten wahrscheinlich geholt) und beim Aufruf des Logproxy immer dann, wenn der korrespondierende Plot aufgerufen wird und da etwas nicht stimmt. Such mal in deiner SVG-Datei nach einem Fehler. Das kann ein nicht vorhandener Wert sein oder ein vergessener Unterstrich, Groß-Kleinschreibung,Komma, Klammer, oder, oder.
... oder fang nochmal temporär mit einem fast leeren Plot an und schau was passiert.

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 29 Dezember 2018, 19:34:33
Hallo Werner,

bitte probier die aktuelle Version des Weblinks 2.014.005 vom 17.12.2018 auf GitHub. Ich hatte einen Bug im Zusammenhang mit $fcStart (Startzeit einer Wetterwarnung) gefunden und eine Anpassung gemacht. Vielleicht ist das auch bei dir die Lösung.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 29 Dezember 2018, 19:41:22
@mumpitzstuff
Werde mich um die Vorabversion in der Wiki kümmern. Bitte nochmal Klarstellung, wofür das FileLog benötigt wird. Ich habe deinen Vorschlag für forecastResolution=3 übernommen, aber das FileLog weggelassen. Das funktioniert bei mir prima.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 30 Dezember 2018, 00:10:32
Wie du selbst festgestellt hast, braucht man irgendeins, damit es stabil läuft. Man könnte hier, laut deiner Aussage, ein bereits bestehendes Device verwenden, ich denke aber, das ein separates Device am saubersten ist. Um die Systemlast zu senken,  kann man vielleicht auch das Device auf disable setzen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: yersinia am 05 Januar 2019, 09:17:56
Hallo,

ich hab das Modul installiert und mir ist dabei ein kleiner Fehler im Wikie aufgefallen. Bei der Weblink Einrichtung (https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_f.C3.BCr_die_Einrichtung_eines_Weblinks) verweist der Hyperlink auf eine falsche Datei:
ZitatZur graphischen Darstellung der Vorhersage und der Wetterwarnungen steht das Modul 99_DWD_OpenData_Weblink.pm (https://raw.githubusercontent.com/jnsbyr/fhem/master/FHEM/55_DWD_OpenData.pm) zur Verfügung.
Der Link verweist hier auf 55_DWD_OpenData.pm.
Müsste der Link nicht auf 99_DWD_OpenData_Weblink.pm (https://raw.githubusercontent.com/jnsbyr/fhem/master/FHEM/99_DWD_OpenData_Weblink.pm) verweisen?

Wer kann das anpassen?

Im Übrigen funktioniert das Modul gut. Danke dafür.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 Januar 2019, 18:48:30
@yersinia
Danke für die Rückmeldung und den Hinweis auf den Fehler in der Wiki - er ist nun korrigiert.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 09 Januar 2019, 02:56:48
Zwei Fragen zum Weblink-Generator.

1) Kann ich mehrere Weblink-Generatoren für einen Standort definieren? Oder geht nur einer? - Ich versuchte 1 sowie 4 Tage zu machen. Es wird mir aber im Room nur der zweite angezeigt.

2) Kann man das Ergebnis in FTUI darstellen? Wie macht man das?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 09 Januar 2019, 09:02:36
Zitat von: curt am 09 Januar 2019, 02:56:48
2) Kann man das Ergebnis in FTUI darstellen? Wie macht man das?
Reines FTUI weiß ich nicht, aber für FUIP habe ich gestern mal was gebastelt:
https://forum.fhem.de/index.php/topic,95562.msg884154.html#msg884154
(Ich hatte in Erinnerung, dass Du zumindest mal mit FUIP experimentiert hast.)
Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Januar 2019, 20:55:22
Zitat von: curt am 09 Januar 2019, 02:56:48
1) Kann ich mehrere Weblink-Generatoren für einen Standort definieren? Oder geht nur einer? - Ich versuchte 1 sowie 4 Tage zu machen.
Man kann zumindest theoretisch so viele OpenData-Devices anlegen wie man möchte und für jedes OpenData-Devices noch eine Rudel Weblink-Generatoren. Ausprobiert habe ich das allerdings nicht.
Zitat von: curt am 09 Januar 2019, 02:56:48
Es wird mir aber im Room nur der zweite angezeigt.
Du meinst wahrscheinlich, dass nur ein Weblink pro Webseite sichtbar gerendert wird. Es ist nicht auszuschließen, dass das mein JavaScript-Experiment für die automatische Aktualisierung verhindert. Setze versuchsweise im Weblink-Generator die refreshRate auf 0, dann wird "nur" HTML verwendet.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 10 Januar 2019, 00:50:09
Zitat von: Thorsten Pferdekaemper am 09 Januar 2019, 09:02:36
Zitat2) Kann man das Ergebnis in FTUI darstellen? Wie macht man das?
Reines FTUI weiß ich nicht, aber für FUIP habe ich gestern mal was gebastelt:
https://forum.fhem.de/index.php/topic,95562.msg884154.html#msg884154
(Ich hatte in Erinnerung, dass Du zumindest mal mit FUIP experimentiert hast.)

Nein, nicht wirklich. Nur mal angeklickt. - Ich weiß nicht - ist es sinnvoll, dass Du erzählst, wie Du das gemacht hast? Keine Ahnung.

Das Problem scheint ungelöst, es ist unklar ob das überhaupt geht - also einen FHEM-Weblink durch ein FTUI-Widget darstellen zu lassen. Im Forum wird immer mal wieder gefragt - ohne erschöpfende Antwort.

In https://forum.fhem.de/index.php?topic=80056.0 hat jemand ungetestet folgenden Ansatz:


<div data-type="switch" data-device="rc_samsung" data-fhem-cmd="{fhem("get rc_samsung htmlcode", 1)}" data-icon="fa-power-off" class="cell " ></div>


Wir brauchen also zwei Dinge:
1) Ein Widget mit implementiertem data-fhem-cmd.
2) Eine Idee, wie das durchzuleitende fhem-Kommando auszusehen hat.

Bei Punkt 2) kann vielleicht @jensb am ehesten helfen.

Ich komme nur bis zu dem Punkt, dass er mir den STATE von DWD_Weblink_1 ausgibt. Und der ist halt "initialized".

Ich dachte an Konstruktionen wie


data-fhem-cmd="{fhem("get DWD_OpenData_Weblink::AsHtmlH(\"DWD_Weblink_Generator_1\") htmlcode", 1)}"


innerhalb eines Widgets - aber die Konstruktion ist geraten, ich weiß dafür zu wenig. Sie tut nicht.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 10 Januar 2019, 11:42:13
Zitat von: curt am 10 Januar 2019, 00:50:09Nein, nicht wirklich. Nur mal angeklickt. - Ich weiß nicht - ist es sinnvoll, dass Du erzählst, wie Du das gemacht hast?
Als FUIP-View ist das erstmal relativ einfach, da die Views sowieso das HTML liefern. Das sieht dann einfach so aus:

sub getHTML($){
my ($self) = @_;
return main::weblink_FwFn(undef,$self->{device},undef,undef);
};

Ob Dir das jetzt was nützt weiß ich nicht.

Zitat

<div data-type="switch" data-device="rc_samsung" data-fhem-cmd="{fhem("get rc_samsung htmlcode", 1)}" data-icon="fa-power-off" class="cell " ></div>

Das holt dann, wenn man den switch betätigt, den HTML-Code und macht dann damit genau nichts, würde ich mal sagen.

Zitat
Wir brauchen also zwei Dinge:
1) Ein Widget mit implementiertem data-fhem-cmd.
2) Eine Idee, wie das durchzuleitende fhem-Kommando auszusehen hat.
Nein, das nützt nichts. Das Widget muss dann auch noch den HTML-Code auf die Seite schreiben oder so.

Man kann das ganze wahrscheinlich komplett in JavaScript umsetzen, indem man per Ajax (oder so) das Kommando aufruft, welches das HTML liefert. Dann muss man das Ergebnis auf die Seite schreiben bzw. an das Widget selbst hängen.
Soooo schwierig dürfte das gar nicht sein.

Gruß,
   Thorsten

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Januar 2019, 20:30:32
Zitat von: curt am 10 Januar 2019, 00:50:09
Das Problem scheint ungelöst, es ist unklar ob das überhaupt geht - also einen FHEM-Weblink durch ein FTUI-Widget darstellen zu lassen.
Vielleicht geht es mit einem iFrame, siehe https://forum.fhem.de/index.php?topic=49032.0. Vermutlich scheitert es aber daran, dass ein iFrame kein FHEM Get Kommando aufrufen kann.

Zitat von: curt am 10 Januar 2019, 00:50:09
2) Eine Idee, wie das durchzuleitende fhem-Kommando auszusehen hat.
Das FHEM-Kommando ist get myWeblink-Generator horizontalForecast und als Perl-Aufruf wäre es DWD_OpenData_Weblink::GetForecastHtmlH($opendataDevName, $days, $useGroundTemperature, $theme) mit $theme 0 oder 1 für hell oder dunkel oder DWD_OpenData_Weblink::AsHtmlH($opendataDevName) mit den Attributen aus dem Weblink-Generator. Den Perl-Aufruf könnte man versuchsweise in das Beispiel von @Thorsten Pferdekaemper einsetzten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 10 Januar 2019, 23:50:04
Ich habe die Daten bereits nativ in FTUI umgesetzt. Lediglich die Darstellung des Wetter-Icons für die Nacht funktioniert nicht. Dies müsste im "weather_widget" realisiert werden. Leider gibt es hierfür keinen Developer mehr. Ich selbst bin leider auch nicht mächtig  ;)
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 11 Januar 2019, 01:30:08
Hmmm. Das ist aber mal blöd. Die Geschichte geht so:

Ich bekomme einige Parameter nicht korrekt dargestellt, da reden wir noch gar nicht über Optik. Also erinnerte ich mich an @jensb s warnende Sätze "nimm doch meinen Weblink". Ich schaute mit das optisch dreimal an und dachte: Recht hat er. Und ich dachte weiter: Ich werde ihn dann schon noch überzeugen, dass man an die einzelnen Vormittag/Nachmittag-Felder auch einzeln kommt.

Tja, geht nicht.
Schon in FHEM selbst gehen keine zwei Weblinks von Jens (Aber auch in getrennten FHEM-Räumen geht nicht. Nein, habe Deine Tipps noch nicht probiert.)

Ich habe dann folgende Konstruktionen in FTUI unwissend und blind probiert:


<div data-type="switch" data-device="DWD_Weblink_1" data-fhem-cmd="{fhem("get DWD_Weblink_Generator_1 horizontalForecast htmlcode", 1)}" class="cell" ></div>

<div data-type="switch" data-device="DWD_Weblink_1" data-fhem-cmd="{fhem("get DWD_Weblink_Generator_1 horizontalForecast, 1)}" class="cell" ></div>


Ok, ich suchte überall, wo data-fhem-cmd eigentlich gehen könnte. @Thorsten Pferdekaemper hat recht: Diese Option ist zum schalten gemacht, die gibt es nur bei Widgets, die was schalten. Ausgegeben wird da höchstens "initializied".

Die anderen Hinweise kann ich allein leider nicht umsetzen, dafür bin ich zu doof.

Nur mal so ein Gedanke:
Der Weblink wird ja erzeugt. Was wäre denn, wenn das Erzeuge-Script gleich noch einen Screenshot des Ganzen macht? Also noch ein statisches JPG oder PNG erzeugt?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 11 Januar 2019, 09:41:08
Zitat von: curt am 11 Januar 2019, 01:30:08
Tja, geht nicht.
Schon in FHEM selbst gehen keine zwei Weblinks von Jens (Aber auch in getrennten FHEM-Räumen geht nicht. Nein, habe Deine Tipps noch nicht probiert.)
Das ist relativ klar, wenn man sich mal das ganze scharf anschaut. Das kann nicht wirklich funktionieren.

Zitat
Ok, ich suchte überall, wo data-fhem-cmd eigentlich gehen könnte. @Thorsten Pferdekaemper hat recht: Diese Option ist zum schalten gemacht, die gibt es nur bei Widgets, die was schalten. Ausgegeben wird da höchstens "initializied".
Sowas zu versuchen ist Zeitverschwendung. Das ist in etwa so, wie wenn man einen Propeller auf den Rücksitz seines Autos legt und dann glaubt, dass es fliegen kann. Das Auto kann damit aber einfach gar nichts anfangen.

Zitat
Nur mal so ein Gedanke:
Der Weblink wird ja erzeugt. Was wäre denn, wenn das Erzeuge-Script gleich noch einen Screenshot des Ganzen macht? Also noch ein statisches JPG oder PNG erzeugt?
Das ist wahrscheinlich komplizierter als einfach ein neues Widget zu bauen...
Ich versuch' mal was.
Gruß,
   Thorsten

Titel: Antw:Modul für DWD Open Data
Beitrag von: Helmi55 am 11 Januar 2019, 09:48:13
Hallo somansch
würdest du das mal posten. Gefällt mir.
Gruß
Helmut
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 11 Januar 2019, 10:16:33
Hi,
ich habe mal ganz schnell was gebastelt, vorwiegend copy&paste, also das ganze ist noch nicht wirklich sauber, aber bei mir funktioniert's zumindest.
Das ganze ist auf Basis von DWD_OpenData_Weblink, braucht aber kein weblink Device.
"Installation" geht so: Die hier dranhängende js-Datei in den Folder <fhem>/www/tablet/js packen und die css-datei nach <fhem>/www/tablet/css.
Dann sollte das hier in FTUI gehen:

<div data-type="dwdweblink" data-device="dwdodwl"></div>

Dabei ist "dwdodwl" ein DWD_OpenData_Weblink-Device.
Zumindest müsste das erstmal was anzeigen. Ich glaube aber, dass das auto-refresh nicht funktioniert. Ich habe jetzt keine Zeit mehr, das auszuprobieren. ...aber das ist im Prinzip nicht ganz so schwierig und müsste auch noch hinzubekommen sein.

Gruß,
    Thorsten


Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 11 Januar 2019, 10:32:19
Zitat von: somansch am 10 Januar 2019, 23:50:04
Ich habe die Daten bereits nativ in FTUI umgesetzt. Lediglich die Darstellung des Wetter-Icons für die Nacht funktioniert nicht. Dies müsste im "weather_widget" realisiert werden. Leider gibt es hierfür keinen Developer mehr. Ich selbst bin leider auch nicht mächtig  ;)

Sowas müsste sich doch auch über eine ReadingGroup darstellen lassen. Kannst du vielleicht deinen FTUI Code zur Verfügung stellen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 11 Januar 2019, 19:27:58
Zitat von: mumpitzstuff am 11 Januar 2019, 10:32:19
Sowas müsste sich doch auch über eine ReadingGroup darstellen lassen. Kannst du vielleicht deinen FTUI Code zur Verfügung stellen?

Hier der Code.
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 11 Januar 2019, 19:32:21
Die DWD Warnungen habe ich auch in FTUI umgesetzt. Anbei der Code.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 Januar 2019, 03:42:37
Zitat von: Thorsten Pferdekaemper am 11 Januar 2019, 10:16:33
Dann sollte das hier in FTUI gehen:

<div data-type="dwdweblink" data-device="dwdodwl"></div>

Dabei ist "dwdodwl" ein DWD_OpenData_Weblink-Device.

Hinweis: Weblink-Generator-Device.

Zitat von: Thorsten Pferdekaemper am 11 Januar 2019, 10:16:33
Zumindest müsste das erstmal was anzeigen.

Bei mir sieht es wie in der Anlage aus. Ansich wäre es schön, wenn es so aussehen würde wie in FHEM (und da hat Jens ja noch fallweise so ein Warn-Icon mit drin) (zweiter Screenshot). Und wenn es in der Größe skalierbar wäre ... jaja, ich weiß. ;)

P.S: @somansch
Deine Warnungen gefallen mir. Morgen ... - Danke.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Helmi55 am 12 Januar 2019, 09:54:54
danke an somansch
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 12 Januar 2019, 10:07:03
Zitat von: curt am 12 Januar 2019, 03:42:37
Hinweis: Weblink-Generator-Device.
Ich bevorzuge "technische" Namen, die sind eindeutig. Deshalb habe ich absichtlich "DWD_OpenData_Weblink" geschrieben.

Zitat
Bei mir sieht es wie in der Anlage aus. Ansich wäre es schön, wenn es so aussehen würde wie in FHEM (und da hat Jens ja noch fallweise so ein Warn-Icon mit drin) (zweiter Screenshot).
So wie das aussieht fehlt die css-Datei. Hast Du die aus meinem Beitrag ins richtige Verzeichnis gepackt? Falls ja und es trotzdem nicht geht, dann findet das System die Datei anscheinend nicht. Hast Du irgendwelche speziellen Pfade oder so?

Zitat
Und wenn es in der Größe skalierbar wäre ... jaja, ich weiß. ;)
Das funktioniert bei mir auch im Prinzip. Das Widget nimmt eigentlich die Größe des Eltern-Elements an. ...aber erstmal müssen wir das mit der css-Datei hinbekommen.

Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 13 Januar 2019, 06:04:11
Zitat von: Thorsten Pferdekaemper am 12 Januar 2019, 10:07:03
So wie das aussieht fehlt die css-Datei.

So sah es aus. Nun ist alles schick, auch die Skalierbarbeit.

Wenn ich meinen goldenen Papporden "freundlicher Helfer des Tages" verleihen dürfte - Du würdest ihn heute bekommen - danke!

@jensb
Bei "meinem" Weblink wird mir Regenmenge/Wahrscheinlichkeit nicht angezeigt. Es ist egal ob ich forcast auf 1 oder höher stelle. Ist das irgend ein Seiteneffekt, vielleicht wegen "1h"?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 Januar 2019, 11:27:57
Zitat von: curt am 13 Januar 2019, 06:04:11
Bei "meinem" Weblink wird mir Regenmenge/Wahrscheinlichkeit nicht angezeigt. Es ist egal ob ich forcast auf 1 oder höher stelle. Ist das irgend ein Seiteneffekt, vielleicht wegen "1h"?
Ja, aktuell kann der Weblink bei 1h-Auflösung die Regenmenge/-wahrscheinlichkeit nicht ermitteln, da hierfür andere Werte herangezogen werden müssen als bei 3h- und 6h-Auflösung. Werde mir das noch vornehmen. Bis dahin empfehle ich die 3h-Auflösung zu verwenden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 13 Januar 2019, 16:38:47
Zitat von: curt am 13 Januar 2019, 06:04:11Wenn ich meinen goldenen Papporden "freundlicher Helfer des Tages" verleihen dürfte - Du würdest ihn heute bekommen - danke!
Danke für die Rückmeldung!
Geht eigentlich auch das auto-refresh? ...oder muss man die Seite neu laden, um updates zu bekommen?
Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 13 Januar 2019, 23:00:53
@Thorsten Pferdekaemper @setstate
Zitat von: Thorsten Pferdekaemper am 13 Januar 2019, 16:38:47
Geht eigentlich auch das auto-refresh? ...oder muss man die Seite neu laden, um updates zu bekommen?

Vermutlich. Aber genau kann ich das nicht sagen, da ich ja fehlendes auto-refresh (usw!) mit der Brechstange aufbreche: nocache, Server-Header nocache, zurück auf index.html und vor allem

<meta http-equiv="refresh" content="3600; URL=/fhem/www/tablet/index.html">


Aber mal was anderes:
Wie machen wir das tolle Widget denn publik? Hier auf Seite 539 versauert das doch, das kriegt doch niemand mit. Eigentlich gehört es ins Wiki, sowas verspreche ich auch ab und an. Andererseits habe ich das mal gemacht, da kam so ein Gralshüter der nicht geschriebenen Wiki-Widget-Regeln und haute mir ein Auge blau.

Gleiches gilt übrigens für den Widget-Vorschlag "uwz_andi" von somansch.

Für den automatischen Update-Prozess ist es vielleicht noch nicht geeignet. @jensb sagt ja immer, dass sich in seinen DWD-Modulen schnell was ändern kann, da der DWD als Datenquelle ständig ändert. (Den DWD-Jungs müsste man in der Sache auch mal eine kritische Mail schreiben.)
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 13 Januar 2019, 23:16:06
Zitat von: somansch am 11 Januar 2019, 19:32:21
Die DWD Warnungen habe ich auch in FTUI umgesetzt. Anbei der Code.

Ich habe das mal für mich umgesetzt. Darf ich eine Bitte, einen Vorschlag äußern?

Schaue Dir bitte zuerst den Screenshot an. Die beiden Grafiken sind uninteressant - das soll so. Ich habe ein Problem mit dem Text, rechts. Meine Idealvorstellung ist: (min) drei Textgruppen (einzelne Events) lesbar als Anzeige.

Wenn ich mir das anschaue, dann fällt mir auf: Du nimmst Headline, Gültigkeit, Langtext. Erstens wäre es schön, wenn ich der dritten Ausgabe (hier: Langtext) einzeln eine Schriftgröße zuweisen könnte. Zweitens gefällt mir der Abstand zwischen den drei Teilelementen nicht, für mich ist das zu groß.

Ich persönlich würde den Langtext auch gar nicht ... nein, ich muss das anders erklären. Am Beispiel:

Wir haben alternativ

a_0_description
Es treten Sturmböen mit Geschwindigkeiten zwischen 60 km/h (17m/s, 33kn, Bft 7) und 75 km/h (21m/s, 41kn, Bft 9) anfangs aus westlicher, später aus nordwestlicher Richtung auf.

a_0_eventDesc
STURMBÖEN

a_0_headline
Amtliche WARNUNG vor STURMBÖEN

2019-01-13 22:45:19
a_0_instruction
ACHTUNG! Hinweis auf mögliche Gefahren: Es können zum Beispiel einzelne Äste herabstürzen. Achten Sie besonders auf herabfallende Gegenstände.


Erstens sieht man, dass auch ich dieses bescheuerte Umlautproblem bei refresh nicht los wurde ... aber darum soll es nicht gehen.

Ich glaube, dass man auf alle Fälle a_*_expires braucht.

Und dann a_*_headline. - Oder alternativ selbst vermittels "data-irgend_ein_tag=bla" sich ein (oder) zwei Readings auswählt - will sagen: Auswählt über die html-Seite.

Würde etwas in diese Richtung gehen? Könntest Du das bitte machen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 13 Januar 2019, 23:26:33
Hallo Curt,

mit dem "uwz_Andi" habe ich lediglich das bestehende UWZ-Widget angepasst. Müsste also jetzt eigentlich "DWD_Andi" heißen  ;). Du kannst innerhalb dieses Widgets natürlich noch nach deinen Bedürfnissen das Format anpassen, ist html ab Zeile 144....

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 13 Januar 2019, 23:34:57
Zitat von: somansch am 13 Januar 2019, 23:26:33
Du kannst innerhalb dieses Widgets natürlich noch nach deinen Bedürfnissen das Format anpassen, ist html ab Zeile 144....

<umguck> Wer jetzt - icke?

Ach komm Andreas, Du bist da gut im Film, mach Du das doch bitte-bitte. Du darfst das dann ja auch DWD_warn[_andi] nennen ... ;)
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 15 Januar 2019, 12:32:42
Zitat von: curt am 13 Januar 2019, 23:00:53
Wie machen wir das tolle Widget denn publik? Hier auf Seite 539 versauert das doch, das kriegt doch niemand mit.
Ich liefere das jetzt als FUIP-View aus. Siehe auch hier:
https://forum.fhem.de/index.php/topic,95910.0.html
Man kann sich dann die beiden Dateien auch in die entsprechenden FTUI-Verzeichnisse kopieren, dann geht's auch ohne FUIP.
Mehr "Werbung" mache ich dafür nicht. Wenn das jemand in eine andere Auslieferungsschiene packen will, dann habe ich nichts dagegen.
Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 Januar 2019, 23:40:51
2019.01.17 23:39:12 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2019.01.17 23:39:12 3: eval: { DWD_OpenData_Weblink::AsHtmlH("WETTER_DWD_GENERATOR") }
2019.01.17 23:39:12 1: stacktrace:
2019.01.17 23:39:12 1:     main::__ANON__                      called by ./FHEM/99_Utils.pm (21)
2019.01.17 23:39:12 1:     main::time_str2num                  called by ./FHEM/99_DWD_OpenData_Weblink.pm (756)
2019.01.17 23:39:12 1:     DWD_OpenData_Weblink::PrepareForecastData called by ./FHEM/99_DWD_OpenData_Weblink.pm (1151)
2019.01.17 23:39:12 1:     DWD_OpenData_Weblink::GetForecastHtmlH called by ./FHEM/99_DWD_OpenData_Weblink.pm (1285)
2019.01.17 23:39:12 1:     DWD_OpenData_Weblink::AsHtmlH       called by (eval 44041) (1)
2019.01.17 23:39:12 1:     (eval)                              called by fhem.pl (1117)
2019.01.17 23:39:12 1:     main::AnalyzePerlCommand            called by ./FHEM/98_weblink.pm (99)
2019.01.17 23:39:12 1:     main::weblink_FwFn                  called by ./FHEM/01_FHEMWEB.pm (1948)
2019.01.17 23:39:12 1:     main::FW_showRoom                   called by ./FHEM/01_FHEMWEB.pm (1097)
2019.01.17 23:39:12 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (548)
2019.01.17 23:39:12 1:     main::FW_Read                       called by fhem.pl (3610)
2019.01.17 23:39:12 1:     main::CallFn                        called by fhem.pl (727)


Hat jemand auf die Schnelle eine Idee woran das liegen könnte?
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 Januar 2019, 23:44:46
Zitat von: jensb am 29 Dezember 2018, 19:41:22
@mumpitzstuff
Werde mich um die Vorabversion in der Wiki kümmern. Bitte nochmal Klarstellung, wofür das FileLog benötigt wird. Ich habe deinen Vorschlag für forecastResolution=3 übernommen, aber das FileLog weggelassen. Das funktioniert bei mir prima.

Grüße,
Jens

Wo findet man die Version?
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 19 Januar 2019, 04:22:49
Zitat von: Thorsten Pferdekaemper am 15 Januar 2019, 12:32:42
Ich liefere das jetzt als FUIP-View aus.
...
Mehr "Werbung" mache ich dafür nicht. Wenn das jemand in eine andere Auslieferungsschiene packen will, dann habe ich nichts dagegen.

Eher OT:
Ich finde schon, dass sehr gute Sachen beworben gehören. Zudem finde ich Wiki viel besser als Forum - bei letzterem wühlt man sich durch zig Beiträge, um dann notfalls doch nur festzustellen, dass man es nicht hin kriegt. Summa: Ich halte Wiki für nachhaltiger.

Ich kann und will da aber nichts versprechen: Parallel geht es in https://forum.fhem.de/index.php/topic,90014.75.html um ein ganz ähnliches Problem: Kollege @bismosa hat eine geniale Umsetzung für "Blitzer im Umkreis". Ich finde, dass man diese geniale Umsetzung besser dokumentieren muss. Ich habe damit auch angefangen - aber es ist schon so, dass der Ton sofort rau wird, wenn man auch nur indirekt sagt "das ist so genial, das müssen wir doch besser darstellen". Meine masochistische Ader ist wenig ausgeprägt.

Aber mal was ganz anderes, was ganz praktisches:
Ich habe in den beiden vorletzten Zeilen oft "blauer Adler auf dunkelgrauem Hintergrund" - wie löst Du das?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 19 Januar 2019, 14:13:42
Zitat von: curt am 19 Januar 2019, 04:22:49
Eher OT:
Ich finde schon, dass sehr gute Sachen beworben gehören. Zudem finde ich Wiki viel besser als Forum - bei letzterem wühlt man sich durch zig Beiträge, um dann notfalls doch nur festzustellen, dass man es nicht hin kriegt. Summa: Ich halte Wiki für nachhaltiger.
Ich stimme Dir da voll zu. Ich habe nur keine Lust und wenig Zeit, das auch noch zu machen.

Zitat
Aber mal was ganz anderes, was ganz praktisches:
Ich habe in den beiden vorletzten Zeilen oft "blauer Adler auf dunkelgrauem Hintergrund" - wie löst Du das?
Ich weiß nicht wirklich was Du meinst. Womöglich ein Problem mit dem Kontrast? Vielleicht zeigst Du das mal mit einem Screenshot?

Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 20 Januar 2019, 04:27:54
Verstehe ich völlig. Wenn es mich überkommt, schreibe ich den Wiki-Beitrag. Ich gebe Dir dann einen Hinweis. - Gestern schrieb ich den hier, ist fast fertig: https://wiki.fhem.de/wiki/Stra%C3%9Fenverkehr_Blitzer#Code_mit_Erl.C3.A4uterungen

Blauer Adler auf grauem Grund - ja, Kontrastproblem. Schaue mal bitte:
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 20 Januar 2019, 08:49:19
Zitat von: curt am 20 Januar 2019, 04:27:54Blauer Adler auf grauem Grund - ja, Kontrastproblem. Schaue mal bitte:
Hast Du mal versucht, beim DWD-Weblink-Device das Attribut theme auf "dark" zu stellen?
Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: eddie1104 am 20 Januar 2019, 12:57:41
Irgendwie stehe ich auf dem Schlauch. Ich habe das mal für mich testes halber eingerichtet aber der Weblink geht nicht. Ich habe folgende Definitionen:

Internals:
   FUUID      5c445eff-f33f-c6a4-5cb3-1a37ca50707796db
   IODev      DWD
   NAME       DWD_Weblink_Generator
   NR         610
   STATE      initialized
   TYPE       DWD_OpenData_Weblink
   READINGS:
     2019-01-20 12:43:59   state           initialized
Attributes:
   IODev      DWD
   forecastDays 4


und

Internals:
   DEF        htmlCode { DWD_OpenData_Weblink::AsHtmlV("DWD_Weblink_Generator") }
   FUUID      5c445eff-f33f-c6a4-1d52-1c4a08a8ab07f528
   LINK       { DWD_OpenData_Weblink::AsHtmlV("DWD_Weblink_Generator") }
   NAME       DWD_Weblink
   NR         614
   STATE      initialized
   TYPE       weblink
   WLTYPE     htmlCode
Attributes:
   room       test


Aber wenn ich den Link jetzt aufrufe dann erhalte ich die Fehlermeldung

ZitatUndefined subroutine &DWD_OpenData_Weblink::AsHtmlV called at (eval 2812) line 1.

Muss ich das Modul 99_DWD_OpenData_Weblink.pm noch irgendwo bekannt machen? Ich finde dazu nichts im Wiki
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 20 Januar 2019, 13:10:28
Hi,
gibt es denn AsHtmlV? Meines Wissens nach nur AsHtmlH.
Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: eddie1104 am 20 Januar 2019, 13:48:56
Ah OK Thorsten, horizontal geht es. Danke.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 20 Januar 2019, 21:10:09
Zitat von: Thorsten Pferdekaemper am 20 Januar 2019, 08:49:19
Hast Du mal versucht, beim DWD-Weblink-Device das Attribut theme auf "dark" zu stellen?

Oh - das kannte ich gar nicht. Danke!
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 21 Januar 2019, 18:35:20
Ich habe ein ganz lustiges neues Problem in der Konstellation "Widget": Die Darstellung läuft aus dem grafischen Bereich nach rechts heraus. Schuldiger ist entweder ein langer nicht umgebrochener Text oder eine konkrete Grafik - ich weiß es nicht. Dabei tritt bei genau gleichem Code der Fehler in Abhängigkeit der Verlinkung auf.

Ich stelle den Weblink für einen Tag (forecast=1) in 2x2 Kacheln a 100x100px dar. Bei reiner Darstellung ergibt sich kein Problem. Wenn aber das Ganze Teil des Widgets "link" ist, geht es bei genau gleichem Code schief.

In der eigentlichen FHEM-Darstellung (da ohne Verlinkung) wird (bei mir) die Darstellung auch breit - aber da kann es egal sein.


<li data-row="2" data-col="3" data-sizex="2" data-sizey="2">
<div data-type="link"
      data-parent="index"
      data-url="#Garten_DWD.html"
      data-load="#Garten_DWD"
      data-color="white"
      >
  <div data-type="dwdweblink"
       data-device="DWD_Weblink_Generator_1"
       class="top-space-2"
       >
  </div>
</div>
</li>

Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 21 Januar 2019, 21:00:06
Zitat von: curt am 21 Januar 2019, 18:35:20
Ich habe ein ganz lustiges neues Problem in der Konstellation "Widget": Die Darstellung läuft aus dem grafischen Bereich nach rechts heraus. Schuldiger ist entweder ein langer nicht umgebrochener Text oder eine konkrete Grafik - ich weiß es nicht. Dabei tritt bei genau gleichem Code der Fehler in Abhängigkeit der Verlinkung auf.
Ich vermute mal, dass das link-Widget sich der Größe des Inhalts (also des dwdweblink-Widgets) anzupassen. Das dwdweblink-Widget versucht, sich der Größe des Elternelements anzupassen (also des link-Widgets). Irgendwo muss der Browser dann halt mal anfangen. Falls meine Vermutung stimmt, dann müsste man mit einer festen Größenangabe an einem der Widgets (mittels style-Attribut) das Problem lösen können. Vielleicht klappt sogar style="width:auto" beim link-Widget.
Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 21 Januar 2019, 21:39:43
Zitat von: Thorsten Pferdekaemper am 21 Januar 2019, 21:00:06
Ich vermute mal, dass das link-Widget sich der Größe des Inhalts (also des dwdweblink-Widgets) anzupassen. Das dwdweblink-Widget versucht, sich der Größe des Elternelements anzupassen (also des link-Widgets).

Ok, klingt logisch.

Zitat von: Thorsten Pferdekaemper am 21 Januar 2019, 21:00:06
Falls meine Vermutung stimmt, dann müsste man mit einer festen Größenangabe an einem der Widgets (mittels style-Attribut) das Problem lösen können. Vielleicht klappt sogar style="width:auto" beim link-Widget.

Tut weder bei Link noch bei dwdweblink. Weder Dein Vorschlag noch style="width:100px".
Titel: Antw:Modul für DWD Open Data
Beitrag von: Thorsten Pferdekaemper am 21 Januar 2019, 22:15:06
Hi,
ok, ich hab's doch mal näher betrachtet. Das link-Widget baut (hart-codiert) ein "white-space:nowrap" ein. Dadurch werden Texte nicht mehr umgebrochen und damit ist die Mindestgröße des Inhalts etwas größer.
Abhilfe schafft
      style="white-space:normal"
...also:


<li data-row="2" data-col="3" data-sizex="2" data-sizey="2">
<div data-type="link"
      data-parent="index"
      data-url="#Garten_DWD.html"
      data-load="#Garten_DWD"
      data-color="white"
      >
  <div data-type="dwdweblink"
       data-device="DWD_Weblink_Generator_1"
       class="top-space-2"
       style="white-space:normal"
       >
  </div>
</div>
</li>


Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 21 Januar 2019, 22:19:29
Und da soll ich nun drauf kommen. Ich danke Dir sehr herzlich!
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 03 Februar 2019, 14:27:06
Ich hab gerade überlegt mit den Alerts das UWZ Modul zu ersetzen. Mir fehlt für mein FTUI aber ein jeweils spezielles Warnicon. Es gibt zwar in den Listen beim DWD für event und eventDesc Beschreibungen, die passen aber nicht direkt zu denn Icons die auf den DWD Seiten zu sehen sind.

Vorgestellt hab ich mir das in FTUI dann ungefähr so:

<div class="display">
<div data-type="image" data-url="https://www.dwd.de/DWD/warnungen/warnapp_gemeinden/viewer/img/warndreieck/gelb.png" data-size="90%" class="autohide bg-white"></div>
<div data-type="image" data-url="https://www.dwd.de/DWD/warnungen/warnapp_gemeinden/viewer/img/warndreieck/warn_icons_frost.png" class="ontop bigger autohide" style="left: 10px; top: 2px"></div>
</div>


Bei Frost würde das aus eventDesc gerade noch passen, sonst aber meist nicht. Falls es da keine Beschreibung gibt würde ich das sonst mal durchprobieren.
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 03 Februar 2019, 16:42:39
Noch eine andere Frage, ich habe folgende Attribute gesetzt:


attr DWD_Wetter event-on-change-reading a_count
attr DWD_Wetter event-on-update-reading state,fc_state,a_state


Im Moment habe ich einen alert, trotzdem wird alle 15 Minuten ein event für a_count ausgelöst, obwohl a_count auf 1 bleibt. Sollte das nicht nur passieren wenn sich a_count ändert?
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 05 Februar 2019, 00:01:18
Beitrag geändert:
Zu schnell gelesen und Quatsch geantwortet.

(Ich will etwas ähnliches auch machen.)
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 05 Februar 2019, 00:30:55
Ich habe eine neue Version des "Weather_Widgets" zur Darstellung der Icons in FTUI zum Testen bereitgestellt. Diese Version unterstützt DarkSky, OpenWeather, ProPlanta und DWD https://forum.fhem.de/index.php/topic,96954.0.html

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 05 Februar 2019, 01:08:15
@sinus61
Ich habe ein sehr ähnliches Problem. Aber auf vermutlich anderer Ebene. Vielleicht hilft Dir mein Denkansatz. (Dann bitte öffentlich Beispiel zeigen.)

Meine FTUI-Übersichtsseite ist ein Taktik-Bildschirm. Da möchte ich in einer Kachel (nur) ein Warndreieck. Das Warndreieck soll angezeigt werden, wenn DWD-Wetterwarnungen vorliegen. Die Kachel soll leer bleiben, wenn nix los ist.

Mein Denkansatz geht über das Widget Image, da gibt es die schöne Option "data-hide" (und data-hide-on, data-hide-off). Laut Beschreibung: "Reading, nach dessen Wert entschieden wird, ob das Bild angezeigt wird, oder nicht."

Mein stümperhafter Versuch funktioniert natürlich nicht:


  <div data-type="image"
       data-url="../images/eigene/gefahrenstelle.png"
       data-hide="a_0_eventDesc"
       data-width="60px"
       class="nocache">
  </div>


Vielleicht kommst Du damit weiter.
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 05 Februar 2019, 18:51:59
@curt:
So ähnlich wollte ich es auch haben, aber mit einem zur Warnung passenden Icon, wie auf der DWD Webseite. Das UWZ Modul z.b. liefert da gleich das passende Reading für das Image Widget.

Ich denke aber mit einem notify oder einer kleinen Routine lässt sich das Reading erzeugen, das Ausblenden wenn keine Warnung da ist sollte dann in Ftui über autohide einfach gehen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 06 Februar 2019, 17:48:42
Zitat von: sinus61 am 05 Februar 2019, 18:51:59
Ich denke aber mit einem notify oder einer kleinen Routine lässt sich das Reading erzeugen, das Ausblenden wenn keine Warnung da ist sollte dann in Ftui über autohide einfach gehen.

Das kann ich leider nicht, da bin ich immer auf Hilfe angewiesen.

Möglicherweise funktioniert es so:


  <div>Warnung</div>
  <div data-type="image"
       data-url="../images/eigene/gefahrenstelle.png"
       data-hide="a_count"
       data-hide-off="0"
       data-width="60px"
       class="nocache top-space">
  </div>


Das kann ich im Moment schlecht testen, da ständig Frostwarnungen vorliegen. Ich weiß zudem nicht genau, ob a_count auch dann vorliegt, wenn keine Warnungen vorliegen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 06 Februar 2019, 18:07:24
Ja, a_count gibt es immer, ist dann 0 wenn keine Warnungen da sind.


data-hide-on="0"


Verstecken an, wenn 0
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 07 Februar 2019, 18:24:07
So, mal als Idee zu den alerts:

notify

DWD_Wetter.a_count:.[0-9] {
use experimental 'smartmatch';
my $url = "https://www.dwd.de/DWD/warnungen/warnapp_gemeinden/viewer/img/warndreieck/";
my $event0 = ReadingsVal( "DWD_Wetter", "a_0_event", 0);
my $severity0 = ReadingsVal( "DWD_Wetter", "a_0_severity", 0);
if($EVTPART1 == 1) {
if($event0 ~~ [11,12,13,51,52,53,54,55,56,57,58]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_sturm.png");
}
elsif($event0 ~~ [22,81,82,83,84,85,86,87]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_frost.png");
}
elsif($event0 == 59) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_nebel.png");
}
elsif($event0 ~~ [61,62,63,64,65,66]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_regen.png");
}
elsif($event0 ~~ [70,71,72,73,74,75,76,77,78]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_schnee.png");
}
elsif($event0 ~~ [31,33,34,36,38,40,41,42,44,45,46,48,49,95,96]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_gewitter.png");
}
elsif($event0 ~~ [88,89]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_tauwetter.png");
}
elsif($event0 ~~ [24,83,84,85,86,87]) {
fhem ("setreading $NAME a_0_eventIconURL $url"."warn_icons_glatteis.png");
}
if($severity0 eq "Minor") {
fhem ("setreading $NAME a_0_severityIconURL $url"."gelb.png");
}
elsif($severity0 eq "Moderate") {
fhem ("setreading $NAME a_0_severityIconURL $url"."orange.png");
}
elsif($severity0 eq "Severe") {
fhem ("setreading $NAME a_0_severityIconURL $url"."rot.png");
}
elsif($severity0 eq "Extreme") {
fhem ("setreading $NAME a_0_severityIconURL $url"."dunkelrot.png");
}
}
}


erzeugt die Readings a_0_eventIconURL und a_0_severityIconURL

und in FTUI


<div class="display">
<div data-type="image" data-device="DWD_Wetter" data-get="a_0_eventIconURL" data-size="90%" class="autohide bg-white"></div>
<div data-type="image" data-device="DWD_Wetter" data-get="a_0_severityIconURL" class="ontop bigger autohide" style="left: 10px; top: 2px"></div>
</div>


zeigt ein zur Warnmeldung passendes Icon an.

Das könnte man natürlich jetzt noch auf alle alerts ausweiten, nicht nur auf den ersten. Außerdem läuft es wegen dem Smartmatch Vergleich erst ab Perl 5.10. Sinnvollerweise müsste man es bei weiterem Ausbau wohl in die 99_myUtils.pm verlagern.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 08 Februar 2019, 06:23:54
@sinus61
Ich bin heilfroh, dass ich endlich mein allgemeines Warndreieck abhängig davon, ob eine Warnung vorliegt, schalten kann. Und nun kommst Du mit tollen weitergehenden Ideen ...

Zitat von: sinus61 am 07 Februar 2019, 18:24:07
So, mal als Idee zu den alerts:
notify
[Code-Kasten]
erzeugt die Readings a_0_eventIconURL und a_0_severityIconURL

Nimm mich mal bitte an die Hand: Was mache ich denn mit dem Code des ersten Kastens? Einfach so ganz unten in die fhem.cfg reinkloppen? Oder wie genau?

Zitat von: sinus61 am 07 Februar 2019, 18:24:07
Das könnte man natürlich jetzt noch auf alle alerts ausweiten, nicht nur auf den ersten.

Rückfrage: Wie definierst Du "erste Warnung"? Bzw. wie ist das beim DWD definiert?
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 08 Februar 2019, 13:37:37
define DWD_Wetter_n notify DWD_Wetter.a_count:.[0-9] {}
und dann auf DEF gehen und in die Box denn Code einfügen. Der Devicename und bei Bedarf der Name des Notify muss natürlich angepasst werden.
Da bei jedem Update der Warnungen eh alle Readings gelöscht werden muss man sich auch keine Gedanken machen die Icon Readings zu löschen.

Die erste Warnung ist in diesem Fall technisch einfach a_0_.... Ich weiß nicht ob das Modul eine vorgegebene Reihenfolge vom DWD übernimmt oder anhand der onset Zeit eine Folge vorgibt. Ich werde wohl noch über a_count so einen Warn-Bubble mit der Anzahl dran machen und dann über popup alle Warnungen anzeigen.

Optisch bin ich nicht ganz zufrieden wegen dem Hintergrund, da der jetzt entweder transparent ist oder innerhalb und außerhalb des Rahmens eine Farbe über class="bg-white" annimmt. Da muss ich wohl noch eine lokale Bilddatei für den Hintergrund einfügen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 08 Februar 2019, 17:08:42
Danke für die Erklärung bzgl. des Code-Einbaus.

Zu meiner anderen Frage: Ich bin da nicht ganz so firm - kenne aber jemanden ;)
Der @Thorsten Pferdekaemper nimmt den Weblink auf DWD (DWD sowie Weblink von @somasch) - und stellt den via FUIP/FTUI dar. [¹] Ich habe begonnen, dazu einen Wiki-Artikel zu schreiben, noch ganz unfertig, aber mit Screenshot [²].

Zwei Warnungen pro Tag (bis Mittag / danach) - ich nehme an, im Code für Weblink(DWD) nachvollziehbar.

Nun ergibt sich ein methodisches Problem - zumindest denke ich mir das bei Deinem Ansatz: 1500 Uhr interessiert mich die Warnung für den Vormittag nicht mehr. Oder nehmen wir 2000 Uhr: Da kann noch der Abend interessieren - aber eben schon auch die Warnlage für den nächsten Vormittag.

Daher meine Frage.
[¹] https://forum.fhem.de/index.php/topic,95910.msg888521.html#msg888521
[²] https://wiki.fhem.de/wiki/FTUI_Widget_Dwdweblink
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 09 Februar 2019, 15:02:30
Wenn ich die Warnungen mit der Wettervorhersage verknüpfe kann man natürlich versuchen das an die Zeiträume anzupassen. Der DWD_Weblink scheint das ja irgendwie zu machen. In Deinem Wiki Beispiel könnte ja auch eine Warnung von 8-15 Uhr anliegen, wäre dann auf beiden Wolken das Warn-Icon obwohl die ja einen Bereich von 5-Tagesende abdecken? Ist wohl immer irgendwie ein Kompromiss.

Mir geht es im Moment darum erstmal nur unabhängig von der Wetterkarte ein größeres Warnicon zu bekommen, das dann halt die aktuell noch anstehende Warnung anzeigt, bei mehreren dann eben mit einem roten Bubble mit Zahl der mich drauf hinweist da sind noch mehr Warnungen. Man könnte natürlich auch die letzte reingekomme Warnung nehmen. Aber da muss ich erstmal beobachten wie das in der Realität überhaupt aussieht, meist hab ich eh nur eine Warnung.
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 09 Februar 2019, 19:47:31
Zitat von: jensb am 17 Dezember 2018, 22:33:16
Hallo Andreas,

deinen Vorschlag mit dem Filter für bestimmte Warnungen finde ich gut. Dazu den CAP Event Code zu verwenden ist auch eindeutig (siehe Abschnitt 3.1.1 (https://www.dwd.de/DE/leistungen/opendata/help/warnungen/cap_dwd_profile_de_pdf.pdf)), wobei der genaue Event-Text auch von den Eigenschaften Urgency und Certainty abhängt, sich aber immer auf das gleiche Wetter- bzw. Gesundheitsphänomen bezieht.

Ein Anwender müsste sich entweder gegen bestimmte bereits empfangene Warnungen entscheiden oder sich dieses Dokument ansehen, um die richtigen Event-Codes zur Verfügung zu haben.

Es ist ja bald Weihnachten. Wenn ich die Zeit finde, werde ich es einbauen.

Grüße,
Jens

Hallo Jens,

wollte mal nachfragen, ob du über Weihnachten daran gebastelt hast  ;D.

Danke und Gruß
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 09 Februar 2019, 20:02:15
Hallo Jens,

ich habe noch eine zweite (wichtigere) Baustelle. Wie du ja weißt, gibt es viel Interesse in der FTUI Gemeinde, die DWD Daten zu nutzen. Aus diesem Grund habe ich das dortige "Weather_Widget" überarbeitet: https://forum.fhem.de/index.php/topic,96954.0.html (https://forum.fhem.de/index.php/topic,96954.0.html)

Dieses Widget übersetzt den Wettercode in ein Wettersymbol (im Moment gibt es vier Symbolsätze zur Auswahl). Neben DWD wird auch Proplanta, DarkSky und OpenWeather unterstützt. Letztere Wettermodule liefern einen Wettercode in Abhängigkeit von Tag/Nacht. Leider gibt es diese Unterscheidung nicht beim DWD. Ich habe jedoch gesehen, dass du auch eine Unterscheidung im Weblink hast.

Könntest du bitte ein zusätzliches Reading für den Wettercode erzeugen?

Optimal wäre neben dem existierende "fcx_x_ww" ein zusätzliches Reading "fcx_x_ww_daytime". D.h. als Beispiel "fcx_x_ww" hat den Wert 63, "fcx_x_ww_daytime" bekommt entweder 63d (für Tag) oder 63n (für Nacht). Die Unterscheidung wird an Hand von "fcx_x_time" getroffen. Der Sonnenauf- und -untergang muss nicht noch extra berücksichtigt werden  ;).

Für Rückfragen, gern per PN.

Vielen Dank vorab
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Februar 2019, 20:13:15
Es geht zwar momentan mehr um die FTUI-Umsetzung, aber wer den Weblink mit FHEMWEB nutzt, sollte das Update auf GitHub ausprobieren. Folgendes ist neu:


Auch für das DWD_OpenData-Modul selbst gibt es auf GitHub schon seit letztem Jahr eine neue Version. Da habe ich wohl nicht deutlich genug darauf hingewiesen. Wenn ich ein paar Rückmeldungen bekäme, würde ich es über FHEM zur Verfügung stellen. Hier ist folgendes geändert:


Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Februar 2019, 20:49:59
Hallo Andreas,

Zitat von: somansch am 09 Februar 2019, 20:02:15
Die Unterscheidung wird an Hand von "fcx_x_time" getroffen. Der Sonnenauf- und -untergang muss nicht noch extra berücksichtigt werden  ;).

Mit welcher Logik soll das DWD_OpenData-Modul denn dann day bzw. night bilden? Der DWD_OpenData_Weblink verwendet SUNRISE_EL und ist damit nur für den Ort geeignet, der in FHEM global eingestellt ist. Der muss aber nicht unbedingt mit dem Ort übereinstimmen, für den das DWD_OpenData-Modul die Vorhersage holt. Das DWD_OpenData-Modul kann außerdem mehr als nur eine Station abfragen, auch wenn das vielleicht nicht jeder nutzt. Aus dem Stationscode kann man aber die Geokoordinaten nicht ermitteln und ohne Geokoordinaten und ggf. einer Offset-Korrektur des Horizonts pro Station kann man Tag und Nacht nicht aus der Uhrzeit bestimmen.

Es macht für mich momentan mehr Sinn, für den einfachen Fall "FHEM-Geokoordinaten = DWD_OpenData-Station" eines der vorhandenen Astro-Module zu nehmen und das gewünschte Reading per Notify zu bilden. Selbst wenn man die Geokoordinaten als Attribut oder Reading im DWD_OpenData-Modul hätte, wäre ein modulare Lösung nicht möglich, da sich meines Wissens nach weder SUNRISE_EL, Astro oder Twilight für variable Geokoordinaten nutzen lassen. Man müsste also eines dieser Module erweitern oder eine eigene Astro-Implementierung im DWD_OpenData-Modul unterbringen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 09 Februar 2019, 20:57:42
Zitat von: sinus61 am 09 Februar 2019, 15:02:30
Mir geht es im Moment darum erstmal nur unabhängig von der Wetterkarte ein größeres Warnicon zu bekommen, das dann halt die aktuell noch anstehende Warnung anzeigt

Ich habe das schon verstanden - und schaue ganz neugierig.

Zitat von: jensb am 09 Februar 2019, 20:13:15
Es geht zwar momentan mehr um die FTUI-Umsetzung, aber wer den Weblink mit FHEMWEB nutzt, sollte das Update auf GitHub ausprobieren.

Sagst Du bitte noch die URL?
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 09 Februar 2019, 23:22:12
Zitat von: curt am 09 Februar 2019, 20:57:42
Sagst Du bitte noch die URL?

Hallo Curt,

hier die URL auf GitHub: https://github.com/jnsbyr/fhem/blob/master/FHEM/55_DWD_OpenData.pm (https://github.com/jnsbyr/fhem/blob/master/FHEM/55_DWD_OpenData.pm)

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 09 Februar 2019, 23:28:57
Zitat von: jensb am 09 Februar 2019, 20:49:59
Hallo Andreas,

Mit welcher Logik soll das DWD_OpenData-Modul denn dann day bzw. night bilden? Der DWD_OpenData_Weblink verwendet SUNRISE_EL und ist damit nur für den Ort geeignet, der in FHEM global eingestellt ist. Der muss aber nicht unbedingt mit dem Ort übereinstimmen, für den das DWD_OpenData-Modul die Vorhersage holt. Das DWD_OpenData-Modul kann außerdem mehr als nur eine Station abfragen, auch wenn das vielleicht nicht jeder nutzt. Aus dem Stationscode kann man aber die Geokoordinaten nicht ermitteln und ohne Geokoordinaten und ggf. einer Offset-Korrektur des Horizonts pro Station kann man Tag und Nacht nicht aus der Uhrzeit bestimmen.

Es macht für mich momentan mehr Sinn, für den einfachen Fall "FHEM-Geokoordinaten = DWD_OpenData-Station" eines der vorhandenen Astro-Module zu nehmen und das gewünschte Reading per Notify zu bilden. Selbst wenn man die Geokoordinaten als Attribut oder Reading im DWD_OpenData-Modul hätte, wäre ein modulare Lösung nicht möglich, da sich meines Wissens nach weder SUNRISE_EL, Astro oder Twilight für variable Geokoordinaten nutzen lassen. Man müsste also eines dieser Module erweitern oder eine eigene Astro-Implementierung im DWD_OpenData-Modul unterbringen.

Grüße,
Jens

Hallo Jens,

die Logik für Tag/Nacht Unterscheidung per fcx_x_time zu bauen ist absolut ausreichend! Wenn ich es richtig sehe, gibt es im Moment folgende Uhrzeiten bzw. Werte:
01:00 -> n
04:00 -> n
07:00 -> d
10:00 -> d
13:00 -> d
16:00 -> d
19:00 -> n
22:00 -> n

Diese Zuordnung wäre prima  :)

PS: Werde in der Zwischenzeit die Excludes für Alerts testen.

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 10 Februar 2019, 08:24:03
Ich sehe das wie somansch. Man sollte den Tag halbieren, so wie angegeben.

Ich hätte nur eine Anmerkung/Frage dazu, wenn die Auflösung höher ist als 3 Stunden, man also mehr als 8 Werte pro Tag bekommt, dann müsste die zeitliche Unterscheidung auch höher auflösen, oder sehe ich das falsch?

Daher mein Gedanke Zeitbereich zu definieren, 0-7 Uhr = Nacht (n), 8-19 Uhr Tag (d), 20-23 Uhr Nacht.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 10 Februar 2019, 11:54:49
Zitat von: jensb am 09 Februar 2019, 20:49:59
und das gewünschte Reading per Notify zu bilden. Selbst wenn man die Geokoordinaten als Attribut oder Reading im DWD_OpenData-Modul hätte, wäre ein modulare Lösung nicht möglich, da sich meines Wissens nach weder SUNRISE_EL, Astro oder Twilight für variable Geokoordinaten nutzen lassen. Man müsste also eines dieser Module erweitern oder eine eigene Astro-Implementierung im DWD_OpenData-Modul unterbringen.

Keine Ahnung wie das Aufwand-Nutzen Verhältnis wäre, aber könnte man nicht den Namen eines Twilight Device als Attribut eintragen und das DWD_OpenData-Modul holt sich dann dort die Werte?

Geht aber sicher auch irgendwie mit einem Notify.
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 10 Februar 2019, 13:07:42
Um nochmal auf diese Frage zurückzukommen, kann es sein, dass hier immer ein Event kommt weil alle Readings gelöscht werden? Und könnte man nicht die a_ Readings die es immer gibt davon ausnehmen? Es macht es jetzt umständlich nur ein Notify anzusprechen wenn eine neue Warnung reinkommt.

Zitat von: sinus61 am 03 Februar 2019, 16:42:39
Noch eine andere Frage, ich habe folgende Attribute gesetzt:


attr DWD_Wetter event-on-change-reading a_count
attr DWD_Wetter event-on-update-reading state,fc_state,a_state


Im Moment habe ich einen alert, trotzdem wird alle 15 Minuten ein event für a_count ausgelöst, obwohl a_count auf 1 bleibt. Sollte das nicht nur passieren wenn sich a_count ändert?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Februar 2019, 19:56:22
@sinus61
Wie du bereits fest gestellt hast, werden momentan bei jedem Update alle a_* Readings gelöscht und dann neu aufgebaut. Ich werde das in der nächsten Version so ändern, wie du es vorgeschlagen hast, so dass a_state, a_count und a_time nicht mehr gelöscht werden.

Ein selektives Löschen der indizierten Wetterwarnung-Readings ist leider nicht möglich, da die Wetterwarnungen bei jedem DWD-Update eine andere Reihenfolge haben können. Der DWD löst dieses Problem, indem jede Wetterwarnung eine einmalige ID hat. Das lässt sich aber nicht gut auf feste Namen wie die der FHEM-Readings abbilden. Wenn man statt des jetzigen Index die DWD-ID in den Reading-Namen steckt, kann man nicht mehr mit einer Schleife über a_count die einzelnen Readings finden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Februar 2019, 20:28:25
Zitat von: somansch am 09 Februar 2019, 23:28:57
die Logik für Tag/Nacht Unterscheidung per fcx_x_time zu bauen ist absolut ausreichend!

Das reicht mir aber nicht. Wir wollen aus dieser Info eine visuelle Darstellung generieren, die uns einen Eindruck vermitteln, was draußen los ist, ohne dass wir selbst draußen nachsehen müssen. Bei Tag/Nacht nutzt auch jede Wetter-App auf einem Smartphone die Geokoordinaten und die Astro-Regeln, um die Umschaltung durchzuführen. Man muss hier nicht schlechter werden als nötig.

Bei Interesse würde ich mir den Code der anderen Astro-Module ansehen. Wenn ich die passenden Infos finde, werde ich eine Erweiterung des DWD-Moduls um die Astro-Readings Sonnen-Azimut und Sonnen-Elevation für jeden Vorhersage-Eintrag zusätzlich anlegen, wenn man das Attribut forecastStationCoordinates setzt. So könnte man sich in Abhängigkeit vom Elevation-Reading und dem jetzigen ww-Reading ein neues ww_dn-Reading bei Bedarf selbst bilden und dabei sogar die gewünschte Horizontlage selbst bestimmen. Ein Beispiel für das dazu nötige notify in der Wiki dürfte das für jeden handhabbar machen.

Ein Reading aus WW-Code und einem Buchstaben im DWD_OpenData-Modul zu erzeugen halte ich aber nach wie vor nicht für richtig. Es ist Aufgabe einer Middleware wie dem DWD_OpenData_Weblink-Generator die Rohdaten so aufzubereiten, wie sie für die Anzeige benötigt werden, statt in einem Daten-Modul zusammengesetzte Datenvarianten für die direkte Darstellung in einem speziellen Frontend zu integrieren - auch wenn das praktisch ist, weil es die Middleware überflüssig macht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Februar 2019, 21:09:05
@sinus61
Die neue Version des DWD_OpenData-Moduls mit selektivem Löschen der Wetterwarnungs-Readings ist nun zum Testen auf GitHub verfügbar.

Es ist übrigens keine gute Idee eine Auswertung nur auf Änderung von a_count zu machen. Für den Fall, dass eine "harmlose" Wetterwarnung mit dem nächsten DWD-Update durch eine Katastrophen-Warnung abgelöst wird, bleibt a_count bei 1, aber du würdest die Katastropen-Warnung trotzdem nicht anzeigen, sondern nach wie vor die harmlosen Wetterwarnung.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 10 Februar 2019, 23:59:10
Zitat von: jensb am 10 Februar 2019, 20:28:25
Das reicht mir aber nicht. Wir wollen aus dieser Info eine visuelle Darstellung generieren, die uns einen Eindruck vermitteln, was draußen los ist, ohne dass wir selbst draußen nachsehen müssen. Bei Tag/Nacht nutzt auch jede Wetter-App auf einem Smartphone

Als jemand, der hier eher Nutznießer des Ganzen ist, würde ich ganz locker sagen: Mein Tag hat vier Teile: Vor dem Aufstehen ist "noch Nacht", dann ist Vormittag. Ab vielleicht 1300 ist Nachmittag. Nach dem Abendbrot ist dann "wieder Nacht" - macht vier Tagesteile.

Zitat von: jensb am 10 Februar 2019, 21:09:05
Es ist übrigens keine gute Idee eine Auswertung nur auf Änderung von a_count zu machen. Für den Fall, dass eine "harmlose" Wetterwarnung mit dem nächsten DWD-Update durch eine Katastrophen-Warnung abgelöst wird, bleibt a_count bei 1, aber

Orrrr nöh.


<div data-type="link"
      data-parent="index"
      data-url="#Garten_DWD_warn.html"
      data-load="#Garten_DWD_warn"
      data-color="white"
      >
  <div>Warnung</div>
  <div data-type="image"
       data-device="DWD"
       data-url="../images/eigene/gefahrenstelle.png"
       data-hide="a_count"
       data-hide-on="0"
       data-width="60px"
       class="nocache top-space">
  </div>
</div>


funktioniert doch so prima. Was würdest Du alternativ vorschlagen? (Der Vorschlag von @sinus61 funktioniert bei mir nicht. Ich habe mir das aber noch nicht genauer angesehen.)
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 11 Februar 2019, 22:58:41
Zitat von: jensb am 10 Februar 2019, 20:28:25
Das reicht mir aber nicht. Wir wollen aus dieser Info eine visuelle Darstellung generieren, die uns einen Eindruck vermitteln, was draußen los ist, ohne dass wir selbst draußen nachsehen müssen. Bei Tag/Nacht nutzt auch jede Wetter-App auf einem Smartphone die Geokoordinaten und die Astro-Regeln, um die Umschaltung durchzuführen. Man muss hier nicht schlechter werden als nötig.

Bei Interesse würde ich mir den Code der anderen Astro-Module ansehen. Wenn ich die passenden Infos finde, werde ich eine Erweiterung des DWD-Moduls um die Astro-Readings Sonnen-Azimut und Sonnen-Elevation für jeden Vorhersage-Eintrag zusätzlich anlegen, wenn man das Attribut forecastStationCoordinates setzt. So könnte man sich in Abhängigkeit vom Elevation-Reading und dem jetzigen ww-Reading ein neues ww_dn-Reading bei Bedarf selbst bilden und dabei sogar die gewünschte Horizontlage selbst bestimmen. Ein Beispiel für das dazu nötige notify in der Wiki dürfte das für jeden handhabbar machen.

Ein Reading aus WW-Code und einem Buchstaben im DWD_OpenData-Modul zu erzeugen halte ich aber nach wie vor nicht für richtig. Es ist Aufgabe einer Middleware wie dem DWD_OpenData_Weblink-Generator die Rohdaten so aufzubereiten, wie sie für die Anzeige benötigt werden, statt in einem Daten-Modul zusammengesetzte Datenvarianten für die direkte Darstellung in einem speziellen Frontend zu integrieren - auch wenn das praktisch ist, weil es die Middleware überflüssig macht.

Grüße,
Jens
D.h. unterm Strich wird es in deinem Modul niemals die fertigen Readings als Unterscheidung für Tag/Nacht geben, richtig?

Das ist sehr schade, da die anderen Module dies liefern. Die Daten werden jedoch dort direkt von ProPlanta, DarkSky und OpenWeather geliefert.

PS: Wie wird denn das Problem im "DWD_OpenData_Weblink-Generator" gelöst?
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 11 Februar 2019, 23:10:56
Zitat von: somansch am 11 Februar 2019, 22:58:41
PS: Wie wird denn das Problem im "DWD_OpenData_Weblink-Generator" gelöst?

Zwei komplexe Grafiken, eine für 1100 und die andere für 1700 Uhr.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Paul am 11 Februar 2019, 23:12:26
Zitat von: somansch am 09 Februar 2019, 23:28:57
01:00 -> n
04:00 -> n
07:00 -> d
10:00 -> d
13:00 -> d
16:00 -> d
19:00 -> n
22:00 -> n

Diese Zuordnung wäre prima  :)

Was wäre daran prima?

Im Sommer ist um 19 Uhr sicherlich noch nicht Nacht.
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 11 Februar 2019, 23:23:56
Zitat von: Paul am 11 Februar 2019, 23:12:26
Was wäre daran prima?

Im Sommer ist um 19 Uhr sicherlich noch nicht Nacht.

Das wäre immer noch besser, als gar keine Unterscheidung. Im Moment scheint auch nachts die Sonne  8)
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 12 Februar 2019, 08:05:36
Zitat von: Paul am 11 Februar 2019, 23:12:26
Was wäre daran prima?

Im Sommer ist um 19 Uhr sicherlich noch nicht Nacht.

Nur mal so eingeworfen, wenn du am Polarkreis wohnen würdest, würdest du dann zu den bestimmten Zeiten niemals Nacht/Tag haben? Irgendwo muss man die Grenze setzen, und den Tag halbieren finde ich zu den Zeiten in Ordnung.

Oder man muss es wirklich an den sonnenstand koppeln, was aber bestimmt kompliziert wird.

Gruss
Titel: Antw:Modul für DWD Open Data
Beitrag von: Paul am 12 Februar 2019, 10:49:32
Zitat von: Knallkopp_02 am 12 Februar 2019, 08:05:36


Oder man muss es wirklich an den sonnenstand koppeln, was aber bestimmt kompliziert wird.

Gruss

Genau Time mit Sunset vergleichen
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 12 Februar 2019, 11:03:21
Zitat von: Paul am 12 Februar 2019, 10:49:32
Genau Time mit Sunset vergleichen
noch einfacher mit twilight und dem reading light.
wenn kein licht, ist es nacht, sonst tag.
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 13 Februar 2019, 16:31:07
light ist aber ein aktueller Wert, das ist ja für Vorhersagewerte nicht so geeignet.

Ansonsten sollte Twilight aber schon das gewünschte liefern, wenn man im FTUI Widget den Zeitwert aus den Wetterreadings mit einem Twilight Reading vergleicht. Muß man halt bei der Definition das Twilight Device mit angeben.
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 13 Februar 2019, 16:57:53
Zitat von: jensb am 10 Februar 2019, 21:09:05
@sinus61
Die neue Version des DWD_OpenData-Moduls mit selektivem Löschen der Wetterwarnungs-Readings ist nun zum Testen auf GitHub verfügbar.

Danke, hab es gerade getestet, das mit den Events funktioniert nun. Ansonsten keine Probleme feststellbar.

Der Einwand bezüglich der Auswertung von a_count ist natürlich richtig, aber dann müsste ja eine Warnung zeitlich genau eine andere ablösen. Man könnte natürlich noch schauen ob sich der Inhalt z.B. der ersten Warnung bei Änderung von a_count auch geändert hat. Allerdings hatte ich letztens auch 2 zeitgleiche Warnungen, die bei verschiedenen Updates aber die Reihenfolge geändert haben. Da hat sich a_count nicht geändert, aber die a_0_* Readings schon, obwohl keine neue Warnung dazugekommen ist.

Da ich hier im Ort ja nicht die Sirenen auslösen will, sondern nur eine Telegram Warnung, scheint mir daher ein notify auf a_count die derzeit mit vertretbarem Aufwand beste Lösung zu sein.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2019, 20:31:40
@sinus61
Danke für die Rückmeldung. Werde die neue Version über FHEM zur Verfügung stellen (nachdem ich meinen Raspi auf Strech umgestellt habe).

Deine Anmerkung zu a_count sehe ich im Prinzip genauso. Der Fall ist eher theoretisch, aber ich wollte darauf hinweisen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2019, 20:41:22
@curt
Zitat von: curt am 11 Februar 2019, 23:10:56
Wie wird denn das Problem im "DWD_OpenData_Weblink-Generator" gelöst?
Zwei komplexe Grafiken, eine für 1100 und die andere für 1700 Uhr.
Das ist so nicht richtig.

Der DWD_OpenData_Weblink-Generator stellt pro Tag 2 Werte zu Verfügung, vorzugsweise einen von Morgens und einen für Mittags. Für den 1. Tag ist dabei der 1. Wert ungefähr "jetzt". Wie bereits mehrfach erwähnt wird intern auf das FHEM-Modul SUNRISE_EL zurückgegriffen, das sich an den Einstellungen von FHEM global (longitude, latitude, altitude) orientiert. Nachdem für die jeweilige Zeit anhand von SUNRISE_EL ermittelt wurde, ob es Tag oder Nacht ist, wird entweder das Tag-Icon oder das Nacht-Icon aus der FHEM-Iconsammlung verwendet.

Stellt man die FHEM globals z.B. auf den Polarkreis ein, dürft je nach Jahreszeit dauerhaft Tag bzw. Nacht herauskommen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2019, 20:51:13
Hallo Andreas,

Zitat von: somansch am 11 Februar 2019, 22:58:41
D.h. unterm Strich wird es in deinem Modul niemals die fertigen Readings als Unterscheidung für Tag/Nacht geben, richtig?
Das ist doch nicht das Kernproblem. Entscheidend ist doch, dass du das Reading brauchst. Ich hatte geschrieben "Bei Interesse ...". Wenn du es für hilfreich hältst, dass das Modul ein Reading für Tag/Nacht liefert, würde ich das versuchen einzubauen. Das Kombi-Reading ist dann schnell mit einem notify nachgerüstet. Also entscheide dich ... ;)

Zitat von: somansch am 11 Februar 2019, 22:58:41
PS: Wie wird denn das Problem im "DWD_OpenData_Weblink-Generator" gelöst?
Siehe meine Erläuterungen für curt (https://forum.fhem.de/index.php/topic,83097.msg907254.html#msg907254).

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 17 Februar 2019, 00:33:22
Zitat von: jensb am 16 Februar 2019, 20:51:13
Hallo Andreas,
Das ist doch nicht das Kernproblem. Entscheidend ist doch, dass du das Reading brauchst. Ich hatte geschrieben "Bei Interesse ...". Wenn du es für hilfreich hältst, dass das Modul ein Reading für Tag/Nacht liefert, würde ich das versuchen einzubauen. Das Kombi-Reading ist dann schnell mit einem notify nachgerüstet. Also entscheide dich ...  ;)

Grüße,
Jens

Hallo Jens,
die Tag/Nacht Unterscheidung an Hand von festen Uhrzeiten ist jetzt im FTUI Weather_Widget umgesetzt. Ich würde es nach wie vor hilfreich finden, wenn die Unterscheidung direkt im Modul durch ein zusätzliches Reading fcx_x_ww_daytime mit dem Wert von fcx_x_ww +d (für Tag) bzw. +n (für Nacht), z.B. 63d bzw. 63n realisiert wäre. Wenn es dann sogar in Abhängigkeit vom Sonnenauf- und -untergang wäre, um so besser ;).

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 17 Februar 2019, 11:33:54
Zitat von: jensb am 16 Februar 2019, 20:51:13
Wenn du es für hilfreich hältst, dass das Modul ein Reading für Tag/Nacht liefert, würde ich das versuchen einzubauen. Das Kombi-Reading ist dann schnell mit einem notify nachgerüstet.

Ich denke zwar, dass es sich auch im FTUI Widget lösen lässt, aber anderseits liefern anscheinend alle Wettermodule etwas ähnliches mit aus. Das kommt ja nicht nur FTUI zugute, sondern allen nachgelagerten Systemen die etwas ähnliches machen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Februar 2019, 19:43:01
@somansch + sinus61

Werde neue Vorhersage-Readings einführen, um die Tag/Nacht-Info zur Verfügung zu stellen. Denke dabei an SunAz (Azimuth), SunEl (Elevation) und SunTw (Twilight). Azumith und Elevation sind in [°] und Twilight in [%]. Bei weniger als 50 % Twilight wäre es dann eher Nacht.

Ein Codeanalyse der vorhandenen FHEM-Module vermittelt mir den Eindruck, dass sich der Ansatz des Twilight-Moduls am einfachsten übernehmen lässt. Auf eine Modulverknüpfung werde ich verzichten, da es die Installationsanforderungen erhöht.

Die Vorhersage-Stations-Geokoordinaten stehen ja als Reading "fc_coordinates" zu Verfügung. Damit wird dann die Tag/Nacht-Berechnung durchgeführt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 Februar 2019, 20:38:33
Die neue Version des DWD_OpenData-Moduls ist zum Testen über GitHub abrufbar. Es gibt die folgenden neuen Stunden-Readings:


Die Werte sind von den Längen- und Breitengraden der ausgewählten Station abhängig. Für wen die nautische Dämmerung aufgrund der besonderen Gegebenheiten des Standorts oder der besonderen meteorologischen Bedingungen nicht geeignet ist, kann sich einen eigenen Tag/Nacht-Wert auf Basis von Azimuth und Elevation mit einem notify bilden. Genauso ist vorzugehen, wenn man ein zusammengesetztes Reading aus ww und SunUp benötigt.

Auch das Modul DWD_OpenData_Weblink wurde auf das neue Reading SunUp umgestellt und ist nun von den globalen FHEM-Standorteinstellungen unabhängig.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 24 Februar 2019, 16:23:11
Danke für die Erweiterung, hab es gerade getestet, funktioniert gut.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 01 März 2019, 19:35:13
Nach ein paar Tagen testen kann ich auch nichts negatives feststellen.

Herzlichen Dank, gute Arbeit und Thumbs up an dich Jens.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 01 März 2019, 19:54:06
Danke für die Rückmeldungen!

Die neue Version gibt es ab Samstag dem 02.03.2019 über FHEM Update.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 01 März 2019, 19:57:36
Zitat von: jensb am 01 März 2019, 19:54:06
Danke für die Rückmeldungen!

Ich hätte gern auch eine gegeben - aaaaber: Mal einen Tipp: Wenn Du "via hastenichgesehen runterladen" schreibst, dann schreibe doch bitte die URL zu "hastenichgesehen" dazu.

Unabhängig davon möchte auch ich Dir danken - das läuft in diesem Bereich alles ganz prima.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 02 März 2019, 10:37:30
ZitatWenn Du "via hastenichgesehen runterladen" schreibst, dann schreibe doch bitte die URL zu "hastenichgesehen" dazu.
Den Wunsch verstehe ich. Vielleicht stelle ich mir das ja auch zu einfach vor. Wenn ich nicht viel schreibe, dann geht es immer um dieses Modul und ich verweise auch jedes mal auf GitHub, wenn ich GitHub meine. Dann ist da die Kugel unter meinem Namen mit dem Link für GitHub in jedem Post. 3 Klicks weiter ist man auf der Datei. Aber natürlich könnte ich auch einen Deep Link setzen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 02 März 2019, 12:48:14
Zu einfach vorstellen nicht, ich zum Beispiel habe auch nicht gewusst/gesehen, dass unter deinem Namen im Forum der Link ist, fällt zu wenig auf. Ist nicht das Problem von Dir. Ich hatte bei Google nach 55_DWD_OpenData.pm und github gesucht und bin sofort fündig geworden.
Evtl wäre in der Signatur noch der Link zu deiner github Seite gut aufgehoben.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 02 März 2019, 15:06:04
Einen Link auf Github hätte ich ja im ersten Post erwartet. Und da ist sogar einer ;)
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 04 März 2019, 00:14:04
Zitat von: jensb am 23 Februar 2019, 20:38:33
Die neue Version des DWD_OpenData-Moduls ist zum Testen über GitHub abrufbar. Es gibt die folgenden neuen Stunden-Readings:


  • SunAz: Azimuth der Sonne [°]
  • SunEl: Elevation der Sonne [°]
  • SunUp: 0 = Nacht, 1 = Tag basierend auf nautischer Dämmerung (-12 °)

Die Werte sind von den Längen- und Breitengraden der ausgewählten Station abhängig. Für wen die nautische Dämmerung aufgrund der besonderen Gegebenheiten des Standorts oder der besonderen meteorologischen Bedingungen nicht geeignet ist, kann sich einen eigenen Tag/Nacht-Wert auf Basis von Azimuth und Elevation mit einem notify bilden. Genauso ist vorzugehen, wenn man ein zusammengesetztes Reading aus ww und SunUp benötigt.

Auch das Modul DWD_OpenData_Weblink wurde auf das neue Reading SunUp umgestellt und ist nun von den globalen FHEM-Standorteinstellungen unabhängig.

Grüße,
Jens

Hallo Jens,

das klingt perfekt! Ich habe gerade mal das Modul per FHEM Update aktualisiert. Jedoch werden die neuen Readings nicht angelegt?! Muß man die im Attribut "forecastProperties" zusätzlich definieren?

Danke und Gruß
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 04 März 2019, 07:25:10
Ja, genau, die müssen noch mit eingebunden werden.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: masl am 07 März 2019, 20:10:51
Hat jemand zufällig Unwetterwarnungen als Pushover angelegt?
Ih bin am verzweifeln...

Das Reading a_count gibt ja an wieviele Meldungen anstehen.
Ich habe nun versucht ein DOIF zu erstellen. Leider wird dieses aber nur ausgeführt wenn ich es manuell per "Checkall" auslöse. Vielleicht kann mir jemand helfen:

define Push_Unwetter DOIF ([DWD:a_count] >= 0) (set pushover msg 2 Unwetterwarnungen! **** WARNUNG1: [DWD:a_0_headline] -- Beginn: [DWD:a_0_onset] | Ende: [DWD:a_0_expires] -- Warnung: [DWD:a_0_description] **** WARNUNG 2: [DWD:a_1_headline] -- Beginn: [DWD:a_1_onset] | Ende: [DWD:a_1_expires] -- Warnung: [DWD:a_1_description]!)

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 07 März 2019, 21:12:16
@masl
Wenn du beim DWD_OpenData-Modul z.B. readingFnAttributes verwendest, könnte das die Ursache sein. Dann könntest du z.B. event-on-update-reading=a_count eintragen, um wieder benachrichtigt zu werden.

Verwende den FHEM-Ereignis-Monitor, um zu überprüfen, ob Ereignisse für a_count kommen. Dazu am besten 2 Fenster nebeneinander aufmachen, eins mit dem Ereignis-Monitor und eins mit dem DWD_OpenData-Modul, dann Wetterwarnungen manuell aktualisieren und zusehen, ob was kommt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: chq am 08 März 2019, 09:36:19
Hallo,

in der Commandref zur Installation dieses Moduls steht "The weekday of the forecast will be in the language of your FHEM system. Enter {$ENV{LANG}} into the FHEM command line to verify. If nothing is displayed or you see an unexpected language setting, add export LANG=de_DE.UTF-8 or something similar to your FHEM start script.."

Wie füge ich "export LANG=de_DE.UTF-8" meinem FHEM start script hinzu und wo finde ich dieses?

Gruß Chris

Edit: Hat sich dank Wiki erledigt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Steeve23 am 08 März 2019, 19:41:25
Ich habe DWD eingespielt bekomme aber im Log folgende Fehler:
Hab das ganze auf 2 Systemen versucht , vllt kann mir jemand helfen

Was ich auch nicht verstehen ist der Fehler 404 , irgendwas mache ich falsch






2019.03.08 19:18:28 5: Unwetter: GetAlertsFinish END
2019.03.08 19:18:28 5: Unwetter: GetAlertsFinish temp file /tmp/1yDgOpArvr alerts 31 size 65384
2019.03.08 19:18:28 5: Unwetter: GetAlertsFinish START (PID 15853)
2019.03.08 19:18:28 5: Unwetter: GetAlertsStart END
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts END
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts temp file /tmp/1yDgOpArvr alerts 31 size 65384
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: parsing XML document
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts: data received
2019.03.08 19:18:28 5: Unwetter: ProcessAlerts START (PID 10877)
2019.03.08 19:18:28 5: Unwetter: GetAlertsStart START (PID 10877): https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip
2019.03.08 19:18:28 5: Unwetter: GetAlerts END
2019.03.08 19:18:27 5: Unwetter: GetAlerts START (PID 15853)
2019.03.08 19:18:23 5: Unwetter: GetAlertsFinish END
2019.03.08 19:18:23 5: Unwetter: GetAlertsFinish temp file /tmp/Q9Mdj2Aj0e alerts 31 size 65384
2019.03.08 19:18:23 5: Unwetter: GetAlertsFinish START (PID 15853)
2019.03.08 19:18:23 5: Unwetter: GetAlertsStart END
2019.03.08 19:18:23 5: Unwetter: ProcessAlerts END
2019.03.08 19:18:23 5: Unwetter: ProcessAlerts temp file /tmp/Q9Mdj2Aj0e alerts 31 size 65384

2019.03.08 19:18:19 5: Unwetter: ProcessForecast END
2019.03.08 19:18:19 4: Unwetter: ProcessForecast error: HTTP error 404 retrieving URL 'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/99810/kml/MOSMIX_L_LATEST_99810.kmz '
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 08 März 2019, 21:36:24
@Steeve23
Im Log steht eine URL und die kann man in einen Browser kopieren. Das Ergebnis ist das gleiche - die Station 99810 gibt es also nicht. Wenn du die URL verkürzt, kannst du prüfen, welche Stationen bekannt sind und eine auswählen:

https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Doublefant am 09 März 2019, 14:33:42
Hi,
danke jens,
ich hatte das gleiche Problem wie Steeve, dein Hinweis führte mich zur Lösung.
Ich hatte wie Steeve die Nummer der ersten Zeile in der Liste der Stationen genommen (clu) wenn man die dritte Zeile mit der ID nimmt, dann klappt es auch problemlos  ::)
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tutti_Bomovski am 09 März 2019, 15:01:10
Wie ist denn eine automatische Aktualisierung der Warnungen (Alerts) und der Vorhersage (Forecast) möglich?
Ich muss doch nicht manuell updaten oder?
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 09 März 2019, 16:17:30
Passiert doch Automatisch, Alerts alle 15 min, Forecast einmal pro Stunde. Bei Dir nicht?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tutti_Bomovski am 10 März 2019, 11:19:24
Zitat von: sinus61 am 09 März 2019, 16:17:30
Passiert doch Automatisch, Alerts alle 15 min, Forecast einmal pro Stunde. Bei Dir nicht?
wenn ich das richtig mitbekommen habe, dann nicht...
Ich werde das aber noch mal beobachten.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 März 2019, 11:33:39
@Tutti_Bomovski
Zitatwenn ich das richtig mitbekommen habe, dann nicht...
Eine automatische Aktualisierung wird nur durchgeführt, wenn die Attribute alertArea und forecastStation gesetzt sind.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tutti_Bomovski am 10 März 2019, 11:47:22
Zitat von: jensb am 10 März 2019, 11:33:39
@Tutti_BomovskiEine automatische Aktualisierung wird nur durchgeführt, wenn die Attribute alertArea und forecastStation gesetzt sind.

Grüße,
Jens

Danke für die Information! Aktualisierung erfolgt.
Wie bereits in einem anderen Beitrag https://forum.fhem.de/index.php/topic,98363.msg917058.html#msg917058 (https://forum.fhem.de/index.php/topic,98363.msg917058.html#msg917058) beschrieben würde ich jetzt nur noch gerne aufgrund der Warnmeldungen auch Infos per Telegram versenden.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 März 2019, 16:17:11
Auf GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) gibt es eine neue Version des DWD_OpenData-Moduls mit folgenden Änderungen:


Die beiden neuen Readings waren für mich die logische Erweiterung der zuvor eingeführten Sonnenpostions-Readings. Der Aufwand war jedoch sehr viel größer als von mir zunächst angenommen. Das lag an mehreren Komponenten:

Beim Sonnenpositions-Code aus dem Twilight-Modul ist mir die "wahre" Herkunft des Algorithmus nicht klar geworden, weshalb ich diesen Codeanteil ersetzt habe. Der neue Code hat einen in Astronomiekreisen bekannten Schöpfer (http://www.psa.es/es/index.php).

Dann bin ich davon ausgegangen, dass man aus dem Sonnenpostions-Algorithmus die Zeiten für Sonnenaufgang und Sonnenuntergang ermitteln kann, z.B. durch Differenzierung, Nullstellenbestimmung o.ä. Doch Astronomen ticken da anders - es gibt für die Berechnung dieser Zeiten sogar diverse Ansätze. Der von mir gewählte iterative Algorithmus (Stundenwinkeldifferenzminimierung) stammt von unseren seefahrenden Nachbarn (https://www.aa.quae.nl/en/reken/zonpositie.html) und ist komplexer als der für den Sonnenstand und deshalb hat die Implementierung und Validierung etwas gedauert. Die Sonnenauf- und -untergangszeiten wichen unabhängig vom gewählten Standort bei den von mir durchgeführten Stichproben meist um weniger als 2 Minuten von denen der National Oceanic and Atmospheric Administration (https://www.esrl.noaa.gov/gmd/grad/solcalc/calcdetails.html) ab. Nicht funktionieren dürfte der Code für die Polarregionen - hierfür müssten noch die Sonderfälle "Sonne geht nie auf bzw. unter" erkannt und verarbeitet werden.

Nicht gefallen tut mir, dass im DWD_OpenData-Modul die vermutlich vierte Sonnenparameterberechung von FHEM steckt - die anderen mir bekannten stecken in SUNRISE_EL, Astro und Twilight. Nur SUNRISE_EL ist so aufgebaut, dass man es aus anderen Modulen aufrufen kann und es hat die meisten Gemeinsamkeiten mit dem von mir gewählten Ansatz, verzichtet aber auf die von mir implementierte Genauigkeitsoptimierung, den Betrachter-Zeitzonenbezug und ein paar andere Details. Astro und Twilight sind wie das DWD_OpenData-Modul keine Funktionsmodule (lassen sich also nicht ohne weiteres in anderen Modulen), wobei Astro einen anderen wissenschaftlichen Ansatz als SUNRISE_EL und DWD_OpenData verwendet und Twilight die Daten gar nicht selbst berechnet sondern von einem Webdienst übernimmt. Wer sich mit der Theorie einmal auseinander gesetzt hat, den dürfte es nicht wundern, dass keine der 4 Ansätze die gleichen Werte liefern. Welcher Algorithmus der "wahre" ist, muss jeder selbst entscheiden. Meiner Ansicht nach würde es sich anbieten, SUNRISE_EL zu erweitern und den Code aus dem DWD_OpenData-Modul wieder zu entfernen.

Wie immer sind Rückmeldungen gewünscht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: sinus61 am 10 März 2019, 18:10:33
Hab es gerade probiert, funktioniert alles. Da ich eh gerade Twilight überall ausbaue und da wo es brauche SUNRISE_EL nutze ist es zumindest interessant einen Vergleichswert zu haben. SUNRISE_EL ist ja auch praktisch weil man es überall in FHEM nutzen kann und auch leicht einen Offset mitgeben kann da man für bestimmte Anwendungen vielleicht etwas früher oder später etwas ausführen will.

Twilight war ansonsten wegen der Kombination mit den Wetterdaten interessant, aber das hat nur mit Yahoo einigermaßen funktioniert, mit externen Werten eher schlecht. Hier setze ich jetzt auf eine eigene Helligkeitsmessung.

Ansonsten weichen ja die Angaben aus SUNRISE_EL, Twilight und jetzt dem DWD Modul schon alle etwas voneinander ab, eben so wenn man sich verschiedene Webdienste zum Vergleich anschaut.

Immerhin, wenn ich einfach "heute sonnenuntergang" oder "heute sonnenaufgang" in die Googlesuche eingebe liefert Google mir für meinen Standort exakt die Angaben die auch aus dem DWD Modul kommen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mi.ke am 10 März 2019, 18:59:37
Moin,

erstmal, vielen Dank für das Modul !

Ich nutze z.Z. ausschliesslich die Unwetterwarnungen. Das funktioniert auch sehr gut.

Nach den Sturmwarnungen heute ging der a_count zeitweilen auf 3 hoch.
Das Problem ist dann aufgekommen, dass die Gewichtung, welche Meldung ist a_0_.* und welche a_1_.* etc. nach a_?_onset sortiert ist und nicht nach a_?_severity. Die rote (jüngste) Meldung wurde also als a_3_.* angezeigt.

Was schön wäre, wenn das Modul die Readings a_[0-9]_.* z.B. nach "a_1_severity" sortiert oder alternativ, die neuste und schwerwiegenste Meldung ohne Nummerierung also a_.* anzeigt.

Vielleicht gibt es auch schon eine bestehende Möglichkeit, die ich übersehen oder in der DWD Open Data-Doku nicht gefunden habe.

Oder anders gefragt, wie macht Ihr das, oder geht das z.Z. einfach nicht?

Vielen Dank und Grüße

Cheers
mi.ke


Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 10 März 2019, 20:04:00
Hallo @mi.ke

schau Dir -falls Du das nicht kennst- mal bitte das hier an:
https://forum.fhem.de/index.php?topic=97204.new;topicseen#new
Titel: Antw:Modul für DWD Open Data
Beitrag von: mi.ke am 11 März 2019, 09:26:47
Zitat von: curt am 10 März 2019, 20:04:00
schau Dir -falls Du das nicht kennst- mal bitte das hier an:
https://forum.fhem.de/index.php?topic=97204.new;topicseen#new

Das hat leider überhaupt nichts mit meiner Frage zu tun.
Ich nutze weder FTUI  noch will ich Icons darstellen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Nitaro am 11 März 2019, 10:27:27
Guten Morgen zusammen,

ich habe im wiki gelesen, dass bei Wetterwarnungen die Warnzellen beginnend mit 1,2,5,8,9 beginnend unterstützt werden.
Meine Warnzellen ID, beginnend mit 8 oder anderen, werden nicht mehr unterstützt da die Zellen aufgesplittet wurden und nun
mit 7 beginnen. Ist es möglich auch diese "funktionsfähig" zu bekommen ?

Gruß
Nitaro
Titel: Antw:Modul für DWD Open Data
Beitrag von: mi.ke am 11 März 2019, 10:49:06
Zitat von: Nitaro am 11 März 2019, 10:27:27
ich habe im wiki gelesen, dass bei Wetterwarnungen die Warnzellen beginnend mit 1,2,5,8,9 beginnend unterstützt werden.
Meine Warnzellen ID, beginnend mit 8 oder anderen, werden nicht mehr unterstützt da die Zellen aufgesplittet wurden und nun
mit 7 beginnen. Ist es möglich auch diese "funktionsfähig" zu bekommen ?

Schon versucht Deine 7er ID in "alertArea" einzutragen?

cheers
mi.ke
Titel: Antw:Modul für DWD Open Data
Beitrag von: Nitaro am 11 März 2019, 11:28:23
Zitat von: mi.ke am 11 März 2019, 10:49:06
Schon versucht Deine 7er ID in "alertArea" einzutragen?

Jup, bekomme ich immer
alerts cache update in progress, please wait and try again

Gebe ich dann wieder die eines anderen Kreises an, bekomme ich direkt aktualisierte Readings.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mi.ke am 11 März 2019, 11:33:54
Zitat von: Nitaro am 11 März 2019, 11:28:23
Gebe ich dann wieder die eines anderen Kreises an, bekomme ich direkt aktualisierte Readings.

Du kannst nur Daten abrufen, die von DWD bereitgestellt werden.
Da hilft nix, Du musst Dir eine andere ID wählen, die bei Dir räumlich am nähsten ist.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Nitaro am 11 März 2019, 15:06:02
Zitat von: mi.ke am 11 März 2019, 11:33:54
Du kannst nur Daten abrufen, die von DWD bereitgestellt werden.
Da hilft nix, Du musst Dir eine andere ID wählen, die bei Dir räumlich am nähsten ist.

Ok, danke.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Nitaro am 11 März 2019, 18:25:11
Zitat von: Nitaro am 11 März 2019, 10:27:27
Guten Morgen zusammen,

ich habe im wiki gelesen, dass bei Wetterwarnungen die Warnzellen beginnend mit 1,2,5,8,9 beginnend unterstützt werden.
Meine Warnzellen ID, beginnend mit 8 oder anderen, werden nicht mehr unterstützt da die Zellen aufgesplittet wurden und nun
mit 7 beginnen. Ist es möglich auch diese "funktionsfähig" zu bekommen ?

Gruß
Nitaro

Nochmal bitte zu diesem Thema. Ich habe im log gesehen, dass folgendes bei der Warncell ID beginnend  it der 7 passiert:
2019.03.11 18:19:25 4: WEB_192.168.1.125_50025 POST /fhem?detail=DWD&dev.getDWD=DWD&cmd.getDWD=get&arg.getDWD=alerts&val.getDWD=705515101&XHR=1&addLinks=1&fw_id=240; BUFLEN:0
2019.03.11 18:19:25 5: Cmd: >get DWD alerts 705515101<
2019.03.11 18:19:25 4: WEB: /fhem?detail=DWD&dev.getDWD=DWD&cmd.getDWD=get&arg.getDWD=alerts&val.getDWD=705515101&XHR=1&addLinks=1&fw_id=240 / RL:74 / text/plain; charset=UTF-8 / Content-Encoding: gzip
/ Cache-Control: no-cache, no-store, must-revalidate


Hier bekomme ich dann die Meldung dass der Smart Alerts Cache geupdated wird, mehr aber nicht.

Nehme ich eine andere funktionierende 8x Warncell ID wird sofort folgende URL vom Modul aufgerufen
https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip (https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip)

In dieser ZIP Datei taucht aber auch die Warncell-ID mit der 7x auf, also existieren Warnungen für diese ID, sie werden aber nicht
abgerufen.

Kann sich das jemand erklären oder nachstellen ?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 März 2019, 20:13:07
Hallo Nitaro,

aufgrund der Kategorisierung der Warnzellen nach 'COMMUNEUNION'  und 'DISTRICT' und der Trennung dieser Daten auf dem DWD OpenData-Server muss man vor der Datenabfrage wissen, in welche Kategorie die Warnzelle fällt.

Als das Modul entstanden ist, habe ich keine Spezifikation gefunden, welche Warnzellen in welche Kategorie fallen. Die aktuelle Zuordnung habe ich durch Stichproben gebildet. Bei den mit 7 beginnenden Warnzellen scheint es sich um Ortsteile zu handeln, die in die Kategorie 'COMMUNEUNION' fallen. Sobald das Update fertig ist, werde ich das hier posten.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: MCh76 am 11 März 2019, 20:57:21
Hallo zusammen,
gibt es bereits irgendwo ein hübsches Beispiel der Unwetterwarnungen im TabletUI?
Würde gerne das alte UWZ widget ablösen, da dieses ja keine Daten mehr liefert.
VG,
Chris
Titel: Antw:Modul für DWD Open Data
Beitrag von: Nitaro am 12 März 2019, 07:10:28
@jensb
Super, vielen Dank !

@MCh76

Schau mal hier:
https://forum.fhem.de/index.php/topic,97204.0.html (https://forum.fhem.de/index.php/topic,97204.0.html)
Titel: Antw:Modul für DWD Open Data
Beitrag von: freetz am 12 März 2019, 14:14:33
Hallo Jens,

erst einmal vielen Dank für die Arbeit, die Du in dieses Modul gesteckt hast!
Ich war bisher Nutzer des (Yahoo-)Weather-Moduls, das ja wegen der Abschaltung der Yahoo-API nicht mehr so wie früher funktioniert. Ich wollte daher nun auf einen Anbieter wie den DWD setzen, bei dem (relativ) sicher(er) ist, dass da zwar vielleicht die Datenausgabe geändert, aber nicht komplett abgestellt wird.

Ich bin allerdings Besitzer eine Synology NAS, auf der auch FHEM sehr gut läuft, allerdings gibt es da das Problem, dass zusätzliche Perl-Module, von denen Teile in C geschrieben sind und entsprechend kompiliert werden müssen, nicht installiert werden können, weil es auf der Synology kein gcc gibt.

Es wird allerdings das Modul XML::Parser mitgeliefert, und da ich im Quellcode Deines FHEM-Moduls gesehen habe, dass letztlich nur an einer Handvoll Stellen auf XML::LibXML zugegriffen wird, wollte ich Dich fragen/bitten, ob Du einmal schauen könntest, ob ein Wechsel von XML::LibXML auf XML::Parser möglich wäre. Damit würdest Du allen FHEM-Usern, die FHEM auf der NAS laufen lassen, einen großen Gefallen tun!

Ich würde mich auch selber daran probieren, habe auch etwas Perl-Kenntnisse, hatte bisher allerdings noch keine Berührungspunkte mit XML, so dass ich nicht weiß, wie Du die Daten aufbereitet benötigst. Meine Hoffnung ist daher, dass Du da vielleicht mit ein paar gezielten Blicken sehen kannst, ob eine Transition zu XML::Parser ohne größeren Aufwand möglich wäre.

Viele Grüße


Frederik
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 12 März 2019, 21:40:08
Hallo Frederik,

XML::Parser funktioniert ähnlich wie Apache Xerces - es werden beim Einlesen Element für Element Ereignisse generiert, die man dann per Callback verarbeiten kann. XML::LibXML generiert dagegen einen Objektbaum, wo man nach sich je nach Bedarf in eine beliebigen Ast hangeln kann, um zu Lesen oder zu Schreiben. Das sind also völlig verschiedene Konzepte.

Die beiden ProcessXXXX-Methoden des DWD_OpenData-Moduls müssten neu geschrieben werden (genau genommen braucht man dann sogar eine ganze Reihe neuer Methoden für die Parser-Callbacks) - dazu fehlt mir aktuell die Freizeit. Der Ablauf in den ProcessXXXX-Methoden ist im Source kommentiert: unzippen, XML dekodieren, Ergebnis-Hash generieren und als temporäre Datei speichern. Wenn mir jemand einen entsprechenden Patch zur Verfügung stellt, würde ich ihn prüfen und dann so integrieren, dass anhand der installierten Perl-XML-Bibliothek automatisch entschieden wird, welche Variante verwendet wird.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 12 März 2019, 21:53:30
@Nitaro
Die neue Version des DWD_OpenData-Moduls mit Unterstützung für Warnzellen, die mit 7 beginnen, ist nun zum Ausprobieren über GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) abrufbar. Bitte Rückmeldung, ob es klappt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: freetz am 12 März 2019, 21:55:38
Ok, danke, verstehe... Dann muss ich wohl doch mal schauen, ob ich meiner Synology nicht doch irgendwie noch den gcc nahe bringen kann ;)...
Titel: Antw:Modul für DWD Open Data
Beitrag von: freetz am 12 März 2019, 22:04:23
Kurze Nachfrage noch: Wären XML::Simple (bis auf die nicht näher genannte deprecation) oder XML::Twig eventuell "kompatibler" bzw. problemloser umzusetzen? Die lassen sich ohne Kompilierung und damit auch auf der NAS installieren...
https://metacpan.org/pod/XML::Simple
https://metacpan.org/pod/XML::Twig
Titel: Antw:Modul für DWD Open Data
Beitrag von: Nitaro am 13 März 2019, 09:03:41
Zitat von: jensb am 12 März 2019, 21:53:30
@Nitaro
Die neue Version des DWD_OpenData-Moduls mit Unterstützung für Warnzellen, die mit 7 beginnen, ist nun zum Ausprobieren über GitHub (https://github.com/jnsbyr/fhem/tree/master/FHEM) abrufbar.

@jensb
Läuft ! Danke !
Ob es auch stabil läuft weiß ich natürlich noch nicht. Aber er hat für die 7x eine Warnung abgerufen. Die Readings passen alle.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 März 2019, 21:09:03
@Nitaro

Danke für die Rückmeldung. Werde die neue Version am Wochenende über FHEM Update zur Verfügung stellen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 März 2019, 21:29:18
@freetz
Ich habe selbst schon ein paar mal mit dem Synology DSM experimentiert. Vieles was nicht Out-Of-The-Box unterstützt wird ist über Umwege doch möglich - allerdings ist der Aufwand z.T. hoch und es kann sein, dass man sich damit die Updatefähigkeit verbaut oder sich ein Sicherheitsloch bohrt.

ZitatWären XML::Simple (bis auf die nicht näher genannte deprecation) oder XML::Twig eventuell "kompatibler" bzw. problemloser umzusetzen?
Ich wollte ursprünglich auf XML::Simple setzten, aber für das Modul gilt "PLEASE DO NOT USE THIS MODULE IN NEW CODE (https://metacpan.org/pod/XML::Simple#SYNOPSIS)". XML::Twig (2016) ist da schon eher geeignet - und dann habe ich noch XML::Parser::Lite (2018) gefunden. Mit beiden dürfte eine Neuimplementierung der ProcessXXXX-Methoden des DWD_OpenData-Moduls leichter fallen, weil man ohne Callbacks auskommt. Das ist deshalb wichtig, da man bei FHEM in Methoden den Modulhash braucht, um Daten eindeutig zuordnen zu können. Callbacks von anderen APIs kennen so etwas aber nicht. Das kann dazu führen, dass man verhindern muss, dass ein Modul mehr als einmal mit define angelegt werden darf, damit die Abläufe eindeutig bleiben.

Es bleibt aber bei meinem Vorschlag: Mach einen Patch fertig und ich werde ihn mir ansehen. Detailfragen zum Code können auch per PM geklärt werden.

Wahrscheinlich geht es etwas leichter den Patch zu schreiben als die Synology mit make zum Kompilieren von Perl-Modulen zu bringen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: freetz am 13 März 2019, 21:36:12
Ok, ich werd' mich mal daran versuchen, wenn ich hier mit dem Erstellen eines Packages für gcc für die Synology nicht weiterkomme. Inzwischen habe ich "make" fertig, und auch gcc läuft prinzipiell auf der Syno, allerdings landen die Header-Dateien noch in wirren Verzeichnissen, weshalb die Kompilierung von XML::LibXML noch fehlschlägt.
Ich habe übrigens nie verstanden, warum so von XML::Simple abgeraten wird, auf der Projektseite steht ja auch nur, dass die möglichen Optionen manchmal widersprüchlich sein können, aber wie auch immer...
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 14 März 2019, 12:14:27
XML::Simple ist schon ganz brauchbar, allerdings extrem langsam.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 März 2019, 20:31:32
Das ist ein wichtiger Punkt. Die XML-Daten vom DWD sind z.T. umfangreich (allein das ZIP kann durchaus 1 MB erreichen), vor allem wenn draußen das Wetter mal nicht auf normal macht.
Titel: Antw:Modul für DWD Open Data
Beitrag von: freetz am 14 März 2019, 20:41:09
Ok, überzeugt ;)...
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 März 2019, 20:37:24
Geschafft  ;) !  In der Wiki gibt es nun den versprochenen Artikel zur  Einrichtung eines Meteogramms (https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_f.C3.BCr_die_Einrichtung_eines_Meteogramms). Der Artikel basiert auf dem Beispiel von @mupitzstuff aus diesem Beitrag (https://forum.fhem.de/index.php/topic,83097.msg877525.html#msg877525). Die in der Wiki beschriebene Konfiguration enthält zusätzlich die Windgeschwindigkeit als Linienplot und einen vertikalen Balken für "jetzt". Das kann natürlich jeder nach den eigenen Anforderungen anpassen.

Wer Fehler findet oder den Artikel verbessern will, kann das gern direkt tun oder seine Vorschläge hier posten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 März 2019, 02:59:22
Ich hätte yrange und y2range raus genommen wenn ich ehrlich bin. Dann läuft man nicht Gefahr, das sich ein Anwender bei -10 grad wundert, weshalb der Plot komisch aussieht.

Beim 24h Plot kann man auch noch folgendes setzen:

attr SVG_FileLog_WETTER_DWD_3 label "max. temperature: $data{max1}°C, min. temperature: $data{min1}°C"

Und die vertikale Linie braucht man da nicht, weil die immer ganz links im Plot gezeichnet wird. Der Plot selbst beginnt ja bei der aktuellen Zeit und nicht um 0 Uhr des aktuellen Tages.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 März 2019, 11:40:06
@mumpitzstuff
Danke fürs Korrekturlesen. Habe den Artikel eben wie von dir vorgeschlagen geändert.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 März 2019, 12:01:59
Ab Morgen steht über das FHEM-Update die neue Version 1.14.2 des DWD_OpenData-Moduls mit den folgenden Änderungen zur Verfügung:

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Wolfgang Hochweller am 17 März 2019, 18:31:33
Beim Laden des Weblinkmoduls erhalte ich :



2019.03.17 18:09:53 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21.

2019.03.17 18:09:53 0: Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21.



Was tun ?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Wolfgang Hochweller am 17 März 2019, 19:03:34
Frage zu Readings :


Internals:
   FHEM_TZ   
   FUUID      5c8e2729-f33f-775d-7e9d-35143d56523d1ed0
   NAME       DWD
   NR         335
   STATE      forecast updated
   TYPE       DWD_OpenData
   READINGS:
     2019-03-17 12:54:17   fc0_4_DD        244
     2019-03-17 13:24:59   fc0_4_FX1       43
     2019-03-17 13:24:59   fc0_4_Neff      90
     2019-03-17 13:24:59   fc0_4_R600      69.00
     2019-03-17 13:24:59   fc0_4_RR3c      1.10
     2019-03-17 12:54:17   fc0_4_RR6c      1.10
     2019-03-17 13:24:59   fc0_4_SunD3     3180.00
     2019-03-17 12:54:17   fc0_4_SunUp     1
     2019-03-17 13:24:59   fc0_4_TTT       10.5
     2019-03-17 17:00:05   fc0_4_time      13:00
     2019-03-17 12:54:17   fc0_4_ww        61
     2019-03-17 12:54:17   fc0_4_wwd       durchgehend leichter Regen
     2019-03-17 12:54:17   fc0_5_DD        238
     2019-03-17 13:24:59   fc0_5_FX1       41
     2019-03-17 13:24:59   fc0_5_Neff      89
     2019-03-17 13:24:59   fc0_5_RR3c      0.70
     2019-03-17 13:24:59   fc0_5_SunD3     540.00
     2019-03-17 12:54:17   fc0_5_SunUp     1
     2019-03-17 13:24:59   fc0_5_TTT       9.20
     2019-03-17 17:00:05   fc0_5_time      16:00
     2019-03-17 12:54:17   fc0_5_ww        61
     2019-03-17 12:54:17   fc0_5_wwd       durchgehend leichter Regen
     2019-03-17 12:54:17   fc0_6_DD        232
     2019-03-17 18:56:38   fc0_6_FX1       33
     2019-03-17 18:56:38   fc0_6_Neff      78
     2019-03-17 18:56:38   fc0_6_R600      96.00
     2019-03-17 18:56:38   fc0_6_RR3c      0.20
     2019-03-17 12:54:17   fc0_6_RR6c      1.00
     2019-03-17 12:54:17   fc0_6_RRhc      2.10
     2019-03-17 12:54:17   fc0_6_Rh00      95
     2019-03-17 18:56:38   fc0_6_SunD3     1020.00
     2019-03-17 12:54:17   fc0_6_SunUp     1
     2019-03-17 18:56:38   fc0_6_TTT       5.90
     2019-03-17 18:56:38   fc0_6_time      19:00
     2019-03-17 12:54:17   fc0_6_ww        3
     2019-03-17 12:54:17   fc0_7_DD        220
     2019-03-17 18:56:38   fc0_7_FX1       32
     2019-03-17 18:56:38   fc0_7_Neff      67
     2019-03-17 18:56:38   fc0_7_RR3c      0.20
     2019-03-17 18:56:38   fc0_7_SunD3     0.00
     2019-03-17 12:54:17   fc0_7_SunUp     0
     2019-03-17 18:56:38   fc0_7_TTT       5.10
     2019-03-17 18:56:38   fc0_7_time      22:00
     2019-03-17 12:54:17   fc0_7_ww        2
     2019-03-17 12:54:17   fc0_7_wwd       Bewölkung unverändert
     2019-03-17 18:56:38   fc0_Tn          5.70
     2019-03-17 18:56:38   fc0_Tx          12.8
     2019-03-17 18:56:38   fc0_date        2019-03-17
     2019-03-17 18:56:38   fc0_weekday     Sun
     2019-03-17 12:54:17   fc1_0_DD        202
     2019-03-17 18:56:38   fc1_0_FX1       26
     2019-03-17 18:56:38   fc1_0_Neff      62
     2019-03-17 18:56:38   fc1_0_R600      60.00
     2019-03-17 18:56:38   fc1_0_RR3c      0.00
     2019-03-17 12:54:17   fc1_0_RR6c      0.10
     2019-03-17 18:56:38   fc1_0_SunD3     0.00
     2019-03-17 12:54:17   fc1_0_SunUp     0
     2019-03-17 18:56:38   fc1_0_TTT       3.90
     2019-03-17 18:56:38   fc1_0_time      01:00
     2019-03-17 12:54:17   fc1_0_ww        2
     2019-03-17 12:54:17   fc1_0_wwd       Bewölkung unverändert
     2019-03-17 12:54:17   fc1_1_DD        200
     2019-03-17 18:56:38   fc1_1_FX1       22
     2019-03-17 18:56:38   fc1_1_Neff      62
     2019-03-17 18:56:38   fc1_1_RR3c      0.00
     2019-03-17 18:56:38   fc1_1_SunD3     0.00
     2019-03-17 12:54:17   fc1_1_SunUp     0
     2019-03-17 18:56:38   fc1_1_TTT       3
     2019-03-17 18:56:38   fc1_1_time      04:00
     2019-03-17 12:54:17   fc1_1_ww        2
     2019-03-17 12:54:17   fc1_1_wwd       Bewölkung unverändert
     2019-03-17 12:54:17   fc1_2_DD        199
     2019-03-17 18:56:38   fc1_2_FX1       22
     2019-03-17 18:56:38   fc1_2_Neff      70
     2019-03-17 18:56:38   fc1_2_R600      32.00
     2019-03-17 18:56:38   fc1_2_RR3c      0.00
     2019-03-17 12:54:17   fc1_2_RR6c      0.00
     2019-03-17 12:54:17   fc1_2_RRhc      0.20
     2019-03-17 12:54:17   fc1_2_Rh00      73
     2019-03-17 18:56:38   fc1_2_SunD3     0.00
     2019-03-17 12:54:17   fc1_2_SunUp     1
     2019-03-17 18:56:38   fc1_2_TTT       3.5
     2019-03-17 18:56:38   fc1_2_time      07:00
     2019-03-17 12:54:17   fc1_2_ww        3
     2019-03-17 12:54:17   fc1_2_wwd       Bewölkung zunehmend
     2019-03-17 12:54:17   fc1_3_DD        222
     2019-03-17 18:56:38   fc1_3_FX1       28
     2019-03-17 18:56:38   fc1_3_Neff      81
     2019-03-17 18:56:38   fc1_3_RR3c      0.00
     2019-03-17 18:56:38   fc1_3_SunD3     1800.00
     2019-03-17 12:54:17   fc1_3_SunUp     1
     2019-03-17 18:56:38   fc1_3_TTT       6.30
     2019-03-17 18:56:38   fc1_3_time      10:00
     2019-03-17 12:54:17   fc1_3_ww        3
     2019-03-17 12:54:17   fc1_3_wwd       Bewölkung zunehmend
     2019-03-17 12:54:17   fc1_4_DD        244
     2019-03-17 18:56:38   fc1_4_FX1       28
     2019-03-17 18:56:38   fc1_4_Neff      80
     2019-03-17 18:56:38   fc1_4_R600      74.00
     2019-03-17 18:56:38   fc1_4_RR3c      0.00
     2019-03-17 12:54:17   fc1_4_RR6c      0.00
     2019-03-17 18:56:38   fc1_4_SunD3     3000.00
     2019-03-17 12:54:17   fc1_4_SunUp     1
     2019-03-17 18:56:38   fc1_4_TTT       8.40
     2019-03-17 18:56:38   fc1_4_time      13:00
     2019-03-17 12:54:17   fc1_4_ww        3
     2019-03-17 12:54:17   fc1_4_wwd       Bewölkung zunehmend
     2019-03-17 12:54:17   fc1_5_DD        266
     2019-03-17 18:56:38   fc1_5_FX1       28
     2019-03-17 18:56:38   fc1_5_Neff      65
     2019-03-17 18:56:38   fc1_5_RR3c      0.00
     2019-03-17 18:56:38   fc1_5_SunD3     3720.00
     2019-03-17 12:54:17   fc1_5_SunUp     1
     2019-03-17 18:56:38   fc1_5_TTT       9
     2019-03-17 18:56:38   fc1_5_time      16:00
     2019-03-17 12:54:17   fc1_5_ww        2
     2019-03-17 12:54:17   fc1_5_wwd       Bewölkung unverändert
     2019-03-17 12:54:17   fc1_6_DD        265
     2019-03-17 18:56:38   fc1_6_FX1       20
     2019-03-17 18:56:38   fc1_6_Neff      53
     2019-03-17 18:56:38   fc1_6_R600      75.00
     2019-03-17 18:56:38   fc1_6_RR3c      0.00
     2019-03-17 12:54:17   fc1_6_RR6c      0.40
     2019-03-17 12:54:17   fc1_6_RRhc      0.40
     2019-03-17 12:54:17   fc1_6_Rh00      88
     2019-03-17 18:56:38   fc1_6_SunD3     3060.00
     2019-03-17 12:54:17   fc1_6_SunUp     1
     2019-03-17 18:56:38   fc1_6_TTT       6.80
     2019-03-17 18:56:38   fc1_6_time      19:00
     2019-03-17 12:54:17   fc1_6_ww        1
     2019-03-17 12:54:17   fc1_6_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc1_7_DD        267
     2019-03-17 18:56:38   fc1_7_FX1       15
     2019-03-17 18:56:38   fc1_7_Neff      49
     2019-03-17 18:56:38   fc1_7_RR3c      0.00
     2019-03-17 18:56:38   fc1_7_SunD3     60.00
     2019-03-17 12:54:17   fc1_7_SunUp     0
     2019-03-17 18:56:38   fc1_7_TTT       3.70
     2019-03-17 18:56:38   fc1_7_time      22:00
     2019-03-17 12:54:17   fc1_7_ww        1
     2019-03-17 12:54:17   fc1_7_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc1_Tg          -0.80
     2019-03-17 18:56:38   fc1_Tn          2.90
     2019-03-17 18:56:38   fc1_Tx          10.5
     2019-03-17 18:56:38   fc1_date        2019-03-18
     2019-03-17 18:56:38   fc1_weekday     Mon
     2019-03-17 12:54:17   fc2_0_DD        277
     2019-03-17 18:56:38   fc2_0_FX1       11
     2019-03-17 18:56:38   fc2_0_Neff      39
     2019-03-17 18:56:38   fc2_0_R600      21.00
     2019-03-17 18:56:38   fc2_0_RR3c      0.00
     2019-03-17 12:54:17   fc2_0_RR6c      0.00
     2019-03-17 18:56:38   fc2_0_SunD3     0.00
     2019-03-17 12:54:17   fc2_0_SunUp     0
     2019-03-17 18:56:38   fc2_0_TTT       1.5
     2019-03-17 18:56:38   fc2_0_time      01:00
     2019-03-17 12:54:17   fc2_0_ww        1
     2019-03-17 12:54:17   fc2_0_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc2_1_DD        283
     2019-03-17 18:56:38   fc2_1_FX1       7
     2019-03-17 18:56:38   fc2_1_Neff      34
     2019-03-17 18:56:38   fc2_1_RR3c      0.00
     2019-03-17 18:56:38   fc2_1_SunD3     0.00
     2019-03-17 12:54:17   fc2_1_SunUp     0
     2019-03-17 18:56:38   fc2_1_TTT       -0.30
     2019-03-17 18:56:38   fc2_1_time      04:00
     2019-03-17 12:54:17   fc2_1_ww        1
     2019-03-17 12:54:17   fc2_1_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc2_2_DD        244
     2019-03-17 18:56:38   fc2_2_FX1       7
     2019-03-17 18:56:38   fc2_2_Neff      39
     2019-03-17 18:56:38   fc2_2_R600      3.00
     2019-03-17 18:56:38   fc2_2_RR3c      0.00
     2019-03-17 12:54:17   fc2_2_RR6c      0.00
     2019-03-17 12:54:17   fc2_2_RRhc      0.00
     2019-03-17 12:54:17   fc2_2_Rh00      20
     2019-03-17 18:56:38   fc2_2_SunD3     0.00
     2019-03-17 12:54:17   fc2_2_SunUp     1
     2019-03-17 18:56:38   fc2_2_TTT       -0.20
     2019-03-17 18:56:38   fc2_2_time      07:00
     2019-03-17 12:54:17   fc2_2_ww        1
     2019-03-17 12:54:17   fc2_2_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc2_3_DD        313
     2019-03-17 18:56:38   fc2_3_FX1       13
     2019-03-17 18:56:38   fc2_3_Neff      40
     2019-03-17 18:56:38   fc2_3_RR3c      0.00
     2019-03-17 18:56:38   fc2_3_SunD3     5820.00
     2019-03-17 12:54:17   fc2_3_SunUp     1
     2019-03-17 18:56:38   fc2_3_TTT       5.5
     2019-03-17 18:56:38   fc2_3_time      10:00
     2019-03-17 12:54:17   fc2_3_ww        1
     2019-03-17 12:54:17   fc2_3_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc2_4_DD        321
     2019-03-17 18:56:38   fc2_4_FX1       19
     2019-03-17 18:56:38   fc2_4_Neff      48
     2019-03-17 18:56:38   fc2_4_R600      5.00
     2019-03-17 18:56:38   fc2_4_RR3c      0.00
     2019-03-17 12:54:17   fc2_4_RR6c      0.00
     2019-03-17 18:56:38   fc2_4_SunD3     6720.00
     2019-03-17 12:54:17   fc2_4_SunUp     1
     2019-03-17 18:56:38   fc2_4_TTT       9.10
     2019-03-17 18:56:38   fc2_4_time      13:00
     2019-03-17 12:54:17   fc2_4_ww        1
     2019-03-17 12:54:17   fc2_4_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc2_5_DD        333
     2019-03-17 18:56:38   fc2_5_FX1       20
     2019-03-17 18:56:38   fc2_5_Neff      49
     2019-03-17 18:56:38   fc2_5_RR3c      0.00
     2019-03-17 18:56:38   fc2_5_SunD3     6780.00
     2019-03-17 12:54:17   fc2_5_SunUp     1
     2019-03-17 18:56:38   fc2_5_TTT       10.1
     2019-03-17 18:56:38   fc2_5_time      16:00
     2019-03-17 12:54:17   fc2_5_ww        2
     2019-03-17 12:54:17   fc2_5_wwd       Bewölkung unverändert
     2019-03-17 12:54:17   fc2_6_DD        4
     2019-03-17 18:56:38   fc2_6_FX1       15
     2019-03-17 18:56:38   fc2_6_Neff      41
     2019-03-17 18:56:38   fc2_6_R600      2.00
     2019-03-17 18:56:38   fc2_6_RR3c      0.00
     2019-03-17 12:54:17   fc2_6_RR6c      0.00
     2019-03-17 12:54:17   fc2_6_RRhc      0.00
     2019-03-17 12:54:17   fc2_6_Rh00      6
     2019-03-17 18:56:38   fc2_6_SunD3     4140.00
     2019-03-17 12:54:17   fc2_6_SunUp     1
     2019-03-17 18:56:38   fc2_6_TTT       7.5
     2019-03-17 18:56:38   fc2_6_time      19:00
     2019-03-17 12:54:17   fc2_6_ww        1
     2019-03-17 12:54:17   fc2_6_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc2_7_DD        146
     2019-03-17 18:56:38   fc2_7_FX1       9
     2019-03-17 18:56:38   fc2_7_Neff      36
     2019-03-17 18:56:38   fc2_7_RR3c      0.00
     2019-03-17 18:56:38   fc2_7_SunD3     60.00
     2019-03-17 12:54:17   fc2_7_SunUp     0
     2019-03-17 18:56:38   fc2_7_TTT       3
     2019-03-17 18:56:38   fc2_7_time      22:00
     2019-03-17 12:54:17   fc2_7_ww        0
     2019-03-17 12:54:17   fc2_7_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc2_Tg          -5
     2019-03-17 18:56:38   fc2_Tn          -0.90
     2019-03-17 18:56:38   fc2_Tx          11.1
     2019-03-17 18:56:38   fc2_date        2019-03-19
     2019-03-17 18:56:38   fc2_weekday     Tue
     2019-03-17 12:54:17   fc3_0_DD        118
     2019-03-17 18:56:38   fc3_0_FX1       7
     2019-03-17 18:56:38   fc3_0_Neff      32
     2019-03-17 18:56:38   fc3_0_R600      3.00
     2019-03-17 18:56:38   fc3_0_RR3c      0.00
     2019-03-17 12:54:17   fc3_0_RR6c      0.00
     2019-03-17 18:56:38   fc3_0_SunD3     0.00
     2019-03-17 12:54:17   fc3_0_SunUp     0
     2019-03-17 18:56:38   fc3_0_TTT       1
     2019-03-17 18:56:38   fc3_0_time      01:00
     2019-03-17 12:54:17   fc3_0_ww        0
     2019-03-17 12:54:17   fc3_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc3_1_DD        127
     2019-03-17 18:56:38   fc3_1_FX1       9
     2019-03-17 18:56:38   fc3_1_Neff      27
     2019-03-17 18:56:38   fc3_1_RR3c      0.00
     2019-03-17 18:56:38   fc3_1_SunD3     0.00
     2019-03-17 12:54:17   fc3_1_SunUp     0
     2019-03-17 18:56:38   fc3_1_TTT       -0.20
     2019-03-17 18:56:38   fc3_1_time      04:00
     2019-03-17 12:54:17   fc3_1_ww        0
     2019-03-17 12:54:17   fc3_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc3_2_DD        135
     2019-03-17 18:56:38   fc3_2_FX1       9
     2019-03-17 18:56:38   fc3_2_Neff      39
     2019-03-17 18:56:38   fc3_2_R600      6.00
     2019-03-17 18:56:38   fc3_2_RR3c      0.00
     2019-03-17 12:54:17   fc3_2_RR6c      0.00
     2019-03-17 12:54:17   fc3_2_RRhc      0.00
     2019-03-17 12:54:17   fc3_2_Rh00      7
     2019-03-17 18:56:38   fc3_2_SunD3     120.00
     2019-03-17 12:54:17   fc3_2_SunUp     1
     2019-03-17 18:56:38   fc3_2_TTT       1.20
     2019-03-17 18:56:38   fc3_2_time      07:00
     2019-03-17 12:54:17   fc3_2_ww        1
     2019-03-17 12:54:17   fc3_2_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc3_3_DD        155
     2019-03-17 18:56:38   fc3_3_FX1       13
     2019-03-17 18:56:38   fc3_3_Neff      37
     2019-03-17 18:56:38   fc3_3_RR3c      0.00
     2019-03-17 18:56:38   fc3_3_SunD3     6300.00
     2019-03-17 12:54:17   fc3_3_SunUp     1
     2019-03-17 18:56:38   fc3_3_TTT       7
     2019-03-17 18:56:38   fc3_3_time      10:00
     2019-03-17 12:54:17   fc3_3_ww        1
     2019-03-17 12:54:17   fc3_3_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc3_4_DD        164
     2019-03-17 18:56:38   fc3_4_FX1       19
     2019-03-17 18:56:38   fc3_4_Neff      42
     2019-03-17 18:56:38   fc3_4_R600      5.00
     2019-03-17 18:56:38   fc3_4_RR3c      0.00
     2019-03-17 12:54:17   fc3_4_RR6c      0.00
     2019-03-17 18:56:38   fc3_4_SunD3     7740.00
     2019-03-17 12:54:17   fc3_4_SunUp     1
     2019-03-17 18:56:38   fc3_4_TTT       11.3
     2019-03-17 18:56:38   fc3_4_time      13:00
     2019-03-17 12:54:17   fc3_4_ww        1
     2019-03-17 12:54:17   fc3_4_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc3_5_DD        152
     2019-03-17 18:56:38   fc3_5_FX1       19
     2019-03-17 18:56:38   fc3_5_Neff      42
     2019-03-17 18:56:38   fc3_5_RR3c      0.00
     2019-03-17 18:56:38   fc3_5_SunD3     7320.00
     2019-03-17 12:54:17   fc3_5_SunUp     1
     2019-03-17 18:56:38   fc3_5_TTT       12.8
     2019-03-17 18:56:38   fc3_5_time      16:00
     2019-03-17 12:54:17   fc3_5_ww        1
     2019-03-17 12:54:17   fc3_5_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc3_6_DD        99
     2019-03-17 18:56:38   fc3_6_FX1       13
     2019-03-17 18:56:38   fc3_6_Neff      34
     2019-03-17 18:56:38   fc3_6_R600      4.00
     2019-03-17 18:56:38   fc3_6_RR3c      0.00
     2019-03-17 12:54:17   fc3_6_RR6c      0.00
     2019-03-17 12:54:17   fc3_6_RRhc      0.00
     2019-03-17 12:54:17   fc3_6_Rh00      7
     2019-03-17 18:56:38   fc3_6_SunD3     5640.00
     2019-03-17 12:54:17   fc3_6_SunUp     1
     2019-03-17 18:56:38   fc3_6_TTT       10.5
     2019-03-17 18:56:38   fc3_6_time      19:00
     2019-03-17 12:54:17   fc3_6_ww        1
     2019-03-17 12:54:17   fc3_6_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc3_7_DD        87
     2019-03-17 18:56:38   fc3_7_FX1       7
     2019-03-17 18:56:38   fc3_7_Neff      20
     2019-03-17 18:56:38   fc3_7_RR3c      0.00
     2019-03-17 18:56:38   fc3_7_SunD3     120.00
     2019-03-17 12:54:17   fc3_7_SunUp     0
     2019-03-17 18:56:38   fc3_7_TTT       5.70
     2019-03-17 18:56:38   fc3_7_time      22:00
     2019-03-17 12:54:17   fc3_7_ww        0
     2019-03-17 12:54:17   fc3_7_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc3_Tg          -3.90
     2019-03-17 18:56:38   fc3_Tn          0.90
     2019-03-17 18:56:38   fc3_Tx          13.5
     2019-03-17 18:56:38   fc3_date        2019-03-20
     2019-03-17 18:56:38   fc3_weekday     Wed
     2019-03-17 12:54:17   fc4_0_DD        75
     2019-03-17 18:56:38   fc4_0_FX1       7
     2019-03-17 18:56:38   fc4_0_Neff      17
     2019-03-17 18:56:38   fc4_0_R600      4.00
     2019-03-17 18:56:38   fc4_0_RR3c      0.00
     2019-03-17 12:54:17   fc4_0_RR6c      0.00
     2019-03-17 18:56:38   fc4_0_SunD3     0.00
     2019-03-17 12:54:17   fc4_0_SunUp     0
     2019-03-17 18:56:38   fc4_0_TTT       3.10
     2019-03-17 18:56:38   fc4_0_time      01:00
     2019-03-17 12:54:17   fc4_0_ww        0
     2019-03-17 12:54:17   fc4_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc4_1_DD        36
     2019-03-17 18:56:38   fc4_1_FX1       7
     2019-03-17 18:56:38   fc4_1_Neff      15
     2019-03-17 18:56:38   fc4_1_RR3c      0.00
     2019-03-17 18:56:38   fc4_1_SunD3     0.00
     2019-03-17 12:54:17   fc4_1_SunUp     0
     2019-03-17 18:56:38   fc4_1_TTT       1.90
     2019-03-17 18:56:38   fc4_1_time      04:00
     2019-03-17 12:54:17   fc4_1_ww        0
     2019-03-17 12:54:17   fc4_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc4_2_DD        37
     2019-03-17 18:56:38   fc4_2_FX1       7
     2019-03-17 18:56:38   fc4_2_Neff      17
     2019-03-17 18:56:38   fc4_2_R600      4.00
     2019-03-17 18:56:38   fc4_2_RR3c      0.00
     2019-03-17 12:54:17   fc4_2_RR6c      0.00
     2019-03-17 12:54:17   fc4_2_RRhc      0.00
     2019-03-17 12:54:17   fc4_2_Rh00      7
     2019-03-17 18:56:38   fc4_2_SunD3     240.00
     2019-03-17 12:54:17   fc4_2_SunUp     1
     2019-03-17 18:56:38   fc4_2_TTT       2.80
     2019-03-17 18:56:38   fc4_2_time      07:00
     2019-03-17 12:54:17   fc4_2_ww        0
     2019-03-17 12:54:17   fc4_2_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc4_3_DD        116
     2019-03-17 18:56:38   fc4_3_FX1       11
     2019-03-17 18:56:38   fc4_3_Neff      20
     2019-03-17 18:56:38   fc4_3_RR3c      0.00
     2019-03-17 18:56:38   fc4_3_SunD3     8220.00
     2019-03-17 12:54:17   fc4_3_SunUp     1
     2019-03-17 18:56:38   fc4_3_TTT       9
     2019-03-17 18:56:38   fc4_3_time      10:00
     2019-03-17 12:54:17   fc4_3_ww        1
     2019-03-17 12:54:17   fc4_3_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc4_4_DD        169
     2019-03-17 18:56:38   fc4_4_FX1       15
     2019-03-17 18:56:38   fc4_4_Neff      15
     2019-03-17 18:56:38   fc4_4_R600      4.00
     2019-03-17 18:56:38   fc4_4_RR3c      0.00
     2019-03-17 12:54:17   fc4_4_RR6c      0.00
     2019-03-17 18:56:38   fc4_4_SunD3     10380.00
     2019-03-17 12:54:17   fc4_4_SunUp     1
     2019-03-17 18:56:38   fc4_4_TTT       13.7
     2019-03-17 18:56:38   fc4_4_time      13:00
     2019-03-17 12:54:17   fc4_4_ww        1
     2019-03-17 12:54:17   fc4_4_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc4_5_DD        329
     2019-03-17 18:56:38   fc4_5_FX1       17
     2019-03-17 18:56:38   fc4_5_Neff      17
     2019-03-17 18:56:38   fc4_5_RR3c      0.00
     2019-03-17 18:56:38   fc4_5_SunD3     10380.00
     2019-03-17 12:54:17   fc4_5_SunUp     1
     2019-03-17 18:56:38   fc4_5_TTT       15.9
     2019-03-17 18:56:38   fc4_5_time      16:00
     2019-03-17 12:54:17   fc4_5_ww        1
     2019-03-17 12:54:17   fc4_5_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc4_6_DD        1
     2019-03-17 18:56:38   fc4_6_FX1       11
     2019-03-17 18:56:38   fc4_6_Neff      16
     2019-03-17 18:56:38   fc4_6_R600      4.00
     2019-03-17 18:56:38   fc4_6_RR3c      0.00
     2019-03-17 12:54:17   fc4_6_RR6c      0.00
     2019-03-17 12:54:17   fc4_6_RRhc      0.00
     2019-03-17 12:54:17   fc4_6_Rh00      8
     2019-03-17 18:56:38   fc4_6_SunD3     7020.00
     2019-03-17 12:54:17   fc4_6_SunUp     1
     2019-03-17 18:56:38   fc4_6_TTT       12.9
     2019-03-17 18:56:38   fc4_6_time      19:00
     2019-03-17 12:54:17   fc4_6_ww        0
     2019-03-17 12:54:17   fc4_6_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc4_7_DD        21
     2019-03-17 18:56:38   fc4_7_FX1       9
     2019-03-17 18:56:38   fc4_7_Neff      1
     2019-03-17 18:56:38   fc4_7_RR3c      0.00
     2019-03-17 18:56:38   fc4_7_SunD3     180.00
     2019-03-17 12:54:17   fc4_7_SunUp     0
     2019-03-17 18:56:38   fc4_7_TTT       8.60
     2019-03-17 18:56:38   fc4_7_time      22:00
     2019-03-17 12:54:17   fc4_7_ww        0
     2019-03-17 12:54:17   fc4_7_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc4_Tg          -2.70
     2019-03-17 18:56:38   fc4_Tn          2.30
     2019-03-17 18:56:38   fc4_Tx          16.9
     2019-03-17 18:56:38   fc4_date        2019-03-21
     2019-03-17 18:56:38   fc4_weekday     Thu
     2019-03-17 12:54:17   fc5_0_DD        5
     2019-03-17 18:56:38   fc5_0_FX1       11
     2019-03-17 18:56:38   fc5_0_Neff      13
     2019-03-17 18:56:38   fc5_0_R600      4.00
     2019-03-17 18:56:38   fc5_0_RR3c      0.00
     2019-03-17 12:54:17   fc5_0_RR6c      0.00
     2019-03-17 18:56:38   fc5_0_SunD3     0.00
     2019-03-17 12:54:17   fc5_0_SunUp     0
     2019-03-17 18:56:38   fc5_0_TTT       5.70
     2019-03-17 18:56:38   fc5_0_time      01:00
     2019-03-17 12:54:17   fc5_0_ww        0
     2019-03-17 12:54:17   fc5_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc5_1_DD        357
     2019-03-17 18:56:38   fc5_1_FX1       9
     2019-03-17 18:56:38   fc5_1_Neff      9
     2019-03-17 18:56:38   fc5_1_RR3c      0.00
     2019-03-17 18:56:38   fc5_1_SunD3     0.00
     2019-03-17 12:54:17   fc5_1_SunUp     0
     2019-03-17 18:56:38   fc5_1_TTT       4.30
     2019-03-17 18:56:38   fc5_1_time      04:00
     2019-03-17 12:54:17   fc5_1_ww        0
     2019-03-17 12:54:17   fc5_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc5_2_DD        5
     2019-03-17 18:56:38   fc5_2_FX1       9
     2019-03-17 18:56:38   fc5_2_Neff      20
     2019-03-17 18:56:38   fc5_2_R600      5.00
     2019-03-17 18:56:38   fc5_2_RR3c      0.00
     2019-03-17 12:54:17   fc5_2_RR6c      0.00
     2019-03-17 12:54:17   fc5_2_RRhc      0.00
     2019-03-17 12:54:17   fc5_2_Rh00      6
     2019-03-17 18:56:38   fc5_2_SunD3     300.00
     2019-03-17 12:54:17   fc5_2_SunUp     1
     2019-03-17 18:56:38   fc5_2_TTT       4.80
     2019-03-17 18:56:38   fc5_2_time      07:00
     2019-03-17 12:54:17   fc5_2_ww        0
     2019-03-17 12:54:17   fc5_2_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc5_3_DD        49
     2019-03-17 18:56:38   fc5_3_FX1       13
     2019-03-17 18:56:38   fc5_3_Neff      23
     2019-03-17 18:56:38   fc5_3_RR3c      0.00
     2019-03-17 18:56:38   fc5_3_SunD3     7560.00
     2019-03-17 12:54:17   fc5_3_SunUp     1
     2019-03-17 18:56:38   fc5_3_TTT       11
     2019-03-17 18:56:38   fc5_3_time      10:00
     2019-03-17 12:54:17   fc5_3_ww        0
     2019-03-17 12:54:17   fc5_3_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc5_4_DD        46
     2019-03-17 18:56:38   fc5_4_FX1       15
     2019-03-17 18:56:38   fc5_4_Neff      28
     2019-03-17 18:56:38   fc5_4_R600      5.00
     2019-03-17 18:56:38   fc5_4_RR3c      0.00
     2019-03-17 12:54:17   fc5_4_RR6c      0.00
     2019-03-17 18:56:38   fc5_4_SunD3     9120.00
     2019-03-17 12:54:17   fc5_4_SunUp     1
     2019-03-17 18:56:38   fc5_4_TTT       15.4
     2019-03-17 18:56:38   fc5_4_time      13:00
     2019-03-17 12:54:17   fc5_4_ww        1
     2019-03-17 12:54:17   fc5_4_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc5_5_DD        20
     2019-03-17 18:56:38   fc5_5_FX1       17
     2019-03-17 18:56:38   fc5_5_Neff      26
     2019-03-17 18:56:38   fc5_5_RR3c      0.00
     2019-03-17 18:56:38   fc5_5_SunD3     9420.00
     2019-03-17 12:54:17   fc5_5_SunUp     1
     2019-03-17 18:56:38   fc5_5_TTT       17.3
     2019-03-17 18:56:38   fc5_5_time      16:00
     2019-03-17 12:54:17   fc5_5_ww        1
     2019-03-17 12:54:17   fc5_5_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc5_6_DD        28
     2019-03-17 18:56:38   fc5_6_FX1       13
     2019-03-17 18:56:38   fc5_6_Neff      19
     2019-03-17 18:56:38   fc5_6_R600      4.00
     2019-03-17 18:56:38   fc5_6_RR3c      0.00
     2019-03-17 12:54:17   fc5_6_RR6c      0.00
     2019-03-17 12:54:17   fc5_6_RRhc      0.00
     2019-03-17 12:54:17   fc5_6_Rh00      9
     2019-03-17 18:56:38   fc5_6_SunD3     6780.00
     2019-03-17 12:54:17   fc5_6_SunUp     1
     2019-03-17 18:56:38   fc5_6_TTT       13.7
     2019-03-17 18:56:38   fc5_6_time      19:00
     2019-03-17 12:54:17   fc5_6_ww        0
     2019-03-17 12:54:17   fc5_6_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc5_7_DD        34
     2019-03-17 18:56:38   fc5_7_FX1       11
     2019-03-17 18:56:38   fc5_7_Neff      10
     2019-03-17 18:56:38   fc5_7_RR3c      0.00
     2019-03-17 18:56:38   fc5_7_SunD3     120.00
     2019-03-17 12:54:17   fc5_7_SunUp     0
     2019-03-17 18:56:38   fc5_7_TTT       9.40
     2019-03-17 18:56:38   fc5_7_time      22:00
     2019-03-17 12:54:17   fc5_7_ww        0
     2019-03-17 12:54:17   fc5_7_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc5_Tg          0.10
     2019-03-17 18:56:38   fc5_Tn          4.40
     2019-03-17 18:56:38   fc5_Tx          18.3
     2019-03-17 18:56:38   fc5_date        2019-03-22
     2019-03-17 18:56:38   fc5_weekday     Fri
     2019-03-17 12:54:17   fc6_0_DD        360
     2019-03-17 18:56:38   fc6_0_FX1       11
     2019-03-17 18:56:38   fc6_0_Neff      15
     2019-03-17 18:56:38   fc6_0_R600      5.00
     2019-03-17 18:56:38   fc6_0_RR3c      0.00
     2019-03-17 12:54:17   fc6_0_RR6c      0.00
     2019-03-17 18:56:38   fc6_0_SunD3     0.00
     2019-03-17 12:54:17   fc6_0_SunUp     0
     2019-03-17 18:56:38   fc6_0_TTT       7.10
     2019-03-17 18:56:38   fc6_0_time      01:00
     2019-03-17 12:54:17   fc6_0_ww        0
     2019-03-17 12:54:17   fc6_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc6_1_DD        343
     2019-03-17 18:56:38   fc6_1_FX1       11
     2019-03-17 18:56:38   fc6_1_Neff      9
     2019-03-17 18:56:38   fc6_1_RR3c      0.00
     2019-03-17 18:56:38   fc6_1_SunD3     0.00
     2019-03-17 12:54:17   fc6_1_SunUp     0
     2019-03-17 18:56:38   fc6_1_TTT       5.40
     2019-03-17 18:56:38   fc6_1_time      04:00
     2019-03-17 12:54:17   fc6_1_ww        0
     2019-03-17 12:54:17   fc6_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc6_2_DD        335
     2019-03-17 18:56:38   fc6_2_FX1       11
     2019-03-17 18:56:38   fc6_2_Neff      17
     2019-03-17 18:56:38   fc6_2_R600      6.00
     2019-03-17 18:56:38   fc6_2_RR3c      0.00
     2019-03-17 12:54:17   fc6_2_RR6c      0.00
     2019-03-17 12:54:17   fc6_2_RRhc      0.00
     2019-03-17 12:54:17   fc6_2_Rh00      9
     2019-03-17 18:56:38   fc6_2_SunD3     360.00
     2019-03-17 12:54:17   fc6_2_SunUp     1
     2019-03-17 18:56:38   fc6_2_TTT       5.70
     2019-03-17 18:56:38   fc6_2_time      07:00
     2019-03-17 12:54:17   fc6_2_ww        0
     2019-03-17 12:54:17   fc6_2_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc6_3_DD        337
     2019-03-17 18:56:38   fc6_3_FX1       15
     2019-03-17 18:56:38   fc6_3_Neff      24
     2019-03-17 18:56:38   fc6_3_RR3c      0.00
     2019-03-17 18:56:38   fc6_3_SunD3     7320.00
     2019-03-17 12:54:17   fc6_3_SunUp     1
     2019-03-17 18:56:38   fc6_3_TTT       11.1
     2019-03-17 18:56:38   fc6_3_time      10:00
     2019-03-17 12:54:17   fc6_3_ww        0
     2019-03-17 12:54:17   fc6_3_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc6_4_DD        335
     2019-03-17 18:56:38   fc6_4_FX1       20
     2019-03-17 18:56:38   fc6_4_Neff      32
     2019-03-17 18:56:38   fc6_4_R600      7.00
     2019-03-17 18:56:38   fc6_4_RR3c      0.00
     2019-03-17 12:54:17   fc6_4_RR6c      0.00
     2019-03-17 18:56:38   fc6_4_SunD3     8040.00
     2019-03-17 12:54:17   fc6_4_SunUp     1
     2019-03-17 18:56:38   fc6_4_TTT       15.4
     2019-03-17 18:56:38   fc6_4_time      13:00
     2019-03-17 12:54:17   fc6_4_ww        0
     2019-03-17 12:54:17   fc6_4_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc6_5_DD        337
     2019-03-17 18:56:38   fc6_5_FX1       20
     2019-03-17 18:56:38   fc6_5_Neff      36
     2019-03-17 18:56:38   fc6_5_RR3c      0.00
     2019-03-17 18:56:38   fc6_5_SunD3     7560.00
     2019-03-17 12:54:17   fc6_5_SunUp     1
     2019-03-17 18:56:38   fc6_5_TTT       16.7
     2019-03-17 18:56:38   fc6_5_time      16:00
     2019-03-17 12:54:17   fc6_5_ww        1
     2019-03-17 12:54:17   fc6_5_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc6_6_DD        351
     2019-03-17 18:56:38   fc6_6_FX1       19
     2019-03-17 18:56:38   fc6_6_Neff      29
     2019-03-17 18:56:38   fc6_6_R600      8.00
     2019-03-17 18:56:38   fc6_6_RR3c      0.00
     2019-03-17 12:54:17   fc6_6_RR6c      0.00
     2019-03-17 12:54:17   fc6_6_RRhc      0.00
     2019-03-17 12:54:17   fc6_6_Rh00      13
     2019-03-17 18:56:38   fc6_6_SunD3     6120.00
     2019-03-17 12:54:17   fc6_6_SunUp     1
     2019-03-17 18:56:38   fc6_6_TTT       13.5
     2019-03-17 18:56:38   fc6_6_time      19:00
     2019-03-17 12:54:17   fc6_6_ww        1
     2019-03-17 12:54:17   fc6_6_wwd       Bewölkung abnehmend
     2019-03-17 12:54:17   fc6_7_DD        351
     2019-03-17 18:56:38   fc6_7_FX1       15
     2019-03-17 18:56:38   fc6_7_Neff      22
     2019-03-17 18:56:38   fc6_7_RR3c      0.00
     2019-03-17 18:56:38   fc6_7_SunD3     0.00
     2019-03-17 12:54:17   fc6_7_SunUp     0
     2019-03-17 18:56:38   fc6_7_TTT       9.20
     2019-03-17 18:56:38   fc6_7_time      22:00
     2019-03-17 12:54:17   fc6_7_ww        0
     2019-03-17 12:54:17   fc6_7_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-17 12:54:17   fc6_Tg          0.30
     2019-03-17 18:56:38   fc6_Tn          5.10
     2019-03-17 18:56:38   fc6_Tx          18.1
     2019-03-17 18:56:38   fc6_date        2019-03-23
     2019-03-17 18:56:38   fc6_weekday     Sat
     2019-03-17 18:56:38   fc_coordinates  8.55,49.52,96.0
     2019-03-17 18:56:38   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2019-03-17 18:56:38   fc_description  MANNHEIM
     2019-03-17 18:56:38   fc_state        updated
     2019-03-17 18:56:38   fc_station      10729
     2019-03-17 18:56:38   fc_time         2019-03-17 16:00:00
     2019-03-17 18:56:38   state           forecast updated
Attributes:
   forecastDays 6
   forecastProperties TTT,Tx,Tn,SunD3,RR3c,FX1,R600,Neff
   forecastResolution 3
   forecastStation 10729
   forecastWW2Text 1
   room       Wettervorhersage



Das Listing enthaelt viel mehr Readings als ich in forecastProperties angegeben habe.
Gibt es eine Uebersicht, welche Readings immer da sind ?
Und wenn sie immer da sind, warum werden sie dann nicht upgedatet ?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 März 2019, 19:04:57
Zitat von: howi42 am 17 März 2019, 18:31:33
Was tun ?
Mehr Infos spendieren. Im Modul DWD_OpenData_Weblink gibt es in Zeile 21 keinen <>-Operator. Hat es jemals funktioniert oder ist das dein 1. Versuch? Hast du dich an der Wiki orientiert? Wo hast du das Modul her? Mit welchem Tool hast du es herunter geladen? Ist  es lesbar, wenn du es mit einem Texteditor öffnest und sieht es dann genauso aus wie auf GitHub?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 März 2019, 19:14:55
Zitat von: howi42 am 17 März 2019, 19:03:34
Das Listing enthaelt viel mehr Readings als ich in forecastProperties angegeben habe.
Nicht wirklich. Die Readings werden nur für mehrere Tage indiziert und entsprechend wiederholt. Lediglich fc_coordinates, fc_copyright, fc_description, fc_state und fc_station gibt es als Gratis-Beigabe, damit man überhaupt weiß worum es geht.

Zitat von: howi42 am 17 März 2019, 19:03:34
Gibt es eine Uebersicht, welche Readings immer da sind ?
Hast du dir die englische Modulhilfe in Ruhe durchgelesen? Es gibt vielleicht keine Tabelle mit immer oder nicht immer, aber es steht da.

Zitat von: howi42 am 17 März 2019, 19:03:34
Und wenn sie immer da sind, warum werden sie dann nicht upgedatet ?
2019-03-17 18:56:38 als Zeitstempel für fc6_Tx sieht für mich nicht so aus, als ob die Readings nicht aktualisiert werden. Wenn du aber die forecastProperties nachträglich veränderst, werden die nicht mehr benötigten Readings nicht automatisch gelöscht - das musst du dann selbst erledigen. Auch das ist in der englischen Modulhilfe beschrieben.
Titel: Antw:Modul für DWD Open Data
Beitrag von: ing.robby am 17 März 2019, 19:18:00
Hallo,

leider bekomme ich kein forcast angezeigt.

error: HTTP error 404 retrieving URL 'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/99812/kml/MOSMIX_L_LATEST_99812.kmz

devices sind folgendermaßen konfiguriert:
define DWD DWD_OpenData
attr DWD alertArea 814521710
attr DWD event-on-update-reading state,fc_state,a_state
attr DWD forecastDays 3
attr DWD forecastStation 99812
attr DWD forecastWW2Text 1

define DWD_Weblink_Generator DWD_OpenData_Weblink
attr DWD_Weblink_Generator IODev DWD
attr DWD_Weblink_Generator forecastDays 4
attr DWD_Weblink_Generator refreshRate 900

define DWD_Weblink weblink htmlCode { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }


Woran könnte das liegen?

Gruß Robby
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 März 2019, 19:25:20
Hallo Robby,

schau dir mal diesen Beitrag (https://forum.fhem.de/index.php/topic,83097.msg916463.html#msg916463) an. Die richtige Nummer steht in der Spalte id.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Wolfgang Hochweller am 17 März 2019, 19:30:47
Danke, das mit dem File hat sich geklaert.
Um die Readings muss ich mich noch kuemmern, hatte eigentlich vorher alle Readings geloescht.
Titel: Antw:Modul für DWD Open Data
Beitrag von: ing.robby am 17 März 2019, 20:03:24
Funktioniert :)
Danke für die schnelle Antwort Jens! :)

Gruß Robby
Titel: Antw:Modul für DWD Open Data
Beitrag von: masl am 24 März 2019, 19:29:03
Wo kann man nachlesen wie ich das DWD Update von Github installieren kann?
Titel: Antw:Modul für DWD Open Data
Beitrag von: Ronn am 26 März 2019, 17:11:40
Hallo zusammen,

entschuldigt bitte mein dumme Nachfrage. Aber wie kann ich meinen Standort richtig eintragen? ich gehe davon aus, dass die forecastStation dafür relevant ist. Jedoch checke ich die ganzen Zahlen auf der Seite nicht (https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/) um das Richtige zu erfassen. Standort bei mir ist Berlin.  ist alertarea auch davon abhängig? im Moment finde ich nicht die notwendigen Infos dafür. auch https://forum.fhem.de/index.php/topic,83097.msg916463.html#msg916463 hat mich nicht weiter gebracht. :(
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 März 2019, 19:52:38
Zitat von: masl am 24 März 2019, 19:29:03
Wo kann man nachlesen wie ich das DWD Update von Github installieren kann?
Das ist aktuell nicht nötig. Du kannst "update check" in die FHEM-Kommandozeile eingeben um nachzusehen, ob es überhaupt ein Update gibt, es mit "update" laden und mit "shutdown restart" aktivieren.

Falls du dich direkt auf Github bedienen willst, musst du die Moduldatei 55_DWD_OpenData.pm herunterladen und in das Modul-Unterverzeichnis FHEM kopieren. Den Link auf die Moduldatei findest du in der Wiki. Nachdem du die Datei aktualisiert hast gibt es zwei Möglichkeiten über die FHEM-Kommandozeile, entweder selektiv "reload 55_DWD_OpenData" oder "shutdown restart".

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 März 2019, 19:59:34
Zitat von: Ronniedinho am 26 März 2019, 17:11:40
Aber wie kann ich meinen Standort richtig eintragen?
Du bist ziemlich nah dran. Der Standort für die Wettervorhersage und für die Wetterwarnungen müssen getrennt angegeben werden. Wenn du der Wiki Schritt für Schritt folgst, müsstest du bereits etwas sehen, auch wenn es nicht für deinen Standort ist.

In dem Beitrag, auf den du verweist, geht es darum, dass bei der Vorhersage die ID-Spalte aus der Stationsliste als Attribut forecastStation eingetragen werden muss.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: dk3572 am 31 März 2019, 19:20:23
Zitat von: jensb am 17 März 2019, 12:01:59
Ab Morgen steht über das FHEM-Update die neue Version 1.14.2 des DWD_OpenData-Moduls mit den folgenden Änderungen zur Verfügung:

  • Code für die Berechnung des Julianischen Datums ersetzt.
  • SunUp wird nun anhand der Position des oberen Sonnenrands (ca. -1 ° Elevation) und nicht mehr anhand der nautischen Dämmerung (-12 ° Elevation) gebildet - der Tag beginnt so etwas später.
  • Neue Vorhersage-Tages-Readings SunRise und SunSet für die Zeit des Sonnenauf- und -untergangs.
  • Unterstützung für Warnzellen, die mit 7 beginnen.

Grüße,
Jens

Hallo,

in meinem Device fehlen die Readings SunRise und SunSet.
Habe hier und im Wiki nichts dazu gefunden.
Muss ich noch etwas eintragen?

Internals:
   ALERTS_IN_CACHE 15
   FHEM_TZ   
   FUUID      5c84f06c-f33f-cd72-150c-92c430b807f210fd
   FVERSION   55_DWD_OpenData.pm:v1.14.2-s18941/2019-03-17
   NAME       DWD
   NR         311
   STATE      alerts updated
   TYPE       DWD_OpenData
   OLDREADINGS:
   READINGS:
     2019-03-31 19:15:05   a_count         0
     2019-03-31 19:15:05   a_state         updated
     2019-03-31 19:15:05   a_time          2019-03-31 19:15:05
     2019-03-31 06:00:05   fc0_0_DD        86
     2019-03-31 06:00:05   fc0_0_FX1       7
     2019-03-31 06:00:05   fc0_0_Neff      15
     2019-03-31 06:00:05   fc0_0_R600      1.00
     2019-03-31 06:00:05   fc0_0_RR6c      0.00
     2019-03-31 06:00:05   fc0_0_SunUp     0
     2019-03-31 06:00:05   fc0_0_TTT       7.10
     2019-03-31 06:00:05   fc0_0_time      01:00
     2019-03-31 06:00:05   fc0_0_ww        0
     2019-03-31 06:00:05   fc0_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-31 11:00:05   fc0_1_DD        56
     2019-03-31 11:00:05   fc0_1_FX1       9
     2019-03-31 11:00:05   fc0_1_Neff      21
     2019-03-31 11:00:05   fc0_1_R600      1.00
     2019-03-31 11:00:05   fc0_1_RR6c      0.00
     2019-03-31 11:00:05   fc0_1_RRhc      0.00
     2019-03-31 11:00:05   fc0_1_Rh00      2
     2019-03-31 11:00:05   fc0_1_SunUp     1
     2019-03-31 11:00:05   fc0_1_TTT       5.90
     2019-03-31 11:00:05   fc0_1_time      08:00
     2019-03-31 11:00:05   fc0_1_ww        0
     2019-03-31 11:00:05   fc0_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-03-31 18:00:05   fc0_2_DD        23
     2019-03-31 18:00:05   fc0_2_FX1       32
     2019-03-31 18:00:05   fc0_2_Neff      33
     2019-03-31 18:00:05   fc0_2_R600      8.00
     2019-03-31 18:00:05   fc0_2_RR6c      0.00
     2019-03-31 18:00:05   fc0_2_SunUp     1
     2019-03-31 18:00:05   fc0_2_TTT       16.9
     2019-03-31 18:00:05   fc0_2_time      14:00
     2019-03-31 18:00:05   fc0_2_ww        1
     2019-03-31 18:00:05   fc0_2_wwd       Bewölkung abnehmend
     2019-03-31 19:00:05   fc0_3_DD        30
     2019-03-31 19:00:05   fc0_3_FX1       39
     2019-03-31 19:00:05   fc0_3_Neff      42
     2019-03-31 19:00:05   fc0_3_R600      24.00
     2019-03-31 19:00:05   fc0_3_RR6c      0.00
     2019-03-31 19:00:05   fc0_3_RRhc      0.00
     2019-03-31 19:00:05   fc0_3_Rh00      24
     2019-03-31 19:00:05   fc0_3_SunUp     0
     2019-03-31 19:00:05   fc0_3_TTT       14.2
     2019-03-31 19:00:05   fc0_3_time      20:00
     2019-03-31 19:00:05   fc0_3_ww        1
     2019-03-31 19:00:05   fc0_3_wwd       Bewölkung abnehmend
     2019-03-31 11:00:05   fc0_Tg          -0.10
     2019-03-31 19:00:05   fc0_Tn          4.10
     2019-03-31 19:00:05   fc0_Tx          19.3
     2019-03-31 19:00:05   fc0_date        2019-03-31
     2019-03-31 19:00:05   fc0_weekday     So
     2019-03-31 19:00:05   fc1_0_DD        37
     2019-03-31 19:00:05   fc1_0_FX1       26
     2019-03-31 19:00:05   fc1_0_Neff      31
     2019-03-31 19:00:05   fc1_0_R600      8.00
     2019-03-31 19:00:05   fc1_0_RR6c      0.00
     2019-03-31 19:00:05   fc1_0_SunUp     0
     2019-03-31 19:00:05   fc1_0_TTT       8.70
     2019-03-31 19:00:05   fc1_0_time      02:00
     2019-03-31 19:00:05   fc1_0_ww        1
     2019-03-31 19:00:05   fc1_0_wwd       Bewölkung abnehmend
     2019-03-31 19:00:05   fc1_1_DD        42
     2019-03-31 19:00:05   fc1_1_FX1       24
     2019-03-31 19:00:05   fc1_1_Neff      26
     2019-03-31 19:00:05   fc1_1_R600      3.00
     2019-03-31 19:00:05   fc1_1_RR6c      0.00
     2019-03-31 19:00:05   fc1_1_RRhc      0.00
     2019-03-31 19:00:05   fc1_1_Rh00      8
     2019-03-31 19:00:05   fc1_1_SunUp     1
     2019-03-31 19:00:05   fc1_1_TTT       7.20
     2019-03-31 19:00:05   fc1_1_time      08:00
     2019-03-31 19:00:05   fc1_1_ww        1
     2019-03-31 19:00:05   fc1_1_wwd       Bewölkung abnehmend
     2019-03-31 19:00:05   fc1_2_DD        42
     2019-03-31 19:00:05   fc1_2_FX1       35
     2019-03-31 19:00:05   fc1_2_Neff      27
     2019-03-31 19:00:05   fc1_2_R600      4.00
     2019-03-31 19:00:05   fc1_2_RR6c      0.00
     2019-03-31 19:00:05   fc1_2_SunUp     1
     2019-03-31 19:00:05   fc1_2_TTT       14.1
     2019-03-31 19:00:05   fc1_2_time      14:00
     2019-03-31 19:00:05   fc1_2_ww        1
     2019-03-31 19:00:05   fc1_2_wwd       Bewölkung abnehmend
     2019-03-31 19:00:05   fc1_3_DD        53
     2019-03-31 19:00:05   fc1_3_FX1       26
     2019-03-31 19:00:05   fc1_3_Neff      28
     2019-03-31 19:00:05   fc1_3_R600      7.00
     2019-03-31 19:00:05   fc1_3_RR6c      0.00
     2019-03-31 19:00:05   fc1_3_RRhc      0.00
     2019-03-31 19:00:05   fc1_3_Rh00      8
     2019-03-31 19:00:05   fc1_3_SunUp     0
     2019-03-31 19:00:05   fc1_3_TTT       13.9
     2019-03-31 19:00:05   fc1_3_time      20:00
     2019-03-31 19:00:05   fc1_3_ww        1
     2019-03-31 19:00:05   fc1_3_wwd       Bewölkung abnehmend
     2019-03-31 19:00:05   fc1_Tg          3.90
     2019-03-31 19:00:05   fc1_Tn          6.80
     2019-03-31 19:00:05   fc1_Tx          16.5
     2019-03-31 19:00:05   fc1_date        2019-04-01
     2019-03-31 19:00:05   fc1_weekday     Mo
     2019-03-31 19:00:05   fc2_0_DD        44
     2019-03-31 19:00:05   fc2_0_FX1       17
     2019-03-31 19:00:05   fc2_0_Neff      28
     2019-03-31 19:00:05   fc2_0_R600      2.00
     2019-03-31 19:00:05   fc2_0_RR6c      0.00
     2019-03-31 19:00:05   fc2_0_SunUp     0
     2019-03-31 19:00:05   fc2_0_TTT       8.5
     2019-03-31 19:00:05   fc2_0_time      02:00
     2019-03-31 19:00:05   fc2_0_ww        1
     2019-03-31 19:00:05   fc2_0_wwd       Bewölkung abnehmend
     2019-03-31 19:00:05   fc2_1_DD        52
     2019-03-31 19:00:05   fc2_1_FX1       17
     2019-03-31 19:00:05   fc2_1_Neff      63
     2019-03-31 19:00:05   fc2_1_R600      14.00
     2019-03-31 19:00:05   fc2_1_RR6c      0.00
     2019-03-31 19:00:05   fc2_1_RRhc      0.00
     2019-03-31 19:00:05   fc2_1_Rh00      14
     2019-03-31 19:00:05   fc2_1_SunUp     1
     2019-03-31 19:00:05   fc2_1_TTT       7.90
     2019-03-31 19:00:05   fc2_1_time      08:00
     2019-03-31 19:00:05   fc2_1_ww        2
     2019-03-31 19:00:05   fc2_1_wwd       Bewölkung unverändert
     2019-03-31 19:00:05   fc2_2_DD        200
     2019-03-31 19:00:05   fc2_2_FX1       28
     2019-03-31 19:00:05   fc2_2_Neff      72
     2019-03-31 19:00:05   fc2_2_R600      36.00
     2019-03-31 19:00:05   fc2_2_RR6c      0.00
     2019-03-31 19:00:05   fc2_2_SunUp     1
     2019-03-31 19:00:05   fc2_2_TTT       15.5
     2019-03-31 19:00:05   fc2_2_time      14:00
     2019-03-31 19:00:05   fc2_2_ww        2
     2019-03-31 19:00:05   fc2_2_wwd       Bewölkung unverändert
     2019-03-31 19:00:05   fc2_3_DD        197
     2019-03-31 19:00:05   fc2_3_FX1       30
     2019-03-31 19:00:05   fc2_3_Neff      83
     2019-03-31 19:00:05   fc2_3_R600      55.00
     2019-03-31 19:00:05   fc2_3_RR6c      0.80
     2019-03-31 19:00:05   fc2_3_RRhc      0.80
     2019-03-31 19:00:05   fc2_3_Rh00      71
     2019-03-31 19:00:05   fc2_3_SunUp     0
     2019-03-31 19:00:05   fc2_3_TTT       14.5
     2019-03-31 19:00:05   fc2_3_time      20:00
     2019-03-31 19:00:05   fc2_3_ww        3
     2019-03-31 19:00:05   fc2_3_wwd       Bewölkung zunehmend
     2019-03-31 19:00:05   fc2_Tg          4.20
     2019-03-31 19:00:05   fc2_Tn          7.60
     2019-03-31 19:00:05   fc2_Tx          17.9
     2019-03-31 19:00:05   fc2_date        2019-04-02
     2019-03-31 19:00:05   fc2_weekday     Di
     2019-03-31 19:00:05   fc3_0_DD        178
     2019-03-31 19:00:05   fc3_0_FX1       15
     2019-03-31 19:00:05   fc3_0_Neff      81
     2019-03-31 19:00:05   fc3_0_R600      64.00
     2019-03-31 19:00:05   fc3_0_RR6c      0.70
     2019-03-31 19:00:05   fc3_0_SunUp     0
     2019-03-31 19:00:05   fc3_0_TTT       10.7
     2019-03-31 19:00:05   fc3_0_time      02:00
     2019-03-31 19:00:05   fc3_0_ww        3
     2019-03-31 19:00:05   fc3_0_wwd       Bewölkung zunehmend
     2019-03-31 19:00:05   fc3_1_DD        195
     2019-03-31 19:00:05   fc3_1_FX1       19
     2019-03-31 19:00:05   fc3_1_Neff      90
     2019-03-31 19:00:05   fc3_1_R600      78.00
     2019-03-31 19:00:05   fc3_1_RR6c      1.20
     2019-03-31 19:00:05   fc3_1_RRhc      2.00
     2019-03-31 19:00:05   fc3_1_Rh00      87
     2019-03-31 19:00:05   fc3_1_SunUp     1
     2019-03-31 19:00:05   fc3_1_TTT       9.30
     2019-03-31 19:00:05   fc3_1_time      08:00
     2019-03-31 19:00:05   fc3_1_ww        61
     2019-03-31 19:00:05   fc3_1_wwd       durchgehend leichter Regen
     2019-03-31 19:00:05   fc3_2_DD        223
     2019-03-31 19:00:05   fc3_2_FX1       28
     2019-03-31 19:00:05   fc3_2_Neff      87
     2019-03-31 19:00:05   fc3_2_R600      81.00
     2019-03-31 19:00:05   fc3_2_RR6c      1.30
     2019-03-31 19:00:05   fc3_2_SunUp     1
     2019-03-31 19:00:05   fc3_2_TTT       11.5
     2019-03-31 19:00:05   fc3_2_time      14:00
     2019-03-31 19:00:05   fc3_2_ww        61
     2019-03-31 19:00:05   fc3_2_wwd       durchgehend leichter Regen
     2019-03-31 19:00:05   fc3_3_DD        288
     2019-03-31 19:00:05   fc3_3_FX1       28
     2019-03-31 19:00:05   fc3_3_Neff      89
     2019-03-31 19:00:05   fc3_3_R600      81.00
     2019-03-31 19:00:05   fc3_3_RR6c      2.00
     2019-03-31 19:00:05   fc3_3_RRhc      3.20
     2019-03-31 19:00:05   fc3_3_Rh00      89
     2019-03-31 19:00:05   fc3_3_SunUp     0
     2019-03-31 19:00:05   fc3_3_TTT       8.70
     2019-03-31 19:00:05   fc3_3_time      20:00
     2019-03-31 19:00:05   fc3_3_ww        61
     2019-03-31 19:00:05   fc3_3_wwd       durchgehend leichter Regen
     2019-03-31 19:00:05   fc3_Tg          7.30
     2019-03-31 19:00:05   fc3_Tn          8.40
     2019-03-31 19:00:05   fc3_Tx          13.2
     2019-03-31 19:00:05   fc3_date        2019-04-03
     2019-03-31 19:00:05   fc3_weekday     Mi
     2019-03-31 19:00:05   fc_coordinates  8.6,50.05,111.0
     2019-03-31 19:00:05   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2019-03-31 19:00:05   fc_description  FRANKFURT/M
     2019-03-31 19:00:05   fc_state        updated
     2019-03-31 19:00:05   fc_station      10637
     2019-03-31 19:00:05   fc_time         2019-03-31 17:00:00
     2019-03-31 19:15:05   state           alerts updated
Attributes:
   alertArea  806432011
   event-on-update-reading state,fc_state,a_state
   forecastDays 3
   forecastStation 10637
   forecastWW2Text 1
   group      Wetter
   room       Wetter
   timezone   Europe/Berlin


Danke und VG Dieter
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 31 März 2019, 21:48:03
Zitat von: dk3572 am 31 März 2019, 19:20:23
in meinem Device fehlen die Readings SunRise und SunSet.
Muss ich noch etwas eintragen?

In der Wiki steht dazu nichts, da dies eine neue Funktion ist und nicht jeden interessiert. Schau dir zunächst die Beschreibung der Vorhersage-Readings in der Modulhilfe an. Erstelle dann eine Liste der Readings, die du tatsächlich benötigst und trage diese mit Kommas getrennt in das Attribut forecastReadings ein. Nach der nächsten Aktualisierung werden die neuen Readings bereitgestellt. Hast du nun weniger Readings als vorher konfiguriert, solltest du vor dem Aktualisieren die nicht mehr benötigten (oder alle) Readings einmal mit deletereadings löschen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Peter aus Calw am 31 März 2019, 22:49:01
Hallo Jens,
das (spitze)Modul DWD_OpenData läuft bei mir super, wollte nun mit :

define DWD_Weblink_Generator DWD_OpenData_Weblink

installieren, das Ergebnis :

Cannot load module DWD_OpenData_Weblink

Das Modul ist in "/opt/fhem/FHEM/99_DWD_OpenData_Weblink" aber vorhanden, was mache ich da falsch ?
(Fhem wurde auch neu gestartet)

Gruß Peter

Titel: Antw:Modul für DWD Open Data
Beitrag von: Peter aus Calw am 01 April 2019, 23:05:29
Hallo zusammen,
wenn meine Frage nicht korrekt gestellt wurde bitte ich um Entschuldigung. Habe schon einige Tage nach einer Problemlösung gesucht, aber keinen Hinweis gefunden.
Bin mit 73 nicht mehr so auffassungsfähig, möchte aber trotzdem ein bisschen am Ball bleiben.
Würde mich also über einen Tipp sehr freuen.
LG Peter
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 01 April 2019, 23:20:00
Hallo Peter,
jeder ist so jung wie er sich fühlt - das kalendarische Alter spielt genau KEINE Rolle.

Zwar nutze ich das alles auch - kann Deine Frage aber leider nicht beantworten. Aber ich habe einen Tipp für Dich: Es geht darum, dass Autoren nicht jeden Tag alles im Blick haben. Also muss man ihnen einen weiteren Hinweis geben.

Du adressierst ja im Grunde den "Developer" (jaja, man darf auch Entwickler sagen) dieses Moduls, also den Jens. Wenn Du in Deiner Frage ganz unauffällig @jensb (also den Nicknamen mit direkt vorgestelltem @) einfließen lässt, dann erscheint bei Jens im Webbrowser ein kleiner Hinweis - er sieht dann, dass in irgend einem der von ihm beobachteten Gesprächsfäden er angefragt wurde.

Ich mache das jetzt mal für Dich:
@jensb kannst Du @Peter aus Calw da auf die Schnelle helfen?

Die andere Version wäre, dass Jens heute beruflich gut eingespannt ist und so gar keine Nerven für FHEM hat. Dann hilft es möglicherweise, nach drei Tagen nett zu quengeln.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 02 April 2019, 09:38:28
https://fhem.de/commandref_DE.html (https://fhem.de/commandref_DE.html)

Such mal hier nach stacktrace und aktiviere das und starte dann FHEM noch einmal neu mit "shutdown restart". Normalerweise sieht man dann genau woran es liegt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Peter aus Calw am 02 April 2019, 17:35:04
Hallo,
es war natürlich nicht meine Absicht Jens direkt anzusprechen, ich würdige auch ganz besonders das was hier von Jens und allen Machern hier geleistet wird und wovon viele wie ich in großem Maß profitieren und somit einen wichtigen Teil zur Energieeinsparung und auch persönlichem Komfort beitragen - dazu meinen herzlichen Dank.

Nun zu meinem Versuch der Einrichtung von :

define DWD_Weblink_Generator DWD_OpenData_Weblink

mit dem Ergebnis :

Cannot load module DWD_OpenData_Weblink

Im Log von FHEM steht :

2019.04.02 17:20:17 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21.

2019.04.02 17:20:17 0: Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21.


LG Peter
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 02 April 2019, 17:55:16
schau mal mit einem editor, zb nano, in die datei.
ist dort wirklich perl code zu sehen?
poste zb mal die ersten 30 zeilen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Peter aus Calw am 02 April 2019, 18:35:43
Hallo Frank,
wenn ich die Datei so ansehe, sieht die etwas komisch aus, habe die aber per wget aus github geholt.

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="utf-8">
  <link rel="dns-prefetch" href="https://github.githubassets.com">
  <link rel="dns-prefetch" href="https://avatars0.githubusercontent.com">
  <link rel="dns-prefetch" href="https://avatars1.githubusercontent.com">
  <link rel="dns-prefetch" href="https://avatars2.githubusercontent.com">
  <link rel="dns-prefetch" href="https://avatars3.githubusercontent.com">
  <link rel="dns-prefetch" href="https://github-cloud.s3.amazonaws.com">
  <link rel="dns-prefetch" href="https://user-images.githubusercontent.com/">



  <link crossorigin="anonymous" media="all" integrity="sha512-7uoDIEGQ8zTwUS9KjTP+/2I13FQPHvJ9EKoeUThfin5R1+27bcUC08VQzUo4CIjCdhvJM4zxuI+3HcSycAUTCg==" rel="stylesheet" href="https://github.githubassets.com/assets/frameworks-abba74d6e28a6842788159fec056bf26.css" />
  <link crossorigin="anonymous" media="all" integrity="sha512-nZcL+1Szltbs1e7IMsmzRupcqmH76PIz0/h4jLIAVX74TKAU11YfzKPWpkO/H9OmtVyKnkpjDXItEWBdT3BPtQ==" rel="stylesheet" href="https://github.githubassets.com/assets/site-16d020fbc43a8c23c1f051eac510157b.css" />
    <link crossorigin="anonymous" media="all" integrity="sha512-MW+ZMyZsppet8jpCeuRf6R6ep2YA21uRlAaPeUHmlRvWDbX08i+17kchJwAVY4kws762vLl2VtxFx3kOq0nvGg==" rel="stylesheet" href="https://github.githubassets.com/assets/github-7b38ea66ce7a8e79d6a0cad4c9d34684.css" />
   
   
   
   

  <meta name="viewport" content="width=device-width">
 
  <title>fhem/99_DWD_OpenData_Weblink.pm at master · jnsbyr/fhem · GitHub</title>
    <meta name="description" content="FHEM SmartHome Server Modules. Contribute to jnsbyr/fhem development by creating an account on GitHub.">
    <link rel="search" type="application/opensearchdescription+xml" href="/opensearch.xml" title="GitHub">
  <link rel="fluid-icon" href="https://github.com/fluidicon.png" title="GitHub">
  <meta property="fb:app_id" content="1401488693436528">

   
    <meta property="og:image" content="https://avatars1.githubusercontent.com/u/14251622?s=400&amp;v=4" /><meta property="og:site_name" content="GitHub" /><meta property="og:type" content="object" /><meta property="og:title" content="jnsbyr/fhem" /><meta property="og:url" content="https://github.com/jnsbyr/fhem" /><meta property="og:description" content="FHEM SmartHome Server Modules. Contribute to jnsbyr/fhem development by creating an account on GitHub." />

  <link rel="assets" href="https://github.githubassets.com/">
 
  <meta name="pjax-timeout" content="1000">
 
  <meta name="request-id" content="AFE6:58E8:1FEC6:3B351:5CA10998" data-pjax-transient>


 

  <meta name="selected-link" value="repo_source" data-pjax-transient>

      <meta name="google-site-verification" content="KT5gs8h0wvaagLKAVWq8bbeNwnZZK1r1XQysX3xurLU">
    <meta name="google-site-verification" content="ZzhVyEFwb7w3e0-uOTltm8Jsck2F5StVihD0exw2fsA">
    <meta name="google-site-verification" content="GXs5KoUUkNCoaAZn7wPN-t01Pywp9M3sEjnt_3_ZWPc">

  <meta name="octolytics-host" content="collector.githubapp.com" /><meta name="octolytics-app-id" content="github" /><meta name="octolytics-event-url" content="https://collector.githubapp.com/github-external/browser_event" /><meta name="octolytics-dimension-request_id" content="AFE6:58E8:1FEC6:3B351:5CA10998" /><meta name="octolytics-dimension-region_edge" content="iad" /><meta name="octolytics-dimension-region_render" content="iad" />
<meta name="analytics-location" content="/&lt;user-name&gt;/&lt;repo-name&gt;/blob/show" data-pjax-transient="true" />




Gruß Peter
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 02 April 2019, 18:42:44
das ist nur der html code einer website.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Peter aus Calw am 02 April 2019, 18:52:42
Hallo Frank,
habe eben diese Datei nach FHEM kopiert, neu gestartet und die Installation hat geklappt :

# -----------------------------------------------------------------------------
# $Id: 99_DWD_OpenData_Weblink.pm 201402 2018-09-22 21:16:00Z jensb $
# -----------------------------------------------------------------------------

=encoding UTF-8

=head1 NAME

DWD_OpenData_Weblink - A FHEM Perl module to visualize the forecasts data and alerts
of the DWD OpenData module.

=head1 LICENSE AND COPYRIGHT

Copyright (C) 2015 Jens B.

All rights reserved

This script is free software; you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation; either version 2 of the License, or
(at your option) any later version.

The GNU General Public License can be found at

http://www.gnu.org/copyleft/gpl.html.

A copy is found in the textfile GPL.txt and important notices to the license
from the author is found in LICENSE.txt distributed with these scripts.

This script is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.

This copyright notice MUST APPEAR in all copies of the script!

=cut

package DWD_OpenData_Weblink;

use strict;
use warnings;

verstehen das nicht ganz, war ziemlich sicher, das mit dieser Datei auch versucht zu haben.
ABer nun geht es eben. Mal sehen wie es jetzt weiter geht.
Erstmal besten Dank an Euch alle.
LG Peter
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 13 April 2019, 14:28:26
Hallo Zusammen,

gibt es denn vom DWD auch readings für die Verdunstung - in der anleitung ist

PEvap [kg/m2] - evapotranspiration of previous 24 hours

aufgeführt, ich bekomme aber für München Stadt und München Fughafen keine Daten. Rest funktioniert problemlos.

VG timmo

Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5c436478-f33f-b872-c1f0-bc9677883de3bd98
   NAME       DWD
   NR         255
   STATE      forecast updated
   TYPE       DWD_OpenData
   OLDREADINGS:
   READINGS:
     2019-04-13 14:21:24   fc0_2_DD        72
     2019-04-13 14:21:24   fc0_2_FX1       30
     2019-04-13 14:21:24   fc0_2_Neff      80
     2019-04-13 14:21:24   fc0_2_R600      2.00
     2019-04-13 14:21:24   fc0_2_RR6c      0.00
     2019-04-13 14:21:24   fc0_2_SunUp     1
     2019-04-13 14:21:24   fc0_2_TTT       7.5
     2019-04-13 14:21:24   fc0_2_time      14:00
     2019-04-13 14:21:24   fc0_2_ww        3
     2019-04-13 14:21:24   fc0_2_wwd       Bewölkung zunehmend
     2019-04-13 14:21:24   fc0_3_DD        63
     2019-04-13 14:21:24   fc0_3_FX1       26
     2019-04-13 14:21:24   fc0_3_Neff      81
     2019-04-13 14:21:24   fc0_3_R600      17.00
     2019-04-13 14:21:24   fc0_3_RR6c      0.00
     2019-04-13 14:21:24   fc0_3_RRhc      0.00
     2019-04-13 14:21:24   fc0_3_Rh00      24
     2019-04-13 14:21:24   fc0_3_SunUp     0
     2019-04-13 14:21:24   fc0_3_TTT       6
     2019-04-13 14:21:24   fc0_3_time      20:00
     2019-04-13 14:21:24   fc0_3_ww        3
     2019-04-13 14:21:24   fc0_3_wwd       Bewölkung zunehmend
     2019-04-13 14:21:24   fc0_Tn          2.80
     2019-04-13 14:21:24   fc0_Tx          8.70
     2019-04-13 14:21:24   fc0_date        2019-04-13
     2019-04-13 14:21:24   fc0_weekday     Sa
     2019-04-13 14:21:24   fc1_0_DD        44
     2019-04-13 14:21:24   fc1_0_FX1       19
     2019-04-13 14:21:24   fc1_0_Neff      98
     2019-04-13 14:21:24   fc1_0_R600      61.00
     2019-04-13 14:21:24   fc1_0_RR6c      0.10
     2019-04-13 14:21:24   fc1_0_SunUp     0
     2019-04-13 14:21:24   fc1_0_TTT       2.60
     2019-04-13 14:21:24   fc1_0_time      02:00
     2019-04-13 14:21:24   fc1_0_ww        3
     2019-04-13 14:21:24   fc1_0_wwd       Bewölkung zunehmend
     2019-04-13 14:21:24   fc1_1_DD        47
     2019-04-13 14:21:24   fc1_1_FX1       20
     2019-04-13 14:21:24   fc1_1_Neff      90
     2019-04-13 14:21:24   fc1_1_R600      71.00
     2019-04-13 14:21:24   fc1_1_RR6c      0.40
     2019-04-13 14:21:24   fc1_1_RRhc      0.40
     2019-04-13 14:21:24   fc1_1_Rh00      87
     2019-04-13 14:21:24   fc1_1_SunUp     1
     2019-04-13 14:21:24   fc1_1_TTT       2.20
     2019-04-13 14:21:24   fc1_1_time      08:00
     2019-04-13 14:21:24   fc1_1_ww        3
     2019-04-13 14:21:24   fc1_1_wwd       Bewölkung zunehmend
     2019-04-13 14:21:24   fc1_2_DD        57
     2019-04-13 14:21:24   fc1_2_FX1       26
     2019-04-13 14:21:24   fc1_2_Neff      93
     2019-04-13 14:21:24   fc1_2_R600      61.00
     2019-04-13 14:21:24   fc1_2_RR6c      0.00
     2019-04-13 14:21:24   fc1_2_SunUp     1
     2019-04-13 14:21:24   fc1_2_TTT       5.5
     2019-04-13 14:21:24   fc1_2_time      14:00
     2019-04-13 14:21:24   fc1_2_ww        3
     2019-04-13 14:21:24   fc1_2_wwd       Bewölkung zunehmend
     2019-04-13 14:21:24   fc1_3_DD        48
     2019-04-13 14:21:24   fc1_3_FX1       20
     2019-04-13 14:21:24   fc1_3_Neff      94
     2019-04-13 14:21:24   fc1_3_R600      72.00
     2019-04-13 14:21:24   fc1_3_RR6c      0.40
     2019-04-13 14:21:24   fc1_3_RRhc      0.40
     2019-04-13 14:21:24   fc1_3_Rh00      86
     2019-04-13 14:21:24   fc1_3_SunUp     0
     2019-04-13 14:21:24   fc1_3_TTT       5
     2019-04-13 14:21:24   fc1_3_time      20:00
     2019-04-13 14:21:24   fc1_3_ww        61
     2019-04-13 14:21:24   fc1_3_wwd       durchgehend leichter Regen
     2019-04-13 14:21:24   fc1_Tg          0.5
     2019-04-13 14:21:24   fc1_Tn          2.10
     2019-04-13 14:21:24   fc1_Tx          6.80
     2019-04-13 14:21:24   fc1_date        2019-04-14
     2019-04-13 14:21:24   fc1_weekday     So
     2019-04-13 14:21:24   fc_coordinates  11.55,48.13,520.0
     2019-04-13 14:21:24   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2019-04-13 14:21:24   fc_description  MUENCHEN STADT
     2019-04-13 14:21:25   fc_state        updated
     2019-04-13 14:21:24   fc_station      10865
     2019-04-13 14:21:24   fc_time         2019-04-13 11:00:00
     2019-04-13 14:21:24   state           forecast updated
Attributes:
   forecastDays 1
   forecastStation 10865
   forecastWW2Text 1
   group      Wetter
   room       9.6_Umwelt


Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 April 2019, 17:02:54
@Tsturm
Du hast das Attribut forecastReadings nicht gesetzt. Dann werden "nur" die in der Commandref aufgelisteten "Standard"-Readings abgerufen. Erstelle dir eine Liste von Readings, die du wirklich haben willst, und weise sie, mit Kommas getrennt, dem Attribut zu. Nach einem Update bekommst du die "neuen" Readings. Nicht mehr benötigte Readings müssen manuell gelöscht werden.

Trotzdem kann es sein, dass einzelne Readings an einzelnen Stationen nicht verfügbar sind, da nicht alle Stationen die gleichen Sensoren haben.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 13 April 2019, 19:35:30
@ Jens - Du meintest wahrscheinlich forecastProperties - jetzt gesetzt, thx.

Allerdings liefert der Flughafen Muc noch nicht "PEvap" (hat er letztes Jahr getan). Ich habe mal verschiedene Stationen ausprobiert - keiner hatte es.. aber das ist natürlich stochern (oder gibt es einen Überblick über die Stationen mit deren Readings?)

Ich beobachte das mal, vielleicht wird der nur manchmal aktualisiert.

Hm - Nachtrag: ich habe mir mal die kmz-Datei angeschaut - da ist eine Sektion für PEvap mit vereinzelten Werten drin. Ist da vielleicht ein Dreher im Parser - verstehen tue ich das Format allerdings nicht..?

<dwd:Forecast dwd:elementName="PEvap">
                    <dwd:value>         -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -       0.60          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -       0.90          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -       0.70          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -       0.60          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -       0.90          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -       1.00          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -</dwd:value>
                </dwd:Forecast>


Link zur Datei wie im Log von DWD (Verbose =5)
https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/10870/kml/MOSMIX_L_LATEST_10870.kmz (https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/10870/kml/MOSMIX_L_LATEST_10870.kmz)

Def:
Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5c436478-f33f-b872-c1f0-bc9677883de3bd98
   NAME       DWD
   NR         255
   STATE      forecast updated
   TYPE       DWD_OpenData
   Helper:
     DBLOG:
       fc0_3_DD:
         logdb:
           TIME       1555177461.41126
           VALUE      53
       fc0_3_PPPP:
         logdb:
           TIME       1555177461.41126
           VALUE      1018.2
       fc0_3_RR3c:
         logdb:
           TIME       1555177461.41126
           VALUE      0.00
       fc0_3_TTT:
         logdb:
           TIME       1555177461.41126
           VALUE      5.90
       fc0_3_time:
         logdb:
           TIME       1555177461.41126
           VALUE      20:00
       fc0_Tx:
         logdb:
           TIME       1555177461.41126
           VALUE      9.90
       fc0_date:
         logdb:
           TIME       1555177461.41126
           VALUE      2019-04-13
       fc0_weekday:
         logdb:
           TIME       1555177461.41126
           VALUE      Sa
       fc1_0_DD:
         logdb:
           TIME       1555177461.41126
           VALUE      43
       fc1_0_PPPP:
         logdb:
           TIME       1555177461.41126
           VALUE      1019.1
       fc1_0_RR3c:
         logdb:
           TIME       1555177461.41126
           VALUE      0.00
       fc1_0_TTT:
         logdb:
           TIME       1555177461.41126
           VALUE      2.30
       fc1_0_time:
         logdb:
           TIME       1555177461.41126
           VALUE      02:00
       fc1_1_DD:
         logdb:
           TIME       1555177461.41126
           VALUE      40
       fc1_1_PPPP:
         logdb:
           TIME       1555177461.41126
           VALUE      1019.9
       fc1_1_RR3c:
         logdb:
           TIME       1555177461.41126
           VALUE      0.00
       fc1_1_TTT:
         logdb:
           TIME       1555177461.41126
           VALUE      2.40
       fc1_1_time:
         logdb:
           TIME       1555177461.41126
           VALUE      08:00
       fc1_2_DD:
         logdb:
           TIME       1555177461.41126
           VALUE      55
       fc1_2_PPPP:
         logdb:
           TIME       1555177461.41126
           VALUE      1019.9
       fc1_2_RR3c:
         logdb:
           TIME       1555177461.41126
           VALUE      0.00
       fc1_2_TTT:
         logdb:
           TIME       1555177461.41126
           VALUE      6.30
       fc1_2_time:
         logdb:
           TIME       1555177461.41126
           VALUE      14:00
       fc1_3_DD:
         logdb:
           TIME       1555177461.41126
           VALUE      16
       fc1_3_PPPP:
         logdb:
           TIME       1555177461.41126
           VALUE      1022.4
       fc1_3_RR3c:
         logdb:
           TIME       1555177461.41126
           VALUE      0.20
       fc1_3_TTT:
         logdb:
           TIME       1555177461.41126
           VALUE      5.5
       fc1_3_time:
         logdb:
           TIME       1555177461.41126
           VALUE      20:00
       fc1_Tg:
         logdb:
           TIME       1555177461.41126
           VALUE      -0.80
       fc1_Tx:
         logdb:
           TIME       1555177461.41126
           VALUE      7.10
       fc1_date:
         logdb:
           TIME       1555177461.41126
           VALUE      2019-04-14
       fc1_weekday:
         logdb:
           TIME       1555177461.41126
           VALUE      So
       fc_coordinates:
         logdb:
           TIME       1555177461.41126
           VALUE      11.8,48.37,453.0
       fc_copyright:
         logdb:
           TIME       1555177461.41126
           VALUE      Datenbasis
       fc_description:
         logdb:
           TIME       1555177461.41126
           VALUE      MUENCHEN-FL.
       fc_state:
         logdb:
           TIME       1555177461.44321
           VALUE      updated
       fc_station:
         logdb:
           TIME       1555177461.41126
           VALUE      10870
       fc_time:
         logdb:
           TIME       1555177461.41126
           VALUE      2019-04-13 17:00:00
   OLDREADINGS:
   READINGS:
     2019-04-13 19:44:21   fc0_3_DD        53
     2019-04-13 19:44:21   fc0_3_PPPP      1018.2
     2019-04-13 19:44:21   fc0_3_RR3c      0.00
     2019-04-13 19:44:21   fc0_3_TTT       5.90
     2019-04-13 19:44:21   fc0_3_time      20:00
     2019-04-13 19:44:21   fc0_Tx          9.90
     2019-04-13 19:44:21   fc0_date        2019-04-13
     2019-04-13 19:44:21   fc0_weekday     Sa
     2019-04-13 19:44:21   fc1_0_DD        43
     2019-04-13 19:44:21   fc1_0_PPPP      1019.1
     2019-04-13 19:44:21   fc1_0_RR3c      0.00
     2019-04-13 19:44:21   fc1_0_TTT       2.30
     2019-04-13 19:44:21   fc1_0_time      02:00
     2019-04-13 19:44:21   fc1_1_DD        40
     2019-04-13 19:44:21   fc1_1_PPPP      1019.9
     2019-04-13 19:44:21   fc1_1_RR3c      0.00
     2019-04-13 19:44:21   fc1_1_TTT       2.40
     2019-04-13 19:44:21   fc1_1_time      08:00
     2019-04-13 19:44:21   fc1_2_DD        55
     2019-04-13 19:44:21   fc1_2_PPPP      1019.9
     2019-04-13 19:44:21   fc1_2_RR3c      0.00
     2019-04-13 19:44:21   fc1_2_TTT       6.30
     2019-04-13 19:44:21   fc1_2_time      14:00
     2019-04-13 19:44:21   fc1_3_DD        16
     2019-04-13 19:44:21   fc1_3_PPPP      1022.4
     2019-04-13 19:44:21   fc1_3_RR3c      0.20
     2019-04-13 19:44:21   fc1_3_TTT       5.5
     2019-04-13 19:44:21   fc1_3_time      20:00
     2019-04-13 19:44:21   fc1_Tg          -0.80
     2019-04-13 19:44:21   fc1_Tx          7.10
     2019-04-13 19:44:21   fc1_date        2019-04-14
     2019-04-13 19:44:21   fc1_weekday     So
     2019-04-13 19:44:21   fc_coordinates  11.8,48.37,453.0
     2019-04-13 19:44:21   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2019-04-13 19:44:21   fc_description  MUENCHEN-FL.
     2019-04-13 19:44:21   fc_state        updated
     2019-04-13 19:44:21   fc_station      10870
     2019-04-13 19:44:21   fc_time         2019-04-13 17:00:00
     2019-04-13 19:44:21   state           forecast updated
Attributes:
   forecastDays 1
   forecastProperties EDD,Tx, Tg, TTT, DD,  RR3c, PEvap,PPPP
   forecastResolution 6
   forecastStation 10870
   group      Wetter
   room       6.1_Rain,9.6_Umwelt
   verbose    5


Vielen Dank - Timmo

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 April 2019, 20:03:42
@Tsturm
Sorry mit dem Namen von forecastProperties habe ich mich vertan, aber du hast es ja trotzdem gefunden.

Der 1. Wert für PEVap ist der 39. Eintrag basierend auf 16:00 UTC. Damit landen wir bei Übermorgen 08:00 Europe/Berlin. PEVap ist ein 24h-Wert. Dieser Wert gilt dann für Morgen 08:00 bis Übermorgen 08:00. Das klingt vielleicht verwirrend, ist aber vom DWD so definiert.

Du kannst ihn also nur dann sofort abrufen, wenn du forecastDays mindestens auf 2 stellst. Wenn du wartest, sollte er ab 02:00 auch so erscheinen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Tsturm am 13 April 2019, 22:19:28
@Jens
wow... höhere Mathematik.. ;-) Ich glaube, das war letztes Jahr noch leicht anders definiert (da hatte ich das schonmal verwendet). Nja, macht auch nichts, gehts in dblog, und dann mit avg gemittelt - das klappt.

Vielen Dank, dann kann ich ja mal wieder die Beregnungsanlage koppeln..

VG und schönes WE!
VG timmo
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 April 2019, 22:20:13
In der Brechung von Azimut und Elevation der Sonne war ein Bug, entsprechend hat das Reading SunUp nur zu bestimmten Stunden gestimmt (die "Rektaszension" wurde nicht berücksichtigt).

Auf GitHub  (https://github.com/jnsbyr/fhem/tree/master/FHEM)ist die korrigierte Version zu Ausprobieren.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: sfeli am 05 Mai 2019, 12:18:38
Moin,
herzlichen Dank für die Aktualisierung des Moduls DWD - freue mich schon auf das gute Wetter in Hamburg :-)
Falls jemand noch Probleme mit der Erstellung einer readingsGroup  wo einige Werte (Vergangenheit) bei den Readings fehlen, dann hier eine praktikable Lösung:
[/size]DWD:<Wochentag>,*_weekday
DWD:<Temperatur.min>,*_Tn
DWD:<Temperatur.max>,*_Tx
<hr>
DWD:<Uhrzeit[hh:mm]:>,*_0_time
DWD:<Windrichtung:>,*_0_DD
DWD:<max.Windgeschwindigkeit:>,*_0_FX1
DWD:<Durchschnittstemperatur:>,*_0_TTT
DWD:<Regenwahrscheinlichkeit:>,*0_R600
DWD:<Regenmenge:>,*0_RR6c
<hr>
DWD:<Uhrzeit[hh:mm]:>,*_1_time
DWD:<Windrichtung:>,*_1_DD
DWD:<max.Windgeschwindigkeit:>,*_1_FX1
DWD:<Durchschnittstemperatur:>,*_1_TTT
DWD:<Regenwahrscheinlichkeit:>,*_1_R600
DWD:<Regenmenge:>,*_1_RR6c
<hr>
DWD:<Uhrzeit[hh:mm]:>,*_2_time
DWD:<Windrichtung:>,*_2_DD
DWD:<max.Windgeschwindigkeit:>,*_2_FX1
DWD:<Durchschnittstemperatur:>,*_2_TTT
DWD:<Regenwahrscheinlichkeit:>,*_2_R600
DWD:<Regenmenge:>,*_2_RR6c
<hr>
DWD:<Uhrzeit[hh:mm]:>,*_3_time
DWD:<Windrichtung:>,*_3_DD
DWD:<max.Windgeschwindigkeit:>,*_3_FX1
DWD:<Durchschnittstemperatur:>,*_3_TTT
DWD:<Regenwahrscheinlichkeit:>,*_3_R600
DWD:<Regenmenge:>,*_3_RR6c


und nun das Wesentliche readings vom nächsten Tag (fc1) werden in die zweite Spalte geschrieben:
{ if (substr($READING,0,3) eq "fc1") {return 3} }


mit:
valueFormat { if (substr($READING,6,4) eq "R600") {return "%.0f"}
elsif (substr($READING,6,4) eq "time") {return "$4"}
elsif (substr($READING,4,7) eq "weekday") {return "$2"}
else {return "%.0f"}}


sieht es noch gut aus. Analog können valueStyle und valueSuffix individuell gesetzt werden.

Wäre vielleicht ein Anfang für das Wiki - damit schnell ein Ergebnis erzieht werden kann.
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 19 Mai 2019, 12:43:39
Hallo Jens,

mir ist aufgefallen, dass irgendwie die Regendaten falsch sind. Ich habe das Gefühl, dass nach dem letzten Update die Regenmengen (fcx_x_RRhc, RR3c bzw. RR6c) immer 0.00 sind, obwohl wwd "durchgehend leichter Regen" und "durchgehend starker Regen"?! Weiterhin ist die Regenwahrscheinlichkeit immer 24% bzw. 25% (fcx_x_Rh00)?!

Hat noch jemand dies so beobachtet?

Danke und Gruß
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Mai 2019, 16:57:24
Hallo Andreas,

diesen Effekt habe ich bei mir nicht. Das Update hatte nichts mit dem Datenabruf vom DWD zu tun und sollte sich deshalb auch nicht so auswirken. Es ist auch zu beachten, dass der DWD ww und die Rxyz-Werte unabhängig voneinander bildet, so dass gelegentliche Widersprüche möglich sind.

Um die Ursache einzugrenzen kannst du entweder selbst in den DWD-Rohdaten nachsehen (Datei für Station herunterladen und entpacken und die Werte aus der Datei mit denen in FHEM vergleichen). Ansonsten kannst du mir auch deine Station mitteilen (z.B. per PM) und einen Zeiptunkt, wo dieser Widerspruch auftritt, dann sehe ich mir das an.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 19 Mai 2019, 18:45:55
Hallo Jens,

ich habe die Readings mal mit den DWD Rohdaten verglichen. Das geht im Moment gut, da ja Unwetterwarnung für bayern und jede Menge Regen vorhergesagt wird  8) (Wetterstation 10870 - Flughafen München).

Das Problem ist, dass teilweise stündliche Readings erzeugt werden, aber keine Daten geliefert werden. Hier die Übersicht meiner Analyse:

Rh00   7,19 - keine Daten, aber Reading
   8,20 - richtig

Rhhc   7,19 - keine Daten, aber Reading
   8,20 - richtig

RR3c   1,4,7,10,13,16,19,22 - keine Daten, aber Reading
   2,5,8,11,14,17,20,23 - richtig

RRS3c - vermutlich genauso (mangels Schnee nicht zu prüfen  ;D)

Kannst du die stündlichen Readings, welche keine Daten liefern noch rausnehmen?

Danke und Gruß
Andreas

Hier zur Referenz meine Moduldefinition:
defmod DWD DWD_OpenData
attr DWD alertArea xxxxxxxxxxxx
attr DWD alertExcludeEvents 22
attr DWD alertLanguage DE
attr DWD event-on-update-reading 1
attr DWD forecastDays 10
attr DWD forecastProperties DD,FF,RRS3c,RR3c,RR6c,RRhc,Rh00,SunD,TTT,Tx,Tn,ww,wwd,SunUp,SunRise,SunSet
attr DWD forecastResolution 1
attr DWD forecastStation 10870
attr DWD forecastWW2Text 1

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 Mai 2019, 22:50:18
Hallo Andreas,

habe versucht deine Situation nachzustellen, aber irgendeine Info fehlt mir wohl noch. Da ich erst vorhin deine Einstellungen übernommen habe, werde ich heute wahrscheinlich nicht mehr den Effekt sehen können - werde das aber auf jeden Fall weiter beobachten.

ZitatDas Problem ist, dass teilweise stündliche Readings erzeugt werden, aber keine Daten geliefert werden. [...] Kannst du die stündlichen Readings, welche keine Daten liefern noch rausnehmen?
Alle Daten der MOS-Wettervorhersage haben ein Stundenraster, aber es gibt nicht für jede Stunde einen Wert - dann steht in den DWD-Rohdaten ein "-". Das ist soweit normal und in FHEM wird dann für diesen Wert auch kein Reading angelegt.

Alle Vorhersage-Readings werden um Mitternacht aus der Zukunft um 1 Tag in die Vergangenheit rotiert. Damit sind immer gültige Readings da, auch wenn noch keine Neuen vom DWD abgerufen wurden. Falls es nicht doch den Sonderfall gibt, dass die Readings aus der Zukunft zu anderen Stunden gültig sind als die von "heute", dürfte es auch keine Readings für "heute" geben, die nicht mehr aktualisiert werden. Insofern ist da nichts, was herauszunehmen wäre, wenn alles so funktioniert wie es sollte.

Zu deinen Analyseinfos: Meinst du mit "7,19" 7:00 und 19:00 und wenn ja UTC oder CEST? Meinst du mit "keine Daten", dass in den DWD-Rohdaten keine Daten sind?

Wie sieht der FHEM-Zeitstempel von den Readings aus, für die es keine DWD-Werte gibt (aktuell, alt)?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 20 Mai 2019, 00:24:52
Hallo Jens,

Mit "7,19" meine ich jeweis die Readings "fcx_7_Rh00" bzw. "fcx_19_Rh00". Ich hoffe, dass das Reading mit 7 bzw. 19Uhr CEST befüllt wird  ;). Mit "keine Daten" meine ich, dass in den DWD Rohdaten dort ein "-" steht.

Der Zeitstempel sämtlicher Readings ist aktuell.

Ich hänge mal die "Raw Definition" als txt ran zur besseren Lesbarkeit des Threads.

Viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 Mai 2019, 21:27:13
Hallo Andreas,

habe mir die Raw-Daten angesehen.

Mein Testsystem ist seit gestern auf die gleiche Station eingestellt, hat aber nicht die gleichen Daten. Damit meine ich nicht bestimmte Zahlenwerte sondern dass es bei mir keine Readings gibt, wenn in den DWD-Daten keine sind, so wie es sein sollte. Deshalb hatte ich wegen 7 und 19 auch nachgefragt.

Bei dir haben nicht alle Readings den gleichen Zeitstempel. Die meisten sind von 2019-05-20 00:00:05, aber es gibt auch welche von 2019-05-20 00:15:07 und auch von 2019-03-21 23:00:05. Abweichende ältere Zeitstempel sind nur für die ältesten Einträge von "heute" normal. Letzteres deutet darauf hin, dass du mit dem Device u.U. mehrere Stationen ausprobiert hast oder die forecastResolution geändert hast. In der Modulhilfe stand/steht bei einigen Attributen, dass man dann die Readings manuell löschen soll. Die aktuelle Modulversion macht das in einigen Situationen inzwischen automatisch.

Warum du auch Readings hast, die etwas neuer sind als die meisten anderen kann ich nicht erklären. Ist das nur die Momentaufnahme der angehängten Datei (z.B. wegen gerade erfolgtem Tageswechsel) oder ist das auch sonst so? Hast du vielleicht einen anderen FHEM-Ablauf, der auch auf die DWD-Readings schreibt?

Vorschlag: Einmal alle fc.* Readings löschen, "get forecast" aufrufen und noch einmal beobachten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 21 Mai 2019, 22:15:03
Hallo Jens,

danke für deine Vorschläge. Ich habe heute alle fc_* Readings gelöscht. Nach einem Update wurden die "fehlerhaften" Readings nicht neu erzeugt. Ich vermute, dass es mit dem Wechsel der forecastResolution zusammengehängt hat. Ich melde mich, falls die Readings wieder auftauchen sollten.

Vielen Dank und viele Grüße
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: Loredo am 04 Juli 2019, 11:23:20
Zitat von: jensb am 10 März 2019, 16:17:11
Nicht gefallen tut mir, dass im DWD_OpenData-Modul die vermutlich vierte Sonnenparameterberechung von FHEM steckt - die anderen mir bekannten stecken in SUNRISE_EL, Astro und Twilight. Nur SUNRISE_EL ist so aufgebaut, dass man es aus anderen Modulen aufrufen kann und es hat die meisten Gemeinsamkeiten mit dem von mir gewählten Ansatz, verzichtet aber auf die von mir implementierte Genauigkeitsoptimierung, den Betrachter-Zeitzonenbezug und ein paar andere Details. Astro und Twilight sind wie das DWD_OpenData-Modul keine Funktionsmodule (lassen sich also nicht ohne weiteres in anderen Modulen), wobei Astro einen anderen wissenschaftlichen Ansatz als SUNRISE_EL und DWD_OpenData verwendet und Twilight die Daten gar nicht selbst berechnet sondern von einem Webdienst übernimmt. Wer sich mit der Theorie einmal auseinander gesetzt hat, den dürfte es nicht wundern, dass keine der 4 Ansätze die gleichen Werte liefern. Welcher Algorithmus der "wahre" ist, muss jeder selbst entscheiden. Meiner Ansicht nach würde es sich anbieten, SUNRISE_EL zu erweitern und den Code aus dem DWD_OpenData-Modul wieder zu entfernen.


Da ich gerade darauf gestoßen bin: Astro bietet ein Programmierer Interface an, auch ohne ein Device anzulegen. Dieses wurde jüngst (https://forum.fhem.de/index.php/topic,73951.msg950266.html#msg950266) auch erst optimiert. Ich bin gerade dabei eine optionale Kompatibilitätsschicht für den Ersatz von SUNRISE_EL einzubauen.
DaySchedule (https://forum.fhem.de/index.php/topic,101942.0.html) macht es vor, dort kann man auch ein Astro Device explizit angeben, wenn man dessen Einstellungen für die Berechnung verwenden möchte. DaySchedule bietet außerdem das gleiche Programmierer Interface und stellt die selben Astrodaten bereit, erweitert durch Werte aus dem kalendarischen Bereich.


Beide Module funktionieren gut im Tandem Betrieb und sind darauf ausgelegt doppelte Daten und Readings zu vermeiden. Ein DWD Modul sollte meiner Meinung nach nicht noch ein Reading für astronomische Werte anbieten, sondern sich auf das Wetter konzentrieren. Streng genommen sind die Astro Daten für die nächsten Tage ja keine Vorhersage, sondern eine Vorausberechnung und quasi eine Tatsache, die schon feststeht. Daher gehört es IMHO nicht zu Forecast Daten.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Juli 2019, 22:34:16
Hallo Loredo,

danke für den Hinweis, dass das Astro-Modul auch eine API hat - das werde ich mir ansehen. Es ist allerdings zu beachten, dass die verschiedenen Module unterschiedliche Ansätze und Approximationen nutzen und daher unterschiedlich genau sind. Das DWD-Modul stellt z.B. die genauere Version des Ansatzes von SUNRISE_EL zur Verfügung. Ob das Astro- oder das DWD-Modul absolut gesehen genauer sind, kann ich nicht beurteilen.

Ich stimme dir auch zu, dass diese Daten eigentlich nicht in das DWD-Modul gehören. Der Wunsch kommt ursprünglich von den Nutzern und ist aus deren Sicht zu verstehen. Es ist einfacher, im vorhandenen Verarbeitungskontext weitere Readings zu lesen, als die Daten über andere Wege zu bestimmen. Wenn es sich um eine nicht gerade selten genutzte Funktion handelt, macht es auch Sinn, sie zu integrieren, damit nicht jeder Nutzer das Rad neu erfinden muss, indem er diverse längliche Wiki-Artikel abarbeitet, um die gewünschte Funktion zu erhalten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Loredo am 05 Juli 2019, 13:37:44

Hi Jens,

Kannst du den Begriff von "genau" näher erläutern? Worin genau will das DWD Modul genauer sein?
Ich glaube pah hat bei dem Astro Modul ebenfalls die Absicht verfolgt, die Sache möglichst wissenschaftlich anzugehen. Deshalb fände ich es lohnenswert, wenn man hier die Bemühungen bündelt und das, was evtl. noch fehlt, in Astro hinzubaut (sofern es nicht pah's Vorgabe/Grundsatz entgegen steht, dass es was mit astronomischen Daten zu tun haben muss  ;) ).


Ob man die selben Werte dann unterschiedlich benannt in mehreren Devices anzeigt oder nicht, sehe ich als zweitrangig an - sie sollten eben nur übereinstimmen und ich behaupte das geht am besten und einfachsten, wenn der selbe Code dafür verwendet wird  :)
Leider wurde aus der Idee (https://forum.fhem.de/index.php/topic,102028.0.html), SUNRISE_EL ganz zu ersetzen, nichts. Aber muss es deshalb trotzdem zig Module geben, die das selbe tun? Genau in dieser vorausschauenden Absicht hat pah glaube ich die Programmierschnittstelle in Astro vorgesehen, damit man kein FHEM Device braucht (aber haben kann). DaySchedule macht das ja auch genauso: Es zeigt auch alle Astro Daten mit an, es sei denn man verlinkt ein bestehendes Astro Device. In jedem Fall bleibt aber die Berechnung unabhängig voneinander, trotzdem wir der selbe Code dafür verwendet.


Du schreibst ja auch etwas von Nutzererfahrung, wir liegen hier also glaube ich nicht weit auseinander und haben eigentlich das gleiche im Sinn.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Juli 2019, 10:57:07
Hi Loredo,

Zitat von: Loredo am 05 Juli 2019, 13:37:44
Kannst du den Begriff von "genau" näher erläutern? Worin genau will das DWD Modul genauer sein?

Soweit ich mich erinnere, habe ich das "genau" weiter vorn im Thread kurz beschrieben. SUNRISE_EL rechnet einmal und liefert das als Ergebnis, um gerade auf schwachbrüstigen Plattformen überhaupt ein Ergebnis zu haben. Der Grundalgorithmus ist aber eine Iteration, die von SUNRISE_EL nicht genutzt wird. DWD_OpenData rechnet so lange im Hintergrund iterativ, bis das Delta zwischen zwei Iterationen unter einem Schwellwert liegt und ist damit formal betrachtet genauer. Es wäre also vorstellbar, die Iteration als Erweiterung in SUNRISE_EL einzubauen, dann könnte sie in DWD_OpenData entfallen, ohne dass sich etwas an den Werten ändert. Wenn man nun das "Genau" von Astro und DWD_OpenData gegenüberstellt um zu vergleichen, bin ich überfragt. Der Grundalgorithmus ist nicht der Gleiche und man muss schon etwas von Astrophysik verstehen, um die Vor- und Nachteile der beiden Approximationen beurteilen zu können. Vermutlich ist keiner von beiden "Genauer". Sie werden also je nach Zeit und Ort auf jeden Fall abweichende Werte liefern. Möglicherweise kann das pah beurteilen. In wie weit diese Abweichungen für irgendetwas relevant sind, muss jeder selbst beurteilen.

Wie gesagt, ich werde mir die Schnittstelle von Astro ansehen. Wenn man die Daten da rausholen kann, die für das DWD_OpenData-Konzept erforderlich sind (variabler Standort, variable Zeitzone, variabler Zeitpunkt), wäre ich geneigt umzustellen. Allerdings ist SUNRISE_EL für viele FHEM-Module und Anwender das Maß (aller) Dinge. Das wird die Umstellung von DWD_OpenData allein nicht ändern können. Diese Thema sollte meiner Ansicht nach im Developer-Bereich geklärt werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Loredo am 06 Juli 2019, 11:33:07
Verzeih mir, dass ich keine 40+ Seiten des Thread durchgelesen habe  :D


SUNRISE_EL iteriert in _sr_alt() ebenfalls, von daher wäre es das wohl nicht. Astro wird es ermöglichen die Funktion sr_alt(), auf der SUNRISE_EL basiert, zur Laufzeit zu ersetzen (https://forum.fhem.de/index.php/topic,73951.msg955287.html#msg955287), so dass man damit dann selbst entscheiden kann, welcher Algorithmus zum Einsatz kommt. Das wurde hier (https://forum.fhem.de/index.php/topic,98583.msg955313.html#msg955313) bereits kürzlich erörtert. SUNRISE_EL durch Astro mittels eines immer aktivem Kompatibilitätslayer zu ersetzen, fand keine Zustimmung (https://forum.fhem.de/index.php/topic,102028.0.html).


Astro beherrscht nach meinen Änderungen sämtliche Finessen was TZ, LC_TIME und LC_NUMERIC - auch als Device Attribut oder Aufruf-Parameter bei der API Abfrage, um von den Systemeinstellungen abweichend abfragen zu können. Generell kann alles, was man als Device Attribut einstellen kann, auch der API mit dem selben Namen übergeben werden. Rückgabewert ist entweder Text oder ein JSON.




Vielen Dank jedenfalls für deine Offenheit. Lass mich wissen, wenn etwas fehlen sollte. Marko und ich haben mit pah vereinbart, dass wir Astro um sinnvolle Funktionen erweitern dürfen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 08 Juli 2019, 19:56:54
Hi Loredo,

danke für die Infos, die hätten mir vor einem halben Jahr einen Happen Arbeit erspart.  :D

Zitat von: Loredo am 06 Juli 2019, 11:33:07
Lass mich wissen, wenn etwas fehlen sollte.
Darauf werde ich bei Bedarf gern zurück kommen. Es wird allerdings etwas dauern, bis ich mich dem Thema annehmen kann.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Loredo am 08 Juli 2019, 20:00:47

Hi Jens,


kein Thema  8)


Allerdings hat sich das hier inzwischen abermals relativiert (https://forum.fhem.de/index.php/topic,98583.msg955974.html#msg955974):

Zitat von: Loredo am 06 Juli 2019, 11:33:07
Astro wird es ermöglichen die Funktion sr_alt(), auf der SUNRISE_EL basiert, zur Laufzeit zu ersetzen (https://forum.fhem.de/index.php/topic,73951.msg955287.html#msg955287), so dass man damit dann selbst entscheiden kann, welcher Algorithmus zum Einsatz kommt.


Man braucht also einen Wrapper, weil die Astro Funktionen dafür anders heißen (aber die gleichen Parameter verarbeiten können). Das nur der Vollständigkeit halber was SUNRISE_EL anbelangt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Kai Hawaii am 14 Juli 2019, 12:29:44
Hallo, 

dem HTML Code aus 99_DWD_OpenData_Weblink.pm scheint ein abschliessendes </div> zu fehlen. Binde ich den Weblink im Floorplan ein sind die Positionen einiger Objekte auf der Floorplanseite nicht mehr korrekt.
Ich habe 99_DWD_OpenData_Weblink.pm um ein abschliessendes </div> ergänzt und jetzt ist alles in Ordnung.

Meine Wunschliste wären folgende Attribute:
- Table width
- Icon Size

Danke für den tollen Code!

Kai Hawaii
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 Juli 2019, 21:57:04
Hallo Kai,

vielen Dank für den Hinweis. So wie es aussieht fehlt in Zeile 1199 das </div>. Werde das noch mal testen und demnächst ein Update posten.

Zitat von: Kai Hawaii am 14 Juli 2019, 12:29:44
Meine Wunschliste wären folgende Attribute:
- Table width
- Icon Size
Es ist nicht einfach, den Weblink zu skalieren. Der Font wird schnell zu klein bei bestimmten Wetterbeschreibungen. Die Icons füllen eigentlich nur die durch den Text verfügbare Breite proportional aus. Es bringt also nicht viel die Icons unabhängig von der Tabellenbreite zu skalieren. Der einfachst Weg der (Breiten-)Skalierung ist die Anzahl der angezeigten Tage zu verringern.

Frontend-Entwicklung ist allerdings nicht mein Ding. Deshalb gibt es den Weblink auch nicht als Teil von FHEM. Es gibt vielleicht eine einfache Möglichkeit die gewünschten Funktionen umzusetzen. Wenn du (oder jemand anderes) einen Patch hast, werde ich mir den gern ansehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: stephan20 am 25 Juli 2019, 12:37:20
Hallo,

da wir leider im Anfängerforum nicht weitergekommen sind (Link: https://forum.fhem.de/index.php/topic,102410.0.html (https://forum.fhem.de/index.php/topic,102410.0.html)), versuche ich mein Glück nochmal hier.

Bei meinem Device werden trotz meines eachtens korrekter Installation und Einrichtung keine a_count und a_state Readings erstellt. Außerdem erhalte ich folgende Fehlermeldung wenn ich versuche die Warnmeldungen manuell über get DWD alerts 105119000. Andere Warnzellen habe ich auch schon getestet, das Resultat bleibt gleich.

alerts cache update in progress, please wait and try again

Bin echt ratlos

Gruß, Stephan

List:
[code]Internals:
   FHEM_TZ   
   FUUID      5d338145-f33f-60ca-d4ee-f3ce3ba1755de2c3
   NAME       DWD
   NR         350
   STATE      forecast updated
   TYPE       DWD_OpenData
   Helper:
     DBLOG:
       fc0_0_DD:
         DBLogging:
           TIME       1564027205.52972
           VALUE      9
       fc0_0_FX1:
         DBLogging:
           TIME       1564027205.52972
           VALUE      13
       fc0_0_Neff:
         DBLogging:
           TIME       1564027205.52972
           VALUE      13
       fc0_0_R600:
         DBLogging:
           TIME       1564027205.52972
           VALUE      10.00
       fc0_0_RR6c:
         DBLogging:
           TIME       1564027205.52972
           VALUE      0.00
       fc0_0_SunUp:
         DBLogging:
           TIME       1564027205.52972
           VALUE      0
       fc0_0_TTT:
         DBLogging:
           TIME       1564027205.52972
           VALUE      24.1
       fc0_0_time:
         DBLogging:
           TIME       1564027205.52972
           VALUE      02:00
       fc0_0_ww:
         DBLogging:
           TIME       1564027205.52972
           VALUE      0
       fc0_0_wwd:
         DBLogging:
           TIME       1564027205.52972
           VALUE      Bewölkungsentwicklung nicht beobachtet
       fc0_1_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      115
       fc0_1_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      11
       fc0_1_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      9
       fc0_1_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      3.00
       fc0_1_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc0_1_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc0_1_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      6
       fc0_1_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc0_1_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      25.3
       fc0_1_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      08:00
       fc0_1_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc0_1_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkungsentwicklung nicht beobachtet
       fc0_2_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      133
       fc0_2_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      28
       fc0_2_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      14
       fc0_2_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      3.00
       fc0_2_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc0_2_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc0_2_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      37.4
       fc0_2_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      14:00
       fc0_2_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc0_2_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkungsentwicklung nicht beobachtet
       fc0_3_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      64
       fc0_3_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      22
       fc0_3_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      27
       fc0_3_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      6.00
       fc0_3_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc0_3_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc0_3_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      11
       fc0_3_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc0_3_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      35.8
       fc0_3_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      20:00
       fc0_3_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc0_3_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung abnehmend
       fc0_Tg:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17.1
       fc0_Tn:
         DBLogging:
           TIME       1564048805.82537
           VALUE      25.3
       fc0_Tx:
         DBLogging:
           TIME       1564048805.82537
           VALUE      39.7
       fc0_date:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2019-07-25
       fc0_weekday:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Do
       fc1_0_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      86
       fc1_0_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      15
       fc1_0_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      18
       fc1_0_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      10.00
       fc1_0_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc1_0_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc1_0_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      26.2
       fc1_0_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      02:00
       fc1_0_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc1_0_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkungsentwicklung nicht beobachtet
       fc1_1_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      112
       fc1_1_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17
       fc1_1_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      16
       fc1_1_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      11.00
       fc1_1_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc1_1_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc1_1_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      26
       fc1_1_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc1_1_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      26.8
       fc1_1_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      08:00
       fc1_1_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc1_1_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkungsentwicklung nicht beobachtet
       fc1_2_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      102
       fc1_2_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      33
       fc1_2_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      15
       fc1_2_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      3.00
       fc1_2_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc1_2_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc1_2_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      37.8
       fc1_2_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      14:00
       fc1_2_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc1_2_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung abnehmend
       fc1_3_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      67
       fc1_3_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      30
       fc1_3_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      37
       fc1_3_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      15.00
       fc1_3_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc1_3_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc1_3_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17
       fc1_3_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc1_3_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      33.8
       fc1_3_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      20:00
       fc1_3_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc1_3_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung abnehmend
       fc1_Tg:
         DBLogging:
           TIME       1564048805.82537
           VALUE      18.8
       fc1_Tn:
         DBLogging:
           TIME       1564048805.82537
           VALUE      26.7
       fc1_Tx:
         DBLogging:
           TIME       1564048805.82537
           VALUE      39.7
       fc1_date:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2019-07-26
       fc1_weekday:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Fr
       fc2_0_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      112
       fc2_0_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17
       fc2_0_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      36
       fc2_0_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17.00
       fc2_0_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc2_0_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc2_0_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      25.3
       fc2_0_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      02:00
       fc2_0_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc2_0_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung abnehmend
       fc2_1_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      173
       fc2_1_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17
       fc2_1_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      53
       fc2_1_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      45.00
       fc2_1_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc2_1_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc2_1_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      59
       fc2_1_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc2_1_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      22.4
       fc2_1_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      08:00
       fc2_1_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc2_1_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung abnehmend
       fc2_2_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      175
       fc2_2_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      22
       fc2_2_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      62
       fc2_2_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      40.00
       fc2_2_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0.00
       fc2_2_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc2_2_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      27.3
       fc2_2_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      14:00
       fc2_2_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2
       fc2_2_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung unverändert
       fc2_3_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      4
       fc2_3_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      22
       fc2_3_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      69
       fc2_3_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      64.00
       fc2_3_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2.50
       fc2_3_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2.50
       fc2_3_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      74
       fc2_3_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc2_3_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      26.1
       fc2_3_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      20:00
       fc2_3_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      95
       fc2_3_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      leichtes oder mäßiges Gewitter mit Regen oder Schnee
       fc2_Tg:
         DBLogging:
           TIME       1564048805.82537
           VALUE      19.5
       fc2_Tn:
         DBLogging:
           TIME       1564048805.82537
           VALUE      22.2
       fc2_Tx:
         DBLogging:
           TIME       1564048805.82537
           VALUE      29.6
       fc2_date:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2019-07-27
       fc2_weekday:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Sa
       fc3_0_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      92
       fc3_0_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      17
       fc3_0_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      68
       fc3_0_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      71.00
       fc3_0_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2.20
       fc3_0_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      0
       fc3_0_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      21.1
       fc3_0_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      02:00
       fc3_0_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      61
       fc3_0_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      durchgehend leichter Regen
       fc3_1_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      190
       fc3_1_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      19
       fc3_1_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      71
       fc3_1_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      70.00
       fc3_1_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1.40
       fc3_1_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      3.60
       fc3_1_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      78
       fc3_1_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc3_1_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      21.1
       fc3_1_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      08:00
       fc3_1_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2
       fc3_1_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung unverändert
       fc3_2_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      257
       fc3_2_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      24
       fc3_2_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      69
       fc3_2_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      51.00
       fc3_2_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1.00
       fc3_2_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc3_2_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      25.8
       fc3_2_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      14:00
       fc3_2_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2
       fc3_2_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung unverändert
       fc3_3_DD:
         DBLogging:
           TIME       1564048805.82537
           VALUE      259
       fc3_3_FX1:
         DBLogging:
           TIME       1564048805.82537
           VALUE      24
       fc3_3_Neff:
         DBLogging:
           TIME       1564048805.82537
           VALUE      70
       fc3_3_R600:
         DBLogging:
           TIME       1564048805.82537
           VALUE      65.00
       fc3_3_RR6c:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1.80
       fc3_3_RRhc:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2.90
       fc3_3_Rh00:
         DBLogging:
           TIME       1564048805.82537
           VALUE      75
       fc3_3_SunUp:
         DBLogging:
           TIME       1564048805.82537
           VALUE      1
       fc3_3_TTT:
         DBLogging:
           TIME       1564048805.82537
           VALUE      23.5
       fc3_3_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      20:00
       fc3_3_ww:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2
       fc3_3_wwd:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Bewölkung unverändert
       fc3_Tg:
         DBLogging:
           TIME       1564048805.82537
           VALUE      18.2
       fc3_Tn:
         DBLogging:
           TIME       1564048805.82537
           VALUE      20.5
       fc3_Tx:
         DBLogging:
           TIME       1564048805.82537
           VALUE      27.1
       fc3_date:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2019-07-28
       fc3_weekday:
         DBLogging:
           TIME       1564048805.82537
           VALUE      So
       fc_coordinates:
         DBLogging:
           TIME       1564048805.82537
           VALUE      6.82,51.52,33.0
       fc_copyright:
         DBLogging:
           TIME       1564048805.82537
           VALUE      Datenbasis
       fc_description:
         DBLogging:
           TIME       1564048805.82537
           VALUE      OBERHAUSEN
       fc_state:
         DBLogging:
           TIME       1564048807.08481
           VALUE      updated
       fc_station:
         DBLogging:
           TIME       1564048805.82537
           VALUE      N9079
       fc_time:
         DBLogging:
           TIME       1564048805.82537
           VALUE      2019-07-25 05:00:00
       state:
         DBLogging:
           TIME       1564048805.82537
           VALUE      forecast updated
   READINGS:
     2019-07-25 06:00:05   fc0_0_DD        9
     2019-07-25 06:00:05   fc0_0_FX1       13
     2019-07-25 06:00:05   fc0_0_Neff      13
     2019-07-25 06:00:05   fc0_0_R600      10.00
     2019-07-25 06:00:05   fc0_0_RR6c      0.00
     2019-07-25 06:00:05   fc0_0_SunUp     0
     2019-07-25 06:00:05   fc0_0_TTT       24.1
     2019-07-25 06:00:05   fc0_0_time      02:00
     2019-07-25 06:00:05   fc0_0_ww        0
     2019-07-25 06:00:05   fc0_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-07-25 12:00:05   fc0_1_DD        115
     2019-07-25 12:00:05   fc0_1_FX1       11
     2019-07-25 12:00:05   fc0_1_Neff      9
     2019-07-25 12:00:05   fc0_1_R600      3.00
     2019-07-25 12:00:05   fc0_1_RR6c      0.00
     2019-07-25 12:00:05   fc0_1_RRhc      0.00
     2019-07-25 12:00:05   fc0_1_Rh00      6
     2019-07-25 12:00:05   fc0_1_SunUp     1
     2019-07-25 12:00:05   fc0_1_TTT       25.3
     2019-07-25 12:00:05   fc0_1_time      08:00
     2019-07-25 12:00:05   fc0_1_ww        0
     2019-07-25 12:00:05   fc0_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-07-25 12:00:05   fc0_2_DD        133
     2019-07-25 12:00:05   fc0_2_FX1       28
     2019-07-25 12:00:05   fc0_2_Neff      14
     2019-07-25 12:00:05   fc0_2_R600      3.00
     2019-07-25 12:00:05   fc0_2_RR6c      0.00
     2019-07-25 12:00:05   fc0_2_SunUp     1
     2019-07-25 12:00:05   fc0_2_TTT       37.4
     2019-07-25 12:00:05   fc0_2_time      14:00
     2019-07-25 12:00:05   fc0_2_ww        0
     2019-07-25 12:00:05   fc0_2_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-07-25 12:00:05   fc0_3_DD        64
     2019-07-25 12:00:05   fc0_3_FX1       22
     2019-07-25 12:00:05   fc0_3_Neff      27
     2019-07-25 12:00:05   fc0_3_R600      6.00
     2019-07-25 12:00:05   fc0_3_RR6c      0.00
     2019-07-25 12:00:05   fc0_3_RRhc      0.00
     2019-07-25 12:00:05   fc0_3_Rh00      11
     2019-07-25 12:00:05   fc0_3_SunUp     1
     2019-07-25 12:00:05   fc0_3_TTT       35.8
     2019-07-25 12:00:05   fc0_3_time      20:00
     2019-07-25 12:00:05   fc0_3_ww        1
     2019-07-25 12:00:05   fc0_3_wwd       Bewölkung abnehmend
     2019-07-25 12:00:05   fc0_Tg          17.1
     2019-07-25 12:00:05   fc0_Tn          25.3
     2019-07-25 12:00:05   fc0_Tx          39.7
     2019-07-25 12:00:05   fc0_date        2019-07-25
     2019-07-25 12:00:05   fc0_weekday     Do
     2019-07-25 12:00:05   fc1_0_DD        86
     2019-07-25 12:00:05   fc1_0_FX1       15
     2019-07-25 12:00:05   fc1_0_Neff      18
     2019-07-25 12:00:05   fc1_0_R600      10.00
     2019-07-25 12:00:05   fc1_0_RR6c      0.00
     2019-07-25 12:00:05   fc1_0_SunUp     0
     2019-07-25 12:00:05   fc1_0_TTT       26.2
     2019-07-25 12:00:05   fc1_0_time      02:00
     2019-07-25 12:00:05   fc1_0_ww        0
     2019-07-25 12:00:05   fc1_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-07-25 12:00:05   fc1_1_DD        112
     2019-07-25 12:00:05   fc1_1_FX1       17
     2019-07-25 12:00:05   fc1_1_Neff      16
     2019-07-25 12:00:05   fc1_1_R600      11.00
     2019-07-25 12:00:05   fc1_1_RR6c      0.00
     2019-07-25 12:00:05   fc1_1_RRhc      0.00
     2019-07-25 12:00:05   fc1_1_Rh00      26
     2019-07-25 12:00:05   fc1_1_SunUp     1
     2019-07-25 12:00:05   fc1_1_TTT       26.8
     2019-07-25 12:00:05   fc1_1_time      08:00
     2019-07-25 12:00:05   fc1_1_ww        0
     2019-07-25 12:00:05   fc1_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2019-07-25 12:00:05   fc1_2_DD        102
     2019-07-25 12:00:05   fc1_2_FX1       33
     2019-07-25 12:00:05   fc1_2_Neff      15
     2019-07-25 12:00:05   fc1_2_R600      3.00
     2019-07-25 12:00:05   fc1_2_RR6c      0.00
     2019-07-25 12:00:05   fc1_2_SunUp     1
     2019-07-25 12:00:05   fc1_2_TTT       37.8
     2019-07-25 12:00:05   fc1_2_time      14:00
     2019-07-25 12:00:05   fc1_2_ww        1
     2019-07-25 12:00:05   fc1_2_wwd       Bewölkung abnehmend
     2019-07-25 12:00:05   fc1_3_DD        67
     2019-07-25 12:00:05   fc1_3_FX1       30
     2019-07-25 12:00:05   fc1_3_Neff      37
     2019-07-25 12:00:05   fc1_3_R600      15.00
     2019-07-25 12:00:05   fc1_3_RR6c      0.00
     2019-07-25 12:00:05   fc1_3_RRhc      0.00
     2019-07-25 12:00:05   fc1_3_Rh00      17
     2019-07-25 12:00:05   fc1_3_SunUp     1
     2019-07-25 12:00:05   fc1_3_TTT       33.8
     2019-07-25 12:00:05   fc1_3_time      20:00
     2019-07-25 12:00:05   fc1_3_ww        1
     2019-07-25 12:00:05   fc1_3_wwd       Bewölkung abnehmend
     2019-07-25 12:00:05   fc1_Tg          18.8
     2019-07-25 12:00:05   fc1_Tn          26.7
     2019-07-25 12:00:05   fc1_Tx          39.7
     2019-07-25 12:00:05   fc1_date        2019-07-26
     2019-07-25 12:00:05   fc1_weekday     Fr
     2019-07-25 12:00:05   fc2_0_DD        112
     2019-07-25 12:00:05   fc2_0_FX1       17
     2019-07-25 12:00:05   fc2_0_Neff      36
     2019-07-25 12:00:05   fc2_0_R600      17.00
     2019-07-25 12:00:05   fc2_0_RR6c      0.00
     2019-07-25 12:00:05   fc2_0_SunUp     0
     2019-07-25 12:00:05   fc2_0_TTT       25.3
     2019-07-25 12:00:05   fc2_0_time      02:00
     2019-07-25 12:00:05   fc2_0_ww        1
     2019-07-25 12:00:05   fc2_0_wwd       Bewölkung abnehmend
     2019-07-25 12:00:05   fc2_1_DD        173
     2019-07-25 12:00:05   fc2_1_FX1       17
     2019-07-25 12:00:05   fc2_1_Neff      53
     2019-07-25 12:00:05   fc2_1_R600      45.00
     2019-07-25 12:00:05   fc2_1_RR6c      0.00
     2019-07-25 12:00:05   fc2_1_RRhc      0.00
     2019-07-25 12:00:05   fc2_1_Rh00      59
     2019-07-25 12:00:05   fc2_1_SunUp     1
     2019-07-25 12:00:05   fc2_1_TTT       22.4
     2019-07-25 12:00:05   fc2_1_time      08:00
     2019-07-25 12:00:05   fc2_1_ww        1
     2019-07-25 12:00:05   fc2_1_wwd       Bewölkung abnehmend
     2019-07-25 12:00:05   fc2_2_DD        175
     2019-07-25 12:00:05   fc2_2_FX1       22
     2019-07-25 12:00:05   fc2_2_Neff      62
     2019-07-25 12:00:05   fc2_2_R600      40.00
     2019-07-25 12:00:05   fc2_2_RR6c      0.00
     2019-07-25 12:00:05   fc2_2_SunUp     1
     2019-07-25 12:00:05   fc2_2_TTT       27.3
     2019-07-25 12:00:05   fc2_2_time      14:00
     2019-07-25 12:00:05   fc2_2_ww        2
     2019-07-25 12:00:05   fc2_2_wwd       Bewölkung unverändert
     2019-07-25 12:00:05   fc2_3_DD        4
     2019-07-25 12:00:05   fc2_3_FX1       22
     2019-07-25 12:00:05   fc2_3_Neff      69
     2019-07-25 12:00:05   fc2_3_R600      64.00
     2019-07-25 12:00:05   fc2_3_RR6c      2.50
     2019-07-25 12:00:05   fc2_3_RRhc      2.50
     2019-07-25 12:00:05   fc2_3_Rh00      74
     2019-07-25 12:00:05   fc2_3_SunUp     1
     2019-07-25 12:00:05   fc2_3_TTT       26.1
     2019-07-25 12:00:05   fc2_3_time      20:00
     2019-07-25 12:00:05   fc2_3_ww        95
     2019-07-25 12:00:05   fc2_3_wwd       leichtes oder mäßiges Gewitter mit Regen oder Schnee
     2019-07-25 12:00:05   fc2_Tg          19.5
     2019-07-25 12:00:05   fc2_Tn          22.2
     2019-07-25 12:00:05   fc2_Tx          29.6
     2019-07-25 12:00:05   fc2_date        2019-07-27
     2019-07-25 12:00:05   fc2_weekday     Sa
     2019-07-25 12:00:05   fc3_0_DD        92
     2019-07-25 12:00:05   fc3_0_FX1       17
     2019-07-25 12:00:05   fc3_0_Neff      68
     2019-07-25 12:00:05   fc3_0_R600      71.00
     2019-07-25 12:00:05   fc3_0_RR6c      2.20
     2019-07-25 12:00:05   fc3_0_SunUp     0
     2019-07-25 12:00:05   fc3_0_TTT       21.1
     2019-07-25 12:00:05   fc3_0_time      02:00
     2019-07-25 12:00:05   fc3_0_ww        61
     2019-07-25 12:00:05   fc3_0_wwd       durchgehend leichter Regen
     2019-07-25 12:00:05   fc3_1_DD        190
     2019-07-25 12:00:05   fc3_1_FX1       19
     2019-07-25 12:00:05   fc3_1_Neff      71
     2019-07-25 12:00:05   fc3_1_R600      70.00
     2019-07-25 12:00:05   fc3_1_RR6c      1.40
     2019-07-25 12:00:05   fc3_1_RRhc      3.60
     2019-07-25 12:00:05   fc3_1_Rh00      78
     2019-07-25 12:00:05   fc3_1_SunUp     1
     2019-07-25 12:00:05   fc3_1_TTT       21.1
     2019-07-25 12:00:05   fc3_1_time      08:00
     2019-07-25 12:00:05   fc3_1_ww        2
     2019-07-25 12:00:05   fc3_1_wwd       Bewölkung unverändert
     2019-07-25 12:00:05   fc3_2_DD        257
     2019-07-25 12:00:05   fc3_2_FX1       24
     2019-07-25 12:00:05   fc3_2_Neff      69
     2019-07-25 12:00:05   fc3_2_R600      51.00
     2019-07-25 12:00:05   fc3_2_RR6c      1.00
     2019-07-25 12:00:05   fc3_2_SunUp     1
     2019-07-25 12:00:05   fc3_2_TTT       25.8
     2019-07-25 12:00:05   fc3_2_time      14:00
     2019-07-25 12:00:05   fc3_2_ww        2
     2019-07-25 12:00:05   fc3_2_wwd       Bewölkung unverändert
     2019-07-25 12:00:05   fc3_3_DD        259
     2019-07-25 12:00:05   fc3_3_FX1       24
     2019-07-25 12:00:05   fc3_3_Neff     
Titel: Antw:Modul für DWD Open Data
Beitrag von: Kai Hawaii am 25 Juli 2019, 13:57:56
Hi Jens,

cool, dass Du die Stelle gefunden hast - ich war auf den ersten Blick nicht so erfolgreich :-)
Du hast recht, dass die Schrift kleiner skaliert wird je mehr Infos angezeigt werden - aber das ich in meinem Fall nicht schlimm.
In erster Linie soll es cool am Tablet an der Wand ausschauen :-)

Mein "UseCase" ist im Anhang. Im Programmieren bin ich eine Pfeife - lass ich also besser  ??? :-\

Zitat von: jensb am 14 Juli 2019, 21:57:04
Hallo Kai,

vielen Dank für den Hinweis. So wie es aussieht fehlt in Zeile 1199 das </div>. Werde das noch mal testen und demnächst ein Update posten.
Es ist nicht einfach, den Weblink zu skalieren. Der Font wird schnell zu klein bei bestimmten Wetterbeschreibungen. Die Icons füllen eigentlich nur die durch den Text verfügbare Breite proportional aus. Es bringt also nicht viel die Icons unabhängig von der Tabellenbreite zu skalieren. Der einfachst Weg der (Breiten-)Skalierung ist die Anzahl der angezeigten Tage zu verringern.

Frontend-Entwicklung ist allerdings nicht mein Ding. Deshalb gibt es den Weblink auch nicht als Teil von FHEM. Es gibt vielleicht eine einfache Möglichkeit die gewünschten Funktionen umzusetzen. Wenn du (oder jemand anderes) einen Patch hast, werde ich mir den gern ansehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: tobox am 26 Juli 2019, 11:13:20
Ich habe aktuell folgendes Problem mit dem DWD-Plugin:

Ich bekomme regelmäßig die Meldung von fhemweb.js, dass ein JSON-Fehler in der Webseite ist. Ich habe jetzt fhemweb.js so gepatched, dass die Fehlermeldung auch den betreffenden String mit ausgibt. Ich sehe dann immer soetwas:

DWD-a_copyright-ts,2019-07-26 11:00:10,2019-07-26 11:00:10
fhemweb.js line 1100:
SyntaxError: JSON.parse: expected ',' or ']' after array element at line 1 column 155 of the JSON data


Das hier sind meine Änderungen im fhemweb.js, um den Fehler sehen zu können:


--- /home/tobox/fhemweb.js      2019-07-26 11:09:09.859169592 +0200
+++ fhemweb.js  2019-07-26 10:35:00.897633952 +0200
@@ -14,6 +14,7 @@
var FW_urlParams={};
var embedLoadRetry = 100;
var FW_os = "unknown";
+var xx = "";

if(FW_isiOS) { FW_os = "iOS";
} else if(navigator.userAgent.indexOf("Android") >= 0) { FW_os = "android";
@@ -49,7 +50,7 @@
{
   url = url.replace(/.*\//,'');
   if($("body").attr("data-confirmJSError") != 0)
-    FW_okDialog(url+" line "+lineno+":<br>"+errMsg);
+    FW_okDialog(xx+"<br>"+url+" line "+lineno+":<br>"+errMsg);
}


@@ -1095,6 +1096,7 @@
       setTimeout(FW_longpoll, retryTime);
       return;
     }
+    xx = d;
     var d = JSON.parse(l);
     if(d.length != 3)
       continue;


Das hier ist mein DWD-Define

define DWD DWD_OpenData
setuuid DWD 5cf4e31d-f33f-ee95-7b6f-8d3c1fd8e9da81d6
attr DWD DbLogExclude .*:0
attr DWD alertArea 806431002
attr DWD alias Wettervorhersage
attr DWD forecastDays 3
attr DWD forecastStation L962
attr DWD forecastWW2Text 1
attr DWD group Temperaturen
attr DWD room Favoriten
attr DWD stateFormat anzeige
attr DWD userReadings anzeige { \
        my $maxval0 = ReadingsVal("DWD","fc0_Tx",0);; \
        my $minval0 = ReadingsVal("DWD","fc0_Tn",0);; \
        my $maxval1 = ReadingsVal("DWD","fc1_Tx",0);; \
        my $minval1 = ReadingsVal("DWD","fc1_Tn",0);; \
return sprintf("Heute: %.0f&deg;;C - %.0f&deg;;C<br/>Morgen: %.0f&deg;;C - %.0f&deg;;C", $minval0, $maxval0, $minval1, $maxval1);; \
}


Heute früh habe ich nochmal mit fhem update alles aktualisiert, der Fehler tritt trotzdem weiter auf (alle paar Minuten).

Kann mir jemand erklären, wo der Fehler liegt? Hat es was mit meinem userReading zu tun?

Danke schonmal für jede Hilfe...
Titel: Antw:Modul für DWD Open Data
Beitrag von: tobox am 26 Juli 2019, 11:22:06
Was mir auch aufgefallen ist:

In FHEM wird folgendes erstmal korrekt angezeigt:
a_copyright
Geobasisdaten: Copyright Bundesamt für Kartographie und Geodäsie, Frankfurt am Main, 2017


Wenn ich dann die alerts und forcasts update, ist das Encoding falsch, vielleicht kommt der Fehler daher:
a_copyright
Geobasisdaten: Copyright Bundesamt für Kartographie und Geodäsie, Frankfurt am Main, 2017


Wenn ich die Webseite dann neu lade, stimmts wieder.
Titel: Antw:Modul für DWD Open Data
Beitrag von: yersinia am 27 Juli 2019, 12:14:03
@jensb: kannst du mal schauen warum hier die alertArea 105119000 nicht funktioniert aber 805119000?

Laut dem Warnzellen-ID Katalog (https://www.dwd.de/DE/leistungen/opendata/help/warnungen/cap_warncellids_csv.csv) stehen beide ids für die Stadt Oberhausen:
# WARNCELLID NAME KENNUNG (NUTS) KURZNAME KENNUNG (SIGN)
105119000 Stadt Oberhausen DEA17 Oberhausen OBX
805119000 Stadt Oberhausen Oberhausen (OB)


Der user stephan_20 berichtet in einem Anfängerfragen-Thread (https://forum.fhem.de/index.php/topic,102410.0.html) auch über Fehler wenn er die 1er WarnCellId benutzt:
Zitat von: stephan20 am 25 Juli 2019, 14:15:41Beim Systemstart konnte zwei Perl Warnungen finden:
2019.07.24 01:15:02 1: PERL WARNING: Use of uninitialized value $warncellId in division (/) at ./FHEM/55_DWD_OpenData.pm line 1371.
2019.07.24 01:15:02 1: PERL WARNING: Use of uninitialized value $warncellId in numeric eq (==) at ./FHEM/55_DWD_OpenData.pm line 1371.
(siehe auch seinen Post (#636) (https://forum.fhem.de/index.php/topic,83097.msg961140.html#msg961140) weiter oben)

Muss hier was am Modul angepasst werden oder liefert DWD einfach keine Daten?
Ich meine, in dem konkreten Beispiel ist die Stadt Oberhausen Kreisfrei. Dennoch würde ich erwarten, dass der DWD für beides ids den gleichen Warnmeldungen ausgibt. Oder?
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 27 Juli 2019, 12:45:54
wie dort im thread gesagt, bekomme ich mit der 1... ganz normal die alerts.
eventuell ist aber mein dwd modul zu alt?
Titel: Antw:Modul für DWD Open Data
Beitrag von: HerrEmo am 28 Juli 2019, 06:58:41
Ich lese mich jetzt 1 Woche durch die Wiki und durch die Threads, aber ich komme nicht weiter.
Aktuell bekomme ich keine Wetterreadings für z.B. L585
defmod DWD DWD_OpenData
attr DWD alertArea 706412102
attr DWD event-on-update-reading state,fc_state,a_state
attr DWD forecastDays 5
attr DWD forecastProperties SunUp
attr DWD forecastStation L585
attr DWD forecastWW2Text 1
attr DWD room wetter
attr DWD userReadings SunUp

setstate DWD forecast updated
setstate DWD 2019-07-28 06:51:15 a_count 0
setstate DWD 2019-07-28 06:51:15 a_time 2019-07-28 06:51:14
setstate DWD 2019-07-28 06:53:45 fc0_1_time 08:00
setstate DWD 2019-07-28 06:53:45 fc0_2_time 14:00
setstate DWD 2019-07-28 06:53:45 fc0_3_time 20:00
setstate DWD 2019-07-28 06:53:45 fc0_date 2019-07-28
setstate DWD 2019-07-28 06:53:45 fc0_weekday So
setstate DWD 2019-07-28 06:53:45 fc1_0_time 02:00
setstate DWD 2019-07-28 06:53:45 fc1_1_time 08:00
setstate DWD 2019-07-28 06:53:45 fc1_2_time 14:00
setstate DWD 2019-07-28 06:53:45 fc1_3_time 20:00
setstate DWD 2019-07-28 06:53:45 fc1_date 2019-07-29
setstate DWD 2019-07-28 06:53:45 fc1_weekday Mo
setstate DWD 2019-07-28 06:53:45 fc2_0_time 02:00
setstate DWD 2019-07-28 06:53:45 fc2_1_time 08:00
setstate DWD 2019-07-28 06:53:45 fc2_2_time 14:00
setstate DWD 2019-07-28 06:53:45 fc2_3_time 20:00
setstate DWD 2019-07-28 06:53:45 fc2_date 2019-07-30
setstate DWD 2019-07-28 06:53:45 fc2_weekday Di
setstate DWD 2019-07-28 06:53:45 fc3_0_time 02:00
setstate DWD 2019-07-28 06:53:45 fc3_1_time 08:00
setstate DWD 2019-07-28 06:53:45 fc3_2_time 14:00
setstate DWD 2019-07-28 06:53:45 fc3_3_time 20:00
setstate DWD 2019-07-28 06:53:45 fc3_date 2019-07-31
setstate DWD 2019-07-28 06:53:45 fc3_weekday Mi
setstate DWD 2019-07-28 06:53:45 fc4_0_time 02:00
setstate DWD 2019-07-28 06:53:45 fc4_1_time 08:00
setstate DWD 2019-07-28 06:53:45 fc4_2_time 14:00
setstate DWD 2019-07-28 06:53:45 fc4_3_time 20:00
setstate DWD 2019-07-28 06:53:45 fc4_date 2019-08-01
setstate DWD 2019-07-28 06:53:45 fc4_weekday Do
setstate DWD 2019-07-28 06:53:45 fc5_0_time 02:00
setstate DWD 2019-07-28 06:53:45 fc5_1_time 08:00
setstate DWD 2019-07-28 06:53:45 fc5_2_time 14:00
setstate DWD 2019-07-28 06:53:45 fc5_3_time 20:00
setstate DWD 2019-07-28 06:53:45 fc5_date 2019-08-02
setstate DWD 2019-07-28 06:53:45 fc5_weekday Fr
setstate DWD 2019-07-28 06:53:45 fc_coordinates 9.68,50.53,255.0
setstate DWD 2019-07-28 06:53:45 fc_copyright Datenbasis: Deutscher Wetterdienst
setstate DWD 2019-07-28 06:53:45 fc_description FULDA
setstate DWD 2019-07-28 06:53:45 fc_station L585
setstate DWD 2019-07-28 06:53:45 fc_time 2019-07-28 06:53:45
setstate DWD 2019-07-28 06:53:45 state forecast updated


Internals:
   ALERTS_IN_CACHE 10
   FHEM_TZ   
   NAME       DWD
   NR         31
   STATE      alerts updated
   TYPE       DWD_OpenData
   OLDREADINGS:
   READINGS:
     2019-07-28 07:00:05   a_count         0
     2019-07-28 07:00:05   a_time          2019-07-28 07:00:05
     2019-07-28 07:00:05   fc0_1_time      08:00
     2019-07-28 07:00:05   fc0_2_time      14:00
     2019-07-28 07:00:05   fc0_3_time      20:00
     2019-07-28 07:00:05   fc0_date        2019-07-28
     2019-07-28 07:00:05   fc0_weekday     So
     2019-07-28 07:00:05   fc1_0_time      02:00
     2019-07-28 07:00:05   fc1_1_time      08:00
     2019-07-28 07:00:05   fc1_2_time      14:00
     2019-07-28 07:00:05   fc1_3_time      20:00
     2019-07-28 07:00:05   fc1_date        2019-07-29
     2019-07-28 07:00:05   fc1_weekday     Mo
     2019-07-28 07:00:05   fc2_0_time      02:00
     2019-07-28 07:00:05   fc2_1_time      08:00
     2019-07-28 07:00:05   fc2_2_time      14:00
     2019-07-28 07:00:05   fc2_3_time      20:00
     2019-07-28 07:00:05   fc2_date        2019-07-30
     2019-07-28 07:00:05   fc2_weekday     Di
     2019-07-28 07:00:05   fc3_0_time      02:00
     2019-07-28 07:00:05   fc3_1_time      08:00
     2019-07-28 07:00:05   fc3_2_time      14:00
     2019-07-28 07:00:05   fc3_3_time      20:00
     2019-07-28 07:00:05   fc3_date        2019-07-31
     2019-07-28 07:00:05   fc3_weekday     Mi
     2019-07-28 07:00:05   fc4_0_time      02:00
     2019-07-28 07:00:05   fc4_1_time      08:00
     2019-07-28 07:00:05   fc4_2_time      14:00
     2019-07-28 07:00:05   fc4_3_time      20:00
     2019-07-28 07:00:05   fc4_date        2019-08-01
     2019-07-28 07:00:05   fc4_weekday     Do
     2019-07-28 07:00:05   fc5_0_time      02:00
     2019-07-28 07:00:05   fc5_1_time      08:00
     2019-07-28 07:00:05   fc5_2_time      14:00
     2019-07-28 07:00:05   fc5_3_time      20:00
     2019-07-28 07:00:05   fc5_date        2019-08-02
     2019-07-28 07:00:05   fc5_weekday     Fr
     2019-07-28 07:00:05   fc_coordinates  9.68,50.53,255.0
     2019-07-28 07:00:05   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2019-07-28 07:00:05   fc_description  FULDA
     2019-07-28 07:00:05   fc_station      L585
     2019-07-28 07:00:05   fc_time         2019-07-28 07:00:05
     2019-07-28 07:00:05   state           alerts updated
Attributes:
   alertArea  706412102
   event-on-update-reading state,fc_state,a_state
   forecastDays 5
   forecastProperties SunUp
   forecastStation L585
   forecastWW2Text 1
   room       wetter
   userReadings SunUp


auch bekomme ich kein SunUp Reading
Titel: Antw:Modul für DWD Open Data
Beitrag von: frank am 28 Juli 2019, 09:56:31
ich weiss nicht wie sunup funktioniert, aber deine versuche dazu legen alles lahm.

lösche erst mal die 3 attr event-on-update, forecastProperties und userReadings, um die default readings zu bekommen.

zusätzlich empfehle ich dir "attr event-on-change-reading .*" zur schonung deines systems.
Titel: Antw:Modul für DWD Open Data
Beitrag von: HerrEmo am 28 Juli 2019, 13:35:17
Super, Danke,
jetzt gehts es.
Das SunUp brauche ich für die Nachticons, dachte ich
Titel: Antw:Modul für DWD Open Data
Beitrag von: D3ltorohd am 03 August 2019, 16:29:02
Ich wollte mir das Wetter anzeigen lassen, hab das nach dem Wiki eingerichtet, aber irgendwas schein hier noch nicht so ganz zu funktioniere. Wenn ich list dwd mache kommt dort folgendes.
2019-08-03 15:00:05   fc_state        error: HTTP error 404 retrieving URL 'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/99809/kml/MOSMIX_L_LATEST_99809.kmz '

Wie kann ich das beseitigen ? Gibt es die Station nicht, oder grad nur Probleme mit der Seite ?

Hier die ganze list


Internals:
   ALERTS_IN_CACHE 72
   CFGFN     
   FHEM_TZ   
   FUUID      5d452ed5-f33f-fc62-31bc-9497124db03ea8aa
   NAME       DWD
   NR         2506
   STATE      alerts updated
   TYPE       DWD_OpenData
   READINGS:
     2019-08-03 16:15:06   a_count         0
     2019-08-03 16:15:06   a_state         updated
     2019-08-03 16:15:06   a_time          2019-08-03 16:15:05
     2019-08-03 16:00:05   fc_state        error: HTTP error 404 retrieving URL 'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/99809/kml/MOSMIX_L_LATEST_99809.kmz '
     2019-08-03 16:15:06   state           alerts updated
Attributes:
   alertArea  808437076
   event-on-update-reading state,fc_state,a_state
   forecastDays 4
   forecastStation 99809
   forecastWW2Text 1


EDIT.
Ok hab den Fehler gefunden, hab noch mal genau nachgelesen, hatte nicht die ID sondern eine andere Nummer erwischt, mit der richtigen ID bekomme ich nen haufen readings.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Xguide am 26 August 2019, 17:03:49
Hallo zusammen,

es wurde schon mal auf das uninitialized  value hingewiesen, konnte aber keine weitere Verfolgung dazu finden.
Gibt es einen Lösungsansatz dazu? Hier ist es jetzt beim Neustart aufgetreten.


PERL WARNING: Use of uninitialized value $warncellId in numeric eq (==) at /opt/fhem//FHEM/55_DWD_OpenData.pm line 1371.


Ferner finde ich diesen Fehler relativ regelmäßig und hatte die ganze Zeit ein anderes Modul in Verdacht. Mit stacktrace wurde mir der DWD_Weblink genannt.


2019.08.26 17:02:58 1: PERL WARNING: Use of uninitialized value in subroutine entry at /opt/fhem//FHEM/99_Utils.pm line 21.
2019.08.26 17:02:58 1: stacktrace:
2019.08.26 17:02:58 1:     main::__ANON__                      called by /opt/fhem//FHEM/99_Utils.pm (21)
2019.08.26 17:02:58 1:     main::time_str2num                  called by /opt/fhem//FHEM/99_DWD_OpenData_Weblink.pm (756)
2019.08.26 17:02:58 1:     DWD_OpenData_Weblink::PrepareForecastData called by /opt/fhem//FHEM/99_DWD_OpenData_Weblink.pm (1151)
2019.08.26 17:02:58 1:     DWD_OpenData_Weblink::GetForecastHtmlH called by /opt/fhem//FHEM/99_DWD_OpenData_Weblink.pm (359)
2019.08.26 17:02:58 1:     DWD_OpenData_Weblink::Get           called by fhem.pl (3753)
2019.08.26 17:02:58 1:     main::CallFn                        called by fhem.pl (1958)
2019.08.26 17:02:58 1:     main::CommandGet                    called by fhem.pl (1236)
2019.08.26 17:02:58 1:     main::AnalyzeCommand                called by fhem.pl (1089)
2019.08.26 17:02:58 1:     main::AnalyzeCommandChain           called by /opt/fhem//FHEM/01_FHEMWEB.pm (2678)
2019.08.26 17:02:58 1:     main::FW_fC                         called by /opt/fhem//FHEM/01_FHEMWEB.pm (908)
2019.08.26 17:02:58 1:     main::FW_answerCall                 called by /opt/fhem//FHEM/01_FHEMWEB.pm (578)
2019.08.26 17:02:58 1:     main::FW_Read                       called by fhem.pl (3753)
2019.08.26 17:02:58 1:     main::CallFn                        called by fhem.pl (748)


Ich habe mal versucht es so abzufangen, ich berichte ob es funktioniert!


    my $epoch = 0;
if ($date && $time)
{
  $epoch = ::time_str2num($date.' '.$time);
}


Grüße Marcel
Titel: Antw:Modul für DWD Open Data
Beitrag von: Xguide am 26 August 2019, 17:41:21
Zitat von: Xguide am 26 August 2019, 17:03:49
Ferner finde ich diesen Fehler relativ regelmäßig und hatte die ganze Zeit ein anderes Modul in Verdacht. Mit stacktrace wurde mir der DWD_Weblink genannt.

Der Lösungsansatz hat nicht funktioniert.
Temporär habe ich es jetzt in 99_Utils.pm begradigt. Hintergrund, 99_DWD_OpenData_Weblink.pm liefert manchmal keine Sekunden mit.
Hat jemand einen Ansatz wie das schön abgefangen werden kann?


2019.08.26 17:36:46 1: MS....:2019-08-26 02:00
2019.08.26 17:36:46 1: MS....:2019-08-26 08:00
2019.08.26 17:36:46 1: MS....:2019-08-26 14:00
2019.08.26 17:36:46 1: MS....:2019-08-26 20:00
2019.08.26 17:36:46 1: MS....:2019-08-26 20:00:00
2019.08.26 17:36:46 1: MS....:2019-08-27 02:00:00
2019.08.26 17:36:46 1: MS....:2019-08-27 08:00:00
2019.08.26 17:36:46 1: MS....:2019-08-27 14:00:00
2019.08.26 17:36:46 1: MS....:2019-08-28 08:00:00
2019.08.26 17:36:46 1: MS....:2019-08-28 14:00:00


Folgendes hat den Fehler temporär eliminiert:


#99_Utils.pm

my $sec = $a[5];
if (!$sec)
{
  $sec = 0;
}
    return mktime($sec,$a[4],$a[3],$a[2],$a[1]-1,$a[0]-1900,0,0,-1);
Titel: Antw:Modul für DWD Open Data
Beitrag von: JHo am 13 September 2019, 11:53:14
Hallo,
ich habe zwei Verständnisfragen zum Modul, vielleicht bin ich gedanklich auf dem Holzweg oder noch nicht tief genug in die Bedeutungen eingestiegen.

1) Ich möchte die PEvap-Werte von heute, morgen und übermorgen zur Anpassung der heute notwendigen Bewässerung verwenden. Dazu werden die jeweils um 03:00 nachts gespeicherten PEvap-Werte fc1_PEvap, fc2_PEvap und fc3_PEvap herangezogen.
Zitat von: jensb am 13 April 2019, 20:03:42
Der 1. Wert für PEVap ist der 39. Eintrag basierend auf 16:00 UTC. Damit landen wir bei Übermorgen 08:00 Europe/Berlin. PEVap ist ein 24h-Wert. Dieser Wert gilt dann für Morgen 08:00 bis Übermorgen 08:00. Das klingt vielleicht verwirrend, ist aber vom DWD so definiert.
Verstehe ich das richtig, dass der heute um 03:00 abgerufene fc1_PEvap-Wert dann den Wert von heute 03:00 bis morgen 03:00 darstellt? Und der fc1_PEvap von heute um 07:00 dann die 24h bis morgen um 07:00, etc.?


2) Bei den Regenwahrscheinlichkeiten für die nächsten Tage (fcX_Rd00) finde ich im Log die Besonderheit, dass scheinbar bei jedem Update zwei verschiedene Werte pro Tag eingetragen werden:
2019-09-12_08:00:05 DWD fc0_Rd00: 87.00
2019-09-12_08:00:05 DWD fc0_Rd00: 80.00
2019-09-12_08:00:05 DWD fc1_Rd00: 34.00
2019-09-12_08:00:05 DWD fc1_Rd00: 11.00
2019-09-12_08:00:05 DWD fc2_Rd00: 37.00
2019-09-12_08:00:05 DWD fc2_Rd00: 17.00

Ich finde diese Werte im kml-File direkt "nebeneinander":
<dwd:Forecast dwd:elementName="Rd00">
                    <dwd:value>          -          -      87.00      80.00          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -      34.00      11.00          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -          -      37.00      17.00

Warum wird das fc0_Rd00-Reading gesetzt (87) und sofort mit dem Wert 80 wieder überschrieben, was ist der Sinn davon?

Danke für den Gedanken-Schubs in die richtige Richtung!
Jan
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 September 2019, 12:34:54
Hallo Jan,

Zitat von: JHo am 13 September 2019, 11:53:14
1) Verstehe ich das richtig, dass der heute um 03:00 abgerufene fc1_PEvap-Wert dann den Wert von heute 03:00 bis morgen 03:00 darstellt? Und der fc1_PEvap von heute um 07:00 dann die 24h bis morgen um 07:00, etc.?

Wie so oft muss ich dazu auf die Spezifikationen vom DWD und auf die Commandref verweisen. In der Commandref steht dazu:
ZitatPEvap [kg/m2] - evapotranspiration of previous 24 hours
Das heißt, dass der Wert am Ende des Zeitintervalls angegeben wird. fc1 steht ja für morgen. Damit bezieht sich der Wert auf den Zeitraum von heute bis morgen. Die Bezugsstunde hängt davon ab, wann der DWD den Wert in der KML-Datei ausgibt. Es hat nichts damit zu tun, wann der Wert vom DWD abgerufen wird. Steht in der KML-Datei der Eintrag bei 07:00 UTC dann wäre das heute 09:00 bis morgen 09:00 CEST.

Zitat von: JHo am 13 September 2019, 11:53:14
2) Warum wird das fc0_Rd00-Reading gesetzt (87) und sofort mit dem Wert 80 wieder überschrieben, was ist der Sinn davon?
Rd00 ist ein Tageswert, davon kann es nur einen geben. Du müsstest fragen, warum der DWD davon 2 pro Tag aufliefert (was ich nicht beantworten kann). Das DWD-Modul entscheidet sich halt für einen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: D3ltorohd am 20 Oktober 2019, 11:24:25
Hm hab irgendwie seit heute folgende Meldung stehen ::

Fehler: error retrieving URL 'https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip': https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip: Can't connect(1) to https://opendata.dwd.de:443: IO::Socket::INET: Bad hostname 'opendata.dwd.de:443'

Hat das was mit ssl zu tun ? Hatte gestern oder vorgestern noch
Zitatcpan -i IO::Socket::SSL
installiert, kann das damit zusammenhängen ?

Und wenn ja wie, bekomme ich DWD wieder vollständig zum laufen ?
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 21 Oktober 2019, 02:44:43
@D3ltorohd

Deine fragender Beitrag wirkt nicht schlüssig - Du hast nicht alles erzählt.

Zitat von: D3ltorohd am 20 Oktober 2019, 11:24:25
Hm hab irgendwie seit heute folgende Meldung stehen ::

Also das lief schon?

Zitat von: D3ltorohd am 20 Oktober 2019, 11:24:25

...
Can't connect(1) to https://opendata.dwd.de:443: IO::Socket::INET: Bad hostname 'opendata.dwd.de:443'


Das klingt eher danach, dass DNS in dem Moment einen Hustenanfall hatte. Der geht von allein wieder weg - unterstellt, Du hast nirgendwo geschraubt.

Zitat von: D3ltorohd am 20 Oktober 2019, 11:24:25
Hat das was mit ssl zu tun ? Hatte gestern oder vorgestern noch  installiert, kann das damit zusammenhängen ?

Auf den ersten Blick halte ich das für unwahrscheinlich.

Zitat von: D3ltorohd am 20 Oktober 2019, 11:24:25
Und wenn ja wie, bekomme ich DWD wieder vollständig zum laufen ?

Du musst halt mehr erzählen. So eine halbe Geschichte kann doch niemand nachvollziehen.

Und Du hast ja auch eine Vollsicherung dieses Servers, ja?
Um Deine Fehleridee völlig auszuschließen, spielst Du die zurück. Und schaust, ob es wieder läuft. ;)
Titel: Antw:Modul für DWD Open Data
Beitrag von: D3ltorohd am 22 Oktober 2019, 08:14:47
Genau, DWD ist schon seit einer Weile eingerichtet und lief bis dato auch ohne Probleme. In der FTUI hatte ich hier und da auch mal Wetterwarnungen stehen.

An dem Tag meines Posts, habe ich eigentlich was ganz anderes probiert. Und beim testen in FTUI ist mir dann die Fehlermeldung aufgefallen.

Aber ich schau mir das noch mal an heute. Vllt war das nur ein DNS Problem wir du meintest und läuft wieder.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 Oktober 2019, 19:25:10
@D3ltorohd

Das DWD-Modul verwendet die HttpUtils von FHEM für den Download und das verwendet den Perl sysread auf IO::Socket::INET/INET6 bzw. IO::Socket::SSL. Insofern ist hier das Modul IO::Socket::SSL sehr wohl direkt im Spiel. Wenn du die anderen IO::Socket Module bzw. Perl mit apt installiert hast und nur IO::Socket::SSL mit cpan könnte das durchaus ein Grund sein. Falls das der Fall ist versuche IO::Socket::SSL auch mit apt zu installieren (auf einigen Systemen funktioniert z.B. apt install libio-socket-ssl-perl). Dann FHEM neu starten und den Test wiederholen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: D3ltorohd am 23 Oktober 2019, 19:30:31
Ok, Danke für die Info. Ich schau mir das mal an. Momentan kann ich keine Fehler im DWD sehen.
Zitatstate
alerts updated
Ich lasse es erst mal so. Vllt war ja wirklich grad in dem Moment nur ein Problem mit dem Internet. Sollte ich derartige Fehler noch mal sehen, werde ich deinen Tipp mal versuchen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: D3ltorohd am 27 Oktober 2019, 08:45:00
Noch mal eine Frage. Gibt es die Möglichkeit, über dieses Modul eine aktuelle Temperatur ab zu fragen, so wie von einer Außenstation ?

Ich habe jetzt für jede Stunde einen Eintrag in den Readings. Wie nun müsste man ja für jede Temperatur ein eigenes Label erstellen. Gibt es nen Trick oder eine Möglichkeit, das ich nur eine Temp Anzeige in FTUI habe, diese sich aber alle h erneuert und den nächsten Wert vom DWD Modul abholt ?

Da ich leider keine Außenstation oder sonstiges habe, würde ich das erst mal so lösen wollen. So hab ich wenigstens die ungefähre Temperatur.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 Oktober 2019, 18:23:58
Zitat von: D3ltorohd am 27 Oktober 2019, 08:45:00
Noch mal eine Frage. Gibt es die Möglichkeit, über dieses Modul eine aktuelle Temperatur ab zu fragen, so wie von einer Außenstation ?

Der DWD liefert über den OpenData Server auch aktuelle Messwerte. Allerdings sind diese Daten völlig anders strukturiert als die Vorhersagedaten und der Abruf deshalb relativ aufwendig. Auch wenn man nur die Isttemperatur benötigt, muss man sehr viele andere Daten mit herunterladen und dann weg filtern und das auch noch relativ regelmäßig wiederholen. Es wäre also ein sehr ineffizienter Ersatz für einen Außentemperaturfühler und deshalb ist es bisher nicht implementiert worden.

Im DWD_OpenData_Weblink ist Perl-Code, der aus den Vorhersagedaten die zeitlich nächstgelegenen heraussucht und im 1. Icon verwendet - das sind die Daten die du suchst. Allerdings bildet der Weblink keine Readings sondern baut das HTML direkt auf. Du könntest aber den folgenden Perl-Code aus ca. Zeile 1119 als Basis verwenden, z.B. in einem at:


eval "use DWD_OpenData_Weblink;";
...
my ($items, $timeResolution, $offsets, $data, $alertMessages) = DWD_OpenData_Weblink::PrepareForecastData("myDWD_OpenData_Module", 1, 0, "light");


Im Element "$$data[0]{tempValue}" steckt die gesuchte Temperatur. Wahrscheinlich wird es erforderlich sein, dass du aus formalen Gründen ein DWD_OpenData_Weblink-Device anlegst, damit der Modul-Code von FHEM geladen wird, auch wenn du es nicht anzeigen willst.

Ansonsten gibt es diverse Ansätze die Daten in der FTUI zu nutzen, das ist aber nicht meine Spielwiese. Ein paar Sachen stehen dazu weiter vorn in diesem Thread. Ansonsten hilft dir die Suchfunktion aus dem Forum vielleicht weiter.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 15 November 2019, 15:14:22
Ich habe einen Raspberry 3b+ mit Display, dort habe ich ein Webradio und das Wetter mit FTUI realisiert.

Leider kommt es immer zur vollen Stunde vor, dass das Radio einen aussetzer von mehreren Sekunden hat. Als Ursache habe ich mal das DWD Modul ausgemacht. Es läuft genau zum passenden Moment und holt neue Daten. Entweder ist der Raspberry so beschäftigt mit dem holen und aufarbeiten Der Daten, oder die Komplette Bandbreite der WLAN Verbindung wird genutzt, sodas keine Musikdaten geladen werden können, und daher der Aussetzer stammt.

Hat jemand eine Idee, wie man das beheben könnte.

Gruß Knallkopp_02
Titel: Antw:Modul für DWD Open Data
Beitrag von: moskito am 15 November 2019, 17:37:48
Die Frage ist wie wichtig dir die aktuellen Wetterdaten sind! Du könntest zum Beispiel, wenn du eine Möglichkeit hast den Status des Webradios zu ermitteln, das DWD Modul über das Attribut "disable" in der Zeit abschalten.
Ansonsten gibt´s in der Modulhilfe schon Hinweise, dass das Verarbeiten der Daten auf schwacher Hardware zu Problemen führen kann, und was man tun kann.
ZitatNote that depending on your device configuration each forecast consists of quite a lot of readings and each reading update will cause a FHEM event that needs to be processed. Depending on your hardware and your FHEM configuration this will take several hundred milliseconds. If you need to improve overall performance you can limit the number of readings created by setting a) the attribute forecastProperties to the ones you actually use, b) the attribute forecastResolution to the highest value suitable for your purposes and c) the attribute forecastDays to the lowest number suitable for your purposes. To further reduce the event processing overhead you can set the attribute event-on-update-reading to a small list of important reading that really need events (e.g. state,fc_state,a_state).

Gruß
Danny
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 November 2019, 17:38:05
@Knallkopp_02

Der Vorschlag von Danny ist gut. Er stellt eine besondere Form der Umsetzung QoS dar. QoS erlaubt es verschiedenen Netzwerkdiensten verschiedene Übertragungsprioritäten zuzuordnen (siehe z.B. https://debian-handbook.info/browse/de-DE/stable/sect.quality-of-service.html (https://debian-handbook.info/browse/de-DE/stable/sect.quality-of-service.html)). Problematisch für normales QoS ist hier, dass sich beide Quellen im Internet befinden und über Port 443 abgerufen werden. Das Ziel ist auch gleich, beides mal der Raspberry. An Quelle und Ziel lässt sich die Priorität also nicht festmachen. Damit scheitern Ansätze, wo man die Priorität z.B. über die Konfiguration einer Fritzbox beeinflussen kann (siehe z.B. https://avm.de/service/fritzbox/fritzbox-7590/wissensdatenbank/publication/show/228_Internetzugang-fur-wichtige-Netzwerkgerate-und-anwendungen-priorisieren/).

Auf Anwendungsebene den einen Dienst abzuschalten, wenn der andere genutzt wird, ist da noch die beste Lösung, wenn die in der Modulhilfe aufgeführten Vorschläge nicht ausreichen. Der DWD liefert bisweilen halt relativ große Dateien (mehrere Megabyte). Je nach effektiver WLAN-Bandbreite, Auslastung des Internetzugangs und freier CPU-Leistung des Raspberry dauert der Download etwas.

Allerdings kannst du noch prüfen, ob du den Receive-Buffer deines Webradios vergrößern kannst. Dann dauert der Start des Webradios zwar etwas länger, ist dann aber nicht mehr so störanfällig.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 17 November 2019, 12:14:35
Ich werde schauen, was ich machen kann. Die Einstellungen selbst sind schon so klein/gering gewählt wie es geht, aber es sind für halt immer noch viele Daten.

Das mit dem Abschalten der Aktuallisierung ist eine gute Idee, nur leider für mich warscheinlich nicht umsetzbar, da das Radio den ganzen Tag läuft und daher dann nur Nachts aktuallisierungen gemacht werden. Werde ich aber mal testen mit 2 Aktuallisierungen am Tag, sollte reichen.

Gruß Knallkopp_02
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 19 November 2019, 12:16:09
Ich habe das jetzt über die letzten Tage getestet, funktioniert soweit gut, es hat nur einen kleinen Schönheitsfehler, dass immer angezeigt wird, dass die Config geändert ist und gespeichert werden soll, was ja auch richtig ist, da ja ein Attribut geändert wird.

Gruß Knallkopp_02
Titel: Antw:Modul für DWD Open Data
Beitrag von: moskito am 19 November 2019, 13:20:03
Da hilft Dir der Befehl "save" weiter.

Gruß
Danny
Titel: Antw:Modul für DWD Open Data
Beitrag von: rabehd am 19 November 2019, 14:33:55
Es hat sicher einen Grund warum es den Befehl SAVE gibt und nicht ein AUTOSAVE läuft.
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 20 November 2019, 12:34:36
Das stimmt natürlich, das SAVE kann man ja noch mit übergeben, thx
Titel: Antw:Modul für DWD Open Data
Beitrag von: wolfgang99 am 11 Januar 2020, 11:12:39
Ich möchte Wetter auf DWD umstellen und habe mich an alles aus Doku gehalten.
Alerts werden geupdatet, aber der forecast meldet:
error: HTTP error 404 retrieving URL 'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/99801/kml/MOSMIX_L_LATEST_99801.kmz '
und FHEM meldet nach Start
2020.01.11 10:42:56.793 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21, <$fh> line 93.
2020.01.11 10:42:56.793 0: Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21, <$fh> line 93.
configfile: Cannot load module DWD_OpenData_Weblink
Danke für Tips
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 11 Januar 2020, 21:08:10
Ein list von deinem Device wäre hilfreich.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 11 Januar 2020, 21:11:59
@wolfgang99

Ich kann @mumpitzstuff nur zustimmen:
Zitat von: mumpitzstuff am 11 Januar 2020, 21:08:10
Ein list von deinem Device wäre hilfreich.
Deine Beschreibung ist ein bisschen kanpp. Ansonsten scheint es um 2 verschiedene Probleme zu gehen:

Ein Klick auf deinen Link
Zitat von: wolfgang99 am 11 Januar 2020, 11:12:39
'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/99801/kml/MOSMIX_L_LATEST_99801.kmz '
liefert auch mit einem normalen Browser Fehler 404. Wenn du die URL auf https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/ (https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/) verkürzt, bekommst du die möglichen Stationen angezeigt und 99801 ist nicht dabei. Kann es sein, dass du für die Vorhersage eine Stationsnummer für Wetterwarnungen verwendest? Schau dir noch mal die Modulhilfe an und wähle eine Station aus, die in der Liste von der verkürzten URL enthalten ist.

Zitat von: wolfgang99 am 11 Januar 2020, 11:12:39
und FHEM meldet nach Start
2020.01.11 10:42:56.793 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21, <$fh> line 93.
2020.01.11 10:42:56.793 0: Excessively long <> operator at ./FHEM/99_DWD_OpenData_Weblink.pm line 21, <$fh> line 93.
configfile: Cannot load module DWD_OpenData_Weblink
Es könnte sein, dass das Encoding des Modul-Quelltexts auf dem Weg von GitHub auf dein FHEM-System verändert wurde. Das kann sowohl beim Download auf den PC als auch beim Übertragen vom PC auf dein FHEM-Sytem passieren. Mit diesem Link (https://raw.githubusercontent.com/jnsbyr/fhem/master/FHEM/99_DWD_OpenData_Weblink.pm) sollte es beim Download nicht passieren. Beim Übertragen auf das FHEM-System mit Tools wie WinSCP immer den Binärmodus verwenden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: wolfgang99 am 12 Januar 2020, 10:57:01
Alle Hinweise waren korrekt! (Hätte ich aush selbst sehen müssen :(
Alles gut und läuft!  :)
Vielen Dank!
Titel: Antw:Modul für DWD Open Data
Beitrag von: Elektrofreak am 20 April 2020, 21:49:40
Ich habe eine Frage zum Reading fc1_PEvap.

Ich habe mir ein notify auf den Wert gelegt und lasse mich per pushbullet über Änderungen informieren.

Was mich wundert ist, dass innerhalb von 24h der Wert aktualisiert wird, die Werte aber weit voneinander abweichen... ist das normal? Hier ein Beispiel für ein und den selben Tag:

00:00 INFO: Wetter - Es wird für heute eine Verdunstung von 4.40 L/qm erwartet.
07:00 INFO: Wetter - Es wird für heute eine Verdunstung von 1.70 L/qm erwartet.

Ist es plausibel und realistisch, dass die Werte so stark innerhalb eines Tages für die nächsten 24h schwanken? Wenn würde ich eine Abweichung von Max. 50% erwarten, wenn sich das Wetter nur geringfügig ändert. Und momentan ist jeden Tag 14h Sonne und ca. 18°C, die Temperaturen ändern sich nur um wenige Grad . Nur der Wind ändert sich... ???
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 April 2020, 22:55:58
@Elektrofreak

Physikalisch kann sich die Verdunstung nicht ohne weiteres sprunghaft ändern.

Aber PEvap ist kein Sensor-Wert mit Minutenauflösung sondern ein Vorhersagewert für die letzten 24 Stunden. Kann es sein, dass er sich PEvap meist einmal am Tag zu einer bestimmten Uhrzeit ändert? Denn die Tagesvorhersagewerte haben eine bestimmte Bezugszeit, und die ist im Normalfall nicht 00:00 sondern z.B. 06:00 (siehe Commandref).

Das heißt auch, dass man für gestern 06:00 bis heute 06:00 auf den Wert fc0 und erst danach auf fc1 schauen muss. Außerdem wird um 00:00 aus den fc1-Readings die fc0-Readings usw. Das verursacht in jedem Fall einen Sprung, wenn man das gleiche Reading betrachtet, da sich der Zeitbezug verschiebt.

Eine andere Erklärung wäre z.B. relativ stark variierendes und entsprechend schwer vorhersagbares Lokalwetter, das es in einigen Gegenden gibt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Elektrofreak am 21 April 2020, 07:50:42
Guten Morgen,

Ich hatte die Anzahl der Forecast-Tage auf 1 gestellt, er hat auch kein Reading fc0_PEvap.

Was du schreibst macht Sinn. Um Mitternacht übernimmt er Werte von woher auch immer und jeden Morgen um 6:00 Oder 7:00 bekommt er "echte" neue Vorhersagewertr vom DWD. Ich habe mal dir Anzahl der Tage auf 2 gestellt, sodass ich auch die Vorhersage für den darauffolgenden Tag sehe. Mal schauen, ob jetzt das Update um Mitternacht plausiblere Werte liefert...

Ansonsten würde ich sagen ist es ein Bug im Modul, wenn er um Mitternacht etwas falsches errechnet und das reading aktualisiert. Ich hätte auch erwartet, dass der Wert von morgens um 06:00 stimmt, so habe ich es in der Dokumentation auch verstanden...
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 April 2020, 20:38:29
@Elektrofreak

Zitat... ist es ein Bug im Modul, wenn er um Mitternacht etwas falsches errechnet ...

Nein, es ist kein Bug und das Modul berechnet auch nichts selbst. Das Modul ist, vereinfacht gesagt, ein Downloader, der die Daten vom DWD unverändert als Readings bereitstellt. Allerdings rotiert das Modul, wie von mir im vorherigen Post beschrieben, selbstständig alle Readings um Mitternacht.

Grund: Es gibt nicht genau um 00:00 ein Update vom DWD, aber genau um 00:00 ist heute vorbei und morgen beginnt (oder so ähnlich, je nach dem wie man das betrachtet). Jedenfalls werden dann die Vorhersagewerte fc1 fürs "alte morgen" automatisch die vom "neuen heute" und die vom "alten heute" werden überschrieben. Das Gleiche wird mit fc2 usw. gemacht. Der letzte Vorhersagetag wird dabei gelöscht. Diese Vorgehensweise ändert ebenfalls nichts an den Werten vom DWD, aber sie stehen halt hinterher in anderen Readings. Erst irgendwann später treffen dann neue Werte ein. Das kann z.B. erst um 06:00 oder 07:00 sein, wenn die neuen Berechnungen beim DWD durchgeführt und bereitgestellt wurden.

Alle Vorhersagewerte sind mit einem zukünftigen Zeitpunkt verknüpft, dem man am Reading fcX_date bzw. fcX_Y_time ablesen kann. Das ist der große Unterschied zu Live-Messwerten, die immer nur für "jetzt" gelten.

Wenn also um 00:00 rotiert wird, musst du nach den von mir beschriebenen Regeln ein anderes Reading verwenden, um den gleichen Wert zu behalten. Es reicht halt nicht, bei Tageswerten wie PEvap nur ein bestimmtes Reading auszuwerten. Du musst zusätzlich das Datum und den Geltungsbereich des Reading (z.B. letzte 24 Stunden bzgl. 06:00) berücksichtigen. Faktisch musst du also abhängig von der aktuellen Uhrzeit nach dem passenden Reading suchen. Das ist je nach Anwendungsfall vielleicht etwas unpraktisch aber unvermeidbar.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Elektrofreak am 22 April 2020, 07:26:21
Hallo Jens,

Danke für die Erklärung. Du hast recht. Jedoch sind die Updates der Werte trotzdem komisch. Beispiel von heute morgen:

Gestern 07:00 3.5L/(24h*m^2)
Heute 00:00 3.2L/(24h*m^2)
Heute 01:00 6.2L/(24h*m^2)
Heute 07:00 3.3L/(24h*m^2)

Mich irritiert der Wert heute Nacht um 01:00Uhr, ähnlich wie die Tage zuvor. Die anderen Werte sehe ich auch mit deiner Begründung als plausibel an...

Du kannst ja mal die Daten meiner Lokalität mit deiner vergleichen und schauen, ob das Verhalten reproduzierbar ist...

forecastStation ist N8334
Titel: Antw:Modul für DWD Open Data
Beitrag von: RomanticBoy83 am 23 April 2020, 14:34:40
Ist der Wert um 1:00 eventuell ein "UTC" Problem.
Ich kann mich wage an meine Implementierung erinnern, dass alle Werte auf openData in UTC angegeben sind. Jetzt wäre hilfreich gewesen hätte er auch "gestern" geloggt.
Ich selber nutze das Modul leider nicht - deshalb kann ich auch nicht weiter helfen außer meine Vermutung äußern.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 23 April 2020, 21:25:04
@Elektrofreak

Alle Zeitstempel in den Daten vom DWD sind in UTC. Sie werden vom Modul in die lokale Zeit umgerechnet. Die Rotation der Vorhersagewerte sollte um 00:00 erfolgen. Das kann man überprüfen, indem man verbose=5 einstellt und dann nach "RotateForecast: shifting forward ..." im Log sucht. Allerdings sieht man bei verbose=5 noch sehr viel mehr, das Log bekommt dann schnell dicke Backen, also möglichst nicht zu lange so laufen lassen.

In deiner Liste seht "Gestern/Heute" aber kein Reading-Name. Ich vermute du meinst mit "Gestern 07:00" die Meldezeit und die Werte sind immer für das gleiche Reading fc1_PEvap. Es kommt bei deinem Problem auch darauf an, wann das Reading gelesen wird und wann die Rotation stattfindet, denn es passiert halt nichts wirklich gleichzeitig. Wenn das Reading stündlich gebildet wird, aber kurz vor der Rotation um 00:00, ergibt sich trotzdem dieses Bild. Der Wert 6,2 von fc2_PEvap rückt durch die Rotation an die Stelle von 3,2. Der Wert 3,2 steht dann im Reading fc0_PEvap, aber das berücksichtigt du nicht. Und um 07:00 aktualisiert der DWD die Vohersage und aus 6,2 werden 3,3. Wenn du dir die Rohdaten zu den jeweiligen Zeitpunkten ansiehst, müsstest du das so wieder finden (Downloaden, Unzippen und z.B. mit Notepad++ oder einem XML-Viewer studieren).

Man kann das Ganze aber auch anders angehen: Da es ein Tageswert ist, der sich nur einmal pro Tag signifikant ändert, könntest du ihn zu einer festen Zeit z.B. mit einem at-Modul abgreifen und in ein Dummy kopieren. Für mich sieht es so aus als ob 05:15 UTC passen könnte.

Grüße,
Jens
Titel: Anfängerfrage: Welche Dateien werden benötigt?
Beitrag von: is2late am 15 Mai 2020, 22:48:30
Hallo zusammen,

verzweifelt Suchender bittet um Hilfe:
Kann aus dem überaus umfangreichen Material nicht ersehen, welche Dateien installiert werden müssen.
99_DWD_OpenData_weblink.pm, dwd.py, dwd_data und ipynb liegen im Verzeichnis FHEM.
Auf
define DWD_Weblink_Generator DWD_OpenData_Weblink gibt es die Fehlermeldung "Cannit load module DWD_openData_Weblink.

Bin ich jetzt an einer nicht mehr aktuellen Variante dran? Ich möchte gern eine Wettervorhersage in FUIP installieren.
Dazu bedarf es wohl erst einmal eine Devices in Fhem. Und das schon bekomme ich nicht hin.
Gibt es vielleicht irgendwo eine Anleitung für Anfänger, die mir entgangen ist?

Vielen Dank im Voraus,
Ingo
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 16 Mai 2020, 06:38:13
Ich bin mir nicht ganz sicher, aber ich glaube dass du als Voraussetzung das hier brauchst

https://fhem.de/commandref_DE.html#DWD_OpenData

Dort wird auch der Ort definiert wo die Daten herkommen sollen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: is2late am 16 Mai 2020, 07:53:05
Hm, vielen Dank.... Danach müsste
define <name> DWD_OpenData

erfolgen... Das ist doch aber die alte Version vor dem neuen Script 99_....   , oder? Wie gesagt, ich bin blutiger Anfänger....
Titel: Antw:Modul für DWD Open Data
Beitrag von: Knallkopp_02 am 16 Mai 2020, 08:31:56
Ich habe Weblink immer als Addon gesehen, habe mich aber damit nicht beschäftigt. Ich habe alles über besagtes DWD OpenData gelöst.

Aber schau doch mal op die Datei überhaupt im Verzeichniss ist.

Gruß
Titel: Antw:Modul für DWD Open Data
Beitrag von: is2late am 16 Mai 2020, 11:18:58
Nein, die Datei ist nicht im Verzeichnis... aber mit dieser Anforderung  wäre ich ja im DWD OpenData-Zweig. Auch egal, wenn es denn funktioniert. Könntest Du mir vielleicht beschreiben, wie genau Du die DWD OpenData-Sache gelöst hast? Ich will Dich nicht über Gebühr strapazieren, aber vielleicht ist es mit wenigen Worten getan und schon hast Du jemanden glücklich gemacht  ;)

LG
Titel: Anfängerfrage: Kein Plot im Meteogramm
Beitrag von: baeda am 16 Mai 2020, 13:43:30
  Hallo zusammen,
  ich bräuchte Unterstützung beim DWD_Opendata Modul, bzw. den Plot in ein Meteogramm.
  Der Plot enthält keine Daten (oder nur einen Peak). Vermutlich ist das nur eine Kleinigkeit, aber ich komme seit 2 Tagen nicht weiter (betriebsblind?).
  Bei der Einrichtung habe ich mich am Wiki Eintrag orientiert:
  - Device angelegt (define DWD DWD_OpenData), inkl. attr
  - Eintrag in die 99_myUtils.pm
  - Logproxy existierte bereits
  - Filelog angelegt
  - SVG Device aus Filelog angelegt:  SVG_FileLog_DWD_1
  - gplot file editiert und gemäß wiki Beispiel für 1h Auflösung befüllt:

 
Es werden alle Readings produziert, die für den Plot in 1h Auflösung benötigt werden.
Der Plot zeigt allerdings keine Daten.

Wenn ich "Show preprocessed input" zum Plot wähle, werden auch keine Daten angezeigt (ausser die "100")

Habe ich einen Fehler im gplot file? Mir fehlt grad der Ansatz, wo ich suchen könnte...
Ich finde das Meteogramm nämlich sehr übersichtlich und intuitiv und möchte es in ftui einbauen.

Vielen Dank schon mal für Anregungen!
Titel: Antw:Anfängerfrage: Welche Dateien werden benötigt?
Beitrag von: Thorsten Pferdekaemper am 16 Mai 2020, 14:29:34
Hi,
ich bin vielleicht ein bisschen spät dran, aber darauf will ich dann doch noch antworten:

Zitat von: is2late am 15 Mai 2020, 22:48:30Ich möchte gern eine Wettervorhersage in FUIP installieren.

Wenn das wirklich vorwiegend für FUIP gedacht ist, dann würde ich PROPLANTA empfehlen. Damit kannst Du dann die Views WeatherDetail und WeatherOverview verwenden. Die sind speziell an FUIP angepasst und haben auch einige Einstellmöglichkeiten.

Gruß,
   Thorsten
Titel: Antw:Modul für DWD Open Data
Beitrag von: is2late am 16 Mai 2020, 15:54:10
Prima, danke, Thorsten!
Ich versuche mal, dazu eine einfache Anleitung zu finden.
LG
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Mai 2020, 20:56:12
@baeda
Du hast Daten im DWD_OpenData Device, aber nicht im Plot und deine Vermutung geht in Richtung gplot-Datei. Vorschlag: DWD-Device-Definition und gplot-Datei posten, dann lässt sich dass besser beurteilen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: is2late am 17 Mai 2020, 00:43:49
ZitatWenn das wirklich vorwiegend für FUIP gedacht ist, dann würde ich PROPLANTA empfehlen. Damit kannst Du dann die Views WeatherDetail und WeatherOverview verwenden. Die sind speziell an FUIP angepasst und haben auch einige Einstellmöglichkeiten.
Das war ein sehr guter Tipp, vielen Dank, Thorsten! Die Einrichtung ist sogar mir als Anfänger leicht gefallen und die verfügbare Info reicht mir allemal.
LG
Titel: Antw:Modul für DWD Open Data
Beitrag von: baeda am 17 Mai 2020, 02:44:53
Hallo Jens,

danke für die Rückmeldung. Meine Konfig:

define DWD DWD_OpenData
attr DWD alertArea 111000000
attr DWD event-on-change-reading .*
attr DWD forecastDays 7
attr DWD forecastProperties Tx,Tn,Tg,TTT,DD,FX1,N,Neff,RR1c,RR3c,RR6c,RRhc,RRL1c,Rh00,ww,SunD,SunD1,SunD3,RSunD,R101,R600
attr DWD forecastResolution 1
attr DWD forecastStation 10946
attr DWD forecastWW2Text 1

define FileLog_DWD FileLog ./log/DWD-%Y-%m.log DWD

define SVG_FileLog_DWD_1 SVG FileLog_DWD:SVG_FileLog_DWD_1:CURRENT
attr SVG_FileLog_DWD_1 fixedoffset 6
attr SVG_FileLog_DWD_1 fixedrange 7days
attr SVG_FileLog_DWD_1 nrAxis 1,2


gplotfile:

set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title 'Wettervorhersage'
set ytics
set y2tics
set grid ytics
set ylabel "Regen [mm]"
#set yrange [0:4]
set y2label "Temperatur [°C]"
#set y2range [-5:35]
set y3label "Wolken/Regen/Sonne [%]"
set y3range [0:100]

#LogProxy Func:logProxy_dwd2Plot("DWD","TTT_",$from,$to,0,"day")
#LogProxy Func:logProxy_dwd2Plot("DWD","Tx",$from,$to,18,"day")
#LogProxy Func:logProxy_dwd2Plot("DWD","Tn",$from,$to,6,"day")
#LogProxy Func:logProxy_dwd2Plot("DWD","SunD1_",$from,$to,0,"day",(-1*3600))
#LogProxy Func:logProxy_dwd2Plot("DWD","RR1c_",$from,$to,0,"day",(-1*3600))
#LogProxy Func:logProxy_dwd2Plot("DWD","FX1_",$from,$to,0,"day")
#LogProxy Func:logProxy_dwd2Plot("DWD","R101_",$from,$to,0,"day",(-0.5*3600))
#LogProxy Func:logProxy_dwd2Plot("DWD","Neff_",$from,$to,0,"day")
#LogProxy ConstX:TimeNow(),0,100
#LogProxy ConstY:0

plot "<IN>" using 1:2 axes x1y2 title 'T' ls l0 lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmax' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y2 title 'Tmin' ls l0dot lw 2 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Sonne' ls l4fill lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 title 'Regenmenge' ls l2fill lw 1 with steps,\
     "<IN>" using 1:2 axes x1y3 title 'Wind' ls l1 lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Regen' ls l5fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 title 'Wolken' ls l6fill lw 1 with quadraticSmooth,\
     "<IN>" using 1:2 axes x1y3 notitle ls l5 lw 4 with lines,\
     "<IN>" using 1:2 axes x1y2 notitle ls l5 lw 1 with lines


Beste Grüße,
Baeda
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Mai 2020, 19:27:02
Hallo Baeda,

bei deiner Konfig fällt mir nichts auf, du könntest aber noch ein paar Tests machen.

{logProxy_dwd2Plot("DWD","TTT_",0,0,0,"day")}
in die FHEM-Kommandozeile eingeben sollte einen normalen Seitenneuaufbau ohne Fehlermeldungen auslösen. Damit kann man überprüfen, ob der Code für die Funktion logProxy_dwd2Plot in 99_myUtils.pm überhaupt ausgeführt werden kann.

Im SVG-Device kannst du den Loglevel vorübergehend auf verbose=5 stellen. Dann die Seite mit dem Meteogramm aufrufen. Anschließend das FHEM-Log prüfen, ob neue Logs hinzugekommen sind, die mit dem Meteogramm im Zusammenhang stehen könnten. Im Normalfall gibt es keine Logeinträge für das SVG.

Im Code der Funktion logProxy_dwd2Plot sind ein paar auskommentierte Log-Befehle. Entferne die vorangestellten Kommentarzeichen (#), starte FHEM neu, ruf das Meteogramm auf und prüfe dann noch mal das Log. Spätestens jetzt sollten sehr viele Logeinträge vorhanden sein.

Wenn das alles keine neuen Erkenntnisse bringt, dann die Anleitung für das Meteogramm noch einmal Schritt für Schritt durchgehen, auch den Code für 99_myUtils.pm, selbst wenn es nervt - vielleicht wirst du dann fündig.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 19 Mai 2020, 03:29:41
Wie heißt dein logproxy Device? LogProxy oder anders?
Titel: Antw:Modul für DWD Open Data
Beitrag von: baeda am 20 Mai 2020, 19:04:01
Hallo Jens,
sorry für die späte Rückmeldung, ich kam erst heute zum Testen.
Und herzlichen Dank für den wertvollen Tip - er führte sofort zum Erfolg:

{logProxy_dwd2Plot("DWD","TTT_",0,0,0,"day")}
ZitatDamit kann man überprüfen, ob der Code für die Funktion logProxy_dwd2Plot in 99_myUtils.pm überhaupt ausgeführt werden kann.
.
Die o.g. Prüfung über die Kommandozeile ergab einen Fehler. Ich stellte dann fest, dass beim Kopieren in die 99_myUtils.pm eine Zeile zuviel eingetragen worden war.

Die Implementierung in ftui klappte auch ohne Probleme, schade ist hier nur (nach meinem Kenntnisstand..) dass man für die y-Achse "nur" 2 label/ranges angeben kann.

Nochmal vielen Dank für die Hilfe!

Grüße,
Baeda
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 26 Mai 2020, 23:25:22
@Baeda

Danke für die Rückmeldung, freut mich, dass du die Ursache finden und beheben konntest.

Zitat... schade ist hier nur (nach meinem Kenntnisstand..) dass man für die y-Achse "nur" 2 label/ranges angeben kann.
Mit mehr als 2 Y-Achsen tun sich die meisten Plotter schwer und es wird dann auch schnell unübersichtlich - ob es doch geht weiß ich auch nicht. Habe mich hier für 0-100 % und °C entschieden, damit kommt man relativ weit.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: Christoph Morrison am 04 Juni 2020, 21:14:47
Thema $warncellId:
Ich hatte gerade wieder die beiden Warnings zur $warncellId im Log:

2020.06.04 21:03:37.809 1: PERL WARNING: Use of uninitialized value $warncellId in division (/) at ./FHEM/55_DWD_OpenData.pm line 1371.
2020.06.04 21:03:37.809 1: PERL WARNING: Use of uninitialized value $warncellId in numeric eq (==) at ./FHEM/55_DWD_OpenData.pm line 1371.


Ich denke es sollte reichen wenn man davor $warncellId prüft und wenn es nicht definiert ist, einfach return 0 macht, ungefähr so (ungetestet):

sub IsCommuneUnionWarncellId($) {
  my ($warncellId) = @_;

  if (!$warncellId) {
    return 0;
  }

  return int($warncellId/100000000) == 5 || int($warncellId/100000000) == 7 || int($warncellId/100000000) == 8
         || $warncellId == UPDATE_COMMUNEUNIONS || $warncellId == UPDATE_ALL? 1 : 0;
}


(Das zweite return statement sieht auch nicht so toll aus finde ich :-( )
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 05 Juni 2020, 19:04:20
@Christoph Morrison

Danke für den Hinweis. Das würde sicher so funktionieren wie du vorschlägst, aber es wäre nur Symptombekämpfung, denn auch der Code nach dem Aufruf von isCommuneUnionWarncellId() ist auf eine definierte $warncellId angewiesen. In Zeile 986 wird das z.B. auch noch mal geprüft.

Was mich hier interessiert: Warum ist $warncellId bei dir undefiniert? Habe das selbst noch nicht gehabt, werde mir das aber noch genauer ansehen.

Schade, dass du keinen Stacktrace im Log hast. Wenn man FHEM so startet, wird Perl gesprächiger:
/usr/bin/perl -MCarp::Always fhem.pl fhem.cfg

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Christoph Morrison am 05 Juni 2020, 19:47:10
Zitat von: jensb am 05 Juni 2020, 19:04:20
@Christoph Morrison

Danke für den Hinweis. Das würde sicher so funktionieren wie du vorschlägst, aber es wäre nur Symptombekämpfung, denn auch der Code nach dem Aufruf von isCommuneUnionWarncellId() ist auf eine definierte $warncellId angewiesen. In Zeile 986 wird das z.B. auch noch mal geprüft.


Was mich hier interessiert: Warum ist $warncellId bei dir undefiniert? Habe das selbst noch nicht gehabt, werde mir das aber noch genauer ansehen.

Die Meldung kam beim Start von FHEM auf meiner Produktionsmaschine, d.h. es gibt dort kein Stacktrace. Ich schaue mal, ob ich auf der Integrationsmaschine den Fehler reproduzieren kann, dann poste ich dir auch einen Stacktrace. Im laufenden Betrieb nach dem Start kommt die Fehlermeldung auch nicht mehr.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 06 Juni 2020, 11:17:36
Habe mir den Code noch mal angesehen. Die Sub isCommuneUnionWarncellId() wird aus mehreren Abläufen aufgerufen, die meisten prüfen bzw. initialisieren $warncellId explizit vorher. Mir ist kein Ablauf aufgefallen, der offensichtlich problematisch ist. Wenn ich mein FHEM neu starte, tritt das Problem (leider) nicht auf.

Falls das mit dem Stacktrace nichts wird, könnte ich für Testzwecke eine Debug-Version des Moduls erstellen, dass auf Loglevel 4 zusätzliche Ausgaben macht ohne wie bei Loglevel 5 das Logfile mit den XML-Rohdaten zu fluten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Christoph Morrison am 15 Juni 2020, 16:51:18
Tatsächlich kommt die Meldung gar nicht beim Boot, sondern beim Shutdown. Edit: Und zwar dann, wenn DWD noch keine Chance hatte, irgendwelche Daten abzurufen:

Ohne Daten:

Internals:
   .TZ       
   .fetchAlerts
   FHEM_TZ   
   FUUID      5ee78b69-f33f-a8a4-e8b8-59d22f56554222a8
   NAME       general.weather.forecast.dwd
   NR         98
   STATE      defined
   TYPE       DWD_OpenData
   .attraggr:
   .attrminint:
   READINGS:
     2020-06-15 16:53:29   state           defined
Attributes:
   alertArea  105754000
   alertLanguage DE
   forecastDays 5
   forecastStation 10320
   forecastWW2Text 1


→ Stacktrace

Mit zwischenzeitlichem Datenabruf:



Internals:
   .TZ       
   .fetchAlerts
   .warncellId -3
   ALERTS_IN_CACHE 8
   FHEM_TZ   
   FUUID      5ee78b8f-f33f-a8a4-b186-4469943192a6783d
   NAME       general.weather.forecast.dwd
   NR         98
   STATE      updating alerts cache
   TYPE       DWD_OpenData
   .attraggr:
   .attrminint:
   READINGS:
     2020-06-15 16:54:16   state           updating alerts cache
Attributes:
   alertArea  105754000
   alertLanguage DE
   forecastDays 5
   forecastStation 10320
   forecastWW2Text 1


→ kein Stacktrace.

Ich denke es liegt daran, dass bei der Version ohne Stacktrace das Internal .warncellId noch nicht gesetzt ist - du müsstest das im Prinzip sofort beim Define mit einem Wert belegen.



####
####    Global
####
attr global userattr ASC:0,1,2 ASC_AutoAstroModeEvening ASC_AutoAstroModeMorning ASC_LockOut ASC_Mode_Down ASC_Pos_Reading ASC_Roommate_Device ASC_Roommate_Reading ASC_WindowRec DbLogExclude DbLogInclude DbLogValueFn:textField-long HmIp3D HmIpKey HmIpSGTIN alarm_system_interior alarm_system_outer_shell alarm_system_perimeter cmdIcon devStateIcon devStateIcon:textField-long devStateStyle icon installationRoom msgContactAudio msgContactLight msgContactMail msgContactPush msgContactScreen msgParams msgPriority msgRecipient msgRecipientAudio msgRecipientLight msgRecipientMail msgRecipientPush msgRecipientScreen msgRecipientText msgTitle msgTitleShrt msgType:text,push,mail,screen,light,audio,queue sortby webCmd webCmdLabel:textField-long widgetOverride ASC_BlockingTime_afterManual ASC_Down ASC_Mode_Up ASC_Shading_Direction ASC_Shading_Mode ASC_Shading_Pos ASC_ShuttersPlace ASC_Up ASC_Ventilate_Pos ASC_Ventilate_Window_Open ASC_WindowRec_subType
attr global altitude 80
attr global autoload_undefined_devices 1
attr global autosave 0
attr global backup_before_update 0
attr global commandref modular
attr global dnsServer 192.168.0.16
attr global holiday2we general.holidays.nrw
attr global language DE
attr global latitude 51.9293504
attr global logfile ./log/fhem/fhem.log
attr global longitude 8.377413199999978
attr global modpath .
attr global motd
attr global mseclog 1
attr global pidfilename /var/run/fhem/fhem.pid
attr global room hidden
attr global showInternalValues 1
attr global statefile ./fhem.save
attr global updateInBackground 1
attr global verbose 5
attr global stacktrace 1

# strange log entries for this fella
# define ActionDetector CUL_HM 000000
# setuuid ActionDetector 5e1128c7-f33f-15c9-cd37-40ff6adbe1a43eff
# attr ActionDetector .mId no
# attr ActionDetector event-on-change-reading .*
# attr ActionDetector model ACTIONDETECTOR
# attr ActionDetector subType virtual

####
####    Includes
####

include ./cfg.d/general/frontends.cfg

defmod general.weather.forecast.dwd DWD_OpenData
    attr general.weather.forecast.dwd alertArea 105754000
    attr general.weather.forecast.dwd alertLanguage DE
    attr general.weather.forecast.dwd forecastDays 5
    attr general.weather.forecast.dwd forecastStation 10320
    attr general.weather.forecast.dwd forecastWW2Text 1

################################################
################################################

# FHEM will add new new devices below this comment section

################################################
################################################





2020.06.15 16:49:27.159 5: Starting notify loop for global, 1 event(s), first is SHUTDOWN
2020.06.15 16:49:27.159 5: createNotifyHash
2020.06.15 16:49:27.160 5: End notify loop for global
2020.06.15 16:49:27.160 0: Server shutdown
2020.06.15 16:49:27.160 1: PERL WARNING: Use of uninitialized value $warncellId in division (/) at ./FHEM/55_DWD_OpenData.pm line 1371.
2020.06.15 16:49:27.160 1: stacktrace:
2020.06.15 16:49:27.160 1:     main::__ANON__                      called by ./FHEM/55_DWD_OpenData.pm (1371)
2020.06.15 16:49:27.160 1:     DWD_OpenData::IsCommuneUnionWarncellId called by ./FHEM/55_DWD_OpenData.pm (839)
2020.06.15 16:49:27.160 1:     DWD_OpenData::Shutdown              called by fhem.pl (3792)
2020.06.15 16:49:27.160 1:     main::CallFn                        called by fhem.pl (1816)
2020.06.15 16:49:27.160 1:     main::CommandShutdown               called by fhem.pl (710)
2020.06.15 16:49:27.160 1: PERL WARNING: Use of uninitialized value $warncellId in division (/) at ./FHEM/55_DWD_OpenData.pm line 1371.
2020.06.15 16:49:27.160 1: stacktrace:
2020.06.15 16:49:27.160 1:     main::__ANON__                      called by ./FHEM/55_DWD_OpenData.pm (1371)
2020.06.15 16:49:27.160 1:     DWD_OpenData::IsCommuneUnionWarncellId called by ./FHEM/55_DWD_OpenData.pm (839)
2020.06.15 16:49:27.160 1:     DWD_OpenData::Shutdown              called by fhem.pl (3792)
2020.06.15 16:49:27.160 1:     main::CallFn                        called by fhem.pl (1816)
2020.06.15 16:49:27.160 1:     main::CommandShutdown               called by fhem.pl (710)
2020.06.15 16:49:27.160 1: PERL WARNING: Use of uninitialized value $warncellId in division (/) at ./FHEM/55_DWD_OpenData.pm line 1371.
2020.06.15 16:49:27.160 1: stacktrace:
2020.06.15 16:49:27.160 1:     main::__ANON__                      called by ./FHEM/55_DWD_OpenData.pm (1371)
2020.06.15 16:49:27.160 1:     DWD_OpenData::IsCommuneUnionWarncellId called by ./FHEM/55_DWD_OpenData.pm (839)
2020.06.15 16:49:27.160 1:     DWD_OpenData::Shutdown              called by fhem.pl (3792)
2020.06.15 16:49:27.160 1:     main::CallFn                        called by fhem.pl (1816)
2020.06.15 16:49:27.160 1:     main::CommandShutdown               called by fhem.pl (710)
2020.06.15 16:49:27.160 1: PERL WARNING: Use of uninitialized value $warncellId in numeric eq (==) at ./FHEM/55_DWD_OpenData.pm line 1371.
2020.06.15 16:49:27.160 1: stacktrace:
2020.06.15 16:49:27.160 1:     main::__ANON__                      called by ./FHEM/55_DWD_OpenData.pm (1371)
2020.06.15 16:49:27.160 1:     DWD_OpenData::IsCommuneUnionWarncellId called by ./FHEM/55_DWD_OpenData.pm (839)
2020.06.15 16:49:27.160 1:     DWD_OpenData::Shutdown              called by fhem.pl (3792)
2020.06.15 16:49:27.160 1:     main::CallFn                        called by fhem.pl (1816)
2020.06.15 16:49:27.160 1:     main::CommandShutdown               called by fhem.pl (710)
2020.06.15 16:49:27.160 1: PERL WARNING: Use of uninitialized value $warncellId in numeric eq (==) at ./FHEM/55_DWD_OpenData.pm line 1371.
2020.06.15 16:49:27.160 1: stacktrace:
2020.06.15 16:49:27.160 1:     main::__ANON__                      called by ./FHEM/55_DWD_OpenData.pm (1371)
2020.06.15 16:49:27.160 1:     DWD_OpenData::IsCommuneUnionWarncellId called by ./FHEM/55_DWD_OpenData.pm (839)
2020.06.15 16:49:27.160 1:     DWD_OpenData::Shutdown              called by fhem.pl (3792)
2020.06.15 16:49:27.160 1:     main::CallFn                        called by fhem.pl (1816)
2020.06.15 16:49:27.160 1:     main::CommandShutdown               called by fhem.pl (710)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 Juni 2020, 20:47:50
Danke für die super Analyse.

Da der Fehler beim Shutdown auftritt, ist die Lösung sogar noch einfacher, denn der Shutdown-Ablauf ist zum Abbrechen und Aufräumen vorgesehen. Im konkreten Fall gibt es aber bei der Vorhersage nichts aufzuräumen, sonst wäre die warncellId initialisiert - also kann man dann die Anweisungen überspringen.

Neue Version folgt ...
Titel: Testversion verfügbar
Beitrag von: jensb am 17 Juni 2020, 22:42:44
Es gibt eine neue Testversion des DWD OpenData Moduls (1.014006):

https://raw.githubusercontent.com/jnsbyr/fhem/develop/FHEM/55_DWD_OpenData.pm (https://raw.githubusercontent.com/jnsbyr/fhem/develop/FHEM/55_DWD_OpenData.pm)

Sie behebt folgende Fehler:

Rückmeldungen sind erwünscht.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: rcmcronny am 18 Juni 2020, 11:55:34
Hi Jens,

ich habs mal mit eingespielt, nach einem shutdown restart läuft erstmal alles wie bisher. Sieht also gut aus.
So als kurze Rückmeldung schonmal :)

Ronny
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 21 Juni 2020, 18:07:33
Danke für die Rückmeldung, das Update ist eingecheckt und wird ab Montag dem 22.06.2020 über FHEM zur Verfügung stehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Joesky am 04 August 2020, 15:04:01
Gibt es eine Möglichkeit, die Ausgabe des DWD_OpenData_Weblink (Generator) über Telegram zu verschicken?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 August 2020, 21:00:53
@Joesky

Die Möglichkeiten des TelegramBots (https://wiki.fhem.de/wiki/TelegramBot) kenne ich selbst nicht, aber in der FHEM Wiki finden sich viele Hinweise. Je nach Wunsch könntest du z.B. mit notify oder at arbeiten. Ein Problem wird aber sein, dass das Modul DWD_OpenData_Weblink keine Readings hat, die man auslesen und dann versenden könnte. Die Daten selbst aus dem DWD_OpenData Modul zu gewinnen ist aber vergleichsweise aufwendig.

Falls es auch bunt sein darf, besteht noch die Möglichkeit, den Weblink von einem Browser rendern zu lassen, davon einen Screenshot zu ziehen und den dann zu versenden. Das geht wahrscheinlich auch ohne Display am Raspi, indem man ein Framebuffer-Device verwendet. Mal eben ist das aber sicher auch nicht gemacht.

Falls doch die Werte allein genügen würden, bleibt das Problem mit den fehlenden Readings beim DWD_OpenData_Weblink. Der Wunsch kam schon einmal vor einiger Zeit. Ich könnte mir das noch mal ansehen, um herausfinden, wie viel Aufwand es wäre, die Readings zu generieren.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 14 September 2020, 09:13:51
Hallo zusammen,

könnte mir jemand das Zauberwort für die Regenvorhersage nennen?
Für die Bewölkung habe ich Neff gewählt.

Gruß
    Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 14 September 2020, 10:57:25
RR3c = regen
R600 = regenwahrscheinlichkeit

Im Wiki gibt es eine Anleitung für einen Plot, in dem sowas bereits enthalten ist.
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 14 September 2020, 11:10:30
Zitat von: mumpitzstuff am 14 September 2020, 10:57:25
RR3c = regen
R600 = regenwahrscheinlichkeit

Im Wiki gibt es eine Anleitung für einen Plot, in dem sowas bereits enthalten ist.
Okay, vielen Dank.
Für den Plot habe ich mich nicht interessiert und es deshalb wohl übersehen, da ich die Werte für die PV-Leistungsprognose benötige.

Viele Grüße
      Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: capo am 28 Oktober 2020, 21:43:09
Hallo,
unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/hourly/solar/
liegen Messdaten zur Globalstrahlung, die im Zusammenhang mit einer PV interessant sein können.
Kann man die einfach ins Modul integrieren?
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 28 Oktober 2020, 23:06:19
Zitat von: capo am 28 Oktober 2020, 21:43:09
Hallo,
unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/hourly/solar/
liegen Messdaten zur Globalstrahlung, die im Zusammenhang mit einer PV interessant sein können.
Kann man die einfach ins Modul integrieren?

Rad1h liefert bereits die Globalstrahlung für Deinen Standort.

Und hier Kostal_Plenticore_10_Plus#Wetter/Leistungs-Prognose (https://wiki.fhem.de/wiki/Kostal_Plenticore_10_Plus#Wetter-.2FLeistungs-Prognose) habe ich das mal in meiner Leistungsprognose umgesetzt.
Schau auch mal hier Photovoltaik Eigenverbrauch,Bilanz,Prognose (Kostal Plenticore; KSEM; BYD HV) (https://forum.fhem.de/index.php/topic,114849.0.html)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 28 Oktober 2020, 23:20:23
Die Stationsliste  (https://opendata.dwd.de/climate_environment/CDC/help/ST_Stundenwerte_Beschreibung_Stationen.txt) dieser Daten ist sehr kurz, so dass nicht jeder fündig wird. Der Stationsliste kann man auch entnehmen, dass es für keine der Stationen aktuelle Daten oder Vorhersagedaten gibt. Diese Daten sind also vom Ansatz her historische Daten. Am Beispiel der Station 662 ist das aktuell der Zeitraum zwischen 1958 bis zum 30.09.2020 mit Stundenauflösung.

Eine Integration ist prinzipiell immer möglich, aber mir ist nicht klar, was man mit diesen "alten" Daten in FHEM anstellen könnte.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: capo am 28 Oktober 2020, 23:32:07
danke euch, dann muss ich mal schauen, welche Station hier in der Nähe Rad1h liefern kann

ok, habe keine Station in der Nähe gefunden, die Rad1h liefert und musste dann doch auf die sehr kurze Stationsliste aus dem Link zurückgreifen  :(
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 29 Oktober 2020, 11:55:25
Zitat von: capo am 28 Oktober 2020, 23:32:07
danke euch, dann muss ich mal schauen, welche Station hier in der Nähe Rad1h liefern kann

ok, habe keine Station in der Nähe gefunden, die Rad1h liefert und musste dann doch auf die sehr kurze Stationsliste aus dem Link zurückgreifen  :(
Wie groß hast Du den den Radius beim Suchen festgelegt. Bei mir passt die Leistungsprognose (siehe links) selbst mit einer Station ca 20 Km entfernt.
Bei der Prognose ist die Tendenz wichtig. Wolken und Regen sind dann die beiden Werte, die den Ertrag stärker beeinflussen.

Wenn man zur jetzigen Zeit in die Prognose schaut, sieht man sogar den prognostizierten Einbruch um 12:00 Uhr :-)
Das finde ich recht gut, wobei es gerade angefangen hat zu regnen, und ich den Effect stärker konfigurieren sollte :-(

Plot Legende:
rot ist die Prognose von gestern für heute
die grünliche Linie ist die Korrektur mit den Daten von heute
Das hellgrüne ist die tatsächliche Leistung
Titel: Antw:Modul für DWD Open Data
Beitrag von: bjozim am 06 November 2020, 23:31:18
Hallo & Guten Abend,

ich versuche gerade mit meine fhem auf einen neuen Rasp umzuziehen. Und scheitere an der Wiedereinrichtung der Floorplan-Azeige des Wetters mittell DWD_OpenData_Weblink. Die per-Pakete sind eigentlich alle da:

libdatetime-perl ist schon die neueste Version (2:1.50-1+b1)

Aber trotzdem gib es beim Start von fhem Fehler:


2020.11.06 22:19:50 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Can't locate loadable object for module B in @INC (@INC contains: ./lib ./FHEM . /etc/perl /usr/local/lib/arm-linux-gnueabihf/perl/5.28.1 /usr/local/share/perl/5.28.1 /usr/lib/arm-linux-gnueabihf/perl5/5.28 /usr/share/perl5 /usr/lib/arm-linux-gnueabihf/perl/5.28 /usr/share/perl/5.28 /usr/local/lib/site_perl /usr/lib/arm-linux-gnueabihf/perl-base) at /usr/lib/arm-linux-gnueabihf/perl/5.28/B.pm line 33.
BEGIN failed--compilation aborted at /usr/lib/arm-linux-gnueabihf/perl/5.28/B.pm line 33.
Compilation failed in require at /usr/share/perl5/Specio/OO.pm line 6.
BEGIN failed--compilation aborted at /usr/share/perl5/Specio/OO.pm line 6.
Compilation failed in require at /usr/share/perl5/Specio/Coercion.pm line 8.
BEGIN failed--compilation aborted at /usr/share/perl5/Specio/Coercion.pm line 8.
Compilation failed in require at /usr/share/perl5/Specio/Declare.pm line 11.
BEGIN failed--compilation aborted at /usr/share/perl5/Specio/Declare.pm line 11.
Compilation failed in require at /usr/lib/arm-linux-gnueabihf/perl5/5.28/DateTime/Types.pm line 12.
BEGIN failed--compilation aborted at /usr/lib/arm-linux-gnueabihf/perl5/5.28/DateTime/Types.pm line 12.
Compilation failed in require at /usr/lib/arm-linux-gnueabihf/perl5/5.28/DateTime/Duration.pm line 12.
BEGIN failed--compilation aborted at /usr/lib/arm-linux-gnueabihf/perl5/5.28/DateTime/Duration.pm line 12.
Compilation failed in require at /usr/lib/arm-linux-gnueabihf/perl5/5.28/DateTime.pm line 14.
BEGIN failed--compilation aborted at /usr/lib/arm-linux-gnueabihf/perl5/5.28/DateTime.pm line 14.
Compilation failed in require at ./FHEM/99_DWD_OpenData_Weblink.pm line 46.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 46.

2020.11.06 22:19:50 1: Including fhem.cfg
2020.11.06 22:19:50 1: reload: Error:Modul 99_DWD_OpenData_Weblink deactivated:
Attempt to reload DateTime.pm aborted.
Compilation failed in require at ./FHEM/99_DWD_OpenData_Weblink.pm line 46, <$fh> line 6.
BEGIN failed--compilation aborted at ./FHEM/99_DWD_OpenData_Weblink.pm line 46, <$fh> line 6.


Kann mir eventuell hier jemand auf die Sprünge helfen und mir sagen, wo das Problem liegen könnte?

Danke und betse Grüße
Björn
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 07 November 2020, 11:08:49
Hallo Björn,

der Fehlerstack hat meiner Ansicht nach wenig bis gar nichts mit dem DWD Weblink zu tun, denn das Modul "B" ist Teil der Perl-Installation und muss im Normalfall nicht explizit installiert werden. Wenn es nicht gefunden wird ist wahrscheinlich die Perl-Installation unvollständig oder fehlerhaft und dann funktioniert vieles nicht so wie es soll.

Da du umgezogen bist hast du vielleicht auf dem neuen Raspi die Perl-Installation in einem anderen Verzeichnis als vorher, hast aber irgendwelche Konfigurationsdateien überschrieben, in denen der nun falsche Pfad auf die alte Perl-Installation steht.

Du kannst natürlich zuerst mal versuchen das Problem direkt zu lösen mit "cpan install B". Plan B wäre Perl noch einmal zu deinstallieren und erneut zu installieren.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 07 November 2020, 14:19:01
Schau dir auch mal das Modul an, das du runtergeladen hast. Ist das wirklich eine Perl Datei oder eine html Datei?
Titel: Antw:Modul für DWD Open Data
Beitrag von: bjozim am 07 November 2020, 22:59:02
Danke euch für die Antworten!

Ich habe jetzt noch einiges herumprobiert, perl neu installiert, fhem runter und wieder rauf aber es bleibt beim selben Fehlerbild. Ich glaube auch nicht, dass es am DWD...pm liegt. Irgendwas stimmt mit der Perl-Installation nicht. B.pm ist da. Aber schon ein simples


perl /usr/lib/arm-linux-gnueabihf/perl/5.28/B.pm
 

führt zu einem


pi@raspberrypi:~ $ perl /usr/lib/arm-linux-gnueabihf/perl/5.28/B.pm
Can't locate loadable object for module B in @INC (@INC contains: /etc/perl /usr/local/lib/arm-linux-gnueabihf/perl/5.28.1 /usr/local/share/perl/5.28.1 /usr/lib/arm-linux-gnueabihf/perl5/5.28 /usr/share/perl5 /usr/lib/arm-linux-gnueabihf/perl/5.28 /usr/share/perl/5.28 /usr/local/lib/site_perl /usr/lib/arm-linux-gnueabihf/perl-base) at /usr/lib/arm-linux-gnueabihf/perl/5.28/B.pm line 33.
BEGIN failed--compilation aborted at /usr/lib/arm-linux-gnueabihf/perl/5.28/B.pm line 33.


Im Vergleich zu meiner Installation auf dem Pi1, ist das nicht in Ordnung.
Ich werde wohl nochmal mit dem Raspi-Image anfangen...
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 11 November 2020, 10:54:51
Hallo zusammen,

leider habe ich festgestellt, dass bei mir der R600 (Regenwarscheinlichkeit) nicht mehr korrekt geliefert werden.

Wie kann ich jetzt dem Grund auf die Schliche kommen?

Gruß
   Christian


Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5f5ddbe7-f33f-61a8-1b89-fb4c13efef9261f5
   FVERSION   55_DWD_OpenData.pm:v1.0.0-s22220/2020-06-21
   NAME       DWD_Forecast
   NR         471
   STATE      forecast updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   READINGS:
     2020-11-11 05:00:05   fc0_0_Neff      96
     2020-11-11 05:00:05   fc0_0_Rad1h     0.00
     2020-11-11 05:00:05   fc0_0_TTT       7
     2020-11-11 05:00:05   fc0_0_time      00:00
     2020-11-11 10:45:59   fc0_10_Neff     100
     2020-11-11 10:45:59   fc0_10_Rad1h    170.00
     2020-11-11 10:45:59   fc0_10_TTT      8.20
     2020-11-11 10:45:59   fc0_10_time     10:00
     2020-11-11 10:45:59   fc0_11_Neff     97
     2020-11-11 10:45:59   fc0_11_Rad1h    320.00
     2020-11-11 10:45:59   fc0_11_TTT      8.80
     2020-11-11 10:45:59   fc0_11_time     11:00
     2020-11-11 10:45:59   fc0_12_Neff     94
     2020-11-11 10:45:59   fc0_12_Rad1h    450.00
     2020-11-11 10:45:59   fc0_12_TTT      9.40
     2020-11-11 10:45:59   fc0_12_time     12:00
     2020-11-11 10:45:59   fc0_13_Neff     93
     2020-11-11 10:45:59   fc0_13_R600     22.00       <<<<<<<<<<<<<<<<
     2020-11-11 10:45:59   fc0_13_Rad1h    470.00
     2020-11-11 10:45:59   fc0_13_TTT      9.90
     2020-11-11 10:45:59   fc0_13_time     13:00
     2020-11-11 10:45:59   fc0_14_Neff     91
     2020-10-24 18:00:05   fc0_14_R600     2.00       <<<<<<<<<<<<<<<<
     2020-11-11 10:45:59   fc0_14_Rad1h    430.00
     2020-11-11 10:45:59   fc0_14_TTT      10.3
     2020-11-11 10:45:59   fc0_14_time     14:00
     2020-11-11 10:45:59   fc0_15_Neff     89
     2020-11-11 10:45:59   fc0_15_Rad1h    310.00
     2020-11-11 10:45:59   fc0_15_TTT      10.5
     2020-11-11 10:45:59   fc0_15_time     15:00
     2020-11-11 10:45:59   fc0_16_Neff     89
     2020-11-11 10:45:59   fc0_16_Rad1h    160.00
     2020-11-11 10:45:59   fc0_16_TTT      10.3
     2020-11-11 10:45:59   fc0_16_time     16:00
     2020-11-11 10:45:59   fc0_17_Neff     87
     2020-11-11 10:45:59   fc0_17_Rad1h    40.00
     2020-11-11 10:45:59   fc0_17_TTT      9.80
     2020-11-11 10:45:59   fc0_17_time     17:00
     2020-11-11 10:45:59   fc0_18_Neff     84
     2020-11-11 10:45:59   fc0_18_Rad1h    0.00
     2020-11-11 10:45:59   fc0_18_TTT      9.40
     2020-11-11 10:45:59   fc0_18_time     18:00
     2020-11-11 10:45:59   fc0_19_Neff     84
     2020-11-11 10:45:59   fc0_19_R600     8.00       <<<<<<<<<<<<<<<<
     2020-11-11 10:45:59   fc0_19_Rad1h    0.00
     2020-11-11 10:45:59   fc0_19_TTT      8.90
     2020-11-11 10:45:59   fc0_19_time     19:00
     2020-11-11 05:00:05   fc0_1_Neff      92
     2020-11-11 05:00:05   fc0_1_R600      34.00       <<<<<<<<<<<<<<<<
     2020-11-11 05:00:05   fc0_1_Rad1h     0.00
     2020-11-11 05:00:05   fc0_1_TTT       7
     2020-11-11 05:00:05   fc0_1_time      01:00
     2020-11-11 10:45:59   fc0_20_Neff     84
     2020-10-24 23:00:05   fc0_20_R600     11.00       <<<<<<<<<<<<<<<<
     2020-11-11 10:45:59   fc0_20_Rad1h    0.00
     2020-11-11 10:45:59   fc0_20_TTT      8.5
     2020-11-11 10:45:59   fc0_20_time     20:00
     2020-11-11 10:45:59   fc0_21_Neff     86
     2020-11-11 10:45:59   fc0_21_Rad1h    0.00
     2020-11-11 10:45:59   fc0_21_TTT      8.10
     2020-11-11 10:45:59   fc0_21_time     21:00
     2020-11-11 10:45:59   fc0_22_Neff     85
     2020-11-11 10:45:59   fc0_22_Rad1h    0.00
     2020-11-11 10:45:59   fc0_22_TTT      7.80
     2020-11-11 10:45:59   fc0_22_time     22:00
     2020-11-11 10:45:59   fc0_23_Neff     84
     2020-11-11 10:45:59   fc0_23_Rad1h    0.00
     2020-11-11 10:45:59   fc0_23_TTT      7.5
     2020-11-11 10:45:59   fc0_23_time     23:00
     2020-11-11 05:00:05   fc0_2_Neff      93
     2020-10-25 05:00:09   fc0_2_R600      10.00       <<<<<<<<<<<<<<<<
     2020-11-11 05:00:05   fc0_2_Rad1h     0.00
     2020-11-11 05:00:05   fc0_2_TTT       7.10
     2020-11-11 05:00:05   fc0_2_time      02:00
     2020-11-11 05:00:05   fc0_3_Neff      94
     2020-11-11 05:00:05   fc0_3_Rad1h     0.00
     2020-11-11 05:00:05   fc0_3_TTT       7.10
     2020-11-11 05:00:05   fc0_3_time      03:00
     2020-11-11 05:00:05   fc0_4_Neff      95
     2020-11-11 05:00:05   fc0_4_Rad1h     0.00
     2020-11-11 05:00:05   fc0_4_TTT       7.30
     2020-11-11 05:00:05   fc0_4_time      04:00
     2020-11-11 10:45:59   fc0_5_Neff      98
     2020-11-11 10:45:59   fc0_5_Rad1h     0.00
     2020-11-11 10:45:59   fc0_5_TTT       7
     2020-11-11 10:45:59   fc0_5_time      05:00
     2020-11-11 10:45:59   fc0_6_Neff      100
     2020-11-11 10:45:59   fc0_6_Rad1h     0.00
     2020-11-11 10:45:59   fc0_6_TTT       7.10
     2020-11-11 10:45:59   fc0_6_time      06:00
     2020-11-11 10:45:59   fc0_7_Neff      97
     2020-11-11 10:45:59   fc0_7_R600      36.00       <<<<<<<<<<<<<<<<
     2020-11-11 10:45:59   fc0_7_Rad1h     0.00
     2020-11-11 10:45:59   fc0_7_TTT       7.10
     2020-11-11 10:45:59   fc0_7_time      07:00
     2020-11-11 10:45:59   fc0_8_Neff      97
     2020-10-24 11:00:05   fc0_8_R600      15.00       <<<<<<<<<<<<<<<<
     2020-11-11 10:45:59   fc0_8_Rad1h     0.00
     2020-11-11 10:45:59   fc0_8_TTT       7.40
     2020-11-11 10:45:59   fc0_8_time      08:00
     2020-11-11 10:45:59   fc0_9_Neff      99
     2020-11-11 10:45:59   fc0_9_Rad1h     50.00
     2020-11-11 10:45:59   fc0_9_TTT       7.60
     2020-11-11 10:45:59   fc0_9_time      09:00
     2020-11-11 10:45:59   fc0_date        2020-11-11
     2020-11-11 10:45:59   fc0_weekday     Mi
snip fc1 Werte
     2020-11-11 10:45:59   fc_coordinates  8.47,49.78,90.0
     2020-11-11 10:45:59   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-11-11 10:45:59   fc_description  BIEBESHEIM
     2020-11-11 10:45:59   fc_state        updated
     2020-11-11 10:45:59   fc_station      P0178
     2020-11-11 10:45:59   fc_time         2020-11-11 04:00:00
     2020-11-11 10:45:59   state           forecast updated
Attributes:
   DbLogExclude .*
   comment    Version 2020.10.19 18:28
   event-on-change-reading Rad1h,TTT,Neff,R600
   forecastDays 1
   forecastProperties Rad1h,TTT,Neff,R600
   forecastResolution 1
   forecastStation P0178
   group      PV Eigenverbrauch
   icon       weather_rain_fog
   room       Informationen->Wetter,Strom->Photovoltaik
   sortby     06
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 12 November 2020, 18:26:05
Hallo Christian,

du schreibst, dass bei dir "der R600 (Regenwarscheinlichkeit) nicht mehr korrekt geliefert" wird. Du hast die entsprechenden Readings markiert und die haben unterschiedliche Werte, was für sich gesehen eher normal ist. Auch die Werte sind selbst liegen im plausiblen Bereich 0..100.

Aber worin besteht nun genau das "nicht mehr korrekt"? Womit vergleichst du?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 12 November 2020, 20:20:09
Hallo Jens,

wie man an den Zeitstempeln sehen kann, werden einige readings nicht neu gesetzt.

     2020-11-11 10:45:59   fc0_14_Neff     91
     2020-10-24 18:00:05   fc0_14_R600     2.00       <<<<<<<<<<<<<<<< das ist uralt
     2020-11-11 10:45:59   fc0_14_Rad1h    430.00
     2020-11-11 10:45:59   fc0_14_TTT      10.3


Sind die R600 readings nicht auch auf Stundenbasis? Oder kommen die nur mal so zwischen durch?
Wenn sie kommen, sind sie auch plausibel.
Und wenn keins da ist, habe ich sowieso einen Default von 0 , aber wenn die Stunde davor ein Wert da war wäre es verwirrend, wenn 1h später auf einmal ein alter oder garkein Wert mehr da ist.

Gruß
   Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 November 2020, 11:04:04
Hallo Christian,

vermutlich wurde die Messstation vom DWD umkonfiguriert, möglicherweise wegen der Sommer-/Winterzeitumstellung.

Wenn man sich die Rohdaten für deine Station unter https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/P0187/kml/ ansieht (in .zip umbenennen und z.B. mit Texteditor öffen, dann ist 18:00 = 17:00 UTC und damit der 14. Eintrag. Geht man dann zu R600 steht beim 14. Eintrag "-". Erst beim 15. Eintrag steht wieder ein Wert, also für 19:00.

Das DWD_OpenData-Modul löscht momentan keine existierenden Vorhersage-Readings, u.a. da das zu Fehlern in anderen FHEM-Modulen führen kann, wenn Readings plötzlich verschwinden. Als Options-Feature wäre das trotzdem möglich. Alternativ könnte man den Wert nullen oder löschen. Macht man ersteres erzeugt man selbst falsche Werte, macht man letzteres, kann das wiederum zu Problemen in anderen Modulen führen. Noch eine Möglichkeit wäre es, diesen Fall nur zu erkennen und z.B. den State des Moduls auf "warning: some forecast readings are not updated" zu ändern. Bin da für konstruktive Vorschläge offen.

Als Hotfix empfehle ich die betroffenen Readings einmal manuell zu löschen. Per regexp (z.B. deletreading DWD_Forecast fc.*_14_R600) geht das mit einem Befehl.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 14 November 2020, 11:59:57
Zitat von: jensb am 14 November 2020, 11:04:04
vermutlich wurde die Messstation vom DWD umkonfiguriert, möglicherweise wegen der Sommer-/Winterzeitumstellung.

Wenn man sich die Rohdaten für deine Station unter https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/P0187/kml/ ansieht (in .zip umbenennen und z.B. mit Texteditor öffen, dann ist 18:00 = 17:00 UTC und damit der 14. Eintrag. Geht man dann zu R600 steht beim 14. Eintrag "-". Erst beim 15. Eintrag steht wieder ein Wert, also für 19:00.

Das DWD_OpenData-Modul löscht momentan keine existierenden Vorhersage-Readings, u.a. da das zu Fehlern in anderen FHEM-Modulen führen kann, wenn Readings plötzlich verschwinden. Als Options-Feature wäre das trotzdem möglich. Alternativ könnte man den Wert nullen oder löschen. Macht man ersteres erzeugt man selbst falsche Werte, macht man letzteres, kann das wiederum zu Problemen in anderen Modulen führen. Noch eine Möglichkeit wäre es, diesen Fall nur zu erkennen und z.B. den State des Moduls auf "warning: some forecast readings are not updated" zu ändern. Bin da für konstruktive Vorschläge offen.

Als Hotfix empfehle ich die betroffenen Readings einmal manuell zu löschen. Per regexp (z.B. deletreading DWD_Forecast fc.*_14_R600) geht das mit einem Befehl.
Hallo Jens,
danke für die Rückmeldung. Ich dachte die Werte wären generell im Stunden Rhythmus, egal ob sie dann um eine Stunde verschoben sind.

Wenn es einen Update für Werte gibt, würde ich bevorzugen, dass nicht aktualisierte readings von diesem Wert gelöscht würden.

Ein fc0 für z.B. R600 sollte, wenn er konfiguriert ist alle Werte von R600 aktualisieren und nicht gelieferte Werte dann löschen.
Bei der Abfrage eines nicht vorhandenen readings setzt man ja im normal Fall auch einen default, damit ein Program nicht aussteigt. Deshalb habe ich das ja auch bisher garnicht gemerkt.

Heute sind übrigens wieder alle readings aktuell ??? aber mit den großen Lücken halt ???
Es scheint mir so, dass es nur zu diesen Zeiten für R600 Werte gibt.

  READINGS:
     2020-11-14 11:00:05   fc0_13_R600     9.00
     2020-11-14 11:00:05   fc0_19_R600     7.00
     2020-11-14 05:00:05   fc0_1_R600      88.00
     2020-11-14 10:00:05   fc0_7_R600      78.00

     2020-11-14 11:00:05   fc1_13_R600     6.00
     2020-11-14 11:00:05   fc1_19_R600     58.00
     2020-11-14 11:00:05   fc1_1_R600      3.00
     2020-11-14 11:00:05   fc1_7_R600      7.00


Gruß
   Chrstian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 November 2020, 12:42:32
Hallo Christian,

ZitatEs scheint mir so, dass es nur zu diesen Zeiten für R600 Werte gibt.
Ja so ist es. Hier sind die Rohdaten. Es gibt nur alle 6 Einträge, also alle 6 Stunden einen Wert. Das steht so auch in der Modulhilfe.


                <dwd:Forecast dwd:elementName="R600">
                    <dwd:value>          -          -      44.00          -          -          -          -          -       3.00          -          -          -          -          -       1.00          -          -          -          -          -       1.00          -          -          -          -          -       3.00          -          -          -          -          -       3.00          -          -          -          -          -      44.00          -          -          -          -          -      82.00          -          -          -          -          -      69.00          -          -          -          -          -      82.00          -          -          -          -          -      78.00          -          -          -          -          -      68.00          -          -          -          -          -      81.00          -          -          -          -          -      80.00          -          -          -          -          -      38.00          -          -          -          -          -      28.00          -          -          -          -          -       7.00          -          -          -          -          -       8.00          -          -          -          -          -      11.00          -          -          -          -          -      16.00          -          -          -          -          -      41.00          -          -          -          -          -      44.00          -          -          -          -          -      75.00          -          -          -          -          -      63.00          -          -          -          -          -      65.00          -          -          -          -          -      67.00          -          -          -          -          -      55.00          -          -          -          -          -      53.00          -          -          -          -          -      43.00          -          -          -          -          -      52.00          -          -          -          -          -      62.00          -          -          -          -          -      48.00          -          -          -          -          -      54.00          -          -          -          -          -      54.00          -          -          -          -          -      56.00          -          -          -          -          -      56.00          -          -          -          -          -      56.00          -          -          -          -          -      54.00          -          -          -          -          -      54.00          -          -          -          -          -      44.00          -          -          -          -          -      41.00          -          -          -          -</dwd:value>
                </dwd:Forecast>


Zitat
Wenn es einen Update für Werte gibt, würde ich bevorzugen, dass nicht aktualisierte readings von diesem Wert gelöscht würden.
...
Bei der Abfrage eines nicht vorhandenen readings setzt man ja im normal Fall auch einen default, damit ein Program nicht aussteigt. Deshalb habe ich das ja auch bisher garnicht gemerkt.

Ich werde mir das noch mal in Ruhe durch den Kopf gehen lassen bevor ich ein Änderung mache. Vielleicht haben ja auch andere noch einen Vorschlag zu diesem Aspekt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: bjozim am 16 November 2020, 22:21:03
Hallo zusammen,

nach Neuinstallation des PI (s.o.) geht nun auch mein DWD_OpenData_Weblink wieder  :).

Nun habe ich aber noch ein Problem, bei dem ich nicht weiter weiß: In der grafischen Vorschau gibt es Einträge für den aktuellen Tag von 6:00, 12:00 und 18:00Uhr. Für den Folgetag und alle weiteren sind es aber immer nur 06:00 und 12:00. Das Interval des DWD_OpenData ist auf 6h gesetzt. Woran kann es jetzt noch liegen, dass die Punkte für 0:00 und 18:00 fehlen?

Danke schon mal im Voraus und Gruß
Björn
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 November 2020, 18:31:18
Hallo Björn,

der Weblink übernimmt das Attribut forecastResolution vom zugeordneten IODev = DWD_OpenData-Modul und trotzdem scheint da etwas nicht zu passen.

Bitte poste die list-Ausgabe für beide Module und einen Screenshot von der Weblink-Darstellung, vielleicht bringt das Erkenntnisse.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 17 November 2020, 19:46:27
Zitat von: jensb am 14 November 2020, 12:42:32
Ja so ist es. Hier sind die Rohdaten. Es gibt nur alle 6 Einträge, also alle 6 Stunden einen Wert. Das steht so auch in der Modulhilfe.

Ich werde mir das noch mal in Ruhe durch den Kopf gehen lassen bevor ich ein Änderung mache. Vielleicht haben ja auch andere noch einen Vorschlag zu diesem Aspekt.
Schade, dann warte ich mal was aus Deinem Kopf raus kommt, bevor ich die Werte dazwischen irgendwie rein fummel.
So bekommt mein Forecast nur alle 6 Stunden einen Dämpfer, aber wenn es die Daten nicht hergeben, muss man tricksen :-(
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 17 November 2020, 21:00:48
Hallo Christian,

durch den Kopf gehen lassen will ich mir, ob ich tote Readings lösche oder nicht. Eine Option wäre es das z.B. nur bei Stundenauflöstung zu machen, eine andere es per Attribut zu aktivieren.

Ich werde aber keine fehlenden Werte erfinden, z.B. durch Interpolation. Wenn du so etwas brauchst, musst du das selbst umsetzten, denn das geht nicht allgemeingültig.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 17 November 2020, 21:17:21
Zitat von: jensb am 17 November 2020, 21:00:48
Ich werde aber keine fehlenden Werte erfinden, z.B. durch Interpolation. Wenn du so etwas brauchst, musst du das selbst umsetzten, denn das geht nicht allgemeingültig.
Ich muss mal beim DWD nachlesen, für welchen Zeitraum die 6h Werte vom R600 gelten sollen, da muss es doch eine Definition geben.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 18 November 2020, 19:25:46
Hallo Christian,

soweit ich mich erinnere spezifiziert der DWD nur, dass es einen bestimmten Wert (wie R600) alle X Stunden gibt (siehe Modulhilfe und https://opendata.dwd.de/weather/lib/MetElementDefinition.xml). Die Stunde, wann es Werte gibt, ist nicht definiert und hängt nach meiner Erfahrung von der Messstation ab. Deshalb braucht z.B. der DWD_OpenData_Weblink so viel Code, denn er sucht praktisch nach dem nächsten vorhandenen Wert in einem Zeitintervall.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 18 November 2020, 23:31:22
Zitat von: jensb am 18 November 2020, 19:25:46
soweit ich mich erinnere spezifiziert der DWD nur, dass es einen bestimmten Wert (wie R600) alle X Stunden gibt (siehe Modulhilfe und https://opendata.dwd.de/weather/lib/MetElementDefinition.xml). Die Stunde, wann es Werte gibt, ist nicht definiert und hängt nach meiner Erfahrung von der Messstation ab. Deshalb braucht z.B. der DWD_OpenData_Weblink so viel Code, denn er sucht praktisch nach dem nächsten vorhandenen Wert in einem Zeitintervall.
Kannst du dann auch sagen, ob dieser Wert dann eine bestimmte Gültigkeitszeit hat? Bis zum nächsten Wert?
Ansonsten interpoliere ich einfach linear von einem zum nächsten Wert, bei einer Regenwarscheinlichkeit ist die Genauigkeit eh ziemlich wage.
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 19 November 2020, 08:26:59
Das Wiki kennst du? Dort gibts ein Plot Beispiel, von dem du dir vielleicht etwas ableiten kannst.

https://wiki.fhem.de/wiki/DWD_OpenData (https://wiki.fhem.de/wiki/DWD_OpenData)
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 19 November 2020, 11:46:38
Zitat von: mumpitzstuff am 19 November 2020, 08:26:59
Das Wiki kennst du? Dort gibts ein Plot Beispiel, von dem du dir vielleicht etwas ableiten kannst.
Danke für den Hinweis. Das kannte ich schon, konnte jedoch für mein problem keinen Hinweis finden.
Ich benötige halt eine stundenweise Regenwahrscheinlichkeit, es werden jedoch nur 6 Stündig Werte geliefert.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 19 November 2020, 18:17:50
Hallo Christian!

ZitatKannst du dann auch sagen, ob dieser Wert dann eine bestimmte Gültigkeitszeit hat? Bis zum nächsten Wert?

Die Gültigkeit ist unter dem Link aus meinem letzten Post beschrieben:

<MetElement>
<ShortName>R600</ShortName>
<UnitOfMeasurement>% (0..100)</UnitOfMeasurement>
<Description>
Probability of precipitation > 0.0mm during the last 6 hours
</Description>
</MetElement>

Das bedeutet, dass ein Wert, der z.B. um 18:00 gemeldet wird, sich auf den Zeitraum von 12:00 bis 18:00 bezieht.

ZitatAnsonsten interpoliere ich einfach linear von einem zum nächsten Wert, ...

Da es sich bei R600 um eine Wahrscheinlichkeit handelt und nicht um eine Gesamtmenge könnte man interpolieren. Genausogut kannst du aber alle 5 vorausgehenden Stunden auf den gleichen Wert setzten, und das würde der Beschreibung des Messwerts eher gerecht werden.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 19 November 2020, 19:07:45
Zitat von: jensb am 19 November 2020, 18:17:50
Das bedeutet, dass ein Wert, der z.B. um 18:00 gemeldet wird, sich auf den Zeitraum von 12:00 bis 18:00 bezieht.

Da es sich bei R600 um eine Wahrscheinlichkeit handelt und nicht um eine Gesamtmenge könnte man interpolieren. Genausogut kannst du aber alle 5 vorausgehenden Stunden auf den gleichen Wert setzten, und das würde der Beschreibung des Messwerts eher gerecht werden.

Das ist ja komisch :-) Da wird im Forecast die Wahrscheinlichkeit für Regen zum Ende des Zeitraums eingetragen :-)
Da muss man erstmal drauf kommen, ich hätte ja den Beginn der Wahrscheinlichkeit genommen, aber ich bin ja auch kein Wetterfrosch.

Vielen, vielen Dank
     Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 November 2020, 21:47:18
Hallo Christian (und alle anderen, die das Löschen von Vorhersage-Readings interessiert),

habe folgende Idee, wie man "tote" Vorhersage-Readings erkennen und löschen kann. Man muss dabei berücksichtigen, dass der absolute Zeitstempel eines Readings nicht herangezogen werden kann, da das Modul einen Offline-Modus unterstützt. Hat man eine Vorhersage für 4 Tage, dann hat man die Daten auch für 4 Tage, selbst wenn die Internetverbindung erst nach 4 Tagen wieder zur Verfügung steht (auch wenn sich kaum noch jemand vorstellen kann, dass man das so lange aushält ;D ).

Daher kommt z.B. ein relativer Vergleich der Zeitstempel in Frage. Man bestimmt den jüngsten Zeitstempel pro Tag und löscht alle Readings dieses Tages, die mindestens 24 oder besser noch 30 Stunden älter sind.

Einwände?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: bjozim am 27 November 2020, 21:23:48
Hallo Jens,

sorry für die lange Pause - hier nun also die list-Ausgaben für das Weblink-Device:


Internals:
   CFGFN      /opt/fhem/FHEM/00__Function_Wetter.cfg
   FUUID      5c87f91b-f33f-33e6-8323-c38e041cb1473a3e
   IODev      DWD
   NAME       DWD_Weblink_Generator
   NR         299
   STATE      initialized
   TYPE       DWD_OpenData_Weblink
   READINGS:
     2020-11-27 20:09:30   state           initialized
Attributes:
   IODev      DWD
   alias      DWD_Weblink_Generator
   forecastDays 5
   fp_LCARS_Wetter 129,691,1,DWD_Weblink_Generator,
   refreshRate 900
   room       Wettervorhersage


und das Datendevice:


Internals:
   ALERTS_IN_CACHE 50
   CFGFN      /opt/fhem/FHEM/00__Function_Wetter.cfg
   FHEM_TZ   
   FUUID      5c87f91b-f33f-33e6-f032-d0f2559b5230a208
   NAME       DWD
   NR         297
   STATE      alerts updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   READINGS:
     2020-11-27 20:15:06   a_count         0
     2020-11-27 20:15:06   a_state         updated
     2020-11-27 20:15:06   a_time          2020-11-27 20:15:05
     2020-11-26 04:00:05   fc0_0_DD        164
     2020-11-26 04:00:05   fc0_0_FX1       30
     2020-11-26 04:00:05   fc0_0_Neff      7
     2020-11-26 04:00:05   fc0_0_R600      3.00
     2020-11-26 04:00:05   fc0_0_RR6c      0.00
     2020-11-26 04:00:05   fc0_0_SunUp     0
     2020-11-26 04:00:05   fc0_0_TTT       0.60
     2020-11-26 04:00:05   fc0_0_time      00:00
     2020-11-26 04:00:05   fc0_0_ww        0
     2020-11-26 04:00:05   fc0_0_wwd       Bewölkungsentwicklung nicht beobachtet
     2020-11-26 09:00:05   fc0_1_DD        174
     2020-11-26 09:00:05   fc0_1_FX1       20
     2020-11-26 09:00:05   fc0_1_Neff      16
     2020-11-26 09:00:05   fc0_1_R600      4.00
     2020-11-26 09:00:05   fc0_1_RR6c      0.00
     2020-11-26 09:00:05   fc0_1_RRhc      0.00
     2020-11-26 09:00:05   fc0_1_Rh00      4
     2020-11-26 09:00:05   fc0_1_SunUp     0
     2020-11-26 09:00:05   fc0_1_TTT       -0.20
     2020-11-26 09:00:05   fc0_1_time      06:00
     2020-11-26 09:00:05   fc0_1_ww        0
     2020-11-26 09:00:05   fc0_1_wwd       Bewölkungsentwicklung nicht beobachtet
     2020-11-26 15:00:05   fc0_2_DD        188
     2020-11-26 15:00:05   fc0_2_FX1       20
     2020-11-26 15:00:05   fc0_2_Neff      52
     2020-11-26 15:00:05   fc0_2_R600      6.00
     2020-11-26 15:00:05   fc0_2_RR6c      0.00
     2020-11-26 15:00:05   fc0_2_SunUp     1
     2020-11-26 15:00:05   fc0_2_TTT       4.90
     2020-11-26 15:00:05   fc0_2_time      12:00
     2020-11-26 15:00:05   fc0_2_ww        1
     2020-11-26 15:00:05   fc0_2_wwd       Bewölkung abnehmend
     2020-11-27 20:09:46   fc0_3_DD        128
     2020-11-27 20:09:46   fc0_3_FX1       15
     2020-11-27 20:09:46   fc0_3_Neff      38
     2020-11-27 20:09:46   fc0_3_R600      10.00
     2020-11-27 20:09:46   fc0_3_RR6c      0.00
     2020-11-27 20:09:46   fc0_3_RRhc      0.10
     2020-11-27 20:09:46   fc0_3_Rh00      100
     2020-11-27 20:09:46   fc0_3_SunUp     0
     2020-11-27 20:09:46   fc0_3_TTT       2.5
     2020-11-27 20:09:46   fc0_3_time      18:00
     2020-11-27 20:09:46   fc0_3_ww        1
     2020-11-27 20:09:46   fc0_3_wwd       Bewölkung abnehmend
     2020-11-26 09:00:05   fc0_Tg          -3.5
     2020-11-27 20:09:46   fc0_Tn          1.60
     2020-11-27 20:09:46   fc0_Tx          5
     2020-11-27 20:09:46   fc0_date        2020-11-27
     2020-11-27 20:09:46   fc0_weekday     Fr
     2020-11-27 20:09:46   fc1_0_DD        118
     2020-11-27 20:09:46   fc1_0_FX1       11
     2020-11-27 20:09:46   fc1_0_Neff      69
     2020-11-27 20:09:46   fc1_0_R600      8.00
     2020-11-27 20:09:46   fc1_0_RR6c      0.00
     2020-11-27 20:09:46   fc1_0_SunUp     0
     2020-11-27 20:09:46   fc1_0_TTT       2
     2020-11-27 20:09:46   fc1_0_time      00:00
     2020-11-27 20:09:46   fc1_0_ww        3
     2020-11-27 20:09:46   fc1_0_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc1_1_DD        48
     2020-11-27 20:09:46   fc1_1_FX1       11
     2020-11-27 20:09:46   fc1_1_Neff      93
     2020-11-27 20:09:46   fc1_1_R600      24.00
     2020-11-27 20:09:46   fc1_1_RR6c      0.00
     2020-11-27 20:09:46   fc1_1_RRhc      0.00
     2020-11-27 20:09:46   fc1_1_Rh00      24
     2020-11-27 20:09:46   fc1_1_SunUp     0
     2020-11-27 20:09:46   fc1_1_TTT       1.10
     2020-11-27 20:09:46   fc1_1_time      06:00
     2020-11-27 20:09:46   fc1_1_ww        3
     2020-11-27 20:09:46   fc1_1_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc1_2_DD        60
     2020-11-27 20:09:46   fc1_2_FX1       19
     2020-11-27 20:09:46   fc1_2_Neff      87
     2020-11-27 20:09:46   fc1_2_R600      11.00
     2020-11-27 20:09:46   fc1_2_RR6c      0.00
     2020-11-27 20:09:46   fc1_2_SunUp     1
     2020-11-27 20:09:46   fc1_2_TTT       2.30
     2020-11-27 20:09:46   fc1_2_time      12:00
     2020-11-27 20:09:46   fc1_2_ww        3
     2020-11-27 20:09:46   fc1_2_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc1_3_DD        58
     2020-11-27 20:09:46   fc1_3_FX1       13
     2020-11-27 20:09:46   fc1_3_Neff      76
     2020-11-27 20:09:46   fc1_3_R600      6.00
     2020-11-27 20:09:46   fc1_3_RR6c      0.00
     2020-11-27 20:09:46   fc1_3_RRhc      0.00
     2020-11-27 20:09:46   fc1_3_Rh00      18
     2020-11-27 20:09:46   fc1_3_SunUp     0
     2020-11-27 20:09:46   fc1_3_TTT       1
     2020-11-27 20:09:46   fc1_3_time      18:00
     2020-11-27 20:09:46   fc1_3_ww        3
     2020-11-27 20:09:46   fc1_3_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc1_Tg          -0.90
     2020-11-27 20:09:46   fc1_Tn          0.70
     2020-11-27 20:09:46   fc1_Tx          2.60
     2020-11-27 20:09:46   fc1_date        2020-11-28
     2020-11-27 20:09:46   fc1_weekday     Sa
     2020-11-27 20:09:46   fc2_0_DD        24
     2020-11-27 20:09:46   fc2_0_FX1       7
     2020-11-27 20:09:46   fc2_0_Neff      71
     2020-11-27 20:09:46   fc2_0_R600      9.00
     2020-11-27 20:09:46   fc2_0_RR6c      0.00
     2020-11-27 20:09:46   fc2_0_SunUp     0
     2020-11-27 20:09:46   fc2_0_TTT       -0.10
     2020-11-27 20:09:46   fc2_0_time      00:00
     2020-11-27 20:09:46   fc2_0_ww        3
     2020-11-27 20:09:46   fc2_0_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc2_1_DD        318
     2020-11-27 20:09:46   fc2_1_FX1       9
     2020-11-27 20:09:46   fc2_1_Neff      81
     2020-11-27 20:09:46   fc2_1_R600      19.00
     2020-11-27 20:09:46   fc2_1_RR6c      0.00
     2020-11-27 20:09:46   fc2_1_RRhc      0.00
     2020-11-27 20:09:46   fc2_1_Rh00      28
     2020-11-27 20:09:46   fc2_1_SunUp     0
     2020-11-27 20:09:46   fc2_1_TTT       -0.20
     2020-11-27 20:09:46   fc2_1_time      06:00
     2020-11-27 20:09:46   fc2_1_ww        3
     2020-11-27 20:09:46   fc2_1_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc2_2_DD        310
     2020-11-27 20:09:46   fc2_2_FX1       15
     2020-11-27 20:09:46   fc2_2_Neff      90
     2020-11-27 20:09:46   fc2_2_R600      51.00
     2020-11-27 20:09:46   fc2_2_RR6c      0.00
     2020-11-27 20:09:46   fc2_2_SunUp     1
     2020-11-27 20:09:46   fc2_2_TTT       1.80
     2020-11-27 20:09:46   fc2_2_time      12:00
     2020-11-27 20:09:46   fc2_2_ww        3
     2020-11-27 20:09:46   fc2_2_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc2_3_DD        295
     2020-11-27 20:09:46   fc2_3_FX1       15
     2020-11-27 20:09:46   fc2_3_Neff      91
     2020-11-27 20:09:46   fc2_3_R600      55.00
     2020-11-27 20:09:46   fc2_3_RR6c      0.00
     2020-11-27 20:09:46   fc2_3_RRhc      0.20
     2020-11-27 20:09:46   fc2_3_Rh00      80
     2020-11-27 20:09:46   fc2_3_SunUp     0
     2020-11-27 20:09:46   fc2_3_TTT       1.5
     2020-11-27 20:09:46   fc2_3_time      18:00
     2020-11-27 20:09:46   fc2_3_ww        3
     2020-11-27 20:09:46   fc2_3_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc2_Tg          -2.60
     2020-11-27 20:09:46   fc2_Tn          -0.40
     2020-11-27 20:09:46   fc2_Tx          2.30
     2020-11-27 20:09:46   fc2_date        2020-11-29
     2020-11-27 20:09:46   fc2_weekday     So
     2020-11-27 20:09:46   fc3_0_DD        291
     2020-11-27 20:09:46   fc3_0_FX1       13
     2020-11-27 20:09:46   fc3_0_Neff      86
     2020-11-27 20:09:46   fc3_0_R600      69.00
     2020-11-27 20:09:46   fc3_0_RR6c      0.50
     2020-11-27 20:09:46   fc3_0_SunUp     0
     2020-11-27 20:09:46   fc3_0_TTT       0.80
     2020-11-27 20:09:46   fc3_0_time      00:00
     2020-11-27 20:09:46   fc3_0_ww        68
     2020-11-27 20:09:46   fc3_0_wwd       leichter Schneeregen
     2020-11-27 20:09:46   fc3_1_DD        290
     2020-11-27 20:09:46   fc3_1_FX1       11
     2020-11-27 20:09:46   fc3_1_Neff      88
     2020-11-27 20:09:46   fc3_1_R600      73.00
     2020-11-27 20:09:46   fc3_1_RR6c      0.00
     2020-11-27 20:09:46   fc3_1_RRhc      0.50
     2020-11-27 20:09:46   fc3_1_Rh00      90
     2020-11-27 20:09:46   fc3_1_SunUp     0
     2020-11-27 20:09:46   fc3_1_TTT       0.10
     2020-11-27 20:09:46   fc3_1_time      06:00
     2020-11-27 20:09:46   fc3_1_ww        3
     2020-11-27 20:09:46   fc3_1_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc3_2_DD        253
     2020-11-27 20:09:46   fc3_2_FX1       15
     2020-11-27 20:09:46   fc3_2_Neff      80
     2020-11-27 20:09:46   fc3_2_R600      54.00
     2020-11-27 20:09:46   fc3_2_RR6c      0.00
     2020-11-27 20:09:46   fc3_2_SunUp     1
     2020-11-27 20:09:46   fc3_2_TTT       1.80
     2020-11-27 20:09:46   fc3_2_time      12:00
     2020-11-27 20:09:46   fc3_2_ww        3
     2020-11-27 20:09:46   fc3_2_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc3_3_DD        180
     2020-11-27 20:09:46   fc3_3_FX1       17
     2020-11-27 20:09:46   fc3_3_Neff      69
     2020-11-27 20:09:46   fc3_3_R600      30.00
     2020-11-27 20:09:46   fc3_3_RR6c      0.00
     2020-11-27 20:09:46   fc3_3_RRhc      0.10
     2020-11-27 20:09:46   fc3_3_Rh00      58
     2020-11-27 20:09:46   fc3_3_SunUp     0
     2020-11-27 20:09:46   fc3_3_TTT       0.70
     2020-11-27 20:09:46   fc3_3_time      18:00
     2020-11-27 20:09:46   fc3_3_ww        3
     2020-11-27 20:09:46   fc3_3_wwd       Bewölkung zunehmend
     2020-11-27 20:09:46   fc3_Tg          -1.60
     2020-11-27 20:09:46   fc3_Tn          -0.5
     2020-11-27 20:09:46   fc3_Tx          2.70
     2020-11-27 20:09:46   fc3_date        2020-11-30
     2020-11-27 20:09:46   fc3_weekday     Mo
     2020-11-27 20:09:46   fc4_0_DD        176
     2020-11-27 20:09:46   fc4_0_FX1       22
     2020-11-27 20:09:46   fc4_0_Neff      57
     2020-11-27 20:09:46   fc4_0_R600      34.00
     2020-11-27 20:09:46   fc4_0_RR6c      0.00
     2020-11-27 20:09:46   fc4_0_SunUp     0
     2020-11-27 20:09:46   fc4_0_TTT       -0.40
     2020-11-27 20:09:46   fc4_0_time      00:00
     2020-11-27 20:09:46   fc4_0_ww        1
     2020-11-27 20:09:46   fc4_0_wwd       Bewölkung abnehmend
     2020-11-27 20:09:46   fc4_1_DD        179
     2020-11-27 20:09:46   fc4_1_FX1       28
     2020-11-27 20:09:46   fc4_1_Neff      78
     2020-11-27 20:09:46   fc4_1_R600      72.00
     2020-11-27 20:09:46   fc4_1_RR6c      0.00
     2020-11-27 20:09:46   fc4_1_RRhc      0.80
     2020-11-27 20:09:46   fc4_1_Rh00      83
     2020-11-27 20:09:46   fc4_1_SunUp     0
     2020-11-27 20:09:46   fc4_1_TTT       -0.20
     2020-11-27 20:09:46   fc4_1_time      06:00
     2020-11-27 20:09:46   fc4_1_ww        68
     2020-11-27 20:09:46   fc4_1_wwd       leichter Schneeregen
     2020-11-27 20:09:46   fc4_2_DD        185
     2020-11-27 20:09:46   fc4_2_FX1       26
     2020-11-27 20:09:46   fc4_2_Neff      84
     2020-11-27 20:09:46   fc4_2_R600      85.00
     2020-11-27 20:09:46   fc4_2_RR6c      1.30
     2020-11-27 20:09:46   fc4_2_SunUp     1
     2020-11-27 20:09:46   fc4_2_TTT       1.70
     2020-11-27 20:09:46   fc4_2_time      12:00
     2020-11-27 20:09:46   fc4_2_ww        61
     2020-11-27 20:09:46   fc4_2_wwd       durchgehend leichter Regen
     2020-11-27 20:09:46   fc4_3_DD        172
     2020-11-27 20:09:46   fc4_3_FX1       22
     2020-11-27 20:09:46   fc4_3_Neff      85
     2020-11-27 20:09:46   fc4_3_R600      86.00
     2020-11-27 20:09:46   fc4_3_RR6c      1.00
     2020-11-27 20:09:46   fc4_3_RRhc      2.30
     2020-11-27 20:09:46   fc4_3_Rh00      91
     2020-11-27 20:09:46   fc4_3_SunUp     0
     2020-11-27 20:09:46   fc4_3_TTT       1
     2020-11-27 20:09:46   fc4_3_time      18:00
     2020-11-27 20:09:46   fc4_3_ww        61
     2020-11-27 20:09:46   fc4_3_wwd       durchgehend leichter Regen
     2020-11-27 20:09:46   fc4_Tg          -3.5
     2020-11-27 20:09:46   fc4_Tn          -0.40
     2020-11-27 20:09:46   fc4_Tx          2.5
     2020-11-27 20:09:46   fc4_date        2020-12-01
     2020-11-27 20:09:46   fc4_weekday     Di
     2020-11-27 20:09:46   fc_coordinates  13.75,51.13,230.0
     2020-11-27 20:09:46   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-11-27 20:09:46   fc_description  DRESDEN
     2020-11-27 20:09:46   fc_state        updated
     2020-11-27 20:09:46   fc_station      10488
     2020-11-27 20:09:46   fc_time         2020-11-27 15:00:00
     2020-11-27 20:15:06   state           alerts updated
Attributes:
   alertArea  111000000
   alias      DWD
   event-on-update-reading state,fc_state,a_state
   forecastDays 4
   forecastResolution 6
   forecastStation 10488
   forecastWW2Text 1
   fp_LCARS_Wetter 360,306,1,DWD,
   room       Wettervorhersage


Ein Screenshot dazu auch noch im Anhang. Was ich erreichen will, ist eine Anzeige, die aller 6h einen Datenpunkt zeigt. Also 0/6/12/18 Uhr.

Gruß Björn
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 27 November 2020, 23:29:16
Hallo Björn,

der Sreenshot war eine gute Idee. Er zeigt, dass der Weblink so funktioniert wie er soll.

Die Anzahl der Icons sind im Weblink konstant (Attribut forecastDays * 2). Für jeden Tag gibt es 2 Stück, auch wenn man im DWD_OpenData-Modul mehr Werte pro Tag zur Verfügung hat.

Die ersten beiden Icons stehen für "heute", alle anderen für die die Folgetage. An den Folgetagen erfolgt die Anzeige für Morgens und Mittags, je nach Messstation z.B. um 06:00 und 12:00. Für "heute" wird die Anzeige aber dynamisch gehandhabt, denn Nachmittags interessiert die Vorhersage für 06:00 nicht mehr so sehr. Das 1. Icon zeigt also den Vorhersagewert, der am nächsten an "jetzt" herankommt und das 2. Icon einen danach, der in etwa mittig zum Zeitpunkt des 3. Icons liegt. Das 2. Icon kann dabei auch schon mal in die Nacht von "morgen" wandern.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 28 November 2020, 10:17:21
Zitat von: jensb am 20 November 2020, 21:47:18
Daher kommt z.B. ein relativer Vergleich der Zeitstempel in Frage. Man bestimmt den jüngsten Zeitstempel pro Tag und löscht alle Readings dieses Tages, die mindestens 24 oder besser noch 30 Stunden älter sind.
Einwände?
Bisher keine Einwände ;-)
Titel: Antw:Modul für DWD Open Data
Beitrag von: bjozim am 28 November 2020, 22:53:48
Hallo Jens,

danke für die Erläuterung - jetzt ist das klar. Die Anzeige ist also geanu so, wie sie sein soll.

Wenn ich das nach meinen Wunschvorstellungen zu einem Forcast-Item alle 6h anpassen möchte, dann müsste ich das im Modul selbst vornehmen, oder?

Gruß
Björn

Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 29 November 2020, 19:51:02
Hallo Christian,

Zitat
Daher kommt z.B. ein relativer Vergleich der Zeitstempel in Frage. Man bestimmt den jüngsten Zeitstempel pro Tag und löscht alle Readings dieses Tages, die mindestens 24 oder besser noch 30 Stunden älter sind.
Einwände?

Bisher keine Einwände ;-)

Dann soll es so sein. Allerdings ist das kein Einzeiler. Habe noch keine Idee wie ich das testen soll, da der Effekt bei mir bisher nicht aufgetreten ist. Wie sieht es da bei dir aus?

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 29 November 2020, 19:57:26
Hallo Björn,

ZitatWenn ich das nach meinen Wunschvorstellungen zu einem Forecast-Item alle 6h anpassen möchte, dann müsste ich das im Modul selbst vornehmen, oder?
Ja, das wird sich nicht vermeiden lassen. Es ist eine Vereinfachung der vorhandenen Logik erforderlich. Du müsstest die Sonderbehandlungen für die ersten beiden Icons ausbauen.

Wenn du es konfigurierbar machst, so dass man den Anzeigemodus über ein Attribut umschalten kann, kannst du es posten und ich werde deine Erweiterung übernehmen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 29 November 2020, 20:29:51
Zitat von: jensb am 29 November 2020, 19:51:02
Dann soll es so sein. Allerdings ist das kein Einzeiler. Habe noch keine Idee wie ich das testen soll, da der Effekt bei mir bisher nicht aufgetreten ist. Wie sieht es da bei dir aus?
Es scheint wohl auch nur bei der Zeitumstellung aufgetaucht zu sein. Ich hänge mal ein list an, jetzt sind die fc0 auch schon zwei Tage alt, wie kommt das?


Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5f5ddbe7-f33f-61a8-1b89-fb4c13efef9261f5
   FVERSION   55_DWD_OpenData.pm:v1.0.0-s22220/2020-06-21
   NAME       DWD_Forecast
   NR         470
   STATE      forecast updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   READINGS:
     2020-11-27 05:00:05   fc0_0_Neff      79
     2020-11-27 05:00:05   fc0_0_Rad1h     0.00
     2020-11-27 05:00:05   fc0_0_TTT       2.70
     2020-11-27 05:00:05   fc0_0_time      00:00
     2020-11-27 10:00:05   fc0_10_Neff     84
     2020-11-27 10:00:05   fc0_10_Rad1h    160.00
     2020-11-27 10:00:05   fc0_10_TTT      3
     2020-11-27 10:00:05   fc0_10_time     10:00
     2020-11-29 17:00:05   fc0_11_Neff     73
     2020-11-29 17:00:05   fc0_11_Rad1h    320.00
     2020-11-29 17:00:05   fc0_11_TTT      1.80
     2020-11-29 17:00:05   fc0_11_time     11:00
     2020-11-29 17:00:05   fc0_12_Neff     68
     2020-11-29 17:00:05   fc0_12_Rad1h    480.00
     2020-11-29 17:00:05   fc0_12_TTT      2.10
     2020-11-29 17:00:05   fc0_12_time     12:00
     2020-11-29 17:00:05   fc0_13_Neff     64
     2020-11-29 17:00:05   fc0_13_R600     12.00
     2020-11-29 17:00:05   fc0_13_Rad1h    560.00
     2020-11-29 17:00:05   fc0_13_TTT      2.30
     2020-11-29 17:00:05   fc0_13_time     13:00
     2020-11-29 17:00:05   fc0_14_Neff     61
     2020-11-29 17:00:05   fc0_14_Rad1h    530.00
     2020-11-29 17:00:05   fc0_14_TTT      2.60
     2020-11-29 17:00:05   fc0_14_time     14:00
     2020-11-29 17:00:05   fc0_15_Neff     57
     2020-11-29 17:00:05   fc0_15_Rad1h    410.00
     2020-11-29 17:00:05   fc0_15_TTT      2.5
     2020-11-29 17:00:05   fc0_15_time     15:00
     2020-11-29 17:00:05   fc0_16_Neff     54
     2020-11-29 17:00:05   fc0_16_Rad1h    200.00
     2020-11-29 17:00:05   fc0_16_TTT      2.10
     2020-11-29 17:00:05   fc0_16_time     16:00
     2020-11-29 20:00:05   fc0_17_Neff     52
     2020-11-29 20:00:05   fc0_17_Rad1h    30.00
     2020-11-29 20:00:05   fc0_17_TTT      2.10
     2020-11-29 20:00:05   fc0_17_time     17:00
     2020-11-29 20:00:05   fc0_18_Neff     50
     2020-11-29 20:00:05   fc0_18_Rad1h    0.00
     2020-11-29 20:00:05   fc0_18_TTT      1.40
     2020-11-29 20:00:05   fc0_18_time     18:00
     2020-11-29 20:00:05   fc0_19_Neff     45
     2020-11-29 20:00:05   fc0_19_R600     4.00
     2020-11-29 20:00:05   fc0_19_Rad1h    0.00
     2020-11-29 20:00:05   fc0_19_TTT      0.80
     2020-11-29 20:00:05   fc0_19_time     19:00
     2020-11-27 05:00:05   fc0_1_Neff      82
     2020-11-27 05:00:05   fc0_1_R600      11.00
     2020-11-27 05:00:05   fc0_1_Rad1h     0.00
     2020-11-27 05:00:05   fc0_1_TTT       2.60
     2020-11-27 05:00:05   fc0_1_time      01:00
     2020-11-29 20:00:05   fc0_20_Neff     44
     2020-11-29 20:00:05   fc0_20_Rad1h    0.00
     2020-11-29 20:00:05   fc0_20_TTT      0.20
     2020-11-29 20:00:05   fc0_20_time     20:00
     2020-11-29 20:00:05   fc0_21_Neff     44
     2020-11-29 20:00:05   fc0_21_Rad1h    0.00
     2020-11-29 20:00:05   fc0_21_TTT      -0.20
     2020-11-29 20:00:05   fc0_21_time     21:00
     2020-11-29 20:00:05   fc0_22_Neff     44
     2020-11-29 20:00:05   fc0_22_Rad1h    0.00
     2020-11-29 20:00:05   fc0_22_TTT      -0.60
     2020-11-29 20:00:05   fc0_22_time     22:00
     2020-11-29 20:00:05   fc0_23_Neff     43
     2020-11-29 20:00:05   fc0_23_Rad1h    0.00
     2020-11-29 20:00:05   fc0_23_TTT      -1
     2020-11-29 20:00:05   fc0_23_time     23:00
     2020-11-27 05:00:05   fc0_2_Neff      82
     2020-11-27 05:00:05   fc0_2_Rad1h     0.00
     2020-11-27 05:00:05   fc0_2_TTT       2.40
     2020-11-27 05:00:05   fc0_2_time      02:00
     2020-11-27 05:00:05   fc0_3_Neff      84
     2020-11-27 05:00:05   fc0_3_Rad1h     0.00
     2020-11-27 05:00:05   fc0_3_TTT       2.40
     2020-11-27 05:00:05   fc0_3_time      03:00
     2020-11-27 05:00:05   fc0_4_Neff      85
     2020-11-27 05:00:05   fc0_4_Rad1h     0.00
     2020-11-27 05:00:05   fc0_4_TTT       2.30
     2020-11-27 05:00:05   fc0_4_time      04:00
     2020-11-27 10:00:05   fc0_5_Neff      85
     2020-11-27 10:00:05   fc0_5_Rad1h     0.00
     2020-11-27 10:00:05   fc0_5_TTT       2
     2020-11-27 10:00:05   fc0_5_time      05:00
     2020-11-27 10:00:05   fc0_6_Neff      85
     2020-11-27 10:00:05   fc0_6_Rad1h     0.00
     2020-11-27 10:00:05   fc0_6_TTT       2.10
     2020-11-27 10:00:05   fc0_6_time      06:00
     2020-11-27 10:00:05   fc0_7_Neff      86
     2020-11-27 10:00:05   fc0_7_R600      20.00
     2020-11-27 10:00:05   fc0_7_Rad1h     0.00
     2020-11-27 10:00:05   fc0_7_TTT       2.20
     2020-11-27 10:00:05   fc0_7_time      07:00
     2020-11-27 10:00:05   fc0_8_Neff      85
     2020-11-27 10:00:05   fc0_8_Rad1h     0.00
     2020-11-27 10:00:05   fc0_8_TTT       2.40
     2020-11-27 10:00:05   fc0_8_time      08:00
     2020-11-27 10:00:05   fc0_9_Neff      86
     2020-11-27 10:00:05   fc0_9_Rad1h     30.00
     2020-11-27 10:00:05   fc0_9_TTT       2.5
     2020-11-27 10:00:05   fc0_9_time      09:00
     2020-11-29 20:00:05   fc0_date        2020-11-29
     2020-11-29 20:00:05   fc0_weekday     So
     2020-11-29 20:00:05   fc1_0_Neff      42
     2020-11-29 20:00:05   fc1_0_Rad1h     0.00
     2020-11-29 20:00:05   fc1_0_TTT       -1.5
     2020-11-29 20:00:05   fc1_0_time      00:00
     2020-11-29 20:00:05   fc1_10_Neff     59
     2020-11-29 20:00:05   fc1_10_Rad1h    200.00
     2020-11-29 20:00:05   fc1_10_TTT      -1.10
     2020-11-29 20:00:05   fc1_10_time     10:00
     2020-11-29 20:00:05   fc1_11_Neff     57
     2020-11-29 20:00:05   fc1_11_Rad1h    390.00
     2020-11-29 20:00:05   fc1_11_TTT      -0.40
     2020-11-29 20:00:05   fc1_11_time     11:00
     2020-11-29 20:00:05   fc1_12_Neff     55
     2020-11-29 20:00:05   fc1_12_Rad1h    560.00
     2020-11-29 20:00:05   fc1_12_TTT      0.5
     2020-11-29 20:00:05   fc1_12_time     12:00
     2020-11-29 20:00:05   fc1_13_Neff     52
     2020-11-29 20:00:05   fc1_13_R600     11.00
     2020-11-29 20:00:05   fc1_13_Rad1h    630.00
     2020-11-29 20:00:05   fc1_13_TTT      0.80
     2020-11-29 20:00:05   fc1_13_time     13:00
     2020-11-29 20:00:05   fc1_14_Neff     52
     2020-11-29 20:00:05   fc1_14_Rad1h    560.00
     2020-11-29 20:00:05   fc1_14_TTT      1.20
     2020-11-29 20:00:05   fc1_14_time     14:00
     2020-11-29 20:00:05   fc1_15_Neff     52
     2020-11-29 20:00:05   fc1_15_Rad1h    400.00
     2020-11-29 20:00:05   fc1_15_TTT      1.10
     2020-11-29 20:00:05   fc1_15_time     15:00
     2020-11-29 20:00:05   fc1_16_Neff     59
     2020-11-29 20:00:05   fc1_16_Rad1h    180.00
     2020-11-29 20:00:05   fc1_16_TTT      0.90
     2020-11-29 20:00:05   fc1_16_time     16:00
     2020-11-29 20:00:05   fc1_17_Neff     60
     2020-11-29 20:00:05   fc1_17_Rad1h    20.00
     2020-11-29 20:00:05   fc1_17_TTT      0.60
     2020-11-29 20:00:05   fc1_17_time     17:00
     2020-11-29 20:00:05   fc1_18_Neff     67
     2020-11-29 20:00:05   fc1_18_Rad1h    0.00
     2020-11-29 20:00:05   fc1_18_TTT      0.30
     2020-11-29 20:00:05   fc1_18_time     18:00
     2020-11-29 20:00:05   fc1_19_Neff     73
     2020-11-29 20:00:05   fc1_19_R600     41.00
     2020-11-29 20:00:05   fc1_19_Rad1h    0.00
     2020-11-29 20:00:05   fc1_19_TTT      0.10
     2020-11-29 20:00:05   fc1_19_time     19:00
     2020-11-29 20:00:05   fc1_1_Neff      44
     2020-11-29 20:00:05   fc1_1_R600      3.00
     2020-11-29 20:00:05   fc1_1_Rad1h     0.00
     2020-11-29 20:00:05   fc1_1_TTT       -1.70
     2020-11-29 20:00:05   fc1_1_time      01:00
     2020-11-29 20:00:05   fc1_20_Neff     75
     2020-11-29 20:00:05   fc1_20_Rad1h    0.00
     2020-11-29 20:00:05   fc1_20_TTT      0.30
     2020-11-29 20:00:05   fc1_20_time     20:00
     2020-11-29 20:00:05   fc1_21_Neff     80
     2020-11-29 20:00:05   fc1_21_Rad1h    0.00
     2020-11-29 20:00:05   fc1_21_TTT      0.5
     2020-11-29 20:00:05   fc1_21_time     21:00
     2020-11-29 20:00:05   fc1_22_Neff     87
     2020-11-29 20:00:05   fc1_22_Rad1h    0.00
     2020-11-29 20:00:05   fc1_22_TTT      0.5
     2020-11-29 20:00:05   fc1_22_time     22:00
     2020-11-29 20:00:05   fc1_23_Neff     89
     2020-11-29 20:00:05   fc1_23_Rad1h    0.00
     2020-11-29 20:00:05   fc1_23_TTT      0.70
     2020-11-29 20:00:05   fc1_23_time     23:00
     2020-11-29 20:00:05   fc1_2_Neff      44
     2020-11-29 20:00:05   fc1_2_Rad1h     0.00
     2020-11-29 20:00:05   fc1_2_TTT       -2
     2020-11-29 20:00:05   fc1_2_time      02:00
     2020-11-29 20:00:05   fc1_3_Neff      44
     2020-11-29 20:00:05   fc1_3_Rad1h     0.00
     2020-11-29 20:00:05   fc1_3_TTT       -2.30
     2020-11-29 20:00:05   fc1_3_time      03:00
     2020-11-29 20:00:05   fc1_4_Neff      49
     2020-11-29 20:00:05   fc1_4_Rad1h     0.00
     2020-11-29 20:00:05   fc1_4_TTT       -2.40
     2020-11-29 20:00:05   fc1_4_time      04:00
     2020-11-29 20:00:05   fc1_5_Neff      51
     2020-11-29 20:00:05   fc1_5_Rad1h     0.00
     2020-11-29 20:00:05   fc1_5_TTT       -2.40
     2020-11-29 20:00:05   fc1_5_time      05:00
     2020-11-29 20:00:05   fc1_6_Neff      52
     2020-11-29 20:00:05   fc1_6_Rad1h     0.00
     2020-11-29 20:00:05   fc1_6_TTT       -2.60
     2020-11-29 20:00:05   fc1_6_time      06:00
     2020-11-29 20:00:05   fc1_7_Neff      55
     2020-11-29 20:00:05   fc1_7_R600      5.00
     2020-11-29 20:00:05   fc1_7_Rad1h     0.00
     2020-11-29 20:00:05   fc1_7_TTT       -2.5
     2020-11-29 20:00:05   fc1_7_time      07:00
     2020-11-29 20:00:05   fc1_8_Neff      56
     2020-11-29 20:00:05   fc1_8_Rad1h     0.00
     2020-11-29 20:00:05   fc1_8_TTT       -2.40
     2020-11-29 20:00:05   fc1_8_time      08:00
     2020-11-29 20:00:05   fc1_9_Neff      57
     2020-11-29 20:00:05   fc1_9_Rad1h     30.00
     2020-11-29 20:00:05   fc1_9_TTT       -1.80
     2020-11-29 20:00:05   fc1_9_time      09:00
     2020-11-29 20:00:05   fc1_date        2020-11-30
     2020-11-29 20:00:05   fc1_weekday     Mo
     2020-11-29 20:00:05   fc_coordinates  8.47,49.78,90.0
     2020-11-29 20:00:05   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-11-29 20:00:05   fc_description  BIEBESHEIM
     2020-11-29 20:00:05   fc_state        updated
     2020-11-29 20:00:05   fc_station      P0178
     2020-11-29 20:00:05   fc_time         2020-11-29 16:00:00
     2020-11-29 20:00:05   state           forecast updated
Attributes:
   DbLogExclude .*
   comment    Version 2020.10.19 18:28
   event-on-change-reading Rad1h,TTT,Neff,R600
   forecastDays 1
   forecastProperties Rad1h,TTT,Neff,R600
   forecastResolution 1
   forecastStation P0178
   group      PV Eigenverbrauch
   icon       weather_rain_fog
   room       Informationen->Wetter,Strom->Photovoltaik
   sortby     06
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 29 November 2020, 22:03:35
Hallo Christian,

die fc0 sind bei dir nicht alle 2 Tage alt, aber fc0_0 bis fc0_10.

Normalerweise werden die ersten Einträge nur am gleichen Tag nicht mehr vom DWD aktualisiert. Außerdem müssten nach einem Tag die Werte vom Vortag gelöscht werden.

Ich werde deine Station bei mir einstellen und beobachten, was so passiert.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 30 November 2020, 08:35:50
Zitat von: jensb am 29 November 2020, 22:03:35
Außerdem müssten nach einem Tag die Werte vom Vortag gelöscht werden.
So hatte ich mir das ja auch gedacht. Muss ich da noch ein Attribut setzen?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 30 November 2020, 19:34:15
Hallo Christian,

ZitatMuss ich da noch ein Attribut setzen?
Nein, das ist fest verdrahtet.

Zitatdie fc0 sind bei dir nicht alle 2 Tage alt, aber fc0_0 bis fc0_10.
Ich konnte bisher folgendes nachstellen:

Deine Daten vom 29.11. sehen so ähnlich aus. Allerdings haben deine "toten" Daten verschiedene Uhrzeiten, während meine alle die gleiche haben. Sie sehen also eher so aus, als ob sie nie durch Vorhersagedaten beim Tageswechsel überschrieben worden wären.

Plausibel ist das zu beobachtende Verhalten für mich (noch) nicht. Mir fallen als mögliche Ursachen bisher eine längere Unterbrechung des DWD Datenabrufs und eine sich sprunghaft ändernde Systemzeit ein. Beides ist aber nicht sehr wahrscheinlich. Daher werde ich dir wahrscheinlich eine Modulversion vorbereiten, die man etwas länger mit verbose=4 laufen lassen kann. Bei der "normalen" Version sieht man bei 4 zu wenig und bei 5 zu viel.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 30 November 2020, 23:07:41
Zitat von: jensb am 30 November 2020, 19:34:15
Mir fallen als mögliche Ursachen bisher eine längere Unterbrechung des DWD Datenabrufs und eine sich sprunghaft ändernde Systemzeit ein. Beides ist aber nicht sehr wahrscheinlich.
Mit der Systemzeit habe ich kein Problem. Ich kann dann gerne Deine Trace version mal laufen lassen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 01 Dezember 2020, 21:48:52
Hallo Christian,

werde am Wochenende was zum Testen vorbereiten. Wenn du in der Zwischenzeit für "heute" vorzugsweise morgens wieder diesen Effekt siehst, da stell bitte vorübergehend verbose=5 ein und führe einmal ein Vorhersage-Update manuell durch. Bitte Info, ob dadurch die Daten für "heute" zumindest ab der aktuellen Uhrzeit aktualisiert wurden. Und den dazugehörigen Ausschnitt aus dem FHEM Log bitte als Anhang posten, er dürfte länglich sein.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 01 Dezember 2020, 22:12:56
Zitat von: jensb am 01 Dezember 2020, 21:48:52
deletereading DWD_Forecast fc.*
verbose=5 ein und führe einmal ein Vorhersage-Update manuell durch.
DWD_Forecast forecast

Jetzt ist alles frisch

2020.12.01 22:10:10.876 5: DWD_Forecast: GetForecast START (PID 7523)
2020.12.01 22:10:10.899 5: DWD_Forecast: GetForecast END
2020.12.01 22:10:10.932 5: DWD_Forecast: GetForecastStart START (PID 4280): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/P0178/kml/MOSMIX_L_LATEST_P0178.kmz
2020.12.01 22:10:11.024 5: DWD_Forecast: ProcessForecast START
2020.12.01 22:10:11.024 5: DWD_Forecast: ProcessForecast: data received, decoding ...
2020.12.01 22:10:11.050 5: DWD_Forecast: ProcessForecast: parsing XML document
2020.12.01 22:10:11.070 5: DWD_Forecast: ProcessForecast: extracting data
2020.12.01 22:10:11.160 5: DWD_Forecast: ProcessForecast temp file /tmp/r1q6tcMBxt forecast 3 size 8800
2020.12.01 22:10:11.160 5: DWD_Forecast: ProcessForecast END
2020.12.01 22:10:11.161 5: DWD_Forecast: GetForecastStart END
2020.12.01 22:10:11.166 5: DWD_Forecast: GetForecastFinish START (PID 7523)
2020.12.01 22:10:11.170 5: DWD_Forecast: GetForecastFinish temp file /tmp/r1q6tcMBxt forecast 3 size 8800
2020.12.01 22:10:11.171 5: DWD_Forecast: UpdateForecast: START
2020.12.01 22:10:11.171 5: DWD_Forecast: RotateForecast: 0 days exist with readings
2020.12.01 22:10:11.194 5: DWD_Forecast: UpdateForecast: END
2020.12.01 22:10:11.195 5: DWD_Forecast: GetForecastFinish END

Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5f5ddbe7-f33f-61a8-1b89-fb4c13efef9261f5
   FVERSION   55_DWD_OpenData.pm:v1.0.0-s22220/2020-06-21
   NAME       DWD_Forecast
   NR         488
   STATE      forecast updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   OLDREADINGS:
   READINGS:
     2020-12-01 22:10:11   fc0_17_Neff     100
     2020-12-01 22:10:11   fc0_17_Rad1h    0.00
     2020-12-01 22:10:11   fc0_17_TTT      1.80
     2020-12-01 22:10:11   fc0_17_time     17:00
     2020-12-01 22:10:11   fc0_18_Neff     100
     2020-12-01 22:10:11   fc0_18_Rad1h    0.00
     2020-12-01 22:10:11   fc0_18_TTT      1.70
     2020-12-01 22:10:11   fc0_18_time     18:00
     2020-12-01 22:10:11   fc0_19_Neff     100
     2020-12-01 22:10:11   fc0_19_R600     88.00
     2020-12-01 22:10:11   fc0_19_Rad1h    0.00
     2020-12-01 22:10:11   fc0_19_TTT      1.80
     2020-12-01 22:10:11   fc0_19_time     19:00
     2020-12-01 22:10:11   fc0_20_Neff     100
     2020-12-01 22:10:11   fc0_20_Rad1h    0.00
     2020-12-01 22:10:11   fc0_20_TTT      1.90
     2020-12-01 22:10:11   fc0_20_time     20:00
     2020-12-01 22:10:11   fc0_21_Neff     100
     2020-12-01 22:10:11   fc0_21_Rad1h    0.00
     2020-12-01 22:10:11   fc0_21_TTT      1.90
     2020-12-01 22:10:11   fc0_21_time     21:00
     2020-12-01 22:10:11   fc0_22_Neff     100
     2020-12-01 22:10:11   fc0_22_Rad1h    0.00
     2020-12-01 22:10:11   fc0_22_TTT      1.90
     2020-12-01 22:10:11   fc0_22_time     22:00
     2020-12-01 22:10:11   fc0_23_Neff     100
     2020-12-01 22:10:11   fc0_23_Rad1h    0.00
     2020-12-01 22:10:11   fc0_23_TTT      2
     2020-12-01 22:10:11   fc0_23_time     23:00
     2020-12-01 22:10:11   fc0_date        2020-12-01
     2020-12-01 22:10:11   fc0_weekday     Di
     2020-12-01 22:10:11   fc1_0_Neff      100
     2020-12-01 22:10:11   fc1_0_Rad1h     0.00
     2020-12-01 22:10:11   fc1_0_TTT       2
     2020-12-01 22:10:11   fc1_0_time      00:00
     2020-12-01 22:10:11   fc1_10_Neff     90
     2020-12-01 22:10:11   fc1_10_Rad1h    130.00
     2020-12-01 22:10:11   fc1_10_TTT      2.60
     2020-12-01 22:10:11   fc1_10_time     10:00
     2020-12-01 22:10:11   fc1_11_Neff     91
     2020-12-01 22:10:11   fc1_11_Rad1h    260.00
     2020-12-01 22:10:11   fc1_11_TTT      2.80
     2020-12-01 22:10:11   fc1_11_time     11:00
     2020-12-01 22:10:11   fc1_12_Neff     90
     2020-12-01 22:10:11   fc1_12_Rad1h    350.00
     2020-12-01 22:10:11   fc1_12_TTT      3.30
     2020-12-01 22:10:11   fc1_12_time     12:00
     2020-12-01 22:10:11   fc1_13_Neff     90
     2020-12-01 22:10:11   fc1_13_R600     50.00
     2020-12-01 22:10:11   fc1_13_Rad1h    380.00
     2020-12-01 22:10:11   fc1_13_TTT      3.5
     2020-12-01 22:10:11   fc1_13_time     13:00
     2020-12-01 22:10:11   fc1_14_Neff     89
     2020-12-01 22:10:11   fc1_14_Rad1h    320.00
     2020-12-01 22:10:11   fc1_14_TTT      3.60
     2020-12-01 22:10:11   fc1_14_time     14:00
     2020-12-01 22:10:11   fc1_15_Neff     88
     2020-12-01 22:10:11   fc1_15_Rad1h    210.00
     2020-12-01 22:10:11   fc1_15_TTT      3.5
     2020-12-01 22:10:11   fc1_15_time     15:00
     2020-12-01 22:10:11   fc1_16_Neff     88
     2020-12-01 22:10:11   fc1_16_Rad1h    80.00
     2020-12-01 22:10:11   fc1_16_TTT      3.10
     2020-12-01 22:10:11   fc1_16_time     16:00
     2020-12-01 22:10:11   fc1_17_Neff     89
     2020-12-01 22:10:11   fc1_17_Rad1h    10.00
     2020-12-01 22:10:11   fc1_17_TTT      2.80
     2020-12-01 22:10:11   fc1_17_time     17:00
     2020-12-01 22:10:11   fc1_18_Neff     89
     2020-12-01 22:10:11   fc1_18_Rad1h    0.00
     2020-12-01 22:10:11   fc1_18_TTT      2.30
     2020-12-01 22:10:11   fc1_18_time     18:00
     2020-12-01 22:10:11   fc1_19_Neff     89
     2020-12-01 22:10:11   fc1_19_R600     26.00
     2020-12-01 22:10:11   fc1_19_Rad1h    0.00
     2020-12-01 22:10:11   fc1_19_TTT      2
     2020-12-01 22:10:11   fc1_19_time     19:00
     2020-12-01 22:10:11   fc1_1_Neff      99
     2020-12-01 22:10:11   fc1_1_R600      78.00
     2020-12-01 22:10:11   fc1_1_Rad1h     0.00
     2020-12-01 22:10:11   fc1_1_TTT       1.90
     2020-12-01 22:10:11   fc1_1_time      01:00
     2020-12-01 22:10:11   fc1_20_Neff     88
     2020-12-01 22:10:11   fc1_20_Rad1h    0.00
     2020-12-01 22:10:11   fc1_20_TTT      1.40
     2020-12-01 22:10:11   fc1_20_time     20:00
     2020-12-01 22:10:11   fc1_21_Neff     88
     2020-12-01 22:10:11   fc1_21_Rad1h    0.00
     2020-12-01 22:10:11   fc1_21_TTT      0.90
     2020-12-01 22:10:11   fc1_21_time     21:00
     2020-12-01 22:10:11   fc1_22_Neff     88
     2020-12-01 22:10:11   fc1_22_Rad1h    0.00
     2020-12-01 22:10:11   fc1_22_TTT      0.90
     2020-12-01 22:10:11   fc1_22_time     22:00
     2020-12-01 22:10:11   fc1_23_Neff     88
     2020-12-01 22:10:11   fc1_23_Rad1h    0.00
     2020-12-01 22:10:11   fc1_23_TTT      0.70
     2020-12-01 22:10:11   fc1_23_time     23:00
     2020-12-01 22:10:11   fc1_2_Neff      99
     2020-12-01 22:10:11   fc1_2_Rad1h     0.00
     2020-12-01 22:10:11   fc1_2_TTT       1.90
     2020-12-01 22:10:11   fc1_2_time      02:00
     2020-12-01 22:10:11   fc1_3_Neff      99
     2020-12-01 22:10:11   fc1_3_Rad1h     0.00
     2020-12-01 22:10:11   fc1_3_TTT       2
     2020-12-01 22:10:11   fc1_3_time      03:00
     2020-12-01 22:10:11   fc1_4_Neff      98
     2020-12-01 22:10:11   fc1_4_Rad1h     0.00
     2020-12-01 22:10:11   fc1_4_TTT       1.90
     2020-12-01 22:10:11   fc1_4_time      04:00
     2020-12-01 22:10:11   fc1_5_Neff      96
     2020-12-01 22:10:11   fc1_5_Rad1h     0.00
     2020-12-01 22:10:11   fc1_5_TTT       2
     2020-12-01 22:10:11   fc1_5_time      05:00
     2020-12-01 22:10:11   fc1_6_Neff      94
     2020-12-01 22:10:11   fc1_6_Rad1h     0.00
     2020-12-01 22:10:11   fc1_6_TTT       2
     2020-12-01 22:10:11   fc1_6_time      06:00
     2020-12-01 22:10:11   fc1_7_Neff      92
     2020-12-01 22:10:11   fc1_7_R600      65.00
     2020-12-01 22:10:11   fc1_7_Rad1h     0.00
     2020-12-01 22:10:11   fc1_7_TTT       2
     2020-12-01 22:10:11   fc1_7_time      07:00
     2020-12-01 22:10:11   fc1_8_Neff      92
     2020-12-01 22:10:11   fc1_8_Rad1h     0.00
     2020-12-01 22:10:11   fc1_8_TTT       2
     2020-12-01 22:10:11   fc1_8_time      08:00
     2020-12-01 22:10:11   fc1_9_Neff      91
     2020-12-01 22:10:11   fc1_9_Rad1h     20.00
     2020-12-01 22:10:11   fc1_9_TTT       2.30
     2020-12-01 22:10:11   fc1_9_time      09:00
     2020-12-01 22:10:11   fc1_date        2020-12-02
     2020-12-01 22:10:11   fc1_weekday     Mi
     2020-12-01 22:10:11   fc_coordinates  8.47,49.78,90.0
     2020-12-01 22:10:11   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-12-01 22:10:11   fc_description  BIEBESHEIM
     2020-12-01 22:10:11   fc_state        updated
     2020-12-01 22:10:11   fc_station      P0178
     2020-12-01 22:10:11   fc_time         2020-12-01 16:00:00
     2020-12-01 22:10:11   state           forecast updated
Attributes:
   DbLogExclude .*
   comment    Version 2020.10.19 18:28
   event-on-change-reading Rad1h,TTT,Neff,R600
   forecastDays 1
   forecastProperties Rad1h,TTT,Neff,R600
   forecastResolution 1
   forecastStation P0178
   group      PV Eigenverbrauch
   icon       weather_rain_fog
   room       Informationen->Wetter,Strom->Photovoltaik
   sortby     06
   verbose    5


EDIT: Im Anhang ist jetzt das Log mit List Device bis 02.12 10:15
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 02 Dezember 2020, 21:01:22
Hallo Christian,

durch das deletereading ist die Ausgangssitutation natürlich etwas anders als ohne. Aber sei es drum, das Ergebnis ist wie es sein soll. Dadurch das um 00:00:05 das Update vom DWD geklappt hat, was der Normalfall sein sollte, gab es für die Rotation der Vorhersagedaten von "morgen" auf "heute" nichts zu tun. Entscheidend ist also, ob die Daten vom DWD kommen und ob in den Daten alle Werte für "heute" und "morgen" enthalten sind. Wie bereits erwähnt löscht das DWD_OpenData-Modul momentan keine Readings, die nicht aktualisiert werden.

Jetzt bleibt vor allem die Frage, ob es bei dir auch über mehrere Tage hinweg so bleibt oder ob sich wieder Readings einstellen, die nicht mehr aktualisiert werden. Falls es passiert, dann versuche bitte rückwärts im FHEM Log Modulausgaben zu finden, die damit im Zusammenhang stehen könnten.

Momentan tendiere ich dazu, mir wie angedacht zunächst das Löschen von nicht aktualisierten Vorhersage-Readings vorzunehmen. Das würde ich mit einer Logausgabe kombinieren, damit man es nachvollziehen kann.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 04 Dezember 2020, 18:38:29
Hallo Jens
hier kommt das Log und ein List mit den veralteten readings
Gruß
   Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 04 Dezember 2020, 21:45:03
Hallo Christian,

danke für das Log. Leider kann ich da keine "veralteten" Readings finden. Das Log geht bis 10:00. Die Vorhersage ist von 04:00 (fc_time). Alle Readings ab fc0_5 sind aktuell. Die Readings vor/bis fc_time werden vom DWD nicht (mehr) ausgeliefert und deshalb in FHEM auch nicht mehr aktualisiert.

Dein neues Log zeigt also den Normalfall. Es ist nicht vergleichbar mit dem Fall den du am 29.11.2020 gepostet hast.

Falls ich da was übersehen habe, brauch ich noch einen Hinweis.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 05 Dezember 2020, 09:19:48
Zitat von: jensb am 04 Dezember 2020, 21:45:03
Leider kann ich da keine "veralteten" Readings finden. Das Log geht bis 10:00. Die Vorhersage ist von 04:00 (fc_time). Alle Readings ab fc0_5 sind aktuell. Die Readings vor/bis fc_time werden vom DWD nicht (mehr) ausgeliefert und deshalb in FHEM auch nicht mehr aktualisiert.

Dein neues Log zeigt also den Normalfall. Es ist nicht vergleichbar mit dem Fall den du am 29.11.2020 gepostet hast.

Falls ich da was übersehen habe, brauch ich noch einen Hinweis.
Okay, dann scheine ich es bisher nicht richtig verstanden zu haben. Sollte mir noch etwas auffallen, melde ich mich wieder.

Vielen Dank für die viele Mühe
   Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 07 Dezember 2020, 21:43:40
Hallo,

am 29.11.20 hatte ich angekündigt eine neue Funktion für die Vorhersage zu erstellen, die Readings, die nicht mehr vom DWD aktualisiert werden, findet und löscht. Hintergrund ist, das der DWD gelegentlich die Messzeit für einzelne Werte ändert, was sich vor allem bei forecastResolution=1 entsprechend auswirkt.

Diese Funktion ist fertig und kann mit dem neuen Attribut forecastPruning=1 aktiviert werden. Da sie aber in den allermeisten Fällen nicht benötigt wird, wird sie nicht automatisch aktiviert. Sie hat den Nachteil, dass sie relativ rechenintensiv ist, weil die Zeitstempel aller Vorhersagereadings 2mal hintereinander überprüft werden müssen: einmal um den jüngsten pro Tag zu finden und einmal um damit die nicht mehr aktualisierten zu finden und zu löschen, und das dauert einige Millisekunden. Wer es genau wissen will, sollte vorübergehend verbose=5 einstellen und danach die Log-Zeitstempel für "PruneForecast START/END" betrachten. Der Vorteil dieser Funktion liegt darin, dass veraltete Readings spätestens nach 25 Stunden gelöscht werden, unabhängig vom Vorhersagetag.

In der neuen Version ist auch ein Fehler in der Rotation der Vorhersagedaten um 0:00 behoben: Der Löschbefehl, der ebenfalls nicht mehr aktualierte Vorhersagewerte löschen sollte, hat faktisch nie etwas gelöscht. Das könnte das eigentliche Problem gewesen sein, dass zu den veralteten Readings geführt hat, die @ch.eick festgestellt hatte. Wahrscheinlich wird durch diese Fehlerbehebung die neue Funktion sogar überflüssig. Allerdings erfolgt hier das Löschen "nur" beim Tageswechsel und beginnt bei letzten Vorhersagetag. Je nach forecastDays dauert es also ein paar Tage bis auch "heute" aufgeräumt ist. Das ist aber nur relevant, wenn man bereits veraltete Readings hat und nachträglich aufräumen will. Hierfür wäre ein einmaliges manuelles Update mit forecastPruning=1 die besser Wahl.

Bevor die neue Version (siehe Anhang bzw. https://github.com/jnsbyr/fhem/tree/develop/FHEM (https://github.com/jnsbyr/fhem/tree/develop/FHEM)) per FHEM Update verteilt wird bitte ich um ein paar freiwillige Tester. Bei den allermeisten sollte sich schlicht nichts ändern. Nur wer schon Readings hat, die nicht aktualisert werden, sollte am Folgetag bzw. mit forecastPruning=1 nach der nächsten Aktualisierung die oben beschriebenen Korrekturen sehen. Wenn Readings gelöscht werden, wird das nun auch bei verbose=3 im Log festgehalten.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 08 Dezember 2020, 10:44:44
Hallo Jens,
ich habe gerade die neue version geladen.

Bisher hast Du die Versionsnummer noch nicht verändert.
Beim setzen von "forecastPruning" wird im Menü "1alertArea" und nicht nur 1 angeboten.
Mit "attr <Device> forecastPruning 1" lässt es sich korrekt setzen.

Das ist nun ein List von der Anfangssituation:


Internals:
   ALERTS_IN_CACHE 29
   FHEM_TZ    Europe/Berlin
   FUUID      5f5ddbe7-f33f-61a8-1b89-fb4c13efef9261f5
   FVERSION   55_DWD_OpenData.pm:v1.0.0-s22220/2020-06-21
   NAME       DWD_Forecast
   NR         488
   STATE      alerts cache updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   READINGS:
     2020-12-08 05:00:05   fc0_0_Neff      66
     2020-12-08 05:00:05   fc0_0_Rad1h     0.00
     2020-12-08 05:00:05   fc0_0_TTT       2.10
     2020-12-08 05:00:05   fc0_0_time      00:00
     2020-12-08 10:40:12   fc0_10_Neff     75
     2020-12-08 10:40:12   fc0_10_Rad1h    150.00
     2020-12-08 10:40:12   fc0_10_TTT      2.20
     2020-12-08 10:40:12   fc0_10_time     10:00
     2020-12-08 10:40:12   fc0_11_Neff     74
     2020-12-08 10:40:12   fc0_11_Rad1h    330.00
     2020-12-08 10:40:12   fc0_11_TTT      2.80
     2020-12-08 10:40:12   fc0_11_time     11:00
     2020-12-08 10:40:12   fc0_12_Neff     72
     2020-12-08 10:40:12   fc0_12_Rad1h    490.00
     2020-12-08 10:40:12   fc0_12_TTT      3.40
     2020-12-08 10:40:12   fc0_12_time     12:00
     2020-12-08 10:40:12   fc0_13_Neff     70
     2020-12-08 10:40:12   fc0_13_R600     15.00
     2020-12-08 10:40:12   fc0_13_Rad1h    540.00
     2020-12-08 10:40:12   fc0_13_TTT      3.90
     2020-12-08 10:40:12   fc0_13_time     13:00
     2020-12-08 10:40:12   fc0_14_Neff     68
     2020-12-08 10:40:12   fc0_14_Rad1h    480.00
     2020-12-08 10:40:12   fc0_14_TTT      4.30
     2020-12-08 10:40:12   fc0_14_time     14:00
     2020-12-08 10:40:12   fc0_15_Neff     68
     2020-12-08 10:40:12   fc0_15_Rad1h    350.00
     2020-12-08 10:40:12   fc0_15_TTT      4.10
     2020-12-08 10:40:12   fc0_15_time     15:00
     2020-12-08 10:40:12   fc0_16_Neff     70
     2020-12-08 10:40:12   fc0_16_Rad1h    160.00
     2020-12-08 10:40:12   fc0_16_TTT      3.60
     2020-12-08 10:40:12   fc0_16_time     16:00
     2020-12-08 10:40:12   fc0_17_Neff     71
     2020-12-08 10:40:12   fc0_17_Rad1h    20.00
     2020-12-08 10:40:12   fc0_17_TTT      3.10
     2020-12-08 10:40:12   fc0_17_time     17:00
     2020-12-08 10:40:12   fc0_18_Neff     75
     2020-12-08 10:40:12   fc0_18_Rad1h    0.00
     2020-12-08 10:40:12   fc0_18_TTT      2.70
     2020-12-08 10:40:12   fc0_18_time     18:00
     2020-12-08 10:40:12   fc0_19_Neff     76
     2020-12-08 10:40:12   fc0_19_R600     10.00
     2020-12-08 10:40:12   fc0_19_Rad1h    0.00
     2020-12-08 10:40:12   fc0_19_TTT      2.40
     2020-12-08 10:40:12   fc0_19_time     19:00
     2020-12-08 05:00:05   fc0_1_Neff      64
     2020-12-08 05:00:05   fc0_1_R600      48.00
     2020-12-08 05:00:05   fc0_1_Rad1h     0.00
     2020-12-08 05:00:05   fc0_1_TTT       1.80
     2020-12-08 05:00:05   fc0_1_time      01:00
     2020-12-08 10:40:12   fc0_20_Neff     76
     2020-12-08 10:40:12   fc0_20_Rad1h    0.00
     2020-12-08 10:40:12   fc0_20_TTT      2
     2020-12-08 10:40:12   fc0_20_time     20:00
     2020-12-08 10:40:12   fc0_21_Neff     80
     2020-12-08 10:40:12   fc0_21_Rad1h    0.00
     2020-12-08 10:40:12   fc0_21_TTT      1.80
     2020-12-08 10:40:12   fc0_21_time     21:00
     2020-12-08 10:40:12   fc0_22_Neff     85
     2020-12-08 10:40:12   fc0_22_Rad1h    0.00
     2020-12-08 10:40:12   fc0_22_TTT      1.5
     2020-12-08 10:40:12   fc0_22_time     22:00
     2020-12-08 10:40:12   fc0_23_Neff     84
     2020-12-08 10:40:12   fc0_23_Rad1h    0.00
     2020-12-08 10:40:12   fc0_23_TTT      1.5
     2020-12-08 10:40:12   fc0_23_time     23:00
     2020-12-08 05:00:05   fc0_2_Neff      65
     2020-12-08 05:00:05   fc0_2_Rad1h     0.00
     2020-12-08 05:00:05   fc0_2_TTT       1.80
     2020-12-08 05:00:05   fc0_2_time      02:00
     2020-12-08 05:00:05   fc0_3_Neff      67
     2020-12-08 05:00:05   fc0_3_Rad1h     0.00
     2020-12-08 05:00:05   fc0_3_TTT       1.60
     2020-12-08 05:00:05   fc0_3_time      03:00
     2020-12-08 05:00:05   fc0_4_Neff      72
     2020-12-08 05:00:05   fc0_4_Rad1h     0.00
     2020-12-08 05:00:05   fc0_4_TTT       1.80
     2020-12-08 05:00:05   fc0_4_time      04:00
     2020-12-08 10:40:12   fc0_5_Neff      70
     2020-12-08 10:40:12   fc0_5_Rad1h     0.00
     2020-12-08 10:40:12   fc0_5_TTT       1.5
     2020-12-08 10:40:12   fc0_5_time      05:00
     2020-12-08 10:40:12   fc0_6_Neff      72
     2020-12-08 10:40:12   fc0_6_Rad1h     0.00
     2020-12-08 10:40:12   fc0_6_TTT       1.5
     2020-12-08 10:40:12   fc0_6_time      06:00
     2020-12-08 10:40:12   fc0_7_Neff      74
     2020-12-08 10:40:12   fc0_7_R600      4.00
     2020-12-08 10:40:12   fc0_7_Rad1h     0.00
     2020-12-08 10:40:12   fc0_7_TTT       1.40
     2020-12-08 10:40:12   fc0_7_time      07:00
     2020-12-08 10:40:12   fc0_8_Neff      76
     2020-12-08 10:40:12   fc0_8_Rad1h     0.00
     2020-12-08 10:40:12   fc0_8_TTT       1.5
     2020-12-08 10:40:12   fc0_8_time      08:00
     2020-12-08 10:40:12   fc0_9_Neff      77
     2020-12-08 10:40:12   fc0_9_Rad1h     20.00
     2020-12-08 10:40:12   fc0_9_TTT       1.70
     2020-12-08 10:40:12   fc0_9_time      09:00
     2020-12-08 10:40:12   fc0_date        2020-12-08
     2020-12-08 10:40:12   fc0_weekday     Di
     2020-12-08 10:40:12   fc1_0_Neff      83
     2020-12-08 10:40:12   fc1_0_Rad1h     0.00
     2020-12-08 10:40:12   fc1_0_TTT       1.40
     2020-12-08 10:40:12   fc1_0_time      00:00
     2020-12-08 10:40:12   fc1_10_Neff     93
     2020-12-08 10:40:12   fc1_10_Rad1h    90.00
     2020-12-08 10:40:12   fc1_10_TTT      1.70
     2020-12-08 10:40:12   fc1_10_time     10:00
     2020-12-08 10:40:12   fc1_11_Neff     93
     2020-12-08 10:40:12   fc1_11_Rad1h    200.00
     2020-12-08 10:40:12   fc1_11_TTT      2.10
     2020-12-08 10:40:12   fc1_11_time     11:00
     2020-12-08 10:40:12   fc1_12_Neff     94
     2020-12-08 10:40:12   fc1_12_Rad1h    290.00
     2020-12-08 10:40:12   fc1_12_TTT      2.70
     2020-12-08 10:40:12   fc1_12_time     12:00
     2020-12-08 10:40:12   fc1_13_Neff     95
     2020-12-08 10:40:12   fc1_13_R600     43.00
     2020-12-08 10:40:12   fc1_13_Rad1h    310.00
     2020-12-08 10:40:12   fc1_13_TTT      2.80
     2020-12-08 10:40:12   fc1_13_time     13:00
     2020-12-08 10:40:12   fc1_14_Neff     97
     2020-12-08 10:40:12   fc1_14_Rad1h    250.00
     2020-12-08 10:40:12   fc1_14_TTT      3.10
     2020-12-08 10:40:12   fc1_14_time     14:00
     2020-12-08 10:40:12   fc1_15_Neff     96
     2020-12-08 10:40:12   fc1_15_Rad1h    150.00
     2020-12-08 10:40:12   fc1_15_TTT      3.10
     2020-12-08 10:40:12   fc1_15_time     15:00
     2020-12-08 10:40:12   fc1_16_Neff     95
     2020-12-08 10:40:12   fc1_16_Rad1h    50.00
     2020-12-08 10:40:12   fc1_16_TTT      3
     2020-12-08 10:40:12   fc1_16_time     16:00
     2020-12-08 10:40:12   fc1_17_Neff     95
     2020-12-08 10:40:12   fc1_17_Rad1h    0.00
     2020-12-08 10:40:12   fc1_17_TTT      2.90
     2020-12-08 10:40:12   fc1_17_time     17:00
     2020-12-08 10:40:12   fc1_18_Neff     95
     2020-12-08 10:40:12   fc1_18_Rad1h    0.00
     2020-12-08 10:40:12   fc1_18_TTT      2.60
     2020-12-08 10:40:12   fc1_18_time     18:00
     2020-12-08 10:40:12   fc1_19_Neff     95
     2020-12-08 10:40:12   fc1_19_R600     53.00
     2020-12-08 10:40:12   fc1_19_Rad1h    0.00
     2020-12-08 10:40:12   fc1_19_TTT      2.40
     2020-12-08 10:40:12   fc1_19_time     19:00
     2020-12-08 10:40:12   fc1_1_Neff      84
     2020-12-08 10:40:12   fc1_1_R600      13.00
     2020-12-08 10:40:12   fc1_1_Rad1h     0.00
     2020-12-08 10:40:12   fc1_1_TTT       1.10
     2020-12-08 10:40:12   fc1_1_time      01:00
     2020-12-08 10:40:12   fc1_20_Neff     94
     2020-12-08 10:40:12   fc1_20_Rad1h    0.00
     2020-12-08 10:40:12   fc1_20_TTT      2.30
     2020-12-08 10:40:12   fc1_20_time     20:00
     2020-12-08 10:40:12   fc1_21_Neff     93
     2020-12-08 10:40:12   fc1_21_Rad1h    0.00
     2020-12-08 10:40:12   fc1_21_TTT      2.20
     2020-12-08 10:40:12   fc1_21_time     21:00
     2020-12-08 10:40:12   fc1_22_Neff     92
     2020-12-08 10:40:12   fc1_22_Rad1h    0.00
     2020-12-08 10:40:12   fc1_22_TTT      2.20
     2020-12-08 10:40:12   fc1_22_time     22:00
     2020-12-08 10:40:12   fc1_23_Neff     90
     2020-12-08 10:40:12   fc1_23_Rad1h    0.00
     2020-12-08 10:40:12   fc1_23_TTT      2
     2020-12-08 10:40:12   fc1_23_time     23:00
     2020-12-08 10:40:12   fc1_2_Neff      83
     2020-12-08 10:40:12   fc1_2_Rad1h     0.00
     2020-12-08 10:40:12   fc1_2_TTT       1
     2020-12-08 10:40:12   fc1_2_time      02:00
     2020-12-08 10:40:12   fc1_3_Neff      86
     2020-12-08 10:40:12   fc1_3_Rad1h     0.00
     2020-12-08 10:40:12   fc1_3_TTT       0.90
     2020-12-08 10:40:12   fc1_3_time      03:00
     2020-12-08 10:40:12   fc1_4_Neff      90
     2020-12-08 10:40:12   fc1_4_Rad1h     0.00
     2020-12-08 10:40:12   fc1_4_TTT       0.90
     2020-12-08 10:40:12   fc1_4_time      04:00
     2020-12-08 10:40:12   fc1_5_Neff      91
     2020-12-08 10:40:12   fc1_5_Rad1h     0.00
     2020-12-08 10:40:12   fc1_5_TTT       1.10
     2020-12-08 10:40:12   fc1_5_time      05:00
     2020-12-08 10:40:12   fc1_6_Neff      93
     2020-12-08 10:40:12   fc1_6_Rad1h     0.00
     2020-12-08 10:40:12   fc1_6_TTT       1
     2020-12-08 10:40:12   fc1_6_time      06:00
     2020-12-08 10:40:12   fc1_7_Neff      90
     2020-12-08 10:40:12   fc1_7_R600      26.00
     2020-12-08 10:40:12   fc1_7_Rad1h     0.00
     2020-12-08 10:40:12   fc1_7_TTT       1.10
     2020-12-08 10:40:12   fc1_7_time      07:00
     2020-12-08 10:40:12   fc1_8_Neff      90
     2020-12-08 10:40:12   fc1_8_Rad1h     0.00
     2020-12-08 10:40:12   fc1_8_TTT       1.20
     2020-12-08 10:40:12   fc1_8_time      08:00
     2020-12-08 10:40:12   fc1_9_Neff      91
     2020-12-08 10:40:12   fc1_9_Rad1h     10.00
     2020-12-08 10:40:12   fc1_9_TTT       1.40
     2020-12-08 10:40:12   fc1_9_time      09:00
     2020-12-08 10:40:12   fc1_date        2020-12-09
     2020-12-08 10:40:12   fc1_weekday     Mi
     2020-12-08 10:40:12   fc_coordinates  8.47,49.78,90.0
     2020-12-08 10:40:12   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-12-08 10:40:12   fc_description  BIEBESHEIM
     2020-12-08 10:40:12   fc_state        updated
     2020-12-08 10:40:12   fc_station      P0178
     2020-12-08 10:40:12   fc_time         2020-12-08 04:00:00
     2020-12-08 10:41:03   state           alerts cache updated
Attributes:
   DbLogExclude .*
   comment    Version 2020.10.19 18:28
   event-on-change-reading Rad1h,TTT,Neff,R600
   forecastDays 1
   forecastProperties Rad1h,TTT,Neff,R600
   forecastPruning 1
   forecastResolution 1
   forecastStation P0178
   group      PV Eigenverbrauch
   icon       weather_rain_fog
   room       Informationen->Wetter,Strom->Photovoltaik
   sortby     06
   verbose    5

Und das kurze Log dazu

2020.12.08 10:40:10.723 5: DWD_Forecast: GetForecast START (PID 23101)
2020.12.08 10:40:11.582 5: DWD_Forecast: GetForecast END
2020.12.08 10:40:11.688 5: DWD_Forecast: GetForecastStart START (PID 24522): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/P0178/kml/MOSMIX_L_LATEST_P0178.kmz
2020.12.08 10:40:11.799 5: DWD_Forecast: ProcessForecast START
2020.12.08 10:40:11.799 5: DWD_Forecast: ProcessForecast: data received, decoding ...
2020.12.08 10:40:11.959 5: DWD_Forecast: ProcessForecast: parsing XML document
2020.12.08 10:40:12.007 5: DWD_Forecast: ProcessForecast: extracting data
2020.12.08 10:40:12.115 5: DWD_Forecast: ProcessForecast temp file /tmp/D4wSrhJxAX forecast 3 size 8782
2020.12.08 10:40:12.116 5: DWD_Forecast: ProcessForecast END
2020.12.08 10:40:12.117 5: DWD_Forecast: GetForecastStart END
2020.12.08 10:40:12.121 5: DWD_Forecast: GetForecastFinish START (PID 23101)
2020.12.08 10:40:12.127 5: DWD_Forecast: GetForecastFinish temp file /tmp/D4wSrhJxAX forecast 3 size 8782
2020.12.08 10:40:12.127 5: DWD_Forecast: UpdateForecast: START
2020.12.08 10:40:12.128 5: DWD_Forecast: RotateForecast: START 2 day(s) exist
2020.12.08 10:40:12.128 5: DWD_Forecast: RotateForecast: END 2 day(s) remain
2020.12.08 10:40:12.149 5: DWD_Forecast: PruneForecast: START
2020.12.08 10:40:12.154 5: DWD_Forecast: PruneForecast: END
2020.12.08 10:40:12.154 5: DWD_Forecast: UpdateForecast: END
2020.12.08 10:40:12.155 5: DWD_Forecast: GetForecastFinish END
2020.12.08 10:41:01.358 5: DWD_Forecast: GetAlerts START (PID 23101)
2020.12.08 10:41:01.380 5: DWD_Forecast: GetAlerts END
2020.12.08 10:41:01.412 5: DWD_Forecast: GetAlertsStart START (PID 25336): https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip
2020.12.08 10:41:01.522 5: DWD_Forecast: ProcessAlerts START (PID 25336)
2020.12.08 10:41:01.522 5: DWD_Forecast: ProcessAlerts: data received
2020.12.08 10:41:01.583 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:01.683 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.245 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.339 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.498 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.507 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.510 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.512 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.514 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.516 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.519 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.548 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.562 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.569 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.572 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.595 5: DWD_Forecast: ProcessAlerts temp file /tmp/r6uNVvxGHg alerts 15 size 185937
2020.12.08 10:41:02.597 5: DWD_Forecast: ProcessAlerts END
2020.12.08 10:41:02.606 5: DWD_Forecast: GetAlertsStart END
2020.12.08 10:41:02.612 5: DWD_Forecast: GetAlertsFinish START (PID 23101)
2020.12.08 10:41:02.644 5: DWD_Forecast: GetAlertsFinish temp file /tmp/r6uNVvxGHg alerts 15 size 185937
2020.12.08 10:41:02.644 5: DWD_Forecast: GetAlerts START (PID 23101)
2020.12.08 10:41:02.667 5: DWD_Forecast: GetAlerts END
2020.12.08 10:41:02.669 5: DWD_Forecast: GetAlertsFinish END
2020.12.08 10:41:02.698 5: DWD_Forecast: GetAlertsStart START (PID 25359): https://opendata.dwd.de/weather/alerts/cap/DISTRICT_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_DISTRICT_DE.zip
2020.12.08 10:41:02.816 5: DWD_Forecast: ProcessAlerts START (PID 25359)
2020.12.08 10:41:02.817 5: DWD_Forecast: ProcessAlerts: data received
2020.12.08 10:41:02.872 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.888 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.901 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.933 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.943 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.945 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.948 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.951 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.958 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.966 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.969 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.973 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.976 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.980 5: DWD_Forecast: ProcessAlerts: parsing XML document
2020.12.08 10:41:02.984 5: DWD_Forecast: ProcessAlerts temp file /tmp/tap0l_ZOgu alerts 14 size 16302
2020.12.08 10:41:02.985 5: DWD_Forecast: ProcessAlerts END
2020.12.08 10:41:02.985 5: DWD_Forecast: GetAlertsStart END
2020.12.08 10:41:02.994 5: DWD_Forecast: GetAlertsFinish START (PID 23101)
2020.12.08 10:41:03.000 5: DWD_Forecast: GetAlertsFinish temp file /tmp/tap0l_ZOgu alerts 14 size 16302
2020.12.08 10:41:03.001 5: DWD_Forecast: GetAlertsFinish END
2020.12.08 10:45:05.001 5: DWD_Forecast: Timer START
2020.12.08 10:45:05.004 5: DWD_Forecast: Timer END
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 08 Dezember 2020, 20:26:42
Hallo Christian,

danke für den Test und die Rückmeldung.

ZitatBisher hast Du die Versionsnummer noch nicht verändert.
Wenn du die FHEM-Versionsnummer meinst: die zählt FHEM (genau genommen der SVN-Checkin) hoch, wenn das Modul zum FHEM-Update freigegeben wird. Die modulinterne Versionsnummer hatte ich von 1.14.6 auf 1.16.0 erhöht.

ZitatBeim setzen von "forecastPruning" wird im Menü "1alertArea" und nicht nur 1 angeboten.
Ist behoben, da hat im Modulcode ein Leerzeichen zwischen der 1 und alertArea gefehlt. Die korrigierte Version ist anbei.

Zitat... List/Log von der Anfangssituation ...
Sieht normal aus, da ist nichts zu bereinigen. Vielleicht kommt es bei deiner Messstation erst zur Winter-/Sommerzeitumstellung wieder zu Änderungen der Messzeiten. Mit der neuen Modulversion wird es dir wahrscheinlich gar nicht auffallen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 20 Dezember 2020, 21:45:12
Die neue Version von DWD_OpenData mit verbesserter Rotation der Vorhersagewerte beim Tageswechsel mit automatischem Löschen von Vorhersagewerten, die vom DWD nicht mehr zur Verfügung gestellt werden, steht ab morgen per FHEM-Update zur Verfügung.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ComputerZOO am 22 Dezember 2020, 03:34:48
Moin,
seit dem Update habe ich recht häufig folgende Einträge in meinem Log:

2020.12.21 23:00:05.364 3:  sys.wetter.dwd: RotateForecast: shifting forward by 0 day(s) (1608505200 -> 1608505200)
2020.12.22 00:00:05.391 3:  sys.wetter.dwd: RotateForecast: shifting forward by 1 day(s) (1608505200 -> 1608591600)
2020.12.22 01:00:05.555 3:  sys.wetter.dwd: RotateForecast: shifting forward by 0 day(s) (1608591600 -> 1608591600)


Allerdings scheint es gerade auch Probleme zu geben, hier zwei Readings:

a_0_instruction
ACHTUNG! Aktuell stehen aufgrund einer Störung keine aktuellen Wetterwarnungen zur Verfügung.

und
a_0_description
Fehler: error retrieving URL 'https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip': https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip: Can't connect(1) to https://opendata.dwd.de:443: IO::Socket::INET: connect: timeout


Kann der Fehler im Log damit etwas zu tun haben?
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 22 Dezember 2020, 09:27:09
Zitat von: ComputerZOO am 22 Dezember 2020, 03:34:48
Moin,
seit dem Update habe ich recht häufig folgende Einträge in meinem Log:

2020.12.21 23:00:05.364 3:  sys.wetter.dwd: RotateForecast: shifting forward by 0 day(s) (1608505200 -> 1608505200)
2020.12.22 00:00:05.391 3:  sys.wetter.dwd: RotateForecast: shifting forward by 1 day(s) (1608505200 -> 1608591600)
2020.12.22 01:00:05.555 3:  sys.wetter.dwd: RotateForecast: shifting forward by 0 day(s) (1608591600 -> 1608591600)

Das ist die aktuelle Rotation, es wurden nen mehr Logmeldungen eingebaut. Ich fahre, wenn alles stabil ist mit:

attr global verbose 2

Dann ist ruhe im Log :-)

Zitat
Allerdings scheint es gerade auch Probleme zu geben, hier zwei Readings:

a_0_instruction
ACHTUNG! Aktuell stehen aufgrund einer Störung keine aktuellen Wetterwarnungen zur Verfügung.

und
a_0_description
Fehler: error retrieving URL 'https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip': https://opendata.dwd.de/weather/alerts/cap/COMMUNEUNION_CELLS_STAT/Z_CAP_C_EDZW_LATEST_PVW_STATUS_PREMIUMCELLS_COMMUNEUNION_DE.zip: Can't connect(1) to https://opendata.dwd.de:443: IO::Socket::INET: connect: timeout

Kann der Fehler im Log damit etwas zu tun haben?
Manchmal ist der DWD nicht erreichbar, das ist bei mir auch so.

Gruß
    Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 22 Dezember 2020, 21:52:43
Zitat von: ch.eick am 22 Dezember 2020, 09:27:09
Das ist die aktuelle Rotation, es wurden nen mehr Logmeldungen eingebaut.
Korrekt, nicht alle Einträge im FHEM-Log sind Fehlermedungen. Beim DWD_OpenData-Modul steht im Fall eines Fehlers im Log zusätzlich "ERROR".

Zitat von: ComputerZOO am 22 Dezember 2020, 03:34:48
seit dem Update habe ich recht häufig folgende Einträge in meinem Log ... Kann der Fehler im Log damit etwas zu tun haben?
Da besteht definitiv kein Zusammenhang. Die Meldung "... Can't connect(1) to https://opendata.dwd.de ..." hat vor allem damit zu tun, wie gut dein FHEM-Server und dein Internetanschluss funktioniert. Der DWD auf der anderen Seite der Leitung ist fast immer da. Ich habe diese Meldung nur sehr selten im Jahr und im Normalfall im Zusammenhang mit überregionalen Internetstörungen. Wenn du die Ursache für die Verbindungstörungen eingrenzen willst, könntest du auf deinem FHEM-Server mehrere Verbindungstests einrichten, die vom DWD_OpenData-Modul unabhängig sind: A) zu deinem Router, B) zu deinem Provider (z.B. DNS-Server), C) zum DWD-OpenData-Server und D) zu mindestens einem weiteren Server im Internet. Wenn dann eine Störung beim DWD-Modul auftritt kannst du anhand der anderen Verbindungstests eingrenzen, wo das Verbindungsproblem herkommt. Für die Verbindungstests kommen diverse Tools in Frage, aber z.B. auch das PRESENCE-Modul von FHEM. Allerdings müssten die Tests relativ kurz hintereinander erfolgen, um auch kurzzeitige Störungen erkennen zu können. Ein typische Fehlerquelle ist auch die Nutzung von WLAN für den FHEM-Server.

Grüße,
Jens

Titel: Antw:Modul für DWD Open Data
Beitrag von: ComputerZOO am 23 Dezember 2020, 10:31:01
Moin,
ich werde das Ganze mal weiter beobachten, mit meinem DSL habe ich bisher keine weiteren Probleme feststellen können und natürlich ist mein FHEM-Server NICHT per WLAN eingebunden  ;)

Das "Problem" mit den Log-Einträgen, welches ja eigentlich keins ist habe ich durch setzten von verbose 2 umgangen.

Besten Dank, bleibt gesund, frohes Fest...
Titel: Antw:Modul für DWD Open Data
Beitrag von: yersinia am 25 Dezember 2020, 16:41:41
Hi jensb,

kann man den Loglevel der RotateForecast-Meldung erhöhen (vlt direkt auf 5)? Irgendwie müllt mir das mit verbose 3 den log zu:
2020.12.24 13:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 14:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 15:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 16:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 17:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 18:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 19:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 20:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 21:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 22:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.24 23:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608764400 -> 1608764400)
2020.12.25 00:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 1 day(s) (1608764400 -> 1608850800)
2020.12.25 01:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 02:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 03:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 04:00:06 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 05:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 06:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 07:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 08:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 09:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 10:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 11:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 12:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 13:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 14:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 15:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)
2020.12.25 16:00:05 3: Wetter_DWD: RotateForecast: shifting forward by 0 day(s) (1608850800 -> 1608850800)


version
55_DWD_OpenData.pm 23392 2020-12-20 19:28:20Z jensb

Danke.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 25 Dezember 2020, 19:50:45
Hi yersinia,

Zitatkann man den Loglevel der RotateForecast-Meldung erhöhen
Ja, kommt in den nächsten Tagen. Hätte nicht gedacht, dass diese Meldung stört, denn hinter "0 day(s)" bzw. ">0 day(s)" steht folgende Info: wenn eine Rotation durchgeführt wird, dann wurden die Daten aller fc-Readings um x Tage, verschoben, aber u.U. noch nicht vom DWD aktualisiert.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: reibuehl am 04 Januar 2021, 20:23:40
Hallo!

Gibt es für eine Möglichkeit, die Alerts "schön" anzuzeigen? Evtl. mit einer readingsGroup? Im Wiki konnte ich leider keine Beispiele dazu finden, aber vielleicht hat ja jemand schon was gebaut?

Gruß,
Reiner 
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 09 Januar 2021, 16:32:37
Zitat von: jensb am 25 Dezember 2020, 19:50:45
Hi yersinia,
Ja, kommt in den nächsten Tagen. Hätte nicht gedacht, dass diese Meldung stört, denn hinter "0 day(s)" bzw. ">0 day(s)" steht folgende Info: wenn eine Rotation durchgeführt wird, dann wurden die Daten aller fc-Readings um x Tage, verschoben, aber u.U. noch nicht vom DWD aktualisiert.

Grüße,
Jens

Hallo Jens,
bist du schon an dem Update dran?  ;)

Ich habe ebenfalls die stündlichen Einträge. Sogar doppelt, da ich für zwei Standorte die Daten brauche.

Vielen Dank vorab
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Januar 2021, 20:59:19
Hallo yersinia und Andreas,

habe die Änderung für das Logging der Vorhersage-Rotation gestern eingebaut und seitdem bei mir ausprobiert. Die Meldung ist bei verbose=3 weg, steht aber bei Bedarf mit höheren Loglevel immer noch zur Verfügung. Das Update ist eingecheckt und dürfte ab 10.01.2021 per FHEM Update verteilt werden - auch zu erkennen am Internal VERSION=1.016002 nach einem FHEM-Neustart.

Die Version enthält auch eine Präzisierung der Perl "use" Anweisungen im Modul. Das hat funktionell keine Konsequenzen. Allerdings könnte es sich bei alten Perl-Versionen bemerkbar machen. Bitte melden, wenn jemand den Fall hat, dass sich das Modul nach dem Update nicht mehr laden lässt.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ClausL am 10 Januar 2021, 11:25:22
Hallo,

ich erhalte seit dem Update die Fehlermeldung

forecast error: Undefined subroutine &AstroSun::asin called

Hat das damit was zu tun? Oder muss ich an anderer Stelle suchen?

Viele Grüße, Claus
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 10 Januar 2021, 14:33:29
Zitat von: ClausL am 10 Januar 2021, 11:25:22
Hallo,

ich erhalte seit dem Update die Fehlermeldung

forecast error: Undefined subroutine &AstroSun::asin called

Hat das damit was zu tun? Oder muss ich an anderer Stelle suchen?

Viele Grüße, Claus

Habe heute auch das Update gemacht und kann den neuen Fehler ("forecast error: Undefined subroutine &AstroSun::asin called") auch bei mir bestätigen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Januar 2021, 14:57:46
Hallo Claus, hallo Andreas,

sorry, aber das ist das was ich mit
Zitat
Die Version enthält auch eine Präzisierung der Perl "use" Anweisungen im Modul. Das hat funktionell keine Konsequenzen. Allerdings könnte es sich bei alten Perl-Versionen bemerkbar machen. Bitte melden, wenn jemand den Fall hat, dass sich das Modul nach dem Update nicht mehr laden lässt.
meinte. Es wäre schön, wenn ich derartige Fehler selbst durch Testen erkennen und vermeiden könnte. Aber es gibt zu viele Unterschiede zwischen den Installationen.

Bitte nehmt aktuell die vorherige Modulversion.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Januar 2021, 15:08:57
Hallo Claus, hallo Andreas,

anbei eine Testversion. Bitte Info, ob sie das Problem bei euch löst.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 10 Januar 2021, 16:33:46
Zitat von: jensb am 10 Januar 2021, 15:08:57
Hallo Claus, hallo Andreas,

anbei eine Testversion. Bitte Info, ob sie das Problem bei euch löst.

Grüße,
Jens

Modul wird leider gar nicht mehr geladen  :(

2021.01.10 16:31:27 1: reload: Error:Modul 55_DWD_OpenData deactivated:
Bareword "pi2" not allowed while "strict subs" in use at ./FHEM/55_DWD_OpenData.pm line 201, <$fh> line 887.
BEGIN not safe after errors--compilation aborted at ./FHEM/55_DWD_OpenData.pm line 596, <$fh> line 887.

2021.01.10 16:31:27 0: Bareword "pi2" not allowed while "strict subs" in use at ./FHEM/55_DWD_OpenData.pm line 201, <$fh> line 887.
BEGIN not safe after errors--compilation aborted at ./FHEM/55_DWD_OpenData.pm line 596, <$fh> line 887.

2021.01.10 16:31:27 1: PERL WARNING: Subroutine EpochToJulianDate redefined at ./FHEM/55_DWD_OpenData.pm line 89, <$fh> line 906.
2021.01.10 16:31:27 1: PERL WARNING: Subroutine EpochToGreenwichMeanSideralDate redefined at ./FHEM/55_DWD_OpenData.pm line 115, <$fh> line 906.
2021.01.10 16:31:27 1: PERL WARNING: Subroutine JulianDateToEpoch redefined at ./FHEM/55_DWD_OpenData.pm line 143, <$fh> line 906.
2021.01.10 16:31:27 1: PERL WARNING: Subroutine CelestialPosition redefined at ./FHEM/55_DWD_OpenData.pm line 181, <$fh> line 906.
2021.01.10 16:31:27 1: reload: Error:Modul 55_DWD_OpenData deactivated:
Bareword "pi2" not allowed while "strict subs" in use at ./FHEM/55_DWD_OpenData.pm line 201, <$fh> line 906.
BEGIN not safe after errors--compilation aborted at ./FHEM/55_DWD_OpenData.pm line 596, <$fh> line 906.

2021.01.10 16:31:27 0: Bareword "pi2" not allowed while "strict subs" in use at ./FHEM/55_DWD_OpenData.pm line 201, <$fh> line 906.
BEGIN not safe after errors--compilation aborted at ./FHEM/55_DWD_OpenData.pm line 596, <$fh> line 906.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Januar 2021, 17:59:19
Hallo Andreas,

sieht so aus, als ob bei dir die Hälfte der trigonometrischen Funktionen eine Einladung brauchen, während es bei mir einfach funktioniert. Anbei die nächste Testversion. Vielleicht habe ich nun alle Funktionen gefunden, die erwähnt werden wollen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: ClausL am 10 Januar 2021, 18:07:01
Hallo, Jens

das 2. Modul läuft. Zumindes bei mir.

Vielen Dank, für die schnelle Lösung, Claus
Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 10 Januar 2021, 18:18:02
Zitat von: jensb am 10 Januar 2021, 17:59:19
Hallo Andreas,

sieht so aus, als ob bei dir die Hälfte der trigonometrischen Funktionen eine Einladung brauchen, während es bei mir einfach funktioniert. Anbei die nächste Testversion. Vielleicht habe ich nun alle Funktionen gefunden, die erwähnt werden wollen.

Grüße,
Jens

Diese Version läuft auch bei mir  :D

Vielen Dank für deine schnelle Unterstützung,
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 10 Januar 2021, 19:08:38
Hallo Claus, hallo Andreas,

danke für eure schnellen Rückmeldungen.

Die erfolgreich getestete Version von 17:59 habe ich gerade eingecheckt. Es wird sie ab dem 11.01.2021 per FHEM Update geben.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: LotharRappsilber am 27 Januar 2021, 15:41:01
Wie finde ich meinen Ort?
Titel: Antw:Modul für DWD Open Data
Beitrag von: yersinia am 27 Januar 2021, 16:04:19
Zitat von: LotharRappsilber am 27 Januar 2021, 15:41:01Wie finde ich meinen Ort?
https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_zur_Modul-Einrichtung (https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_zur_Modul-Einrichtung)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 25 Februar 2021, 20:45:02
Seit dem 22.02.2021 ist für das Modul DWD Open Data ein Update auf Version 1.016003 verfügbar, mit dem das Modul wieder mit älteren Perl-Versionen (https://forum.fhem.de/index.php/topic,118669.msg1135270.html#msg1135270) genutzt werden kann.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: juba3006 am 03 April 2021, 13:32:36
Moin moin alle mit einander!

ich konnte meine Probleme selbst beheben. Trotzdem vielen Dank!


Mfg
Julian


PS: Weblink funktioniert nun. Da habe ich einen Fehler bei der ID der Station gehabt.
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 12 April 2021, 23:33:06
Zitat von: jensb am 04 August 2020, 21:00:53
@Joesky

Die Möglichkeiten des TelegramBots (https://wiki.fhem.de/wiki/TelegramBot) kenne ich selbst nicht, aber in der FHEM Wiki finden sich viele Hinweise. Je nach Wunsch könntest du z.B. mit notify oder at arbeiten. Ein Problem wird aber sein, dass das Modul DWD_OpenData_Weblink keine Readings hat, die man auslesen und dann versenden könnte. Die Daten selbst aus dem DWD_OpenData Modul zu gewinnen ist aber vergleichsweise aufwendig.

Falls es auch bunt sein darf, besteht noch die Möglichkeit, den Weblink von einem Browser rendern zu lassen, davon einen Screenshot zu ziehen und den dann zu versenden. Das geht wahrscheinlich auch ohne Display am Raspi, indem man ein Framebuffer-Device verwendet. Mal eben ist das aber sicher auch nicht gemacht.

Falls doch die Werte allein genügen würden, bleibt das Problem mit den fehlenden Readings beim DWD_OpenData_Weblink. Der Wunsch kam schon einmal vor einiger Zeit. Ich könnte mir das noch mal ansehen, um herausfinden, wie viel Aufwand es wäre, die Readings zu generieren.

Grüße,
Jens

Hallo @jensb
ich zitiere das mal komplett, da es schon älter ist: Ich stehe gerade vor dem gleichen Problem.

Eine jepg-Datei on the fly erzeugen - das kann ich nicht. Ich persönlich würde es schon finden, wenn es die Readings gäbe; das würde mir reichen.
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 13 April 2021, 18:05:43
Eine JPEG-Datei zu erstellen wäre wohl die "schöne" Lösung, aber das ist nicht mal eben und auch nicht mein Lieblingsthema.

Bleiben also die Readings. Das, was im Weblink pro Icon an Daten dargestellt wird, entspricht ja einer Tabellenspalte. Die Namen der neuen Readings könnte man also aus dem Attributnamen vom DWD und dem Spaltenindex aufbauen.

Um das "vernünftig" zu machen, sollte auch doppelter Code vermieden werden. Das bedeutet, dass das Modul DWD_OpenData_Weblink komplett überarbeitet werden muss im Sinne von: Trennung der Daten (aktuell RAM, zukünftig Readings) von der Darstellung (HTML). Die Darstellung wird dadurch zur Option und schon passt der Modulname nicht mehr so richtig.

Da auch das nicht mal eben gemacht ist, würde ich mir das vornehmen, wenn sich noch ein paar mehr User melden, gern auch über die Buttons unten rechts.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: curt am 14 April 2021, 05:37:25
Zitat von: jensb am 13 April 2021, 18:05:43
Eine JPEG-Datei zu erstellen wäre wohl die "schöne" Lösung

Ähmmm - nein.

Du hast das telegram-Gedöhns ja nicht, erlaube mir bitte eine kurze Schilderung.
Ich habe da einen Chatpartner, der ist (m)ein Bot. Einerseits schreibt der mir täglich, ob irgendwo Batterien den Geist aufgaben. Andererseits kann ich dem Bot schreiben und der antwortet mir. Ich schreibe aus Timbuktu also "Fenster" und er antwortet "close" - alle Fenster des Hauses geschlossen.

Ab und an kommt mir im Urlaub (hach, das gab es ja auch mal) die Idee, die Wetterstation auf meinem Grundstück abzufragen: Der Bot sagt mir dann die Temperatur, Luftfeuchte, ob die Sonne scheint, ob es regnet - alles in Textform.

Der angedachte use case
ist also: Der Bot sagt mir die Wettervorhersage für - also haargenau wie DWD_Weblink_Generator mit forecastDays=1 - bezogen auf den Abfragezeitpunkt.

Zitat von: jensb am 13 April 2021, 18:05:43
Bleiben also die Readings.

Deine Begeisterung hält sich ja leider in Grenzen: Im Grunde würde es schon reichen, wenn Du sagst, welche konkreten DWD-Parameter/Readings Du Dir dafür greifst, so viele sind das für forecastDays=1ja nicht. Ich kann das aus Deinem Sript nicht lesen, ich bin ja schon zu doof dafür, Dein Script auf meinem System zu finden.

Wenn wir das so machen (und ich das hinkriege) veröffentliche ich den Code, den telegram braucht - und Du hast Ruhe, auch vor allen anderen...  ;)
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 14 April 2021, 19:47:33
Mit "schön" habe ich er den visuellen Anteil gemeint. Funktionell bin ich beim ChatBot nicht im Thema, deshalb danke für die Erklärung.

Zitat... würde es schon reichen, wenn Du sagst, welche konkreten DWD-Parameter/Readings Du Dir dafür greifst ...
Genau darin steckt die Hauptfunktion des Weblink-Moduls. Für die beiden Angaben des 1. Tags erfolgt die Auswahl der Readings vom DWD-Modul uhrzeitabhängig. Einige Readings werden auch gesucht (z.B. nächstes gültiges vor/nach ...), da ja vom DWD nicht für jede Stunde und jedes Reading ein Wert geliefert wird.

Es gibt also keinen statischen Zusammenhang und diese Logic steckt im Weblink-Code. Da es Perl ist, könnte man den Code natürlich auch in leicht modifizierter Form z.B. in einem Notify verwenden. Das ist aber nicht jedermanns Ding, das ist mir klar. Aber auch ich brauche dafür mehrere handvoll Stunden um die Änderungen zu machen, zu testen und so zu dokumentieren, dass auch jemand anderes damit etwas anfangen kann. Deshalb habe ich den Wunsch, dass sich das möglichst mehr als 2 User wünschen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: enno am 14 April 2021, 20:12:09
Zitat von: jensb am 14 April 2021, 19:47:33dass auch jemand anderes damit etwas anfangen kann. Deshalb habe ich den Wunsch, dass sich das möglichst mehr als 2 User wünschen.

Moin Jens,

ich würde mir den Wetterbericht gerne mit Signalbot schicken. Ich hebe also mal meine Hand. 8) Dann sind es schon zwei.... Wie können wir helfen?

Gruss
  Enno
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 April 2021, 20:07:41
Dann waren's schon mal 3.

Es gibt bei dem Projekt mehrere Aufgaben, bei denen Hilfe willkommen ist. Bitte melden, wer sich berufen fühlt. Die Arbeit steckt aus meiner Sicht vor allem in Punkt 2 (liegt wohl ohnehin bei mir) und in Punkt 4. Aber ohne dass Punkt 1 nicht klar ist, kann es nicht los gehen. Hier ein grober Überblick:

Titel: Antw:Modul für DWD Open Data
Beitrag von: somansch am 12 September 2021, 22:35:56
Ich habe im Moment eine Wettervorhersage für die nächsten 3, 6 bzw. 9 Stunden per "OpenWeather", da dort die stündlichen readings aktuell in Relation zur aktuellen Zeit erzeugt werden, also "hfc1_xxx" ist die Vorhersage für die nächste Stunde, "hfc3_xxx" in 3 Stunden usw. Leider sind die dortigen Daten nicht sehr zuverlässig, würde also gern auf DWD für diese Anzeige umsteigen.
Nun liefert DWD ja die stündlichen Vorhersagedaten in absoluter Form, also "fc0_1" entspricht heute 1:00Uhr. Wie könnte ein cleveres userreading aussehen, welches an Hand der aktuellen Zeit entsprechende relative readings erzeugt?

Hat jemand eine Idee?

Danke vorab
Andreas
Titel: Antw:Modul für DWD Open Data
Beitrag von: ch.eick am 13 September 2021, 10:45:51
Zitat von: somansch am 12 September 2021, 22:35:56
Ich habe im Moment eine Wettervorhersage für die nächsten 3, 6 bzw. 9 Stunden per "OpenWeather", da dort die stündlichen readings aktuell in Relation zur aktuellen Zeit erzeugt werden, also "hfc1_xxx" ist die Vorhersage für die nächste Stunde, "hfc3_xxx" in 3 Stunden usw. Leider sind die dortigen Daten nicht sehr zuverlässig, würde also gern auf DWD für diese Anzeige umsteigen.
Nun liefert DWD ja die stündlichen Vorhersagedaten in absoluter Form, also "fc0_1" entspricht heute 1:00Uhr. Wie könnte ein cleveres userreading aussehen, welches an Hand der aktuellen Zeit entsprechende relative readings erzeugt?
Hallo Andreas,
Du kannst im usereading auch mit Perl arbeiten und somit Dir auch beliebige Zeiten berechnen. Aus dem Stunden Wert kannst Du Dir den reading Namen generieren.

- Sobald DWD die readings aktualisiert triggert das das userreadung.
- mit der Abfrage von "time"  bekommst Du die aktuelle Uhrzeit.
- Die ist der Pointer zum DWD reading der betreffenden Stunde
- Das schreibst Du dann in hfc1_xxx oder hfc3_xxx, so wie Du es brauchst.

VG
    Christian
Titel: Antw:Modul für DWD Open Data
Beitrag von: StefanStrobel am 09 Januar 2022, 13:31:05
Hallo Jens,

ich habe gerade das Wiki zum Modul angeschaut um selbst auch mal Wettervorhersagen in meine Fhem-Installation einzubauen.
Gleich bei der Einleitung zur Zeitzone komme ich aber ins Grübeln.
Da steht:

Zitat
4. FHEM Sprache: Durch Eingabe von {localtime()}
in die FHEM-Kommandozeile überprüfen, in welcher Sprache der Wochentag angezeigt wird.
Stimmt die Sprache nicht, dann auf der System-Kommandozeile ...

in https://perldoc.perl.org/functions/localtime steht aber:
Zitat
In scalar context, localtime returns the ctime(3) value:
my $now_string = localtime;  # e.g., "Thu Oct 13 04:54:34 1994"
This scalar value is always in English, and is not locale-dependent.

das bedeutet doch, dass auch bei korrekter Einstellung der Variablen TZ und LANG etc. die Ausgabe von {localtime()} immer auf englisch sein wird oder?
Ist der Absatz im Wiki falsch bzw. eine Altlast oder hab ich da was übersehen?

Gruss
   Stefan


Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Januar 2022, 14:41:10
Hallo Stefan,

danke für den Hinweis, die Beschreibung in der Wiki ist meiner Meinung nach falsch. Ein Blick in die Modulhilfe zeigt, was eigentlich unter 4. in die Wiki gehört:

{$ENV{LANG}}

Einverstanden? Ist vermutlich ein Copy&Past Bug.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: StefanStrobel am 10 Januar 2022, 20:21:23
Super, vielen Dank!

Gruss
    Stefan
Titel: Antw:Modul für DWD Open Data
Beitrag von: jhohmann am 09 Februar 2022, 16:41:34
Hallo,
keine Ahnung, woran das folgende liegt oder ob es schon länger da ist.
Ich bekomme, wenn ich mir die Daten meines DWD Devices über einen DWD_OpenData_Weblink anschauen will, im Log immer vier Stacktraces.
2022.02.09 16:27:50 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2022.02.09 16:27:50 1: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_weblink_Generator") }
2022.02.09 16:27:50 1: stacktrace:
2022.02.09 16:27:50 1:     main::__ANON__                      called by ./FHEM/99_Utils.pm (21)
2022.02.09 16:27:50 1:     main::time_str2num                  called by ./FHEM/99_DWD_OpenData_Weblink.pm (728)
2022.02.09 16:27:50 1:     DWD_OpenData_Weblink::PrepareForecastData called by ./FHEM/99_DWD_OpenData_Weblink.pm (1119)
2022.02.09 16:27:50 1:     DWD_OpenData_Weblink::GetForecastHtmlH called by ./FHEM/99_DWD_OpenData_Weblink.pm (1253)
2022.02.09 16:27:50 1:     DWD_OpenData_Weblink::AsHtmlH       called by (eval 186821) (1)
2022.02.09 16:27:50 1:     (eval)                              called by fhem.pl (1163)
2022.02.09 16:27:50 1:     main::AnalyzePerlCommand            called by ./FHEM/98_weblink.pm (106)
2022.02.09 16:27:50 1:     main::weblink_FwFn                  called by ./FHEM/01_FHEMWEB.pm (3377)
2022.02.09 16:27:50 1:     main::FW_devState                   called by ./FHEM/01_FHEMWEB.pm (1863)
2022.02.09 16:27:50 1:     main::FW_makeDeviceLine             called by ./FHEM/01_FHEMWEB.pm (2037)
2022.02.09 16:27:50 1:     main::FW_showRoom                   called by ./FHEM/01_FHEMWEB.pm (1185)
2022.02.09 16:27:50 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (598)
2022.02.09 16:27:50 1:     main::FW_Read                       called by fhem.pl (3898)
2022.02.09 16:27:50 1:     main::CallFn                        called by fhem.pl (776)

Das ganze passiert bei 99_DWD_OpenData_Weblink.pm im Block (hier letzte Zeile, entspricht Zeile 728):
    my $date = ::ReadingsVal($d, "fc0_date", "?");
    my $hourPrefix = "fc0_".$index;
    my $time = ::ReadingsVal($d, $hourPrefix."_time", "");
    my $epoch = ::time_str2num($date.' '.$time);

Datum und Uhrzeit setzen sich dann z.B. so zusammen: "2022-02-11 01:00".
Wenn ich bei der Umrechnung den Aufruf so abändere: "time_str2num($date.' '.$time.'.00')", also einfach die Sekunden ergänze, kommt kein Abbruch.
Sind da von DWD die Sekunden abgeschnitten worden?
Man könnte die Sekunden hier einfach immer zusätzlich auch wenn sie geliefert würden ergänzen.
Bei {time_str2num('2022-02-11 01:00:00:00')} wird der letzte Abschnitt :00 einfach von der Umrechnung ignoriert.
Ober man müsste noch eine Längenprüfung einbauen, wenn man es sauber machen will. Wenn die Uhrzeit nur fünfstellig ist, dann ergänze um ':00'.

Hier auch mal als Beispiel die Readings von meinem DWD:
     2022-02-09 16:30:06   a_count         0
     2022-02-09 16:30:06   a_state         updated
     2022-02-09 16:30:06   a_time          2022-02-09 16:30:05
     2022-02-09 04:00:05   fc0_0_DD        205
     2022-02-09 04:00:05   fc0_0_FX1       20
     2022-02-09 04:00:05   fc0_0_Neff      82
     2022-02-09 04:00:05   fc0_0_R600      12.00
     2022-02-09 04:00:05   fc0_0_RR6c      0.00
     2022-02-09 04:00:05   fc0_0_SunUp     0
     2022-02-09 04:00:05   fc0_0_TTT       5.40
     2022-02-09 04:00:05   fc0_0_time      01:00
     2022-02-09 04:00:05   fc0_0_ww        3
     2022-02-09 04:00:05   fc0_0_wwd       Bewölkung zunehmend
     2022-02-09 10:00:05   fc0_1_DD        199
     2022-02-09 10:00:05   fc0_1_FX1       28
     2022-02-09 10:00:05   fc0_1_Neff      88
     2022-02-09 10:00:05   fc0_1_R600      3.00
     2022-02-09 10:00:05   fc0_1_RR6c      0.00
     2022-02-09 10:00:05   fc0_1_RRhc      0.10
     2022-02-09 10:00:05   fc0_1_Rh00      4
     2022-02-09 10:00:05   fc0_1_SunUp     0
     2022-02-09 10:00:05   fc0_1_TTT       5
     2022-02-09 10:00:05   fc0_1_time      07:00
     2022-02-09 10:00:05   fc0_1_ww        3
     2022-02-09 10:00:05   fc0_1_wwd       Bewölkung zunehmend
     2022-02-09 16:00:05   fc0_2_DD        221
     2022-02-09 16:00:05   fc0_2_FX1       32
     2022-02-09 16:00:05   fc0_2_Neff      75
     2022-02-09 16:00:05   fc0_2_R600      6.00
     2022-02-09 16:00:05   fc0_2_RR6c      0.00
     2022-02-09 16:00:05   fc0_2_SunUp     1
     2022-02-09 16:00:05   fc0_2_TTT       8.70
     2022-02-09 16:00:05   fc0_2_time      13:00
     2022-02-09 16:00:05   fc0_2_ww        3
     2022-02-09 16:00:05   fc0_2_wwd       Bewölkung zunehmend
     2022-02-09 16:00:05   fc0_3_DD        212
     2022-02-09 16:00:05   fc0_3_FX1       20
     2022-02-09 16:00:05   fc0_3_Neff      51
     2022-02-09 16:00:05   fc0_3_R600      2.00
     2022-02-09 16:00:05   fc0_3_RR6c      0.00
     2022-02-09 16:00:05   fc0_3_RRhc      0.00
     2022-02-09 16:00:05   fc0_3_Rh00      11
     2022-02-09 16:00:05   fc0_3_SunUp     0
     2022-02-09 16:00:05   fc0_3_TTT       6.10
     2022-02-09 16:00:05   fc0_3_time      19:00
     2022-02-09 16:00:05   fc0_3_ww        1
     2022-02-09 16:00:05   fc0_3_wwd       Bewölkung abnehmend
     2022-02-09 10:00:05   fc0_Tg          2.90
     2022-02-09 16:00:05   fc0_Tn          5.30
     2022-02-09 16:00:05   fc0_Tx          10.3
     2022-02-09 16:00:05   fc0_date        2022-02-09
     2022-02-09 16:00:05   fc0_weekday     Mi
     2022-02-09 16:00:05   fc1_0_DD        202
     2022-02-09 16:00:05   fc1_0_FX1       11
     2022-02-09 16:00:05   fc1_0_Neff      43
     2022-02-09 16:00:05   fc1_0_R600      1.00
     2022-02-09 16:00:05   fc1_0_RR6c      0.00
     2022-02-09 16:00:05   fc1_0_SunUp     0
     2022-02-09 16:00:05   fc1_0_TTT       3.10
     2022-02-09 16:00:05   fc1_0_time      01:00
     2022-02-09 16:00:05   fc1_0_ww        1
     2022-02-09 16:00:05   fc1_0_wwd       Bewölkung abnehmend
     2022-02-09 16:00:05   fc1_1_DD        212
     2022-02-09 16:00:05   fc1_1_FX1       20
     2022-02-09 16:00:05   fc1_1_Neff      70
     2022-02-09 16:00:05   fc1_1_R600      3.00
     2022-02-09 16:00:05   fc1_1_RR6c      0.00
     2022-02-09 16:00:05   fc1_1_RRhc      0.00
     2022-02-09 16:00:05   fc1_1_Rh00      3
     2022-02-09 16:00:05   fc1_1_SunUp     0
     2022-02-09 16:00:05   fc1_1_TTT       1.70
     2022-02-09 16:00:05   fc1_1_time      07:00
     2022-02-09 16:00:05   fc1_1_ww        3
     2022-02-09 16:00:05   fc1_1_wwd       Bewölkung zunehmend
     2022-02-09 16:00:05   fc1_2_DD        224
     2022-02-09 16:00:05   fc1_2_FX1       35
     2022-02-09 16:00:05   fc1_2_Neff      81
     2022-02-09 16:00:05   fc1_2_R600      37.00
     2022-02-09 16:00:05   fc1_2_RR6c      0.00
     2022-02-09 16:00:05   fc1_2_SunUp     1
     2022-02-09 16:00:05   fc1_2_TTT       5.70
     2022-02-09 16:00:05   fc1_2_time      13:00
     2022-02-09 16:00:05   fc1_2_ww        3
     2022-02-09 16:00:05   fc1_2_wwd       Bewölkung zunehmend
     2022-02-09 16:00:05   fc1_3_DD        222
     2022-02-09 16:00:05   fc1_3_FX1       33
     2022-02-09 16:00:05   fc1_3_Neff      86
     2022-02-09 16:00:05   fc1_3_R600      70.00
     2022-02-09 16:00:05   fc1_3_RR6c      0.50
     2022-02-09 16:00:05   fc1_3_RRhc      0.50
     2022-02-09 16:00:05   fc1_3_Rh00      82
     2022-02-09 16:00:05   fc1_3_SunUp     0
     2022-02-09 16:00:05   fc1_3_TTT       5.60
     2022-02-09 16:00:05   fc1_3_time      19:00
     2022-02-09 16:00:05   fc1_3_ww        61
     2022-02-09 16:00:05   fc1_3_wwd       durchgehend leichter Regen
     2022-02-09 16:00:05   fc1_Tg          -2.10
     2022-02-09 16:00:05   fc1_Tn          1.40
     2022-02-09 16:00:05   fc1_Tx          7.30
     2022-02-09 16:00:05   fc1_date        2022-02-10
     2022-02-09 16:00:05   fc1_weekday     Do
     2022-02-09 16:00:05   fc2_0_DD        250
     2022-02-09 16:00:05   fc2_0_FX1       20
     2022-02-09 16:00:05   fc2_0_Neff      86
     2022-02-09 16:00:05   fc2_0_R600      85.00
     2022-02-09 16:00:05   fc2_0_RR6c      1.60
     2022-02-09 16:00:05   fc2_0_SunUp     0
     2022-02-09 16:00:05   fc2_0_TTT       3.40
     2022-02-09 16:00:05   fc2_0_time      01:00
     2022-02-09 16:00:05   fc2_0_ww        61
     2022-02-09 16:00:05   fc2_0_wwd       durchgehend leichter Regen
     2022-02-09 16:00:05   fc2_1_DD        255
     2022-02-09 16:00:05   fc2_1_FX1       28
     2022-02-09 16:00:05   fc2_1_Neff      73
     2022-02-09 16:00:05   fc2_1_R600      66.00
     2022-02-09 16:00:05   fc2_1_RR6c      0.60
     2022-02-09 16:00:05   fc2_1_RRhc      2.20
     2022-02-09 16:00:05   fc2_1_Rh00      93
     2022-02-09 16:00:05   fc2_1_SunUp     0
     2022-02-09 16:00:05   fc2_1_TTT       1.90
     2022-02-09 16:00:05   fc2_1_time      07:00
     2022-02-09 16:00:05   fc2_1_ww        61
     2022-02-09 16:00:05   fc2_1_wwd       durchgehend leichter Regen
     2022-02-09 16:00:05   fc2_2_DD        278
     2022-02-09 16:00:05   fc2_2_FX1       35
     2022-02-09 16:00:05   fc2_2_Neff      64
     2022-02-09 16:00:05   fc2_2_R600      50.00
     2022-02-09 16:00:05   fc2_2_RR6c      0.00
     2022-02-09 16:00:05   fc2_2_SunUp     1
     2022-02-09 16:00:05   fc2_2_TTT       4.80
     2022-02-09 16:00:05   fc2_2_time      13:00
     2022-02-09 16:00:05   fc2_2_ww        2
     2022-02-09 16:00:05   fc2_2_wwd       Bewölkung unverändert
     2022-02-09 16:00:05   fc2_3_DD        282
     2022-02-09 16:00:05   fc2_3_FX1       24
     2022-02-09 16:00:05   fc2_3_Neff      46
     2022-02-09 16:00:05   fc2_3_R600      29.00
     2022-02-09 16:00:05   fc2_3_RR6c      0.00
     2022-02-09 16:00:05   fc2_3_RRhc      0.10
     2022-02-09 16:00:05   fc2_3_Rh00      55
     2022-02-09 16:00:05   fc2_3_SunUp     0
     2022-02-09 16:00:05   fc2_3_TTT       1.80
     2022-02-09 16:00:05   fc2_3_time      19:00
     2022-02-09 16:00:05   fc2_3_ww        1
     2022-02-09 16:00:05   fc2_3_wwd       Bewölkung abnehmend
     2022-02-09 16:00:05   fc2_Tg          -0.30
     2022-02-09 16:00:05   fc2_Tn          0.90
     2022-02-09 16:00:05   fc2_Tx          6.20
     2022-02-09 16:00:05   fc2_date        2022-02-11
     2022-02-09 16:00:05   fc2_weekday     Fr
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 09 Februar 2022, 22:48:35
Hallo jhohmann,

danke für deine Analyse. Das ist wohl ein "alter Hund", um den sich noch keiner gekümmert hat.

time_str2num() erwartet Sekunden, aber die fc_xxx_time-Readings haben keine. Das Anhängen von ":00" ist also unbedingt erforderlich. Bleibt eher die Frage, warum es trotzdem funktioniert, aber die Antwort lautet dann wohl: es ist ja nur eine Perl-Warnung und kein Fehler.

Werde mir das noch einmal genau ansehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Navigator am 15 Juni 2022, 19:31:12
Kann mir mal jemand sagen, welche Abkürzungen für die zu erwartenden Regenmengen stehen? Ich blick da nicht durch bei der MetElementDefinition.  :-[
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 15 Juni 2022, 20:57:58
Auszug aus der Modulhilfe:

precipitation steht für Niederschlagsmenge, [kg/m2] kann man grob auch als [mm/m2] betrachten

probability steht für Wahrscheinlichkeit

last ist ein relative Zeitbezug - bei einem Vorhersagewert vom z.B. 16.06.2022 12:00 für die letzten 12 Stunden ist also der Zeitraum 16.06.22 00:00 bis 12:00 gemeint
Titel: Antw:Modul für DWD Open Data
Beitrag von: Navigator am 16 Juni 2022, 17:07:00
Danke, das hilft mir weiter. Also müsste  *fc1_3_RRhc*, 20:00 Uhr immer die Regenmenge für den nächsten  Tag von 8-20 Uhr sein, sehe ich das richtig?
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 16 Juni 2022, 20:51:13
Ja, perfekt (fc1 ist "morgen", bei forecastResolution=6 ist "3"=18:00 UTC=20:00 Europe/Berlin und RRhc gilt für die vorherigen 12 Stunden).
Titel: Antw:Modul für DWD Open Data
Beitrag von: dadoc am 18 Juli 2022, 12:24:38
Hallo Jens,
auf der Suche nach einer Datenquelle für Wettervorhersagen in Spanien bin ich auf aemet.es gestoßen. Das entspricht wohl dem DWD, ist also staatlich und stellt Daten, XMLs, API(-Key) usw. kostenlos zur Verfügung, siehe https://opendata.aemet.es/centrodedescargas/inicio
Es gibt auch jede Menge Bespielimplementierungen, s. https://opendata.aemet.es/centrodedescargas/ejemProgramas?
Beispiel für eine direkt zugängliche XML-Datei im Anhang (für die Stadt Salamanca).
Ich kann nicht wirklich kompetent beurteilen, ob die opendata-Datenstruktur der vom DWD gleicht oder nicht - wäre es möglich, aemet.es als optionale Datenquelle in Dein Modul zu integrieren? Sehr gern helfe ich im Bereich meiner Möglichkeiten, d.h. übersetzen, Wiki-Ergänzungen, Testen o.ä.
Sonnige Grüße aus - Spanien ;)
Martin
Titel: Antw:Modul für DWD Open Data
Beitrag von: jensb am 29 Oktober 2022, 20:20:01
Hallo Martin,

habe mir die Datenstruktur angesehen: Der Datenumfang deines Beispiels ist etwas kleiner als beim DWD, aber das Wichtigste ist dabei. Möglicherweise gibt es noch andere Daten, die man abrufen könnte. Die Datenstruktur ist mehr oder weniger selbsterklärend, wenn man ein bisschen Spanisch kann. Sie hat aber keinerlei Ähnlichkeit mit der vom DWD, auch wenn beide Datenquellen "opendata" im Namen tragen.

Eine Integration ins vorhandene DWD OpenData Modul wäre möglich (ist schließlich "Soft"-Ware), wobei allerdings nur ein Teil des vorhandenen Codes wiederverwendet werden könnte. Die Umsetzung bräuchte einige Stunden Programmieraufwand. Falls das für eine größere Anzahl von Users von Interesse wäre, würde ich mir das als längerfristige Aufgabe vornehmen. Alternativ biete ich an, dich oder einen anderen Entwickler zu unterstützen.

Es gibt für FHEM u.a. noch das Modul "Weather", das bereits modular angelegt ist. Ohne Programmieren wird es aber auch hier nicht gehen.

Grüße,
Jens
Titel: Antw:Modul für DWD Open Data
Beitrag von: Aeternitas am 27 Dezember 2022, 14:22:55
Hi, ich bin neu bei FHEM und habe mit dem Wetterabruf vom DWD begonnen. Ich bekomme auch soweit das Widget (99_DWD_OpenData_Weblink.pm) mit der Vorhersage angezeigt. Der DWD liefert die Temperaturen mit einer Genauigkeit von zwei Stellen hinter dem Komma. Gibt es irgendwo eine Einstellung, wodurch die Temps auf eine oder keine Stelle gerundet werden können? "7.90 °C" sieht etwas merkwürdig aus.

Danke
Sebastian
Titel: Antw:Modul für DWD Open Data
Beitrag von: mumpitzstuff am 27 Dezember 2022, 20:49:18
Du kannst dir ein Userreading erstellen und den Wert dort entsprechend runden.

Siehe z.b. hier: https://forum.fhem.de/index.php/topic,88519.0.html
Titel: Aw: Modul für DWD Open Data
Beitrag von: DJCrazy am 06 Oktober 2023, 18:42:48
Hallo zusammen,

ich bekomme immer wieder folgende Logeinträge zum DWD Modul

2023.10.06 18:40:23 1: PERL WARNING: Use of uninitialized value in string eq at ./FHEM/99_DWD_OpenData_Weblink.pm line 1258.
2023.10.06 18:40:23 3: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }
2023.10.06 18:40:23 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2023.10.06 18:40:23 3: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_Generator") }

Die neuste Datei von "99_DWD_OpenData_Weblink.pm" habe ich bereits aufgespielt aber ist genau noch das selbe.
Kann mir hier jemand weiterhelfen wie ich die Fehler / Warnungen weg bekomme?

Gruss, Fabian
Titel: Aw: Modul für DWD Open Data
Beitrag von: DJCrazy am 25 Oktober 2023, 19:03:00
Wollte nochmals ungeniert nachfragen ob mir jemand bei der Lösung helfen kann?
Titel: Aw: Modul für DWD Open Data
Beitrag von: matze1999 am 24 November 2023, 18:36:20
Hallo,

ich habe diese Warnungen auch:

evtl. hilft das bei der Lösung:

2023.11.22 17:18:59 1: PERL WARNING: Use of uninitialized value in string eq at ./FHEM/99_DWD_OpenData_Weblink.pm line 1258.
2023.11.22 17:18:59 1: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_GeneratorDD") }
2023.11.22 17:18:59 1: stacktrace:
2023.11.22 17:18:59 1:     main::__ANON__                      called by ./FHEM/99_DWD_OpenData_Weblink.pm (1258)
2023.11.22 17:18:59 1:     DWD_OpenData_Weblink::AsHtmlH       called by (eval 64045) (1)
2023.11.22 17:18:59 1:     (eval)                              called by fhem.pl (1175)
2023.11.22 17:18:59 1:     main::AnalyzePerlCommand            called by ./FHEM/98_weblink.pm (106)
2023.11.22 17:18:59 1:     main::weblink_FwFn                  called by ./FHEM/01_FHEMWEB.pm (3461)
2023.11.22 17:18:59 1:     main::FW_devState                   called by ./FHEM/01_FHEMWEB.pm (1940)
2023.11.22 17:18:59 1:     main::FW_makeDeviceLine             called by ./FHEM/01_FHEMWEB.pm (2116)
2023.11.22 17:18:59 1:     main::FW_showRoom                   called by ./FHEM/01_FHEMWEB.pm (1205)
2023.11.22 17:18:59 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (609)
2023.11.22 17:18:59 1:     main::FW_Read                       called by fhem.pl (3982)
2023.11.22 17:18:59 1:     main::CallFn                        called by fhem.pl (784)
2023.11.22 17:18:59 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2023.11.22 17:18:59 1: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_GeneratorDD") }
2023.11.22 17:18:59 1: stacktrace:
2023.11.22 17:18:59 1:     main::__ANON__                      called by ./FHEM/99_Utils.pm (21)
2023.11.22 17:18:59 1:     main::time_str2num                  called by ./FHEM/99_DWD_OpenData_Weblink.pm (734)
2023.11.22 17:18:59 1:     DWD_OpenData_Weblink::PrepareForecastData called by ./FHEM/99_DWD_OpenData_Weblink.pm (1126)
2023.11.22 17:18:59 1:     DWD_OpenData_Weblink::GetForecastHtmlH called by ./FHEM/99_DWD_OpenData_Weblink.pm (1261)
2023.11.22 17:18:59 1:     DWD_OpenData_Weblink::AsHtmlH       called by (eval 64045) (1)
2023.11.22 17:18:59 1:     (eval)                              called by fhem.pl (1175)
2023.11.22 17:18:59 1:     main::AnalyzePerlCommand            called by ./FHEM/98_weblink.pm (106)
2023.11.22 17:18:59 1:     main::weblink_FwFn                  called by ./FHEM/01_FHEMWEB.pm (3461)
2023.11.22 17:18:59 1:     main::FW_devState                   called by ./FHEM/01_FHEMWEB.pm (1940)
2023.11.22 17:18:59 1:     main::FW_makeDeviceLine             called by ./FHEM/01_FHEMWEB.pm (2116)
2023.11.22 17:18:59 1:     main::FW_showRoom                   called by ./FHEM/01_FHEMWEB.pm (1205)
2023.11.22 17:18:59 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (609)
2023.11.22 17:18:59 1:     main::FW_Read                       called by fhem.pl (3982)
2023.11.22 17:18:59 1:     main::CallFn                        called by fhem.pl (784)

matze1999
Titel: Aw: Modul für DWD Open Data
Beitrag von: Raha66 am 24 November 2023, 19:41:45
Hallo Hallo,
Kann man die aktuellen Wetterinformationen wie z.B. die Temperatur mit dem dwd-Modus auslesen?
VG
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 November 2023, 17:12:53
@DJCrazy, matze1999

In Zeile 1258 von 99_DWD_OpenData_Weblink.pm steht:

my $theme = ::AttrVal($name, 'theme', undef) eq 'dark'? THEME_DARK : THEME_LIGHT;
Eine schnelle Lösung besteht also darin, das "theme"-Attribut im FHEM Modul anzulegen.

Die richtige Lösung besteht darin, undef mit '' im Modulcode zu ersetzen. Werde das noch updaten.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 November 2023, 17:16:09
@
Zitat von: Raha66 am 24 November 2023, 19:41:45Kann man die aktuellen Wetterinformationen wie z.B. die Temperatur mit dem dwd-Modus auslesen?

Ja, siehe u.a. Screenshot am Ende des FHEM Wiki-Artikels zum DWD-Modul (https://wiki.fhem.de/wiki/DWD_OpenData).
Titel: Aw: Modul für DWD Open Data
Beitrag von: matze1999 am 26 November 2023, 12:08:41
Zitat von: jensb am 25 November 2023, 17:12:53@DJCrazy, matze1999

In Zeile 1258 von 99_DWD_OpenData_Weblink.pm steht:

my $theme = ::AttrVal($name, 'theme', undef) eq 'dark'? THEME_DARK : THEME_LIGHT;
Eine schnelle Lösung besteht also darin, das "theme"-Attribut im FHEM Modul anzulegen.

Grüße,
Jens

Hallo, danke, die o.g. Warnung ist nun weg, aber es gibt eine neue aus 98_HTTPMOD.pm:

2023.11.26 12:04:03 1: PERL WARNING: Use of uninitialized value $val in concatenation (.) or string at ./FHEM/98_HTTPMOD.pm line 1705.
2023.11.26 12:04:03 1: stacktrace:
2023.11.26 12:04:03 1:     main::__ANON__                      called by ./FHEM/98_HTTPMOD.pm (1705)
2023.11.26 12:04:03 1:     HTTPMOD::ExtractReading             called by ./FHEM/98_HTTPMOD.pm (2439)
2023.11.26 12:04:03 1:     HTTPMOD::ReadCallback               called by FHEM/HttpUtils.pm (755)
2023.11.26 12:04:03 1:     main::__ANON__                      called by fhem.pl (781)
2023.11.26 12:04:03 1: PERL WARNING: Use of uninitialized value $val in unpack at ./FHEM/98_HTTPMOD.pm line 1706.
2023.11.26 12:04:03 1: stacktrace:
2023.11.26 12:04:03 1:     main::__ANON__                      called by ./FHEM/98_HTTPMOD.pm (1706)
2023.11.26 12:04:03 1:     HTTPMOD::ExtractReading             called by ./FHEM/98_HTTPMOD.pm (2439)
2023.11.26 12:04:03 1:     HTTPMOD::ReadCallback               called by FHEM/HttpUtils.pm (755)
2023.11.26 12:04:03 1:     main::__ANON__                      called by fhem.pl (781)

matze1999
Titel: Aw: Modul für DWD Open Data
Beitrag von: isy am 07 Dezember 2023, 16:55:08
Hallo zusammen,
ich steige gerade in das DWD Modul ein, nachdem UWZ immer weniger Daten mehr liefert.
Die Suchfunktion hat nichts ergeben.

Daher meine Frage, ob es die Möglichkeit gibt (oder hat das einer von euch umgesetzt), die Warnkarte (als Grafik) eines Bundeslandes anzuzeigen.
Siehe auch https://www.dwd.de/DE/wetter/warnungen_gemeinden/warnkarten/warnWetter_hes_node.html?bundesland=hes

VG Helmut
Titel: Aw: Modul für DWD Open Data
Beitrag von: juppzupp am 09 Dezember 2023, 18:30:38
Hi,

ich bin auch dabei von UWZ zu DWD zu "migirieren". Mir geht's auch nur um die Warnungen. dabei steh ich aber jetzt irgendwie auf dem Schlauch.
Dachte mit :
attr DWD event-on-change-reading a_0_headline
und einem simplen doif :
defmod Push_Unwetter DOIF ([DWD:a_0_headline]) (set teleBot msg [DWD:a_0_headline] bis [DWD:a_0_expires])
attr Push_Unwetter do always
Wär's getan, aber das löst jetzt wirklich *always* aus.
Was übersehe ich, oder wie habt ihr es gelöst ?
Danke
Titel: Aw: Modul für DWD Open Data
Beitrag von: Felix_86 am 09 Dezember 2023, 19:28:18
Hallo,

Zitat von: juppzupp am 09 Dezember 2023, 18:30:38Hi,

ich bin auch dabei von UWZ zu DWD zu "migirieren". Mir geht's auch nur um die Warnungen. dabei steh ich aber jetzt irgendwie auf dem Schlauch.
Dachte mit :
attr DWD event-on-change-reading a_0_headline
und einem simplen doif :
defmod Push_Unwetter DOIF ([DWD:a_0_headline]) (set teleBot msg [DWD:a_0_headline] bis [DWD:a_0_expires])
attr Push_Unwetter do always
Wär's getan, aber das löst jetzt wirklich *always* aus.
Was übersehe ich, oder wie habt ihr es gelöst ?
Danke

Das Problem hatte ich auch. Einige Notify haben ständig (alle 15 Minuten) ausgelöst, obwohl das entsprechende Reading im Attribut "event-on-change-reading" eingetragen war.

Ich weiß es nicht, aber ich habe den Verdacht, dass bei jeder Abfrage / Aktualisierung (also alle 15 Minuten - leider kann man den Intervall nicht definieren oder ich habe den Parameter nicht gefunden) alle Readings mit der Bezeichnung "a_<Zahl>_.*" gelöscht und neu erstellt werden. Damit ergibt sich tatsächlich bei jeder Abfrage / Aktualisierung ein Change und das Notify oder in deinem Fall das DOIF laufen ständig los.

Ich habe mir beholfen, indem ich in meinen Notifies nur noch auf das Reading "a_count" reagiere. Das scheint bei jeder Abfrage / Aktualisierung erhalten zu bleiben. Damit lösen die Notifies nur noch aus, wenn sich "a_count" ändert - was für mich gut funktioniert. Weitere Infos muss ich mir im Notify dann ggf. per ReadingsVal holen und kann sie nicht mehr aus dem Event ziehen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: juppzupp am 09 Dezember 2023, 19:42:41
Zitat von: Felix_86 am 09 Dezember 2023, 19:28:18Ich habe mir beholfen, indem ich in meinen Notifies nur noch auf das Reading "a_count" reagiere. Das scheint bei jeder Abfrage / Aktualisierung erhalten zu bleiben. Damit lösen die Notifies nur noch aus, wenn sich "a_count" ändert - was für mich gut funktioniert. Weitere Infos muss ich mir im Notify dann ggf. per ReadingsVal holen und kann sie nicht mehr aus dem Event ziehen.

Wenn sich aber jetzt die Headline von "windböen" auf "hochwasser" ändert, der count aber gleich bleibt, gibts auch keine meldung.
Titel: Aw: Modul für DWD Open Data
Beitrag von: frank am 09 Dezember 2023, 20:50:35
schon mal mit einem zusätzlichen userreading probiert?
Titel: Aw: Modul für DWD Open Data
Beitrag von: juppzupp am 09 Dezember 2023, 21:50:22
Das hab ich gerade Mal probiert, sieht so aus als ob es klappt. Empfinde ich aber als "unsexy workaround"
Titel: Aw: Modul für DWD Open Data
Beitrag von: Felix_86 am 10 Dezember 2023, 15:56:11
Zitat von: juppzupp am 09 Dezember 2023, 19:42:41Wenn sich aber jetzt die Headline von "windböen" auf "hochwasser" ändert, der count aber gleich bleibt, gibts auch keine meldung.

Das stimmt wohl, halte ich aber in meinem Fall für vernachlässigbar. Dass eine einzige Warnung in dem Moment kommt / beginn, wo die vorherige einzige Warnung ausläuft / ihr Ende hat halte ich für eher unwahrscheinlich und wenn doch, wird das im Jahr nur eine Hand voll Mal vorkommen.
Aktuell habe ich Unterschiede von +/- 1-2 Warnungen, daher komme ich mit dem Change-Event für das Reading a_count gut hin.

Nachtrag:
Interessanterweise hatte ich heute den Fall, dass trotz unverändertem Wert bei "a_count" (2) und dem gesetzten Attribut event-on-change-reading für das Reading "a_count" ich eine zweite Benachrichtigung über die gleichen 2 Warnungen mit dem gleichen Text und den gleichen Informationen erhalten habe, auch ohne offensichtliche Änderung der Anzahl von "a_count".
Titel: Aw: Modul für DWD Open Data
Beitrag von: juppzupp am 12 Dezember 2023, 10:36:42
ich hab's jetzt erstmal so gemacht :
attr DWD event-on-change-reading myAlarm0,myAlarm1,myAlarm2
attr DWD userReadings myAlarm0 {ReadingsVal("DWD","a_0_headline","")},myAlarm1 {ReadingsVal("DWD","a_1_headline","")},myAlarm2 {ReadingsVal("DWD","a_2_headline","")}

und nehm dann im doif (mit do always) halt die myAlarm Meldung
Titel: Aw: Modul für DWD Open Data
Beitrag von: frank am 12 Dezember 2023, 11:58:12
Zitat von: juppzupp am 12 Dezember 2023, 10:36:42ich hab's jetzt erstmal so gemacht :
attr DWD event-on-change-reading myAlarm0,myAlarm1,myAlarm2
attr DWD userReadings myAlarm0 {ReadingsVal("DWD","a_0_headline","")},myAlarm1 {ReadingsVal("DWD","a_1_headline","")},myAlarm2 {ReadingsVal("DWD","a_2_headline","")}

und nehm dann im doif (mit do always) halt die myAlarm Meldung


du solltest unbedingt auch den trigger für userreadings nutzen, sonst wird jedes userreading für jedes event deines dwd devices berechnet.

ungetestetes beispiel:
Zitatattr DWD userReadings myAlarm0:a_0_headline:.* {ReadingsVal("DWD","a_0_headline","")}
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 13 Dezember 2023, 22:59:18
Zitat von: matze1999 am 26 November 2023, 12:08:41Hallo, danke, die o.g. Warnung ist nun weg, aber es gibt eine neue aus 98_HTTPMOD.pm:

Es gibt keinen direkten Zusammenhang zwischen DWD_OpenData_Weblink und HTTPMOD. Das hat eher etwas mit deiner Konfiguration für HTTPMOD zu tun. Vielleicht greifst du auf ein Reading zu, das nicht immer definiert ist. Du kannst dir die im Stacktracke angegebenen Zeile im  Modul-Quelltext anschauen, vielleicht hilft das schon. Aber sehr wahrscheinlich gehört das Problem nicht hierher.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 13 Dezember 2023, 23:40:45
Zitat von: Felix_86 am 09 Dezember 2023, 19:28:18... ich habe den Verdacht, dass bei jeder Abfrage / Aktualisierung (also alle 15 Minuten ...

Das funktioniert auch genau so, siehe Modulhilfe: "Note that all alert readings are completely replaced and reindexed with each update! "

Hintergrund: Die Warnungen vom DWD sind eine Liste. Der Umfang der Liste kann sich mit jeder Abfrage beim DWD ändern (sowohl Anzahl, Inhalt und Reihenfolge). Man könnte versuchen, die Häufigkeit des Löschens/Neuanlegens leicht zu reduzieren, wenn zwei aufeinander folgende Listenabfragen diesbezüglich gleich sind. Aber das prinzipielle Problem lässt sich schwer vermeiden. Früher oder später ändert sich auf jeden Fall etwas. Beispiel: Meldung 2 entfällt und Meldung 3 wird neue Meldung 2. Hier fehlt die Möglichkeit, die Meldung als Objekt zu handhaben, statt sie über einen Index zur Verfügung zu stellen. Prinzipiell wäre es möglich, den Eventcode (z.B. 22) oder den Eventnamen (z.B. Frost) statt des Index im Reading-Namen zu verwenden. Das würde ein Aktualisieren der Readings ohne Löschen erlauben, solange die Meldung ansteht, egal wieviele Meldungen insgesamt gerade anliegen. Aber dann kann man nicht mehr mit einer Schleife auf die Readings zugreifen, zumindest nicht, ohne eine Liste der aktuell anstehenden Eventcodes bzw. Eventnamen als zusätzliche Readings zur Verfügung zu stellen.

Zitat von: Felix_86 am 09 Dezember 2023, 19:28:18... leider kann man den Intervall nicht definieren oder ich habe den Parameter nicht gefunden) alle Readings mit der Bezeichnung "a_<Zahl>_.*" gelöscht und neu erstellt werden ...

Wer die 15 Minuten für die Aktualisierung ändern möchte, kann das in der Funktion "Timer" ab Zeile 1071 des DWD-Moduls machen. Das ist allerdings nicht ganz trivial, da es nicht reicht, aus der 15 in Zeile 1079 eine andere Zahl zu machen. Wenn mir jemand einen guten Grund nennt, warum man einen bestimmten anderen Wert verwenden sollte ohne die Aktualität und die Systemlast nachteilig zu ändern, würde ich das übernehmen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: holle75 am 17 Dezember 2023, 14:44:18
@jensb, @mumpitzstuff

wir haben damals hier https://forum.fhem.de/index.php?topic=83097.msg877628#msg877628 geschnattert. Was mir komplett entfallen war (ist ja dann doch ne Weile her) und ich jetzt bei der Suche bzgl. der aktuellen Herausforderung wieder gefunden habe.

Die letzten Jahre war ich erst "auf" Proplanta, dann DarkSky, dann VisualCrossing, jetzt würde ich gerne OpenMeteo für eine Zeit mit VisualCrossing vergleichen um evtl. einen Umstieg einzuleiten. DWD ist mir hier in Mittelitalien zu ungenau (vor langer Zeit getestet, vielleicht wäre es jetzt anders) und/aber mein ganzes System ist auf die Rohdaten über HTTPMOD ausgelegt (wir betreiben hier Landwirtschaft und da sind Wetterdaten essentiell ... und auch dementsprechend vielseitig integriert). Das würde ich ungern alles umbauen.

Warum ich eigentlich schreibe: Ich bekomme seit 2 Tagen mumpitzstuff´s (was ich dachte hätte @Frank ursprünglich gebaut) logproxy myUtil Sub nicht umgearbeitet (für DarkSky und VisualCrossing hatte ich es, wie auch immer, hinbekommen) um auch für OpenMeteo (https://open-meteo.com/en/docs) mir meinen Plot zu generieren. RegEx und Perl mögen mich nicht.

Eine etwas unverschämte Frage, aber hätte einer von euch 15 Minuten Zeit? Die Daten kommen wirklich schön in Stunden benannt und separiert. Also wahrscheinlich einfach, wenn man weiß was man tut. Falls, liefere ich die Kerninfos.

Damit auch andere etwas davon hätten (die nicht hauptsächlich in D ihre Zeit verbringen. Ein paar Pages weiter vorne las ich etwas von einem evtl. zu integrierendem spanischen Daten-Provider?) schreibe ich gerne hier https://forum.fhem.de/index.php?topic=132792.msg1297096#msg1297096 eine Zusammenfassung. OpenMeteo macht auf den ersten (neuen) Blick einen ziemlich guten Eindruck.

Grüße!
H.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 Dezember 2023, 17:23:37
Wenn ich dich recht verstanden habe, dann hast du mittels Httpmod die erforderlichen Daten in ein Logfile geschrieben und versuchst nun mittels Logproxy ein Diagramm daraus zu basteln? Und die Erstellung des Diagramms klappt nicht?
Dann lade doch mal so ein Logfile hoch und was du sonst schon versucht hast, dann muss man nicht von vorn anfangen und hoffentlich nur den Fehler finden.
Titel: Aw: Modul für DWD Open Data
Beitrag von: holle75 am 17 Dezember 2023, 18:02:17
Exakt! Vielen Dank für deine Antwort

Ich habe mich an meiner hingeschusterten Version von VisualCrossing als Kopie versucht. Warum diese funktioniert ist mir auch schon nicht klar. Trial and Error damals ;)

Device, SVG Plot, etc ist mir, denke ich, bewußt was zu tun ist, nur die Sub bringt mich um den Verstand.

Das ist sehr wilder StatusQuo, die RegEx macht überhaupt nicht was ich will und da mir die ganze Function unverständlich ist kasper ich im Dunklen rum. Auch ist wahrscheinlich die Hälfte überflüssig und den eher komplizierteren Daten von DWD in eurer Sub geschuldet. Es gibt sogar ein "hourly_time_128: 2023-12-22T08:00" als Zeit für die jeweilige Stunde/Reading:

sub logProxy_WetterOpenMeteo2Plot($$$$;$$) {
    my ($device, $fcValue, $from, $to, $fcHour, $expMode) = @_;
    my $regex;
    my @rl;
    my $hdmreading;
    my $hdmtime;
  
    return undef if(!$device);

if ($fcValue =~ s/_$//)
        {
            $regex = "^hourly_".$fcValue."_[\\d]+\$";
        }
   
    $fcHour = 12 if(!defined $fcHour);
    $expMode = "point" if(!defined $expMode);

#Log3 undef,2, "regex: ".$regex;
#Log3 undef,2, "FCvalue: ".$fcValue;

    if( defined($defs{$device}) ) {
        if( $defs{$device}{TYPE} eq "HTTPMOD" ) {
            @rl = sort{
                my ($an) = ($a =~ m/hourly.*_(\d+):.*/);
#Log3 undef,2, "an: ".$an;
#Log3 undef,2, "a: ".$a;
                my ($bn) = ($b =~ m/hourly.*_(\d+):.*/);
                $an <=> $bn or $a cmp $b;
                }( grep /${regex}/,keys %{$defs{$device}{READINGS}} );
            return undef if( !@rl );
        } else {
            Log3 undef, 2, "logProxy_WetterOpenMeteo2Plot: $device is not a HTTPMOD device";
            return undef;
        }
    }
#Log3 undef,2, Dumper(@rl);

    my $fromsec = SVG_time_to_sec($from);
    my $tosec   = SVG_time_to_sec($to);
    my $sec = $fromsec;
    my ($h,$hdmsec,$hdmmin,$hdmhour,$hdmmday,$hdmmon,$hdmyear,$hdmwday,$hdmyday,$hdmisdst);
    my $timestamp;
  
    my $reading;
    my $value;
    my $prev_value;
    my $min = 999999;
    my $max = -999999;
    my $ret = "";

    # while not end of plot range reached
    while(($sec < $tosec) && @rl) {
        #remember previous value for start of plot range
        $prev_value = $value;

        $reading = shift @rl;
       
        ($h) = $reading =~ m/^hourly.*_(\d+):.*/;
       

        $value = ReadingsVal($device,$reading,undef);

#Log3 undef,2, "reading: ".$reading;
#Log3 undef,2, "h: ".$h;
        use Date::Parse;
        $hdmreading = ReadingsVal($device, "hourly_time_".$h ,undef);

#Log3 undef,2, "hdmvorCONV: ".$hdmreading;
        $hdmtime = str2time($hdmreading);
       
       
#Log3 undef,2, "hdmreading: ".$hdmreading;
#Log3 undef,2, "hdmtime: ".$hdmtime;
       
       
        #($hdmsec, $hdmmin, $hdmhour, $hdmmday, $hdmmon, $hdmyear, $hdmwday, $hdmyday, $hdmisdst) = localtime(ReadingsVal($device, "hfc".$h."_time",undef));
        ($hdmsec, $hdmmin, $hdmhour, $hdmmday, $hdmmon, $hdmyear, $hdmwday, $hdmyday, $hdmisdst) = localtime($hdmtime);       
 
        # necessary conversion of $mon and $year
        $hdmmon += 1;
        $hdmyear += 1900;
  
        $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $hdmyear, $hdmmon, $hdmmday, $hdmhour, $hdmmin, $hdmsec);
#Log3 undef,2, "timestamp: ".$timestamp;
        $sec = SVG_time_to_sec($timestamp);
      
        # skip all values before start of plot range
        next if( SVG_time_to_sec($timestamp) < $fromsec );

        # add first value at start of plot range
        if( !$ret && $prev_value ) {
        $min = $prev_value if( $prev_value < $min );
        $max = $prev_value if( $prev_value > $max );
        $ret .= "$from $prev_value\n";
        }

        # done if after end of plot range
        last if($sec > $tosec);

        $min = $value if( $value < $min );
        $max = $value if( $value > $max );

        # add actual controll point
        $ret .= "$timestamp $value\n";

#Log 3, "$timestamp $value -0- $reading";
    }
    if(($sec < $tosec) && !@rl && ($expMode eq "day")) {
        $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $hdmyear, $hdmmon, $hdmmday, 23, 59, 59);
        if(SVG_time_to_sec($timestamp) < $tosec) {
            $ret .= "$timestamp $value\n";
        }
        else {
            $ret .= "$to $value\n";
        }
    }
    elsif(($sec > $tosec) && ($expMode eq "day")) {
           $value = $prev_value + ($value - $prev_value)*(86400 + ($tosec - $sec))/86400;
           $ret .= "$to $value\n";
    }
    return ($ret,$min,$max,$prev_value);
}

angehängt das Logfile vom Device. Da sind jetzt auch noch daily (EDIT: und UNITS ) Readings drin, die man entfernen könnte wenns das komplizierter macht.
Wenn du noch andere Daten brauchst, lass gerne wissen.

Vielen lieben Dank fürs Schauen.

EDIT: Plot angehängt

EDIT2: der Ordnung halber die Devices (lat/lon leicht modifiziert), Logproxy heisst noch immer Proplanta, aber ist ja egal:

defmod WetterOpenMeteo HTTPMOD https://api.open-meteo.com/v1/forecast?latitude=42.70&longitude=11.50&current=temperature_2m,precipitation,weather_code,cloud_cover,wind_speed_10m,wind_direction_10m,wind_gusts_10m&hourly=temperature_2m,precipitation_probability,precipitation,cloud_cover,wind_speed_10m,wind_direction_10m,wind_gusts_10m,soil_temperature_0cm,uv_index,sunshine_duration&daily=weather_code,temperature_2m_max,temperature_2m_min,sunshine_duration,uv_index_max,precipitation_sum,precipitation_probability_max,wind_speed_10m_max,wind_gusts_10m_max,wind_direction_10m_dominant&timezone=Europe%2FBerlin 3600
attr WetterOpenMeteo enforceGoodReadingNames 1
attr WetterOpenMeteo event-on-change-reading .*
attr WetterOpenMeteo extractAllJSON 1
attr WetterOpenMeteo group Wetter
attr WetterOpenMeteo room Wettervorhersage
attr WetterOpenMeteo stateFormat T: current_temperature_2m &deg - Wind: current_wind_speed_10m km/h mit current_wind_gusts_10m km/h Boen aus current_wind_direction_10m Grad


defmod LogproxyWetterProplanta logProxy
attr LogproxyWetterProplanta group Wetter

defmod FileLog_WetterOpenMeteo FileLog ./log/WetterOpenMeteo-%Y-%m-%d.log WetterOpenMeteo
attr FileLog_WetterOpenMeteo group Wetter
attr FileLog_WetterOpenMeteo logtype text
attr FileLog_WetterOpenMeteo nrarchive 3
Titel: Aw: Modul für DWD Open Data
Beitrag von: Felix_86 am 18 Dezember 2023, 13:17:09
Zitat von: jensb am 13 Dezember 2023, 23:40:45Wenn mir jemand einen guten Grund nennt, warum man einen bestimmten anderen Wert verwenden sollte ohne die Aktualität und die Systemlast nachteilig zu ändern, würde ich das übernehmen.
Liegt an meiner persönlichen Einstellung. Ich brauche keine 15 Minuten genauen Informationen. Ich behaupte mal mutig, dass ich in keinem Risikogebiet leben. In den Jahren der Nutzung des UWZ-Moduls war hier der Intervall auf 30 oder gar 60 Minuten gestellt und das reicht mir völlig aus.
Titel: Aw: Modul für DWD Open Data
Beitrag von: holle75 am 18 Dezember 2023, 14:59:39
@mumpitzstuff hats geschafft!

Nochmals vielen Dank.

Auf schnell mal einen Grafikvergleich VisualCrossing vs OpenMeteo, heute Abend arbeite ich den Rest auf.

EDIT: den wird es hier geben https://forum.fhem.de/index.php?topic=132792.msg1297222#msg1297222 ... schon zu sehr im "falschen Thread" genervt. ;)
Titel: Aw: Modul für DWD Open Data
Beitrag von: Felix_86 am 19 Dezember 2023, 16:43:12
Zitat von: holle75 am 18 Dezember 2023, 14:59:39Auf schnell mal einen Grafikvergleich VisualCrossing vs OpenMeteo, heute Abend arbeite ich den Rest auf.

Bleibt jetzt nur die Frage, welcher der beiden Diensten der Realität entsprechend, die genaueren / besseren Werte liefert. Insbesondere bei den Wolken gibt es wohl deutliche Unterschiede. Wie ist hier dein Eindruck, wer stimmt eher?
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 19 Dezember 2023, 22:58:09
Zitat von: Felix_86 am 18 Dezember 2023, 13:17:09... Intervall auf 30 oder gar 60 Minuten ... reicht mir völlig aus.
Nehme ich so mit. Werde dafür ein Attribut einführen - allerdings nicht kurzfristig, da ich gerade noch an etwas anderem arbeite.
Titel: Aw: Modul für DWD Open Data
Beitrag von: holle75 am 20 Dezember 2023, 15:25:12
Zitat von: Felix_86 am 19 Dezember 2023, 16:43:12Bleibt jetzt nur die Frage, welcher der beiden Diensten der Realität entsprechend, die genaueren / besseren Werte liefert. Insbesondere bei den Wolken gibt es wohl deutliche Unterschiede. Wie ist hier dein Eindruck, wer stimmt eher?

Bis jetzt, die Tage, sind die Werte sehr ähnlich (auch Wolken). Open Meteo liefert auch noch Sonnenstunden (VisualCrossing nicht) was ich recht interessant finde. Sympathisch ist bei OpenMeteo, dass man keinen Key braucht und das Ganze vermeintlich OpenSource und ein wenig menschenfreundlicher angedacht scheint. Obs so bleibt? So langsam das "WetterDistributorGewechsel" satt. Die ganze Umbastelei nervt.

Habe den Jungs ins Git auch nochmal die Frage nach den Alerts gehängt. Das ist im Moment (für mich) das einzige was fehlt. Ansonsten wirklich gut gemacht (alleine das Api zusammenklicken finde ich sehr zeitsparend) ... und natürlich, dass es europaweit (auch weltweit?) ist (wieder eher nur für mich interessant).
Titel: Aw: Modul für DWD Open Data
Beitrag von: Raha66 am 27 Dezember 2023, 17:54:32
Hallo Hallo,

Ich habe eine Frage bezüglich der aktuellen Temperatur und Luftfeuchtigkeit, bezieht sich das z.B. fc0_0_TTT auf die aktuelle Temperatur?
weil, wenn ich die measurement Wert in DWD app aussehen, scheint es Abweichung zu sein, ich habe in mehreren Tage und verschiedene Stunden, ähnliche Ergebnisse... oder gibt es eine andere id für aktuelle Temperatur und Luftfeuchtigkeit?
Danke
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 27 Dezember 2023, 18:09:31
Ich bin mir nicht mehr ganz sicher, glaube aber das DWD immer Vergangenheitswerte liefert, als immer wie das Wetter in der Stunde vor dem angegebenen Zeitpunkt gewesen war. Also wenn z.b. fc0_0 auf 00:00 Uhr steht, dann ist das der Zustand von ungefähr 23:30 Uhr. Wegen der minimalen Auflösung von 1h kann man das nicht genauer sagen.
Aber bitte meine Antwort mit Vorsicht genießen, das ist nur das, was ich zu wissen glaube und kann auch falsch sein.

0_0 ist glaube ich auch immer die selbe Urzeit des aktuellen Tages.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 28 Dezember 2023, 20:40:01
Zitat von: Raha66 am 27 Dezember 2023, 17:54:32... oder gibt es eine andere id für aktuelle Temperatur und Luftfeuchtigkeit?
Ist wahrscheinlich klar, aber trotzdem: Die fc-Readings sind alles Vorhersagewerte, haben also nichts mit "aktuell" = Messung zu tun.

Die Zeit zu jedem fcN_M_YYY-Reading ist übrigens ein eigenes Reading namens fcN_M_time.

Wählt man z.B. 2 Stunden Auflösung, dann könnte bei fc0_1_time im Winter in Deutschland "03:00" stehen. Warum? 00:00 + 1 (M) x 2 h (Auflösung) + Zeitverschiebung zu UTC.

Außerdem sind nicht alle Werte an jeder Station im gleichen Zeitraster verfügbar. Das DWD-Modul wählt dann den nächstgelegen Wert oder lässt ihn entfallen, wenn der zeitliche Abstand zu groß wird. Wenn man genau wissen will, welcher Wert welche Zeitauflösung hat, muss man sich die Rohdaten für die eigene Station herunterladen und ansehen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 28 Dezember 2023, 21:25:43
Und jetzt die Gretchenfrage. Könnte man sich jetzt per Userreading oder Funktion in myutils, den aktuellen Vorhersagewert zurück geben lassen? Rein zufällig hatte ich das Problem auch vor kurzem, als ich mir den aktuellen Wert im SVG als Überschrift anzeigen lassen wollte. Das ist mir im ersten Moment auch nicht geglückt.

Deine Erklärung verstehe ich auch noch nicht ganz, denn bei mir steht (1h Auflösung) fc0_0 auf 00:00 Uhr, fc0_1 auf 01:00 Uhr usw. die Uhrzeit entspricht damit aktuell genau der zweiten Zahl.
Um es mal einfach zu machen und von der aktuellen Winterzeit ausgehend (1h Auflösung), welchen Zeitraum bildet fc0_1 bei mir ab, wenn dort 01:00 steht? 00:00-01:00 oder 01:00-02:00? Wenn die Sommer/Winterzeit dort eingeht, steht dann fc0_0 im Sommer tatsächlich auf 01:00 und nicht wie jetzt auf 00:00?
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 29 Dezember 2023, 23:51:54
A) Welche Zeit ist richtig?
Wenn es auf den Zeitzonenoffset ankommt wird es richtig spannend. Ich verwende forecastResolution=3 und bei mir ist fc0_0_time=01:00 bzw. fc0_1_time=04:00. Außerdem sehe ich die aktuelle Uhrzeit, wenn ich in die FHEM-Kommandozeile {localtime()} eingebe (siehe entsprechende Hinweise in der Modulhilfe).

Da die Daten vom DWD UTC-bezogen sind und der DWD-Vorhersagetag bei 00:00 UTC = 01:00 Europe/Berlin beginnt, erscheint mir das so stimmig. Wenn bei jemandem fc0_0_time=00:00 ist, dann ist er entweder tatsächlich in der nächsten Zeitzone oder FHEM sieht nicht die richtigen Zeitzonendaten, was der Test mit localtime klarstellen sollte.

B) Wie kommt man an das "aktuelle" Forecast-Reading?
Die Lösung steckt im DWD_OpenData_Weblink. Es wählt für das 1. Icon das nächstgelegene Reading aus.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 30 Dezember 2023, 01:52:01
Uff jetzt werde ich unsicher. Also localtime liefert genau die Zeit wie sie sein sollte. Meine Forecast Station ist 10738 (bei Stuttgart) und stimmt somit auch. Forecastresolution steht auf 1.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 31 Dezember 2023, 00:05:37
Werde versuchen das bei mir Nachzustellen, aber nicht heute sondern nächstes Jahr ;D

Guten Rutsch!
Titel: Aw: Modul für DWD Open Data
Beitrag von: Dirk070 am 03 Januar 2024, 11:29:06
Ein frohes neues Jahr!!

Eine kurze Frage, ich würder gerne die prognostizierte Regenmenge für den aktuellen Tag ermitteln.
Dazu hatte ich um 23:59 den Wert fc1_RRdc in ein UserReading kopiert.

Zum Vergleich habe ich die Werte der selben Wetterstation in der App Warnwetter des DWD herangezogen.
Diese differieren deutlich. Habe ich einen falschen Ansatz gewählt?

Danke vorab und schöne Grüße
Dirk
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 Januar 2024, 22:14:41
Zitat von: Dirk070 am 03 Januar 2024, 11:29:06... Diese differieren deutlich. Habe ich einen falschen Ansatz gewählt?

Da kann ich nur spekulieren. RRdc ist die vorhergesagte Niederschlagsmenge der letzten 24h. Übernimmt man RRdc vom Folgetag (fc1_RRdc) kurz vor Tagesende in ein Userreading, sollte das die wahrscheinliche Regenmenge für den neuen Tag werden.

Gehe davon aus, dass die Prognosedaten über die OpenData Schnittstelle und die Daten für die App nicht auf die gleichen Werte zurückgreifen. Genaueres kann man vielleicht beim DWD erfahren (opendata at dwd.de).

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 04 Januar 2024, 23:46:06
@Dirk070

Habe mir mal meine RR Readings angesehen. Die RR3c und RR6c sind untereinander stimmig, wenn man den Zeitbezug richtig berücksichtigt. Der Wert kommt mit der letzten Stunde und gilt für die entsprechenden davor liegenden Stunden.

Habe RRdc selbst nicht dabei, aber es ist doch eine Stunden-Eigenschaft und keine Tages-Eigenschaft. Du könntest also statt fc1_n_RRdc direkt fc0_n_RRdc verwenden, denn der wird über den Tag weiter aktualisiert, wenn sich etwas ändert.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: matze1999 am 09 Januar 2024, 08:00:03
Hallo,

ich hab das hier (https://forum.fhem.de/index.php?topic=136546.msg1299159#msg1299159) schon mal gefragt, wund habe diese Antwort bekommen:

Zitatdie 99_DWD_OpenData_Weblink.pm ist keine Datei aus der offiziellen FHEM Distribution, deshalb es schwierig bis unmöglich, dafür support zu leisten.

Das Problem:

2024.01.06 16:58:48 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2024.01.06 16:58:48 1: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_GeneratorDD") }
2024.01.06 16:58:48 1: stacktrace:
2024.01.06 16:58:48 1:     main::__ANON__                      called by ./FHEM/99_Utils.pm (21)
2024.01.06 16:58:48 1:     main::time_str2num                  called by ./FHEM/99_DWD_OpenData_Weblink.pm (734)
2024.01.06 16:58:48 1:     DWD_OpenData_Weblink::PrepareForecastData called by ./FHEM/99_DWD_OpenData_Weblink.pm (1126)
2024.01.06 16:58:48 1:     DWD_OpenData_Weblink::GetForecastHtmlH called by ./FHEM/99_DWD_OpenData_Weblink.pm (1261)
2024.01.06 16:58:48 1:     DWD_OpenData_Weblink::AsHtmlH       called by (eval 2470844) (1)
2024.01.06 16:58:48 1:     (eval)                              called by fhem.pl (1177)
2024.01.06 16:58:48 1:     main::AnalyzePerlCommand            called by ./FHEM/98_weblink.pm (106)
2024.01.06 16:58:48 1:     main::weblink_FwFn                  called by ./FHEM/01_FHEMWEB.pm (3463)
2024.01.06 16:58:48 1:     main::FW_devState                   called by ./FHEM/01_FHEMWEB.pm (1942)
2024.01.06 16:58:48 1:     main::FW_makeDeviceLine             called by ./FHEM/01_FHEMWEB.pm (2118)
2024.01.06 16:58:48 1:     main::FW_showRoom                   called by ./FHEM/01_FHEMWEB.pm (1205)
2024.01.06 16:58:48 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (609)
2024.01.06 16:58:48 1:     main::FW_Read                       called by fhem.pl (3985)
2024.01.06 16:58:48 1:     main::CallFn                        called by fhem.pl (786)

matze1999
Titel: Aw: Modul für DWD Open Data
Beitrag von: frank am 09 Januar 2024, 08:41:20
Zitat von: matze1999 am 09 Januar 2024, 08:00:03Hallo,

ich hab das hier (https://forum.fhem.de/index.php?topic=136546.msg1299159#msg1299159) schon mal gefragt, wund habe diese Antwort bekommen:

Zitatdie 99_DWD_OpenData_Weblink.pm ist keine Datei aus der offiziellen FHEM Distribution, deshalb es schwierig bis unmöglich, dafür support zu leisten.

Das Problem:

2024.01.06 16:58:48 1: PERL WARNING: Use of uninitialized value in subroutine entry at ./FHEM/99_Utils.pm line 21.
2024.01.06 16:58:48 1: eval: { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_GeneratorDD") }
2024.01.06 16:58:48 1: stacktrace:
2024.01.06 16:58:48 1:     main::__ANON__                      called by ./FHEM/99_Utils.pm (21)
2024.01.06 16:58:48 1:     main::time_str2num                  called by ./FHEM/99_DWD_OpenData_Weblink.pm (734)
2024.01.06 16:58:48 1:     DWD_OpenData_Weblink::PrepareForecastData called by ./FHEM/99_DWD_OpenData_Weblink.pm (1126)
2024.01.06 16:58:48 1:     DWD_OpenData_Weblink::GetForecastHtmlH called by ./FHEM/99_DWD_OpenData_Weblink.pm (1261)
2024.01.06 16:58:48 1:     DWD_OpenData_Weblink::AsHtmlH       called by (eval 2470844) (1)
2024.01.06 16:58:48 1:     (eval)                              called by fhem.pl (1177)
2024.01.06 16:58:48 1:     main::AnalyzePerlCommand            called by ./FHEM/98_weblink.pm (106)
2024.01.06 16:58:48 1:     main::weblink_FwFn                  called by ./FHEM/01_FHEMWEB.pm (3463)
2024.01.06 16:58:48 1:     main::FW_devState                   called by ./FHEM/01_FHEMWEB.pm (1942)
2024.01.06 16:58:48 1:     main::FW_makeDeviceLine             called by ./FHEM/01_FHEMWEB.pm (2118)
2024.01.06 16:58:48 1:     main::FW_showRoom                   called by ./FHEM/01_FHEMWEB.pm (1205)
2024.01.06 16:58:48 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (609)
2024.01.06 16:58:48 1:     main::FW_Read                       called by fhem.pl (3985)
2024.01.06 16:58:48 1:     main::CallFn                        called by fhem.pl (786)

matze1999


du solltest es wenigstens mal mit den aktuellen modulen probiert haben:
https://github.com/jnsbyr/fhem/tree/master/FHEM (https://github.com/jnsbyr/fhem/tree/master/FHEM)
Titel: Aw: Modul für DWD Open Data
Beitrag von: matze1999 am 09 Januar 2024, 18:04:39
so, aktuelles modul eingespielt, svg wird nicht mehr erstellt:

2024.01.09 18:02:50 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_GeneratorDD") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 1967) line 1.


matze1999
Titel: Aw: Modul für DWD Open Data
Beitrag von: matze1999 am 09 Januar 2024, 18:46:13
Zitat von: matze1999 am 09 Januar 2024, 18:04:39so, aktuelles modul eingespielt, svg wird nicht mehr erstellt:

2024.01.09 18:02:50 1: ERROR evaluating { DWD_OpenData_Weblink::AsHtmlH("DWD_Weblink_GeneratorDD") }: Undefined subroutine &DWD_OpenData_Weblink::AsHtmlH called at (eval 1967) line 1.


matze1999

mein Fehler, der Downlaod war nicht komplett :-( jetzt geht es, Warnung und Fehler ist weg. Danke!

matze1999
Titel: Aw: Modul für DWD Open Data
Beitrag von: betateilchen am 09 Januar 2024, 20:34:08
/offtopic:

Zitatdu solltest es wenigstens mal mit den aktuellen modulen probiert haben:

Eine Moduldatei, die über define ein device anlegt, sollte nicht mit 99_ beginnen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 10 Januar 2024, 22:38:36
Zitat von: betateilchen am 09 Januar 2024, 20:34:08Eine Moduldatei, die über define ein device anlegt, sollte nicht mit 99_ beginnen.
Danke für den Hinweis, erklärt die z.T. merkwürdigen Fehler beim Start.

Habe das Modul in 98_DWD_OpenData_Weblink.pm umbenannt. Die neue Version 2.16.5 kann man von GitHub (https://github.com/jnsbyr/fhem/raw/master/FHEM/98_DWD_OpenData_Weblink.pm) mit "Link-Ziel speichern unter ..." herunterladen. Altes Modul 98_DWD_OpenData_Weblink.pm aus dem FHEM-Unterordner löschen und in der FHEM-Kommandozeile "reload 98_DWD_OpenData_Weblink" eingeben, wenn man nicht neu starten will. Anpassung der Wiki folgt ...

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: Dirk070 am 11 Januar 2024, 13:30:09
Zitat von: jensb am 04 Januar 2024, 23:46:06@Dirk070

Habe mir mal meine RR Readings angesehen. Die RR3c und RR6c sind untereinander stimmig, wenn man den Zeitbezug richtig berücksichtigt. Der Wert kommt mit der letzten Stunde und gilt für die entsprechenden davor liegenden Stunden.

Habe RRdc selbst nicht dabei, aber es ist doch eine Stunden-Eigenschaft und keine Tages-Eigenschaft. Du könntest also statt fc1_n_RRdc direkt fc0_n_RRdc verwenden, denn der wird über den Tag weiter aktualisiert, wenn sich etwas ändert.

Grüße,
Jens

Danke Jens. Ich suche im Sinne eines Forecast die Vorhersage der Regenmenge für den Folgetag (oder die Folgetage).
Für die Werte über den Tag lese ich meinen Regenmesser (Netatmo) aus.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 21 Januar 2024, 19:59:28
@Dirk070

Zitat von: Dirk070 am 03 Januar 2024, 11:29:06... ich würde gerne die prognostizierte Regenmenge für den aktuellen Tag ermitteln ...

Zitat von: Dirk070 am 11 Januar 2024, 13:30:09... Ich suche im Sinne eines Forecast die Vorhersage der Regenmenge für den Folgetag (oder die Folgetage)...

Widerspruch? :o

Dass die Werte für den Folgetag mit fc1_ anfangen ist wahrscheinlich klar. Bleibe auch dabei, dass Differenzen zwischen verschiedenen DWD-Anwendungen nur vom DWD erklärt werden können. Natürlich kann der DWD nichts zum FHEM-Modul selbst sagen, aber die Werte von OpenData stammen nun mal vom DWD und das FHEM-Modul macht sie "nur" verfügbar.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Dirk070 am 23 Januar 2024, 17:22:47
Danke Dir und ja, der Präfix fc1_ ist klar.

Um 23:59 Uhr weise ich die Variablen wie folgt zu:

my $RegenHeute=ReadingsVal("DWD", "fc1_RRdc", "");;
my $RegenRisikoHeute=ReadingsVal("DWD", "fc1_Rd00", "");;
fhem("setreading DWD RainToday $RegenHeute");;
fhem("setreading DWD RainRiskToday $RegenRisikoHeute");;

Ich verstehe, dass nur der DWD die Datenherkunft, -qualität etc. benennen kann.
Ich hatte hier angefragt um sicherzustellen, dass die Logik in Ordnung ist.
Aktuell liegen die Werte aus der WarnApp und OpenData nur noch minimal auseinander.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 24 Januar 2024, 20:51:35
Zitat von: Dirk070 am 23 Januar 2024, 17:22:47Ich hatte hier angefragt um sicherzustellen, dass die Logik in Ordnung ist.
Wenn du ein paar Minuten investierst, kannst du dich selbst davon überzeugen. Lies die Modulhilfe in Ruhe durch. Da findest du auch den Link mit der URL, über die sich das Modul die Daten besorgt. Der Verzeichnisname ist deine Stationskennung. Das Dateiformat ist eine gezippte XML. Einfach *.kmz in *.zip umbenennen, auspacken und anschauen.

Viel Spaß!
Titel: Aw: Modul für DWD Open Data
Beitrag von: Fredi69 am 05 Februar 2024, 18:54:37
Kann mir jemand auf die Sprünge helfen warum ich seit heute folgende Meldung im Log habe?
ERROR - device "DWD" -> attribute "forecastProperties" must contain: TTT,Neff,R101,ww,SunUp,SunRise,SunSet, ERROR - device "DWD" -> attribute "forecastResolution" must be set to "1"
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 10 Februar 2024, 21:21:53
@Fredi69,
die Meldung kommt durch eine Prüfung in meinem SolarForecast-Modul. Der (noch aktuelle) Thread dazu: https://forum.fhem.de/index.php?topic=117864.0
 
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 10 Februar 2024, 21:37:18
Hallo jensb,

ich benutze die Daten aus deinem DWD Modul als Input für verschiedene Werte im SolarForecast Modul.

Wenn ich es richtig sehe, verwendest du die MOSMIX_L Stationen als Wertelieferanten. Laut DWD werden die MOSMIX_L  allerdings nur 4 x täglich aktualisiert (Quelle (file:///C:/Users/Heiko/Downloads/Firefox/mosmix_verfahrenbeschreibung_gesamt.pdf%3bjsessionid=C7330C5BE4CD306A8F87E31E0D567EB1-1.pdf) Abschnitt 2.1.5). Schnelle Wetteränderungen kommen so aller Voraussicht nach nicht zur Geltung.

Siehst du eine Möglichkeit alternativ die gewählte Station aus MOSMIX_S zu verwenden, sofern sie dort vorhanden ist?  MOSMIX_S wird 1 x pro Stunde aktualisiert (https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/).

Im File MOSMIX_S_LATEST_240.kmz steckt halt alles drin und es ist dementspechend groß. Da du aber ohnehin BlockingCall verwendest, könnte es vllt. machbar sein. Wie denkst du darüber?
Wäre eine super Sache dadurch sehr aktuelle Werte zu bekommen.

Danke und LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 15 Februar 2024, 19:20:55
Hallo Heiko,

kann mich nicht entsinnen, dass es MOSMIX_S schon gab, als das Modul entstanden ist. Habe mich entsprechend noch nicht mit dem Inhalt beschäftigt. Wenn der Aufbau der Daten von MOSMIX_S dem von MOSMIX_L entspricht und sich "nur" die Aktualisierungshäufigkeit unterscheidet, dann sollte die Anpassung eher einfach sein. Du kannst es gern schon ausprobieren, einfach im Modul den URL-Prefix auf MOSMIX_S ändern.

Ist der Datenaufbau oder der Datenumfang doch anders, muss man ein bisschen Zeit investieren. Werde mir das ansehen, wird aber ein paar Tage dauern.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 15 Februar 2024, 19:24:32
Vielen Dank Jens!  :)

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 15 Februar 2024, 20:40:50
Habe es mal stumpf ausprobiert. Download klappt, aber da das File alle Stationen enthält (ist auch sehr groß) ist die Struktur nicht identisch. Jedenfalls wird mein Standort als TROMSOE geparst.  ;D
Aber ich bin optimistisch, dass du ein angepasstes Parsing einbauen kannst.

Die Download Url wäre:

Zitat# get forecast for station from DWD server
  my $url = 'https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz';
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2024, 21:59:12
Hallo Heiko,

der DWD beschreibt MOSMIX hier: https://www.dwd.de/DE/leistungen/met_verfahren_mosmix/met_verfahren_mosmix.html

MOSMIX S (24x täglich) hat also nur 40 Parameter, während MOSMIX L (4x täglich) 115 Parameter hat.

Und, wie du schon festgestellt hast, enthält MOSMIX S alle Stationen in einer Datei, die ca. 40 MB groß ist. Dekomprimiert ergibt das dann ca. 700 MB. Wenn man das stündlich abarbeitet und die 40 + 700 MB vorübergehend auf der SD eines Pi landen, dann geht das deutlich mehr auf die Lebensdauer der SD als bei MOSMIX L. Wenn /tmp als RAM-Disk konfiguriert ist, kommt es darauf an, wie viel RAM da ist. Wenn es schon knapp ist, dann bleibt der Pi wahrscheinlich stecken. Es wird auch sehr viel mehr CPU-Leistungen benötigt, denn die 700 MB müssen durchgelesen werden, bis alle Daten für die gewünschte Station gefunden sind. Im Endeffekt wäre es aber eine Entscheidung des Anwenders, ob er sich für S oder L entscheidet.

Für die Erweiterung des DWD OpenData Moduls auf MOSMIX S fallen folgende Arbeiten an:


In einer erweiterten Version könnte ich mir auch vorstellen, sowohl S und L zu lesen und zu mischen, damit man immer alle Parameter hat.

Bleibt die Frage, wer sich an die Arbeit macht - schätze es werden ca. 16..20 h für die "einfache" Version (S oder L).

Wie viele User haben Interesse an dieser Erweiterung ("Gefällt mir" verwenden) und würde jemand einen Patch erstellen können?

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 16 Februar 2024, 22:59:56
Hallo Jens,

danke für deine Einschätzung/Bewertung.
Dass MOSMIX S im Gegensatz zu MOSMIX L weniger Paramter hat, war mir auch schon aufgefallen. Speziell bzgl. des genannten Einsatzfalles (SolarForecast) passt das.
Natürlich ist dieser Umstand in einem Modul welches beide MOSMIX Varianten abbilden soll, eher aufwandstreibend.

Sollten sich nicht genügend Nutzer melden um dich zu motivieren  ;)  kann ich mir auch vorstellen, eine explizite Implementierung von MOSMIX L im SolarForecast Modul zu realisieren. Weil nur bestimmte Parameter gebraucht werden, reduziert sich die Komplexität und Kompatibilitätsnotwendigkeit.
Allerdings muss ich mich selbst erst in das Vorgehen mit der XML Library und dem Parsing einarbeiten. Deswegen hatte ich bzgl. der Implementierung/dem Patch auf dein Engagement gesetzt.
 
Sollte eine Implentierung in deinem Modul wegen des zu erwartenden Aufwands nicht für dich in Frage kommen, würde ich mich freuen wenn du mich bei einer weniger komplexen Implementierung in SolarForecast mit deinem Konow-How unterstützen würdest.

Grüße,
Heiko


 
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 16 Februar 2024, 23:05:52
Hallo Heiko,

aufgrund der großen Rohdatenmenge funktionieren "einfache" Implementierungen nicht. Das DWD OpenData Modul ist vor allem aus Performancegründen etwas komplexer aufgebaut. Macht man es anders/einfacher, dann werden von FHEM für mehrere Sekunden (oder vielleicht sogar Minuten) nichts mehr verarbeitet, bis der DWD-Ablauf fertig ist.

Eine Erweiterung des DWD-Moduls dürfte daher die sinnvollste und einfachste Lösung sein.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 17 Februar 2024, 16:17:46
Hallo Jens und Interessenten,

ich habe eine Version erstellt und hier angehängt.
Funktioniert bei mir bezüglich forecast schonmal einwandfrei. Es gibt das Attr forecastProcess zum Umstellen zwischen MOSMIX_L und MOSMIX_S.
Mit verbose 5 sieht man:

...
2024.02.17 16:06:03.277 5: DWD.Solar: GetForecastStart START (PID 4988): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.02.17 16:06:09.424 5: DWD.Solar: ProcessForecast START
2024.02.17 16:06:09.425 5: DWD.Solar: ProcessForecast: data received, decoding ...
2024.02.17 16:06:11.393 5: DWD.Solar: ProcessForecast: parsing XML document
2024.02.17 16:06:13.741 5: DWD.Solar: ProcessForecast: extracting data
2024.02.17 16:06:14.247 5: DWD.Solar: ProcessForecast: use position >xxxx< of station >xxxx<
....

@Jens, es gibt eine neue Funktion getStationPos zur Positionsbestimmung im XML. Die kann man dann noch bei ProcessAlerts einbauen.
Wenn es dir gefällt, würde ich als nächstes die internen Metadaten für S zusammentragen.

Edit2: habe noch die %forecastDefaultPropertiesL und %forecastDefaultPropertiesS eingefügt.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 17 Februar 2024, 22:01:47
Hallo Heiko,

ziemlich cool was du da in der kurzen Zeit auf die Beine gestellt hast. Mir fehlt dazu aktuell ein bisschen die Luft, da ich schon an mehreren anderen Projekten dran bin und die Wochenenden so schnell vorbei sind ;-)

Habe mir den Diff angeschaut und da gibt es nicht viel was ich ändern würde:


Der Ablauf dauert bei dir nur ca. 11 Sekunden. Das ist relativ wenig, aber ein NUC6i5SYH hat halt etwas mehr Power als ein Pi.

Zitat... würde ich als nächstes die internen Metadaten für S zusammentragen.
Gibt es bei S Properties, die es bei L nicht gibt oder gilt das nur umgekehrt?

Habe noch mal über die Konfiguration nachgedacht. Den Anwender interessiert relativ wenig ob es sich um MOSMIX S oder L handelt und wie die Daten unter der Haube beschafft werden. Daher macht es meiner Ansicht nach mehr Sinn, dass indirekt zu verpacken, z.B. als "forecastDataRefresh=1 h/6 h". Mit dem Wert kann man dann in einem 2. Schritt besser spielen und z.B. auch 2 h ermöglichen, indem man die Daten nicht immer herunterlädt.

Das von mir angesprochene Merging von S und L könnte man aus der Kombination "forecastDataRefresh < 6 h" und "Parameter nur in L" anstoßen, indem man erst L und dann S abfragt.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 17 Februar 2024, 22:36:09
Hallo Jens,

ja jeder hat so seinen Stil. Ich liebe es nicht alles so gedrängt und mit etwas Abstand lesen zu können ... bin schon nicht mehr so taufrisch.  ;)

ZitatGibt es bei S Properties, die es bei L nicht gibt oder gilt das nur umgekehrt?

Alles was es bei MOSMIX_L gibt, ist auch bei MOSMIX_S vorhanden. Umgekehrt natürlich nicht da es nur 40 sind.
Im Prinzip sehe ich da kein ToDo außer die Defaults die ich schon gesetzt habe.

ZitatHabe noch mal über die Konfiguration nachgedacht. Den Anwender interessiert relativ wenig ob es sich um MOSMIX S oder L handelt und wie die Daten unter der Haube beschafft werden. Daher macht es meiner Ansicht nach mehr Sinn, dass indirekt zu verpacken, z.B. als "forecastDataRefresh=1 h/6 h".
Im Prinzip stimme ich dir zu. Allerdings liest sich forecastDataRefresh so "harmlos". Ich meine damit, dass man in der ComRef bei der Auswahl von MOSMIX_X explizit und eindringlich darauf hinweisen kann, dass man genügend leistungsfähige Ressourcen benötigt, angefangen bei genug RAM usw.
Deswegen finde ich die explizite Auswahl nicht so verkehrt, aber ist dein Modul. ;)

Um diesen Mix aus S und L zu tun, könnte forecastProcess noch ein "both" zur Auswahl stellen.
Wir können ja nochmal darüber schlafen.

Die Refreshsteuerung ist noch offen. Ich habe 3 DWD Devices in Betrieb. Wenn ich alles auf S stelle, reicht auch bei mir der RAM nicht. Das muss man zwischen den Devices etwas auseinanderziehen.

Edit: Habe die Studie oben gleich bzgl. forecastDefaultPropertiesL und forecastDefaultPropertiesS abgeändert

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 17 Februar 2024, 23:02:26
Hallo Heiko,

ZitatIch habe 3 DWD Devices in Betrieb. Wenn ich alles auf S stelle, reicht auch bei mir der RAM nicht. Das muss man zwischen den Devices etwas auseinanderziehen.

Hatte noch die Idee, das DWD OpenData-Modul so anzupassen, dass die Readings zusätzlich/alternativ in ein beliebiges Target-Device geschrieben werden können (noch ein Attribut mehr, z.B. Prefix). Das käme dem S-Modus zu Gute, denn dann könnte man mit einem DWD-Modul mehrere Stationen abfrühstücken, ohne noch mehr Ressourcen zu benötigen.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 17 Februar 2024, 23:11:33
Finde ich eine gute Idee. Etwas ähnliches habe ich bei mir im DbRep gemacht -> Attr autoForeward.
Ist nicht das gleiche wie hier, ähnelt sich nur etwas bezüglich des beabsichtigten Ergebnisses.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 17 Februar 2024, 23:31:35
Bezüglich des Mix aus S und L ist mir der Gedanke gekommen, dass es vllt. ungünstig ist. Wenn zum Beispiel NEFF über MOS S stündlich aktualisiert wird, könnte es durch MOS L mit einem veralteteten Wert überschrieben werden, da das Update-Intervall ja 1h beträgt und der in das Reading geschriebene Wert u.U. 6h alt ist.

Es ist vermutlich besser, dass sich der User entscheiden sollte. Das Ergebnis ist dann eindeutig und auch eine evtl. Fehlersuche leichter.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 18 Februar 2024, 04:18:16
Ich häng mich hier einfach mal rein zum Mitlesen.

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: ch.eick am 18 Februar 2024, 08:47:26
Moin
ich lese dann auch mit und habe ca. 15 Anwender, die die PV_KI_Prognose für meine Kostal WR Implementierung verwenden. Da gehen ebenfalls die DWD Daten stündlich rein.

VG Christian
Titel: Aw: Modul für DWD Open Data
Beitrag von: papa am 18 Februar 2024, 10:37:46
Wegen der Performance - kennt ihr das Reader Interface der LibXML. Damit kann man recht leicht das gesamte Dokument als Stream parsen - also ohne Aufbau des kompletten DOMs. Soweit wie ich den Code verstanden habe, muss ja nur die richtige Station im XML gefunden werden und deren Daten für die Weiterverarbeitung extraiert werden. Das sollte mit einem Reader recht leicht möglich sein. Hab das aber bisher auch nur mit C/C++ benutzt.

Siehe auch: https://grantm.github.io/perl-libxml-by-example/large-docs.html (https://grantm.github.io/perl-libxml-by-example/large-docs.html) https://metacpan.org/dist/XML-LibXML/view/lib/XML/LibXML/Reader.pod (https://metacpan.org/dist/XML-LibXML/view/lib/XML/LibXML/Reader.pod)

Und soweit ich mich erinnere kann LibXML auch gleich den gezippten Input direkt verarbeiten - zumindest in C/C++. Bräuchte man also auch nicht vorher zu entpacken.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 18 Februar 2024, 10:50:22
Ich habe zwar diesen Datensatz noch nicht angesehen, aber kann hier mal einen Tipp aus vielen Jahren Lehre über XML beisteuern.

Wenn es darum geht, aus einem großen XML Datenvolumen nur einen bestimmten Teil herauszufiltern, würde ich FHEM auch bei Verwendung von libXML nicht mit dem gesamten Stream belasten. Sondern eher einen zyklischen Unix/Linux-Prozess bauen, der den gesamten Datensatz durch einen XSLT-Transformer schickt und nur noch den erwünschten Teil an FHEM weiterleitet.

Früher gab es dazu ein fantastisches Projekt der Apache Foundation namens Cocoon, das leider durch Über-Engineering kaputt gemacht worden ist. Das hat übrigens den "Transformer"-Ansatz moderner KI-Systeme vorausgenommen - mit ganz interessanten Konzepten. Beispiel: Eine Datenbank ist eine Funktion, die einen String - die Datenbank-Abfrage - in einen anderen String transformiert.

LG

pah

Edit: Möglicherweise kann man den XSLT-Ansatz auch direkt in einem Modul von FHEM verwenden. Muss ich mal drüber nachdenken.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 18 Februar 2024, 11:02:51
Moin,

ich habe etwas weitergemacht und das Attr forecastProcess in forecastDataPrecision (low | high) umgesetzt.
Dadurch wird der direkte technische Bezug auf MOSMIX_L/S aufgelöst.
Die engl. Commandref dafür ist auch ergänzt und für den interessierten User mit weiterführenden Links versehen.
Entsprechende Hinweise auf die nötige Leistung sind auch hintelegt.

Weiterhin habe die Formatierung deinem Stil angepasst und dem Modul ein Internal NEXTCYCLE spendiert damit man sieht wann der nächste Refresh geplant ist.
Ich bin bezüglich des Mix aus S und L inzwischen zu einer gefestigten Meinung gekommen dies besser zu lassen.

@papa:
ZitatWegen der Performance - kennt ihr das Reader Interface der LibXML. Damit kann man recht leicht das gesamte Dokument als Stream parsen - also ohne Aufbau des kompletten DOMs.
...
Nein, Jens vielleicht. Ich habe mich gestern mal eben frisch in das Thema XML Parsing eingearbeitet/eingelesen. Bin also völliger Newbie auf diesem Gebiet.
An anderer Stelle habe ich mich schonmal bei pah über die unverhältnismäßige Kürze eines Tages beschwert. ;) 

ZitatSoweit wie ich den Code verstanden habe, muss ja nur die richtige Station im XML gefunden werden und deren Daten für die Weiterverarbeitung extraiert werden.
Für MOSMIX_S trifft das m.M. nach auf jeden Fall zu weil dort viel Inhalt obsolet ist. Bei MOSMIX_L wird aber fast der gesamte Inhalt verarbeitet weil bei MOSMIX_L jede Station separat heruntergeladen werden kann.

Ich habe die Modulstudie jetzt als 55_DWD_OpenData_Studie_MOSMIX_S.pm in mein contrib geladen.
Kann sich jeder dort holen.

Edit: Zur Info...läuft bei mir einwandfrei mit MOSMIX_S und auf dem NUC auch innerhalb von ca. 16s im BlockingCall durch.

2024.02.18 11:00:05.174 5: DWD.Solar.N5872: Timer START
2024.02.18 11:00:05.174 5: DWD.Solar.N5872: GetForecast START (PID 24973)
2024.02.18 11:00:05.219 5: DWD.Solar.N5872: GetForecast END
2024.02.18 11:00:05.221 5: DWD.Solar.N5872: Timer END
2024.02.18 11:00:05.368 5: DWD.Solar.N5872: GetForecastStart START (PID 25573): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.02.18 11:00:08.672 5: DWD.Solar.N5872: ProcessForecast START
2024.02.18 11:00:08.673 5: DWD.Solar.N5872: ProcessForecast: data received, decoding ...
2024.02.18 11:00:10.996 5: DWD.Solar.N5872: ProcessForecast: parsing XML document
2024.02.18 11:00:18.432 5: DWD.Solar.N5872: ProcessForecast: extracting data
2024.02.18 11:00:19.232 5: DWD.Solar.N5872: ProcessForecast: use position >xxxx< of station >xxxx<
2024.02.18 11:00:19.618 5: DWD.Solar.N5872: ProcessForecast temp file /tmp/S1iKlgzGbT forecast 3 size 12734
2024.02.18 11:00:19.621 5: DWD.Solar.N5872: ProcessForecast END
2024.02.18 11:00:19.622 5: DWD.Solar.N5872: GetForecastStart END
2024.02.18 11:00:19.635 5: DWD.Solar.N5872: GetForecastFinish START (PID 24973)
2024.02.18 11:00:19.661 5: DWD.Solar.N5872: GetForecastFinish temp file /tmp/S1iKlgzGbT forecast 3 size 12734
2024.02.18 11:00:19.664 5: DWD.Solar.N5872: UpdateForecast: START
2024.02.18 11:00:19.674 5: DWD.Solar.N5872: RotateForecast: START 2 day(s) exist
2024.02.18 11:00:19.686 5: DWD.Solar.N5872: RotateForecast: shifting forward by 0 day(s) (1708210800 -> 1708210800)
2024.02.18 11:00:19.687 5: DWD.Solar.N5872: RotateForecast: END 2 day(s) remain
2024.02.18 11:00:20.173 5: DWD.Solar.N5872: UpdateForecast: END
2024.02.18 11:00:20.174 5: DWD.Solar.N5872: GetForecastFinish END
2024.02.18 11:00:21.176 5: DWD.Solar.N5872: Timer START
2024.02.18 11:00:21.179 5: DWD.Solar.N5872: Timer END

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 18 Februar 2024, 14:48:51
ZitatWegen der Performance ...

Bzgl. Performance sollte man die Historie des Moduls berücksichtigen. Die Verarbeitung von MOSMIX L erfordert, dass man mehr oder weniger das gesamte XML Dokument ließt. Natürlich geht das auch mit dem Reader/SAX-Parser-Ansatz. Aber so ist es nicht umgesetzt und funktioniert trotzdem prima. Bei einer Dokumentengröße von unter 400 kByte ist die Diskussion fast akademisch ob DOM oder Reader/SAX.

Das MOSMIX S Dokument ist aber anders aufgebaut als MOSMIX L, da hier alle Stationen in einem Dokument stecken, mit einer Dokumentengröße um 700 MByte. Hier würde es helfen RAM zu sparen, wenn man erst mit dem Reader/SAX-Parser die Stationsdaten herausfischt, um dann wie gehabt weiter zu machen. Aber das kann man auch im Nachgang als Optimierung umsetzten.

Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 18 Februar 2024, 19:50:08
Hallo Heiko,

wenn du mit deiner neuen Version des Moduls (https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter/55_DWD_OpenData_Studie_MOSMIX_S.pm) zufrieden bist, würde ich sie mir noch mal vornehmen. Aber vermutlich komme ich erst nächstes Wochenende dazu.

Wir sollten versuchen den Reader/SAX-Parser für MOSMIX S einzubauen, bevor die Version eingecheckt wird. Würde das übernehmen, es sei denn du hast schon damit angefangen.

Die anderen Features, die wir angesprochen haben, behalten wir aber im Hinterkopf:


Des weiteren möchte ich versuchen, den File-Zeitstempel vom DWD-Webserver einzulesen. Dann könnte man etwas häufiger Pollen und dafür seltener Herunterladen, insbesondere bei L.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 18 Februar 2024, 20:23:11
Hallo Jens,

ich wollte nur noch das Startverhalten etwas anpassen damit bei mehreren vorhandenen Devices nicht alle versuchen zur gleichen Zeit den Download/Parsing durchzuführen.
Ansonsten bin ich durch und läuft ja auch sehr gut.

ZitatWir sollten versuchen den Reader/SAX-Parser für MOSMIX S einzubauen, bevor die Version eingecheckt wird. Würde das übernehmen, es sei denn du hast schon damit angefangen.
Nein habe noch nicht damit begonnen. Da müsste ich erstmal weiter studieren wo/wie man da ansetzt. Aber lerne gerne von deinem XML Know-How dazu wenn du mir ein paar Tipps gibst. 
Ehrlicherweise hatte ich gehofft wir könnten schon vor dieser Optimierung von dieser Weiterentwicklung offiziell profitieren. ;) Die Nutzer von SolarForecast und Christians Lösung würden sich sicherlich darüber freuen.

Zitat- export der Readings in ein anderes Modul
- mehrere Stationen gleichzeitig bei S
Da würde ich auch gerne wieder mit einsteigen.

Zitat- S und L mischen
Hier habe ich tatsächlich Bauchschmerzen wie oben geschrieben weil ich die deutliche Gefahr sehe, aktuelle Werte aus S bei einem Refreshlauf des Moduls mit mehrere Stunden alten Werten aus L zu überschreiben.
Das darf auf keinen Fall passieren weil wir uns sonst die Vorteile von S wieder kaputt machen.

ZitatDes weiteren möchte ich versuchen, den File-Zeitstempel vom DWD-Webserver einzulesen. Dann könnte man etwas häufiger Pollen und dafür seltener Herunterladen, insbesondere bei L.
Gute Idee. Das wäre ein echter Vorteil.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 18 Februar 2024, 20:31:22
Hallo Heiko,

ZitatEhrlicherweise hatte ich gehofft wir könnten schon vor dieser Optimierung von dieser Weiterentwicklung offiziell profitieren.

Du hast doch das Modul schon zum Herunterladen zur Verfügung gestellt. Damit kann jeder der will sofort einsteigen. Das habe ich bei anderen größeren Änderungen ähnlich gemacht. Oder geht es um etwas anderes?

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 18 Februar 2024, 20:39:20
Naja es heißt noch 55_DWD_OpenData_Studie_MOSMIX_S. Wenn du nichts dagegen hast, würde ich die Version als 55_DWD_OpenData in meinem contrib zur Verfügung stellen für die Interessenten.
Dann könnte der Download direkt erfolgen -> Restart ... fertig. DAmit wären wir fein.

LG,
Heiko

Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 18 Februar 2024, 22:09:43
ZitatWenn du nichts dagegen hast, würde ich die Version als 55_DWD_OpenData in meinem contrib zur Verfügung stellen für die Interessenten.
Dann könnte der Download direkt erfolgen
Kein Problem.

Was ich übrigens die ganze Zeit schon loswerden wollte: Was ist eigentlich das Ziel bei der Erhöhung der Aktualisierungsrate? Eine aktuellere Prognose (man will möglichst genau wissen was auf einen innerhalb der nächsten Stunde zu kommt) oder Istwerte? Denn für Istwerte gibt es bei OpenData noch andere Möglichkeiten.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 18 Februar 2024, 22:24:55
Hallo Jens,

hier geht es um eine möglichst genaue Prognose wie Globalstrahlung und Bewölkung etc.
Davon wird mit verschiedenen Methoden wie Vergleich mit historischen Wertekontexten (wird gespeichert) oder KI Libraries eine möglichst genaue PV Erzeugungsprognose errechnet.
Diese Prognose dient zur optimalen Einplanung von Verbrauchersteuerungen oder auch der prognosegeführten Ladungssteuerung von PV-Batteriesystemen (optimale SoC Steuerung).
Es können auch verschiedene API (Solcast, DWD, VictronVRM) eingebunden werden. Ein Wiki (https://wiki.fhem.de/wiki/SolarForecast_-_Solare_Prognose_(PV_Erzeugung)_und_Verbrauchersteuerung) habe ich auch angefangen, ist aber noch rudimentär.

Im Anhang ein paar Impressionen wie das aussieht.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 19 Februar 2024, 23:24:19
Hallo Jens,

nun habe ich noch das Startverhalten angepasst und sofern das Attr forecastDataPrecision auf "high" gesetzt ist, erfolgt der Datenrefresh im Quarter 2, also zwischen xx:30-xx:45. Grund ist, dass der DWD nach meinen Beobachtungen die Daten für MOSMIX_S regelmäßig zwischen 00:15 und xx:30 aktualisiert.

Mit der default Einstellung "low" bleibt die Aktualisierung wie bisher im Quarter 0.

Mit mehreren DWD Devices "high" gibt es ebenfalls kein Problem. Die Timer Einplanung ist um eine rand Zufallssteurung ergänzt die die Wahrscheinlichkeit reduziert dass mehrere Devices gleichzeitig refreshen.
Ich habe mit meinen 4 GB RAM und 4 DWD Devices (3 x high, 1 x low) keine Sorgen.

Die Version liegt als 55_DWD_OpenData.pm in meinem contrib zum Download.
(SolarForecast) Nutzer können das Modul gern schon implementieren und ebenfalls testen.

LG,
Heiko
 
 
Titel: Aw: Modul für DWD Open Data
Beitrag von: ch.eick am 20 Februar 2024, 10:20:49
Zitat von: DS_Starter am 19 Februar 2024, 23:24:19Hallo Jens,

nun habe ich noch das Startverhalten angepasst und sofern das Attr forecastDataPrecision auf "high" gesetzt ist, erfolgt der Datenrefresh im Quarter 2, also zwischen xx:30-xx:45. Grund ist, dass der DWD nach meinen Beobachtungen die Daten für MOSMIX_S regelmäßig zwischen 00:15 und xx:30 aktualisiert.

Mit der default Einstellung "low" bleibt die Aktualisierung wie bisher im Quarter 0.

Mit mehreren DWD Devices "high" gibt es ebenfalls kein Problem. Die Timer Einplanung ist um eine rand Zufallssteurung ergänzt die die Wahrscheinlichkeit reduziert dass mehrere Devices gleichzeitig refreshen.
Ich habe mit meinen 4 GB RAM und 4 DWD Devices (3 x high, 1 x low) keine Sorgen.
Hallo Heiko,
wie wäre die Idee bei mehreren DWD Devices zu prüfen, ob der Download bereits getätigt wurde und dann die DWD Stationen heraus zu filtern, damit das nicht jedes Device erneut machen muss.

my5cent
   Christian
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 20 Februar 2024, 10:29:07
Hallo Christian,

Jens/wir verfolgen die Variante bei der zukünftig optionalen Angabe von mehreren Stationen nur einmal den Download durchzuführen, alle Stationen in dem XML zu parsen und die Ergebnisse in separaten "Readingdevices" (es entstehen sehr viele Readings) je Station zusammenzufassen.

Das Ergebnis wäre dann entsprechend deines Hinweises, nur etwas anders gelöst. Jens wird auch noch an der Performance des Parcens schrauben wie er zuvor in #863 schon geschrieben hatte.

Aber diese weiteren Optimierungen werden noch etwas Zeit brauchen, deswegen war die eingebaute Lösung sehr praktikabel um die Weiterentwicklung zügig zum Einsatz bringen zu können, wer mag.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 20 Februar 2024, 13:20:03
https://grantm.github.io/perl-libxml-by-example/large-docs.html (https://grantm.github.io/perl-libxml-by-example/large-docs.html)

Hier gibts noch ein paar Hinweise wie das Parsen vielleicht schneller gehen könnte bzw. wie man direkt aus einem zip heraus parsen kann.

Und hier sind 2 Wege beschrieben ein Filehandle von einer URL zu erzeugen. Das zweite ist wohl eher ein Download aber vielleicht die einfachere Variante:

https://stackoverflow.com/questions/45933869/perl-open-a-file-from-a-url (https://stackoverflow.com/questions/45933869/perl-open-a-file-from-a-url)
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 20 Februar 2024, 17:27:35
Danke für die Hinweise. Die Links schaue ich mir mal an.

LG
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 23 Februar 2024, 09:48:42
Hallo zusammen,

ich nutze auch schon das neue DWD Modul. Mir ist nur aufgefallen, wenn ich ein "get forecast" manuell triggere. Das ich in FHEM die Reconnect Anzeige bekommen, das FHEM nicht mehr online ist. Aber nur für einen Moment. Konnte das auch schon jemand anderes beobachten?
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 23 Februar 2024, 14:20:08
Vermutlich generiert dein Device sehr viele Readings mit! Eventgenerierung. Wenn du die Events auf ein "übersichtliches" Maß reduzierst, wird wahrscheinlich Abhilfe geschaffen sein.
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 23 Februar 2024, 14:25:51
Hm...event-on-change-reading ist auf jeden Fall gesetzt und forecastDays steht auch auf 1.
Also meiner Meinung nach alles auf ein Minimum reduziert.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 23 Februar 2024, 14:37:29
Bei mir kann ich deine Beobachtung definitiv nicht bestätigen. Das ist aber m.M. nach keine vom Modul abhängige Erscheinung, sondern tritt dort auf, wo (zu) viele Daten via long poll verarbeitet werden müssen. Ich glaube! die Meldung hat Rudi im FHEMWEB JavaScript verankert. Bin mir aber unsicher.

Mein FHEMWEB Device steht auf longpoll=websocket.
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 23 Februar 2024, 14:42:33
Komisch. Ich beobachte das Mal. longpoll ist bei mir auch so gesetzt
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 10:07:58
Moin Jens,

in meinem contrib habe ich die Version des DWD_OpenData Moduls mit einem Attribut "timeout" ergänzt.
Damit kann man sich bei Bedarf diesen Parameter anpassen.
Ein User des SolarForecast Moduls war darauf gestoßen weil seine Internetverbindung zu langsam ist um das große File in der Zeit herunterzuladen.

Das ist sicherlich auch für andere User hilfreich. Habe den default auf 60 gesetzt.

Hattest du schon Gelegenheit dir den Reader/SAX-Parser für MOSMIX_S anzuschauen?

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 25 Februar 2024, 11:36:11
Erstmal ein großes DANKE für die beiden Module DWD und SolarForecast !!!

Etwas ist mir heute kurz nach Mitternacht aufgefallen - mit dem DWD-Modul aus dem contrib:
es gibt KEINE readings fc0_0... mehr, fc0_1 - fc1_23 sehr wohl...

(attachment gekürzt...)

l.g. erwin
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 12:46:34
Hallo erwin,

doch die gibt es.
Schau morgen nochmal. Ist bestimmt nur eine vorübergehende Erscheinung.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 Februar 2024, 18:57:20
@DS_Starter

Bin mit meinem aktuellen Projekt ein Stück weiter, mit Bluetooth ohne Änderung am Sender durch Wände zu gehen. Dadurch kann ich mich wieder um andere Sachen kümmern.

Werde auf deiner letzten Version aufsetzten. Als erstes ist das Download-Timing dran. Der DWD kann die Bereitstellung der Daten immer wieder ändern. Also macht es wie angedacht Sinn, öfter zu prüfen und nur bei Änderung neue Daten anzufordern. Das effizientere Parsen wird daher noch etwas warten müssen.

Werde meine Version wahrscheinlich auch erst über contrib bereit stellen.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 19:22:04
Hallo Jens,

danke. Das passt denke ich. Die neue Version mit MOSMIX_S wird schon von einigen Usern erfolgreich eingesetzt und die V ist bereits jetzt ein Mehrwert für unsere Anwendung. Macht sich wirklich gut.  :)

Grüße,
Heiko

Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 Februar 2024, 22:11:41
Hallo Heiko,

die Blumen für die Initiative MOSMIX S gebühren dir.  ;D

Bin mit dem 2. Review fertig. Habe ein paar Details "optimiert". Relevante Funktionsänderungen gibt es noch keine. Die neue Version findet sich hier:

https://svn.fhem.de/trac/browser/trunk/fhem/contrib/jensb

Bitte alle weiteren Änderungen basierend auf dieser Version vorschlagen.

Hinweis für Anwender: Aus Attribut timeout ist downloadTimeout geworden.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 22:28:37
Hallo Jens,

habe ich natürlich gleich ausprobiert.
Ich bekomme eine Fehlermeldung die ich noch nie sah:

Status: forecast error: Can't "break" in a loop topicalizer

Und das Attr forecastDataPrecision hat als mögliche Argumente "low" oder "highalertArea".

Da fehlt mit Sicherheit in Zeile 2822 hinten ein Leerzeichen:

.'forecastStation forecastDays forecastProperties forecastResolution:1,3,6 forecastWW2Text:0,1 forecastPruning:0,1 forecastDataPrecision:low,high'
LG
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 22:37:27
Das mit dem Leerzeichen hatte ich richtig erkannt. Aber jetzt kommt noch:

forecast error: Can't "break" outside a given block

Nut bei forecastDataPrecision=high.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 Februar 2024, 22:40:44
Interessant, dass nicht alle Systeme die gleichen Fehler ausspucken, hatte ich aber schon ein paar mal. Gibt gleich eine neue Version. Break hat in Perl nicht viel verloren, in getStationPos() gehört last hin.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 Februar 2024, 22:46:34
Neue Version ist hochgeladen. Werde bis zur Optimierung des RAM-Bedars "S" nicht testen können, da ich dazu nicht genug RAM habe. Daher fallen Probleme, die nur bei "S" vorkommen bei mir nicht immer auf.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 22:53:36
Hast du die wrklich hochgeladen? Im contrib ist noch "break" in Zeile 1721 und 48 Minuten alt.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 25 Februar 2024, 23:02:22
Ja, leider, hatte ich auch schon bemerkt. Allerdings im FHEM-Verzeichnis - ist korrigiert.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 25 Februar 2024, 23:09:34
Jetzt rennt es.  :)
Danke Jens. Ich entferne das Modul dann aus meinem contrib.

Hilfreich wäre für die User vllt. wenn du dein contrib im Footer vermerken würdest damit jeder gleich weiß wo er die Entwicklungsversion herunterladen kann.

LG,
Heiko
 
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 26 Februar 2024, 06:23:36
Ich habe mit das Modul heute aus dem SVN von "jensb" gezogen. Wenn ich ein  reload des Moduls mache bekomme ich folgende Fehlermeldung:

Unrecognized character \xE2; marked by <-- HERE after           <-- HERE near column 57 at ./FHEM/55_DWD_OpenData.pm line 8.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 26 Februar 2024, 08:41:49
Hallo xerion,

da hast du wahrscheinlich nicht das .pm File heruntergeladen sondern irgendwas anderes. Schau mal in das File und lade es ggf. neu vom Jens contrib.

Übrigens gebe ich dir Recht gezüglich der Readings fc0_0_x. Die werden mit MOSMIX_S (high) tatsächlich nicht mehr erstellt/aktualisiert. Bei mir waren noch alte Readings vorhanden und ich hatte mir den Zeitstempel nicht angeschaut.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 26 Februar 2024, 10:26:32
Zitat von: DS_Starter am 26 Februar 2024, 08:41:49Hallo xerion,

da hast du wahrscheinlich nicht das .pm File heruntergeladen sondern irgendwas anderes. Schau mal in das File und lade es ggf. neu vom Jens contrib.

Übrigens gebe ich dir Recht gezüglich der Readings fc0_0_x. Die werden mit MOSMIX_S (high) tatsächlich nicht mehr erstellt/aktualisiert. Bei mir waren noch alte Readings vorhanden und ich hatte mir den Zeitstempel nicht angeschaut.

Grüße,
Heiko

Hallo Heiko,

ich habe das aus dem SVN von Jens mit wget heruntergeladen:
"wget -qO ./FHEM/55_DWD_OpenData.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/jensb/55_DWD_OpenData.pm"

aber ich schau mir das nochmal an.

EDIT: Fehler gefunden, war ein Copy&Paste Fehler der Link war falsch habe ich korrigiert

Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 26 Februar 2024, 10:32:19
@erwin, sorry du hattest ja die Sache mit den Readings fc0_0_x entdeckt. :)
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 26 Februar 2024, 10:54:35
Hallo Jens,

ich habe festgestellt, dass der Timer mit deiner Version nicht mehr so gut läuft.
Es wird offensichtlich das Quarter 2 nicht mehr jede Stunde angefahren. Dadurch wird MOSMIX_S seltener als jede Stunde upgedated.
Ich bin erstmal wieder auf meine Version zurück und warte bis du die DWD Updatezyklus sensible Version erstellt hast.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 26 Februar 2024, 12:52:38
Hi Heiko,

habe ich auch bemerkt, die updates werden nicht mehr richtig getriggert.
Wollte nur erst noch genaueres herausfinden bevor ich mich melde.

Ich gehe dann vorerst auch zurück auf deine letzte Version.


Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 26 Februar 2024, 13:44:38
Hallo Jens,

ich habe die sub Timer deiner contrib-Version ersetzt durch den Timer wie ich die sub in meiner contrib-Version implementiert hatte.
Damit funktioniert das Update wieder zuverlässig wie es soll im Quarter 2 zwischen xx:30 - xx:45.
Habe die V hier angehängt. Da du ohnehin den Timer sensitiv gestalten willst, kannst du die V vllt. vorerst so in dein contrib übernehmen damit Interessenten nicht über das Update-Problem stolpern.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 26 Februar 2024, 23:55:27
Ich hätte noch eine Idee, wie ihr das ganze superschnell und so Ressourcenschonend wie möglich hinbekommen könnt. Die Header Daten kommen nur 1x im ganzen Dokument vor. Sucht doch einfach mit index() nach den Header Daten z.b. (könnte man sich auch schön in eine Funktion packen):

$start = index($data, '<dwd:Issuer>');
$end = index($data, '<dwd:Issuer>', $start + 1);
{substring extrahieren}
usw.

Jetzt braucht ihr noch die Daten der einen Station:

$pos_station = index($data, '<kml:name>'.$station.'</kml:name>');
$start = rindex($data, '<kml:Placemark>', $pos_station);
$end = index($data, '</kml:Placemark>', $pos_station + 1);
{substring extrahieren, also <kml:Placemark>...</kml:Placemark>}

Diesen neuen substring, der nur die eine wirklich benötigte Station enthält, könnt ihr jetzt ganz normal mit libXML parsen und mit eurem bisherigen Code weiter machen (ihr könnt eigentlich fast 99% wiederverwenden!). Der Vorteil liegt darin, das die Textsuche superschnell ist und ihr nur einen ganz ganz kleinen Teil der XML Daten parsen müsst. RAM Verbrauch weit unter 700MB würde ich schätzen (das meiste geht für das entpackte zip drauf).
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 27 Februar 2024, 00:01:41
@mumpitzstuff

Danke für den Hinweis, aber ich möchte vermeiden, dass das XML-Dokument überhaupt als Ganzes ins RAM kommt. Das geht vielleicht so ähnlich wie du vorgeschlagen hast mit File-IO. Ansonsten kommt natürlich auch ein XML-Parser in Frage, der kein DOM aufbaut.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 27 Februar 2024, 00:09:14
Mit der von mir vorgeschlagenen Variante baut man 30 Zeilen Code in euren bestehenden Code ein und ist um den Faktor 1000 schneller bei 5x weniger RAM. Die von dir vorgeschlagene Methode ist wesentlich aufwendiger und ob man dort am Ende genauso schnell ist und genauso viel RAM spart ist eher fraglich.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 27 Februar 2024, 00:11:59
Mir ist nicht klar, wie index() RAM spart. Wenn das entpackte XML 700 MB groß ist, muss es ins RAM, damit man mit index() suchen kann. Das geht sicherlich schnell. Aber soviel RAM hat z.B. mein System nicht übrig.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 27 Februar 2024, 00:45:05
RAM spart man deshalb, weil man libXML nur über einen ganz kleinen Teil der Daten drüber jagen muss, anstatt die gesamten 670MB zu parsen und die geparsten Daten in den RAM zu legen. Ich habe keine Ahnung wieviel libXML verbraucht, wenn man ein 670MB XML File übergibt, aber so 1-2gb würde ich schätzen (ich glaube in deiner Hilfe erwähnst du was von 4gb RAM sollte man haben oder sowas glaube ich)? Wenn man libXML nur die paar KB Stationsdaten gibt, dann braucht libXML nur so viel RAM wie bei der bisherigen kleinen Variante, also fast nix. Aber wie gesagt, das entpacken ins RAM würde man damit nicht sparen, das ist richtig.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 27 Februar 2024, 01:09:33
@DS_Starter

Hallo Heiko,

meine aktuelle Testversion holt Zeitstempel und Größe ohne Download vom Server und legt dafür Readings an. Beim Forecast verhindert es auch schon, dass noch einmal neu vom Server geladen wird, wenn sich nichts geändert hat. Möchte das erst mal laufen lassen, bevor ich es hochlade. Wenn es stabil läuft wird das bei den Alerts auch so gemacht.

Was mir nicht so gefällt ist der Modulmix. Für die HTML-Header habe ich LWP::UserAgent neu eingebunden, aber der eigentliche Download erfolgt mit HttpUtils. Für User mit Proxy könnte das schwierig werden. LWP verwendet die System-Proxy-Einstellungen, vermutlich ohne Authentifizierung, und HttpUtlils die von FHEM inkl. Authentifizierung. Bitte Info wenn jemand weiß wie man mit HttpUtils nur die Header bekommt.

Bzgl. des Timers habe ich wieder auf meiner Lösung aufgesetzt und versucht das Problem zu beheben. Die Timer-Steuerung ist nicht ganz trivial und ich möchte, dass man den Code auch nach längerer Zeit noch versteht. Außerdem möchte ich nicht den Timer am Anfang schon wieder scharf machen. Falls der Durchlauf wirklich mal sehr lange dauern sollte (sehr unwahrscheinlich), dann sollte der nächste Durchlauf ein bisschen warten.

Aber eigentlich ist es kein Problem sonder eine Frage von Prioritäten. Bisher hatten die Alerts Priorität, deshalb ist wohl in meiner letzten Version die Vorhersage in der 3. Viertelstunde nicht (immer) angelaufen. Habe wahrscheinlich schon die Lösung, die sowohl Alerts als auch MOSMIX S Forecast berücksichtigt.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 27 Februar 2024, 09:54:05
Moin Jens,

ja ich hatte auch erkannt, dass die Timersteuerung nicht ganz trivial ist und setze auf deine Innovation den Downlowd mit der DWD Aktualisierung zu synchronisieren. Das ist m.M. nach ein deutlicher Schritt zu mehr Aktualität gepaart mit verringerten Aufwand.
Ich teste die nächste Entwicklung gern wenn du das Signal dazu gibst.
Sag auch Bescheid wenn ich an irgendeiner Stelle Unterstützung geben kann.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 27 Februar 2024, 23:54:36
Hallo Heiko,

bin dran, möchte aber meine aktuelle Version noch eine Nacht laufen lassen.

Der Header-Check für den Forecast ist jetzt robust und vor allem auch die interne Rückgabewert-Auswertung kann jetzt auch mit dem Zustand "geprüft aber es gibt keine Änderungen" umgehen. Der Header-Check für die Alerts steht noch aus.

Anbei ein Screenshot mit den 3 neuen Readings fc_url und fc_kmzDoc*. Der Vergleich der Readings fc_time (Ausgabezeit DWD) und fc_kmzDocTime (Datei-Zeitstempel auf DWD Webserver) ist auch interessant, beide in UTC. Es dauert erwartungsgemäß etwas bis aus einer Prognose eine Datei wird, aber die Datei wird scheinbar vor der "Ausgabezeit" abgelegt.

Die Timersteuerung habe ich noch einmal analysiert, mit dem ursprünglichen Ansatz verglichen und eine neue Zwischenlösung implementiert, die weder Forecasts noch Alerts sporadisch vernachlässigt.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 28 Februar 2024, 06:12:31
Hallo zusammen,


ich nutze aktuell auch schon das optimierte Modul für Solarforecast. Seitdem ich das nutze habe ich Nachts diverse Neustarts von fhem.  Heute Nacht ist das ganze 8 mal passiert in einem Abstand von ca. drei Minuten. Habt ihr vielleicht eine Idee was die Ursache sein kann?

Im Log finde ich dann immer diese Einträge.

2024.02.27 22:32:50 0: Server shutdown
2024.02.27 22:32:50 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3422
2024.02.27 22:39:28 0: Server shutdown
2024.02.27 22:39:28 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3428
2024.02.27 22:41:52 0: Server shutdown
2024.02.27 22:41:52 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3433
2024.02.27 22:43:48 0: Server shutdown
2024.02.27 22:43:48 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3438
2024.02.27 22:46:29 0: Server shutdown
2024.02.27 22:46:29 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3444
2024.02.27 22:48:16 0: Server shutdown
2024.02.27 22:48:16 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3450
2024.02.27 22:49:40 0: Server shutdown
2024.02.27 22:49:40 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3455

Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 09:27:18
Guten Tag zusammen,
ich möchte gern diese Modul benutzen und habe nun vom Pi2 auf Pi4 mit 8GB Ram gewechselt, aber leider kann ich keine Daten von DWD
beziehen. Habe auch schon das TimeOut mal erhöht. Was könnte hier das Problem sei ?
MfG Ingo

2024.02.28 09:08:56 5: DWD: GetForecast START (PID 783)
2024.02.28 09:08:56 5: DWD: GetForecast END
2024.02.28 09:08:56 5: DWD: GetForecastStart START (PID 870): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.02.28 09:09:00 5: DWD: ProcessForecast START
2024.02.28 09:09:00 5: DWD: ProcessForecast: data received, decoding ...
2024.02.28 09:09:06 5: DWD: ProcessForecast: parsing XML document
2024.02.28 09:11:56 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)
2024.02.28 09:11:56 5: DWD: RotateForecast: START 0 day(s) exist
2024.02.28 09:11:56 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.02.28 09:11:56 5: DWD: RotateForecast: END 0 day(s) remain
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 09:40:43
Hallo Ingo,

benutzt du das DWD Modul aus meinem contrib? Das habe ich in Betrieb und läuft bei mir mit 4GB RAM.
Hast du genügend SWAP Speicher?
Kannst mit Betriebssystemebene mit "top" schauen ob da irgendwas an die Grenzen läuft.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 10:18:53
@Jens,

ZitatDer Vergleich der Readings fc_time (Ausgabezeit DWD) und fc_kmzDocTime (Datei-Zeitstempel auf DWD Webserver) ist auch interessant, beide in UTC
Sieht gut aus. Frage ... sind im aktuellen Modul nicht alle Zeiten in Localtime umgesetzt oder täsche ich mich?

@xerion,
das sieht nach einem normalen shutdown request aus. Hast du vllt. eine Überwachung auf "terminated process" eingebaut was in der Folge den shutdown triggert?

@Jens, ich denke xerion bekommt einen HttpUtils_BlockingGet Timeout der z.Zt. fest auf 10 eingestellt ist. Hier sollte m.M. auch das Attr downloadTimeout greifen, heißt ja auch so.  ;)

Grüße,
Heiko

Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 10:28:07
@xerion,

in meinem contrib liegt eine Version des DWD Moduls bei der das Attr downloadTimeout auch bei deinem Problem helfen sollte. Kannst du z.B. auf 120 stellen.

@Jens, ich habe zum Test für den HttpUtils_BlockingGet Timeout die Zeile 1669 dahingehend geändert:

               timeout    => ::AttrVal($name, 'downloadTimeout', 60),
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 10:44:47
Zitat von: DS_Starter am 28 Februar 2024, 09:40:43Hast du genügend SWAP Speicher?

Da ich nur eine SDCard benutze habe ich SWAP deaktiviert. Im Top läuft im bei benutzer Fhem  der CPU kurz auf 100% und der MEM max 16.2% sonst sind da keine auffälligkeiten zu erkennen

Zitat von: DS_Starter am 28 Februar 2024, 09:40:43benutzt du das DWD Modul aus meinem contrib?

ja nutze ich
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 10:58:12
ZitatDa ich nur eine SDCard benutze habe ich SWAP deaktiviert.
Könnte ein Problem sein, siehe https://forum.fhem.de/index.php?msg=1304541
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 11:13:25
Hab mal ein SWAP von 2048 gemacht leider ohner erfolgt, wird gemäß Top nicht genutzt
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 28 Februar 2024, 11:21:26
Hi Ingo,

ich habe das ganze gemonitored mit "free -m".
Ich habe den Update manuell am DWD Device angestartet mit "get <DEVICE> forecast"
Danach habe ich "free -m" ständig aufgerufen und beobachtet, besonders die letzte Spalte available ist interessant.
Zuerst sieht man nichts während das ZIP runtergeladen wird.
Bei mir mit meiner lahmen Verbindung dauert das ca. 30 sec.

Danach nimmt der Speicher dann massiv und schnell ab.
Ich habe einen Speicherverbrauch von über 3GB gesehen.
Ist das vorbei wird er auch direkt wieder freigegeben.
Man sieht den effekt also nur kurz (ca. 5 - 10 sek).
Wenn du 4GB available hast sollte der RAM ausreichen.

Gruß,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 11:43:47
Servus Stefan,

genau so ausgeführt available geht nicht unter 6200 MB, die 2048 MB SWAP wird nicht genutzt
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 12:17:29
Dein Device steigt offenbar beim XML Parsen aus.
Gib mir mal bitte deine verwendete Station Id (per PM wenn du es hier nicht schreiben magst).
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 12:41:36
es werden ca. 1.3 GB RAM für die Aktion benutz
Meine Stations-ID ist M225 (Unstrut-Hainich Kreis)
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 12:49:10
An der Station liegt es nicht. Die läuft bei mir.
Hmmm ...

Die Library XML::LibXML ist bei auch vorhanden nehme ich an. Sonst würde auch low nicht funktionieren und es käme vermutlich ein anderer Fehler.
Stelle doch das Attr downloadTimeout mal auf z.B. 300.

Edit: Hätte mir gleich auffallen sollen. Deine Parsing Time ist sehr lang, da schlägt der Timeout wohl zu:

2024.02.28 09:09:06 5: DWD: ProcessForecast: parsing XML document
2024.02.28 09:11:56 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 28 Februar 2024, 12:58:29
in meinem contrib liegt eine Version des DWD Moduls bei der das Attr downloadTimeout auch bei deinem Problem helfen sollte. Kannst du z.B. auf 120 stellen.

Hallo Heiko,

ich habe mir die Version aus deinem contrib gezogen und den downloadTimeout auf 120 gestellt. Werde das mal testen Ein gezieltes herunterfahren von fhem habe ich definitiv nicht.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 13:45:54
Zitat von: DS_Starter am 28 Februar 2024, 12:49:10Die Library XML::LibXML ist bei auch vorhanden nehme ich an. Sonst würde auch low nicht funktionieren und es käme vermutlich ein anderer Fehler.
Stelle doch das Attr downloadTimeout mal auf z.B. 300.

libxml-simple-perl ist schon die neueste Version (2.25-1)

forecastDataPrecision low
2024.02.28 13:36:25 5: DWD: GetForecastStart START (PID 3720): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/M225/kml/MOSMIX_L_LATEST_M225.kmz
2024.02.28 13:36:26 5: DWD: ProcessForecast START
2024.02.28 13:36:26 5: DWD: ProcessForecast: data received, decoding ...
2024.02.28 13:36:26 5: DWD: ProcessForecast: parsing XML document
2024.02.28 13:36:26 5: DWD: ProcessForecast: extracting data
2024.02.28 13:36:26 5: DWD: ProcessForecast temp file /tmp/htGKkrvc35 forecast 3 size 17565
2024.02.28 13:36:26 5: DWD: ProcessForecast END
2024.02.28 13:36:26 5: DWD: GetForecastStart END

forecastDataPrecision high
2024.02.28 13:36:46 5: DWD: GetForecast START (PID 2783)
2024.02.28 13:36:47 5: DWD: GetForecast END
2024.02.28 13:36:47 5: DWD: GetForecastStart START (PID 3721): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.02.28 13:36:51 5: DWD: ProcessForecast START
2024.02.28 13:36:51 5: DWD: ProcessForecast: data received, decoding ...
2024.02.28 13:36:56 5: DWD: ProcessForecast: parsing XML document
2024.02.28 13:41:47 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)
2024.02.28 13:41:47 5: DWD: RotateForecast: START 0 day(s) exist
2024.02.28 13:41:47 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.02.28 13:41:47 5: DWD: RotateForecast: END 0 day(s) remain
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 13:55:00
Ich denke es liegt an der Zeit:

2024.02.28 13:36:56 5: DWD: ProcessForecast: parsing XML document
2024.02.28 13:41:47 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)

Das sind zwischen Start und Abbruch 291s. Wenn downloadTimeout auf 300 steht, dann bestätigt es meine Einschätzung.
Erhöhe downloadTimeout drastisch auf z.B. 1800 und dann schauen wir wieder was passiert.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 15:40:39
bei einen TimeOut von 1800, bei top Prozessorlast liegt bei 0.5% RAM Free ca. 7500 MB,
die SDCard ist aus meinen alten PI2 das OS ist Buster mit 32bit und allen dazugehörigen Updates

2024.02.28 14:51:53 5: DWD: GetForecast START (PID 2783)
2024.02.28 14:51:53 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)
2024.02.28 14:51:53 5: DWD: RotateForecast: START 0 day(s) exist
2024.02.28 14:51:53 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.02.28 14:51:53 5: DWD: RotateForecast: END 0 day(s) remain
2024.02.28 14:51:53 5: DWD: GetForecast END
2024.02.28 14:51:53 5: DWD: GetForecastStart START (PID 18963): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.02.28 14:51:57 5: DWD: ProcessForecast START
2024.02.28 14:51:57 5: DWD: ProcessForecast: data received, decoding ...
2024.02.28 14:52:02 5: DWD: ProcessForecast: parsing XML document
2024.02.28 15:03:49 5: DWD: Timer START
2024.02.28 15:03:49 5: DWD: Timer END
2024.02.28 15:10:38 5: DWD: Timer START
2024.02.28 15:10:38 5: DWD: Timer END
2024.02.28 15:18:55 5: DWD: Timer START
2024.02.28 15:18:55 5: DWD: Timer END
2024.02.28 15:21:53 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)
2024.02.28 15:21:53 5: DWD: RotateForecast: START 0 day(s) exist
2024.02.28 15:21:53 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.02.28 15:21:53 5: DWD: RotateForecast: END 0 day(s) remain
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 16:09:15
Zitatbei einen TimeOut von 1800, bei top Prozessorlast liegt bei 0.5% RAM Free ca. 7500 MB
What??

Auch hier ist der zeitliche Zusammenhang deutlich:

2024.02.28 14:52:02 5: DWD: ProcessForecast: parsing XML document
...
2024.02.28 15:21:53 3: DWD: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Process died prematurely)

Ziemlich nahe an den 1800s.
Ist deine CPU Leistung derart schwach dass das System mit dem Parsen nicht durchkommt?
Für mich sieht es jedenfalls so aus...
Vllt. hat noch jemand eine andere Idee.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 16:33:30
Jetzt gehen wir aufs Ganze und setzen downloadTimeout auf 3600. :)
Wenn das nach 1 Stunde immer noch nicht funktioniert musst du wahrscheinlich erstmal abwarten bis Jens eine schnellere Parsingmöglichkeit gefunden und eingebaut hat.
Der ganzeVorteil der zeitnahen Aktualisierung geht ja bei derart lang laufenden Prozessen verloren.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 28 Februar 2024, 16:36:14
Wir nähern uns in großen Schritten einer Grenze, die ich bisher nur aus der Quantenmechanik kenne: Wenn die für eine genau lokale Vorhersage benötigte Rechenleistung soviel Abwärme verursacht, dass sie das Wetter beeinflusst  8)

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 16:56:04
 :)
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 28 Februar 2024, 17:40:23
Der XML Parser spuckt mit Sicherheit einen Fehler aus. Als ich z.B. euer unzip in einem separaten Perl Script verwendet habe, hat mir libXML immer Fehler ausgespuckt. Dann habe ich das zip File manuell entpackt und in eine Variable eingelesen und das hat libXML gefressen. Eventuell liegt es hier auch daran, das unzip etwas falsch macht und sich der Parser dann aufhängt.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 17:48:23
Durchaus möglich. Allerdings macht mich stutzig, dass das System immer die gesamte Zeit bis zum gesetzten Timeout ausnutzt. Naja vllt. bleibt der Prozess einfach nur stehen und tut nichts mehr bis zum Zwangskill.

Wenn Jens die nächste Version zum Test des optimierten Downloads freigegeben hat, schaut er sich bestimmt die besseren Parsingmöglichkeiten ohne DOM an. Bin gespannt.

Abgesehen davon läuft das contrib Modul bei mir sehr gut und aktualisiert beständig.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 28 Februar 2024, 18:37:47
Wo wird die Datei vom DWD gespeichert, kann es auch ein Fehler im Download sein ?
im tmp verzeichnis wird eine Datei vom Benutzer FHEM erstellt diese hat aber nur 0 Byte
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 18:51:53
Die Datei wird nicht gespeichert sondern direkt im RAM verarbeitet. Im tmp Verzeichnis wird der herausgelesene Nutz-Inhalt als File temporär gespeichert. Jens kann da sicher mehr dazu sagen.
An Download Fehler glaube ich nicht. Die sollten vom Modul erkannt werden und soetwas tritt auch nicht ständig auf.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 28 Februar 2024, 23:12:29
Hallo Heiko,

danke für den Hinweis mit dem Timeout von HttpUtils_BlockingGet. Hier das Attribut downloadTimeout zu verwenden macht Sinn. Allerdings sprengt der Default von 60 s die zuvor aufeinander abgestimmten differenzierten Timeouts mehrere interner Prüfungen, die alle davon ausgehen, dass der Download max. 30 s dauern kann.

Eine einfache Lösung besteht darin, den maximalen Wert für downloadTimeout auf 30 s zu begrenzen, dann kann die aktuelle Logik bleiben.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 28 Februar 2024, 23:17:21
Hi Ingo,
das ist ja sehr seltsam.
Ich habe auch eine RPI4 und bei mir funktioniert es.
Im Moment fehlt mir jegliche Idee was das sein könnte.

Sollen wir etwas vergleichen?
Ich benutze noch:
cat /etc/*release

PRETTY_NAME="Debian GNU/Linux 11 (bullseye)"
NAME="Debian GNU/Linux"
VERSION_ID="11"
VERSION="11 (bullseye)"
VERSION_CODENAME=bullseye
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"

Hast du schon auf Bookworm aufgesetzt?

Gruß,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 28 Februar 2024, 23:24:14
Nabend Jens,

bei solchen Abhängigkeiten agiere ich meistens so, dass ich einen einstellbaren Master-Timeout nutze und alle anderen davon abhängigen Timeouts mit einem Teiler davon ableite.
Z.B.

$to  = AttrVal (.... , 60);   
$to1 = $to * 0.75;
$to2 = $to * 0.5;
...

Vllt. ist es auch für diesen Fall eine Variante.

Wie läuft deine aktuelle Entwicklungsversion mit dem neuen Timer? Kann man die schon testen?

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 28 Februar 2024, 23:29:50
Hallo Heiko,

der vorhandene Code ist nicht auf derartige Anpassungen vorbereitet und dadurch dauert der Umbau.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 29 Februar 2024, 00:10:27
Es gibt eine weitere Alpha-Version 1.17.1 des DWD_OpenData-Moduls in meinem Contrib-Verzeichnis:

Wesentliche Änderungen:

Hinweise:
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 29 Februar 2024, 06:26:31
Zitat von: xerion am 28 Februar 2024, 12:58:29in meinem contrib liegt eine Version des DWD Moduls bei der das Attr downloadTimeout auch bei deinem Problem helfen sollte. Kannst du z.B. auf 120 stellen.

Hallo Heiko,

ich habe mir die Version aus deinem contrib gezogen und den downloadTimeout auf 120 gestellt. Werde das mal testen Ein gezieltes herunterfahren von fhem habe ich definitiv nicht.

Hallo Heiko,

leider hat das Einstellen des Timeouts nicht geholfen. Gestern Abend wieder die gleiche Zeit (zwischen 22:34 und 22:46) 6 Neustarts

Bekomme wieder diese Einträge jetzt aber zusätzlich mit dem timeout.
2024.02.28 22:41:13 0: Server shutdown
2024.02.28 22:41:13 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 3933
2024.02.28 22:41:13 3: DWD_Forecast_Loeningen: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Timeout: process terminated)

Ich werde jetzt erst mal wieder auf die offizielle DWD gehen um zu testen ob das Problem wirklich damit aufhört falls du keine andere Idee hast wonach ich noch schauen könnte?
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 29 Februar 2024, 07:21:31
Zitat von: stefanru am 28 Februar 2024, 23:17:21Hi Ingo,
das ist ja sehr seltsam.
Ich habe auch eine RPI4 und bei mir funktioniert es.
Im Moment fehlt mir jegliche Idee was das sein könnte.

Sollen wir etwas vergleichen?
Ich benutze noch:
cat /etc/*release

PRETTY_NAME="Debian GNU/Linux 11 (bullseye)"
NAME="Debian GNU/Linux"
VERSION_ID="11"
VERSION="11 (bullseye)"
VERSION_CODENAME=bullseye
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"

Hast du schon auf Bookworm aufgesetzt?

Gruß,
Stefan


PRETTY_NAME="Raspbian GNU/Linux 10 (buster)"
NAME="Raspbian GNU/Linux"
VERSION_ID="10"
VERSION="10 (buster)"
VERSION_CODENAME=buster
ID=raspbian
ID_LIKE=debian
HOME_URL="http://www.raspbian.org/"
SUPPORT_URL="http://www.raspbian.org/RaspbianForums"
BUG_REPORT_URL="http://www.raspbian.org/RaspbianBugs"


Wie schon geschrieben, ich benutze noch Buster habe die Karte aus dem PI2 in den PI4 gesteckt alles läuft soweit habe dann das DWD Device auf high umgestellt da ich ja jetzt im PI4 8GB Ram habe. Könnten auch irgendwelche Module noch fehlen.   
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 29 Februar 2024, 08:30:48
Moin,

@xerion, deine Fehlermeldungen sind klassische Timeouts die entweder durch lange Downloadzeiten und/oder lange Verarbeitungszeit entstehen. In beiden Fällen könnte! eine weitere Erhöhung des Attributs helfen.

Aber ... folgende Dinge passen nicht zum Bild:

1. der Fehler passiert nur in einem bestimmten Zeitraum, d.h. in den anderen Zeiten funktioniert es offensichtlich? Das spricht gegen die Notwendigkeit das Attr zu erhöhen weil der Prozess im Normalfall io ist.

2. Dieser Timeout Fehler (betrifft den Nebenprozess) ist im Prinzip nichts dramatisches und führt für sich genommen in keinem Fall zu einem regulären Server shutdown. Bei dir liegt kein Absturz vor, sondern ein normaler shutdown, zumal sogar die Reihenfolge vermuten lässt, dass zuerst shutdown ausgelöst wird und die nachfolgenden Meldungen Folgeerscheinungen darstellen.

Ich würde an deiner Stelle versuchen für diese Zusammenhänge eine Erklärung zu finden.

@Jens,
werde deine neue Version in den Test nehmen und melde mich.
Danke dir!

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: xerion am 29 Februar 2024, 12:16:32
Zitat@xerion, deine Fehlermeldungen sind klassische Timeouts die entweder durch lange Downloadzeiten und/oder lange Verarbeitungszeit entstehen. In beiden Fällen könnte! eine weitere Erhöhung des Attributs helfen.

Aber ... folgende Dinge passen nicht zum Bild:

1. der Fehler passiert nur in einem bestimmten Zeitraum, d.h. in den anderen Zeiten funktioniert es offensichtlich? Das spricht gegen die Notwendigkeit das Attr zu erhöhen weil der Prozess im Normalfall io ist.

2. Dieser Timeout Fehler (betrifft den Nebenprozess) ist im Prinzip nichts dramatisches und führt für sich genommen in keinem Fall zu einem regulären Server shutdown. Bei dir liegt kein Absturz vor, sondern ein normaler shutdown, zumal sogar die Reihenfolge vermuten lässt, dass zuerst shutdown ausgelöst wird und die nachfolgenden Meldungen Folgeerscheinungen darstellen.

Ich würde an deiner Stelle versuchen für diese Zusammenhänge eine Erklärung zu finden.

ja irgendwie ist das komisch. Ich teste das mal. Ich kann nur sagen das ich das Problem erst seit ein paar tagen habe und ich ziemlich zeitgleich auf das neue DWD Modul umgestiegen bin. Ich schaue mal was sich sonst noch so für Änderungen eingeschlichen haben und werde mal versuchen ein paar Sachen auszuschließen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 29 Februar 2024, 16:16:00
Hallo Jens, @all,

bei mir läuft die Version 1.17.1 bereits den ganzen Tag sehr gut, insbesondere der Timer ausgezeichnet.
Ich habe einen kleinen Fehler korrigiert und ein paar kleine Änderungen vorgenommen.
Zum Beispiel wird fc_dwdDocTime jetzt lokaler Zeit im Reading dargestellt. Damit passt:

     fc_time  2024-02-29 15:00:00
     und
     fc_dwdDocTime 2024-02-29 15:21:49

Meine Anpassungen habe ich im Text mit "# Heiko" gekennzeichnet.

EDIT: siehe auch Post #945 mit weiterer Version

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 29 Februar 2024, 18:56:30
Hallo Jens,

ich habe eine Möglichkeit gefunden, LWP wieder loszuwerden und den Header mit HttpUtils_BlockingGet zu lesen.
Wenn du damit noch nicht begonnen haben solltest, würde ich einen Vorschlag erstellen.
Den kannst du dann ja wie gehabt optimieren.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 29 Februar 2024, 20:33:29
Hallo Leute, neuer Tag neue Meldung. Bring uns das weiter?
2024.02.29 20:25:00 5: DWD: ProcessForecast: parsing XML document
2024.02.29 20:25:02 4: DWD: ProcessForecast ERROR: domain_29 error : Memory allocation failed : growing buffer
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 29 Februar 2024, 20:48:25
Mir fällt es gerade wie Schuppen von den Augen. Du hast doch ein:

Zitat...das OS ist Buster mit 32bit ...
richtig?

32Bit -> adressierbarer Speicher max. ist 4GB!

Mehr als 4GB können nicht verwendet werden egal wieviel RAM drin steckt.
Da wirst du wohl warten müssen bis Jens eine weniger RAM fressende Version erstellt hat oder mal drüber nachdenken auf 64Bit Linux zu wechseln, was ich auf jeden Fall machen würde.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 29 Februar 2024, 21:03:13
Hallo Jens,

ich habe deine Version  1.17.1 vom LWP befreit. Läuft bei mir unverändert stabil.
Läuft jetzt alles mit HttpUtils_BlockingGet. Meine Änderungen sind mit "# Heiko" gekennzeichnet.
Es gibt eine neue Funktion GetHeadersBGT. Zum Vergleich habe ich die GetHeaders noch drin gelassen.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 29 Februar 2024, 21:05:33
das war es, vielen dank habe buster auf 64bit kernel umgestellt und jetzt geht es
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 29 Februar 2024, 22:21:19
Ah 32 Bit, ja klar da hilft alles nichts ;-)
Super das es gefunden wurde.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 01 März 2024, 22:58:40
Hallo Heiko,

fc_dwdDocTime muss in UTC sein, sonst gibt es Ärger bei der Sommerzeitumstellung (z.B. keine Updates obwohl es welche gibt). Habe ein Z angehängt, damit man das sofort unterscheiden kann.

Zitat... ich habe eine Möglichkeit gefunden, LWP wieder loszuwerden und den Header mit HttpUtils_BlockingGet zu lesen ...
GetHeadersBGT sieht gut aus, werde ich in die übernächsten Version integrieren, Danke.

Inzwischen ist meine Version 1.17.2 im Dauertest, die die Update-Prüfung auch bei den Alerts macht. Sie wird auch das Attribut forecastDataPrescision mit forecastRefresh ablösen, womit man die Möglichkeit hat zwischen 1 bis 6 h Updaterate zu wählen.

Übers Wochenende werde ich mich an die RAM-Optimierung für MOSMIX S machen. Mein Pi läuft zwar mit 64 Bit, aber er hat nur 2 GB und Swappen ist nicht die Lösung.

Ein Ansatz, der insbesondere wenn man sich für mehrere Stationen interessiert relevant ist, wäre die heruntergeladene Datei im tmp-Verzeichnis zu belassen, so dass man die Daten nicht mehrfach herunterladen muss. Das wäre aber schon der übernächste Schritt.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 01 März 2024, 23:32:13
Hallo Jens,

Zitatfc_dwdDocTime muss in UTC sein, sonst gibt es Ärger bei der Sommerzeitumstellung (z.B. keine Updates obwohl es welche gibt). Habe ein Z angehängt, damit man das sofort unterscheiden kann.
Ach ja, die Zeitumstellung...
Dann schlage ich vor ein verstecktes .fc_dwdDocTimeUTC für den logischen Vergleich mitzuführen, das lesbare Reading im Sinne der Einheitlichkeit wie die anderen Zeitreadings auch in Localtime auszugeben.

Zitat...Reading forecastDataPrescision mit forecastRefresh
Du meinst sicher das Attribut  ;)

Es geht wirklich super voran, danke für dein Engagement.  8)

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 01 März 2024, 23:37:22
ZitatDu meinst sicher das Attribut
Klar, korrigiert.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 00:39:25
Es gibt eine weitere Alpha-Version 1.17.2 des DWD_OpenData-Moduls in meinem Contrib-Verzeichnis:

Wesentliche Änderungen im Vergleich zu 1.17.1:

Hinweise:
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 02 März 2024, 20:21:37
Hallo Jens,

habe deine V 1.17.2 genommen und melde falls mir etwas auffallen sollte.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 20:27:29
Hallo Heiko,

versuche mich gerade am RAM-Sparen, aber das heißt erst mal modularisieren. HttpUtils_BlockingGet liefert direkt in den Speicher und das muss erst mal in ein TEMP-File. Dazu werde ich LWP:UserAgent verwenden. Anschließend kann man das TEMP-File zeilenweise lesen, filtern und den benötigten Teil wie bisher verarbeiten.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 02 März 2024, 20:36:00
ZitatHttpUtils_BlockingGet liefert direkt in den Speicher
Ja, aber das File ist doch gezippt und "nur" 35MB groß. Das sollte doch auch mit HttpUtils_BlockingGet kein Problem für den Speicher sein um das File als zip-File zu speichern. Du wolltest doch sowieso auf das Entpacken verzichten, oder?
Dann könntest du doch auf LWP verzichten m.M. nach.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 20:45:00
Die aktuelle MOSMIX S Datei auf dem DWD-Server ist zwar "nur" ~40 MB groß, aber ich kenne keine Möglichkeit, auf das Entpacken zu verzichten, und dann sind wir bei ~700 MB.

Habe mir die Beschreibung von IO::Uncompress::Unzip angesehen. Es gibt eine getline()-Funktion, aber es bleibt unklar, ob man damit verhindern kann, dass die 700 MB im RAM liegen.

Erst wenn man an den Inhalt des Zips kommt, kann man vor der Weiterverarbeitung die Daten der relevanten Station herausschneiden, wie das mumpitzstuff vorgeschlagen hat.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 02 März 2024, 20:48:37
ZitatDie aktuelle MOSMIX S Datei auf dem DWD-Server ist zwar "nur" ~40 MB groß, aber ich kenne keine Möglichkeit, auf das Entpacken zu verzichten, und dann sind wir bei ~700 MB.
Ok ... nur das Entpacken ist unabhängig davon ob du das gepackte File via LWP oder HttpUtils_BlockingGet abholst oder nicht?
Aber vllt. übersehe ich ja etwas...

 
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 20:51:02
In der Beschreibung von HttpUtils_BlockingGet steht das der Dateiinhalt als String zurückgeliefert wird und der wäre dann bei ~700 MB.

Eine Option den Stream gleich in eine Datei zu schicken sehe ich bei HttpUtils_BlockingGet nicht.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 02 März 2024, 20:56:05
ZitatIn der Beschreibung von HttpUtils_BlockingGet steht das der Dateiinhalt als String zurückgeliefert wird und der wäre dann bei ~700 MB.
HttpUtils_BlockingGet entpackt aber nichts. Hast du das File mal mit HttpUtils_BlockingGet abgeholt und gespeichrt? Es gibt ja auch noch in HttpUtils das GetHttpFile oder GetFileFromURL als FHEM Alternative.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 20:57:39
Das Entpacken ist schon immer ein eigener Schritt nach HttpUtils_BlockingGet gewesen. Die Varianten GetHttpFile und GetFileFromURL habe ich mir auch angesehen, aber die verwenden wiederum HttpUtils_BlockingGet und damit ist dann nichts gewonnen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 02 März 2024, 21:02:31
ZitatDas Entpacken ist schon immer ein eigener Schritt nach HttpUtils_BlockingGet gewesen.
Dann passt es doch. Meiner Meinung nach kannst du das gepackte File mit HttpUtils_BlockingGet holen und so wie es ist speichern. Wäre das Gleiche wie mit LWP. Danach kann man es entpacken oder sonstwas damit machen.
Müßte man natürlich mal testen. Jedenfalls bräuchten wir dann kein LWP wenn das funktioniert.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 21:03:21
Bin bei dir, der Download geht dann doch mit HttpUtils_BlockingGet .
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 21:54:37
KMZ File download -> HttpUtils_BlockingGet -> Variable -> unzip -> TEMP-File -> Variable funktioniert

Das bewirkt natürlich so erst mal nichts Neues, außer dass es über eine Datei läuft. Aber jetzt kann man die Datei auch zeilenweise filtern, statt sie komplett zu laden.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 22:52:59
Habe mich für ein Datei mit festem Namen im TEMP-Verzeichnis entschieden, denn sonst bleiben große Dateien übrig, wenn mal was schief geht. Hier ist das Ergebnis:

2024.03.02 22:44:49.700 5: DWD: GetForecast START (PID 20640)
2024.03.02 22:44:49.725 5: DWD: GetForecast END
2024.03.02 22:44:49.739 5: DWD: IsDocumentUpdated BEFORE
2024.03.02 22:44:50.029 5: DWD: IsDocumentUpdated docSize:37936832/0 docTime:2024-03-02 21:22:17Z/2024-03-02 21:22:17Z
2024.03.02 22:44:50.030 5: DWD: IsDocumentUpdated AFTER
2024.03.02 22:44:50.030 5: DWD: GetForecastStart 2024-03-02 21:22:17Z 1709414537 1709414537 16200 1
2024.03.02 22:44:50.030 5: DWD: GetForecastStart START (PID 18827)
2024.03.02 22:44:51.400 5: DWD: GetForecastDataDiskless: data received, unzipping ...
2024.03.02 22:45:16.505 5: DWD: GetForecastDataDiskless: unzipped 666223134 bytes, filtering ...
2024.03.02 22:45:19.882 5: DWD: GetForecastDataDiskless: filtered 130164 bytes
2024.03.02 22:45:19.882 5: DWD: ProcessForecast START ...

Download 38 MB:   1,4 s
Unzip      666 MB: 25,1 s
Filter        130 kB:   3,4 s
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 02 März 2024, 23:07:31
Sieht doch gut aus.  :)
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 02 März 2024, 23:27:07
Sehe ich auch so. Das unzippen dauert zwar, aber das ist bei der Datenmenge und der CPU-Leistung eines Pi 4 nicht anders zu erwarten. Der RAM-Bedarf ist dafür minimal und damit kann man das auch auf Systemen mit kleinem RAM nutzten.

Die Last wird vom RAM auf die Disk verlagert. Wer eine SD-Card verwendet, sollte besser ein tmpfs für /tmp verwenden, wenn genug RAM da ist - denn der Datendurchsatz geht auf die Lebensdauer. Vielleicht ist es auch erforderlich, dass ein Attribut für das TEMP-Verzeichnis eingeführt wird, denn der eine oder andere hat vielleicht eine HDD mit Platz.

Werde diese Version auf jeden Fall bis morgen bei mir laufen lassen, bevor ich sie einchecke.

Der nächste Schritt wäre die Unterstützung von mehreren Stationen, möglichst basierend auf einem einzigen Download/Unzip. Bei den Alerts geht das jetzt schon mit mehreren FHEM-Modulen, die einen gemeinsamen Cache nutzten. Vielleicht kann man das bei den Forecast so ähnlich machen.

Hier noch eine Frage an die User der Alpha-Versionen:

Für das Download- und Verarbeitungs-Timeout (Unzip + Filter + Dekodierung) muss eine obere Grenze festgelegt werden. Aktuell sind beim Download max. 60 s und für die Verarbeitung max. 30 s vorgesehen.

Braucht jemand mehr?
Wenn ja, wieviel?
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 03 März 2024, 07:23:49
Morgen Jens,

ich selbst habe mit den Zeitlimits kein Thema, aber ein User aus dem SolarForecast Umfeld hatte wegen seiner begrenzten Internetanbindung ein Problem mit zu kleinem Timeout.
Ich habe einen Link zu diesem Beitrag gepostet. Vllt. meldet er sich.

LG
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 03 März 2024, 09:16:56
Re: Timeout Limits
Ich habe aktuell auch kein Problem, aber - nachdem das alles via Blocking-call gemacht wird, könnte man den Usern mehr Spielraum geben..., Die defaults dürften für aktuelle Systeme passen!
PS: ich teste (erstmalig) Docker, muss forschen wie ich da ein tmpfs anlege.....
l.g.erwin
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 03 März 2024, 09:25:53
Zitat von: jensb am 02 März 2024, 23:27:07Die Last wird vom RAM auf die Disk verlagert. Wer eine SD-Card verwendet, sollte besser ein tmpfs für /tmp verwenden, wenn genug RAM da ist - denn der Datendurchsatz geht auf die Lebensdauer. Vielleicht ist es auch erforderlich, dass ein Attribut für das TEMP-Verzeichnis eingeführt wird, denn der eine oder andere hat vielleicht eine HDD mit Platz.

Hallo Jens,

wieviel MB ist dan bei tmpfs einzurichten? Ich habe ein Pi4 mit 8GB RAM
Titel: Aw: Modul für DWD Open Data
Beitrag von: kask am 03 März 2024, 10:48:16
Zitat von: Ingo298 am 03 März 2024, 09:25:53Hallo Jens,

wieviel MB ist dan bei tmpfs einzurichten? Ich habe ein Pi4 mit 8GB RAM


Ich denke, so wie ich das verstehe, wird der download stream direkt entpackt und ins temp geschoben. Also 700MB minigens.
ZitatKMZ File download -> HttpUtils_BlockingGet -> Variable -> unzip -> TEMP-File -> Variable funktioniert

Wobei die 700MB recht viel wären meines erachtens.
Und passt nicht zu:
ZitatDer RAM-Bedarf ist dafür minimal und damit kann man das auch auf Systemen mit kleinem RAM nutzten.

Ok, ohne den Schnickschnack verleibt sich das ganze um die 3GB alles zusamen bei mir rein (inkl. Swap).

Was mich da etwas irritiert ist:
Zitat2024.03.02 22:45:16.505 5: DWD: GetForecastDataDiskless: unzipped 666223134 bytes, filtering ...
2024.03.02 22:45:19.882 5: DWD: GetForecastDataDiskless: filtered 130164 bytes

Entweder ist es im ram oder schon im Temp und wird dann geshrinkt. Dauert ja 3377ms.
Ertes würde bei einem 4Gb Raspberry 17% Ram abknapsen. Und letzteres würde die sd-karte/ssd/hdd penetrieren.
Da wären die 17% aber doch besser wie 75% wie es vorher waren.

Ja, was ist es jetzt?

Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 03 März 2024, 12:32:14
Hi,
sorry für die späte Antwort, ja 60s Download hätte bei 6MBit/s bei 70 MB auch knapp werden können.
Ich würde für den Download bis zu 120 erlauben.

Ich habe aber seit ein paar Tagen Glasfaser ;-)

Gruß,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 März 2024, 14:27:49
Zitat von: kask am 03 März 2024, 10:48:16Ja, was ist es jetzt?

Es wird wohl keine Antwort geben, die bei jedem passt, dafür sind die Voraussetzungen einfach zu unterschiedlich. Mir war wichtig, dass man nicht unbedingt 4 GB RAM haben muss, damit es überhaupt funktioniert.

Um es noch mal klar zu stellen: Die stündliche Abfrage der Vorhersagedaten benötigt nicht 6x soviel wie die bisherige, sondern mehr als 10000x soviel (Datenvolumen, Rechenleistung, ~2.9 kB/h vs. ~39 MB/h)!

Reine RAM-Verarbeitung vs. Verarbeitung über tmpfs ist natürlich ein Verschiebebahnhof. Um es noch einmal klar zu stellen: tmpfs ist nur dann relevant, wenn man eine SD-Karte hat. Eine magnetische Festplatte hat mit dem Durchsatz überhaupt kein Problem und eine SSD sollte das auch nicht jucken. Sowohl bei SD-Karte als auch bei SSD kann man sich mit Overprovisioning sehr viel Luft verschaffen, ohne dass man sich um die Lebensdauer Sorgen machen muss. tmpfs ist einfach "nice to have" wenn man doch genug RAM dafür über hat. Es beschleunigt ggf. auch andere Systemabläufe.

Danke für die Rückmeldungen zum Download-Timeout. Werde versuchen 120 s als obere Grenze zu ermöglichen. Es gibt trotz BlockingCall nicht die Möglichkeit, hier eine freie Wahl zu lassen, denn das Modul ist sowohl für Vorhersagen (1 ... 6 h) als auch für Wetterwarnungen zuständig (15 min). Also muss alles innerhalb von 15 min erfolgen und es soll ja auch möglich sein z.B. 3 Module gleichzeitig arbeiten zu lassen. Also bleibt bei 3 Modulen für jedes weniger als 5 min. Nur wenn man die Recourcenanforderungen hochsetzt und z.B. 3 statt 2 Cores ansetzt, könnte man noch mehr parallel abwickeln. Aber nicht jeder kann oder will dafür seine Hardware aufrüsten.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 03 März 2024, 14:42:54
Also, ich habe keine Probleme damit, das Modul in einer meiner FHEM-Nebeninstallationen zu betreiben: RPI 2, wohlgemerkt...

Ist euch eigentlich klar, um was es sich bei dem Dateiformat handelt?

Die Keyhole Markup Language ist eine militärische Anwendung, um Daten aller Art mit einer Geolokation zu verknüpfen. Benannt nach den US-amerikanischen Keyhole-Spionagesatelliten. Das kmz-Format ist nicht einfach nur gezipptes KML, sondern kann weitere strukturierte Daten beinhalten - z.B. COLLADA-Files, also 3D-Modelle. Das wird u.a. in Google Earth verwendet.

2006 habe ich mal in einem Projekt ein Geoinfomationssystem entwickelt, bei dem wir auch nach KMZ exportieren konnten. Ich fände es interessant, die DWD-Daten tatsächlich raumbezogen darzustellen.

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 03 März 2024, 15:02:14
use strict;
use warnings;
use IO::Uncompress::Unzip qw(unzip $UnzipError);
use Time::HiRes qw(gettimeofday);


# dieser Teil würde durch den Download erledigt werden
open my $fh_zip, '<:raw', 'MOSMIX_S_LATEST_240.kmz' or die "Could not open file for reading: $!";
my $fileContent = do { local $/; <$fh_zip> };
close $fh_zip;

my $t0 = gettimeofday();

#open(my $fh_xml, '<', 'MOSMIX_S.kml');

my $z = new IO::Uncompress::Unzip(\$fileContent) or die "unzip failed: $UnzipError\n";

my $line;
#my $lineOrg;
my $collect = 0;
my $collectString = '';

while ($line = $z->getline())
{
    #$lineOrg = <$fh_xml>;
   
    # nur ein check ob alles in Ordnung ist
    #if ($line ne $lineOrg)
    #{
    #    print 'Org: '.$lineOrg;
    #    print 'New: '.$line;
    #    last;
    #}
   
    if (index($line, '<dwd:Issuer>') != -1)
    {   
        print $line;
    }
    elsif (index($line, '<dwd:IssueTime>') != -1)
    {
        print $line;
    }
    elsif (index($line, '<dwd:ForecastTimeSteps>') != -1)
    {
       $collect = 1;
    }
    elsif (index($line, '</dwd:ForecastTimeSteps>') != -1)
    {
       $collect = 0;
       print $collectString.$line;
       $collectString = '';
    }
    elsif (index($line, '<dwd:FormatCfg>') != -1)
    {
       $collect = 1;
    }
    elsif (index($line, '</dwd:FormatCfg>') != -1)
    {
       $collect = 0;
       print $collectString.$line;
       $collectString = '';
    }
    elsif (index($line, '<kml:Placemark>') != -1)
    {
       #print 'Collection started: '.$line;
       $collect = 1;
    }
    elsif (($collect == 1) && (index($line, '</kml:Placemark>') != -1))
    {
       $collect = 0;
       print $collectString.$line;
       last;
    }
    elsif (index($line, '<kml:name>') != -1)
    {
        # Beispielstation (relativ weit hinten)
        if (index($line, '<kml:name>06770</kml:name>') == -1)
        {
            print 'Filtered: '.$line;
            $collect = 0;
            $collectString = '';
        }
        else
        {
            print 'Station gefunden!'."\r\n";
        }
    }   
 
    if ($collect == 1)
    {
        $collectString .= $line;
    }   
}

$z->close();

#close($fh_xml);

print "benchmark1: ".(gettimeofday() - $t0)."\n\n";

Der Code braucht weder RAM noch schreddert er die SD Karte. Erkaufen tut man es sich mit einer erhöhten Laufzeit. Auf meinem Desktop PC brauche ich etwa 10s und ein PI ist wahrscheinlich x-fach langsamer.

Um das Script mal auszuprobieren braucht man das zip File. Bei mir heisst es:
MOSMIX_S_LATEST_240.kmz  (zip file)

Habt ihr andere Files, müsst ihr das im Script entsprechend ändern.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 März 2024, 15:08:33
@mumpitzstuff

Hatte die Frage nach IO::Uncompress::Unzip::getline weiter unten schon gestellt, aber es nicht selbst testen können. Mir wurde aus der Beschreibung nicht klar, wo entpackt wird (RAM/Disk) bzw. ob als Ganzes entpackt wird.

Wenn das so ohne relevante RAM-Belastung funktioniert, würde ich es bevorzugen.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 03 März 2024, 15:15:06
Probier das Script einfach mal aus und schau es dir dann an. Kann man ja in den Hintergrund schicken und per Top beobachten...
Das zeilenweise holen der Daten aus dem Zip ist halt seeeeehhrrrr langsam irgendwie. Leider.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 März 2024, 15:17:01
Danke, das schaue ich mir auf jeden Fall an. Wenn es sich bestätigt kommt es in die übernächste Version.
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 März 2024, 15:23:58
Zitat von: Prof. Dr. Peter Henning am 03 März 2024, 14:42:54Ich fände es interessant, die DWD-Daten tatsächlich raumbezogen darzustellen.

Das wäre eine schöne Erweiterung für das User-Interface, vielleicht sogar mit Zeitraffer-Player.

Bei der Darstellung kann ich nicht helfen, aber was die Daten dazu betrifft:


Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 März 2024, 18:42:20
Es gibt eine weitere Alpha-Version 1.17.3 des DWD_OpenData-Moduls in meinem Contrib-Verzeichnis:

Wesentliche Änderungen im Vergleich zu 1.17.2:


Hinweise:
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 03 März 2024, 20:02:19
Hallo Jens,

habe die Version in den Test genommen und berichte...

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 03 März 2024, 20:51:31
use strict;
use warnings;
use IO::Uncompress::Unzip qw(unzip $UnzipError);
use Time::HiRes qw(gettimeofday);


# dieser Teil würde durch den Download erledigt werden
open my $fh_zip, '<:raw', 'MOSMIX_S_LATEST_240.kmz' or die "Could not open file for reading: $!";
my $fileContent = do { local $/; <$fh_zip> };
close $fh_zip;

my $t0 = gettimeofday();

my $z = new IO::Uncompress::Unzip(\$fileContent) or die "unzip failed: $UnzipError\n";

my $buffer;
my $offset = 0;
my $startOfLine = 0;
my $endOfLine = 0;
my $line;
my $collect = 0;
my $collectString = '';
# split into chunks of 1MB
READ_CHUNKS:
while ($z->read($buffer, 1000000, $offset) > 0)
{
    $endOfLine = index($buffer, "\n");
   
    while ($endOfLine != -1)
    {
        $line = substr($buffer, $startOfLine, $endOfLine - $startOfLine + 1);
        $startOfLine = $endOfLine + 1;
        $endOfLine = index($buffer, "\n", $endOfLine + 1);
       
        if (index($line, '<dwd:Issuer>') != -1)
        {   
            print $line;
        }
        elsif (index($line, '<dwd:IssueTime>') != -1)
        {
            print $line;
        }
        elsif (index($line, '<dwd:ForecastTimeSteps>') != -1)
        {
           $collect = 1;
        }
        elsif (index($line, '</dwd:ForecastTimeSteps>') != -1)
        {
           $collect = 0;
           print $collectString.$line;
           $collectString = '';
        }
        elsif (index($line, '<dwd:FormatCfg>') != -1)
        {
           $collect = 1;
        }
        elsif (index($line, '</dwd:FormatCfg>') != -1)
        {
           $collect = 0;
           print $collectString.$line;
           $collectString = '';
        }
        elsif (index($line, '<kml:Placemark>') != -1)
        {
           #print 'Collection started: '.$line;
           $collect = 1;
        }
        elsif (($collect == 1) && (index($line, '</kml:Placemark>') != -1))
        {
           $collect = 0;
           print $collectString.$line;
           last READ_CHUNKS;
        }
        elsif (index($line, '<kml:name>') != -1)
        {
            # Beispielstation (relativ weit hinten)
            if (index($line, '<kml:name>06770</kml:name>') == -1)
            {
                print 'Filtered: '.$line;
                $collect = 0;
                $collectString = '';
            }
            else
            {
                print 'Station gefunden!'."\r\n";
            }
        }   
     
        if ($collect == 1)
        {
            $collectString .= $line;
        }
    }

    # find end of last line within chunk
    my $end = rindex($buffer, "\n");
    # copy the last incomplete line to the buffer of the next chunk
    if (($end > 0) && ($end < length($buffer) - 1))
    {
        $buffer = substr($buffer, $end + 1);
        $offset = length($buffer);
    }

    $startOfLine = 0;
}

$z->close();

print "benchmark1: ".(gettimeofday() - $t0)."\n\n";

Hier noch mal eine etwas komplexere Variante der ersten Version, die aber rund doppelt so schnell ist auf meinem Desktop Rechner, dafür aber einen Buffer von 1MB benötigt (was sicherlich lächerlich wenig ist).
Titel: Aw: Modul für DWD Open Data
Beitrag von: jensb am 03 März 2024, 21:01:30
@mumpitzstuff

Bei diesem eindeutigen Ergebnis braucht man das nicht mehr zu testen, dann geht es mehr darum aus der sub GetForecastDataUsingFile von Version 1.17.3 eine neue sub GetForecastDataDisklessFiltered zu machen. Der größte Teil des aktuellen Codes kann meiner Ansicht nach bleiben. Wahrscheinlich reicht es fast das Filehandle von unzip mit getline in der vorhandenen readline-while-Schleife zu verwenden. Werde mir das wahrscheinlich nächstes Wochenende vornehmen.

Grüße,
Jens
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 03 März 2024, 22:22:33
Hinweis zu 1.17.3:

PERL WARNING: "my" variable $station masks earlier declaration in same scope at ./FHEM/55_DWD_OpenData.pm line 1920.

LG
Titel: Aw: Modul für DWD Open Data
Beitrag von: SparcWolf am 04 März 2024, 11:19:39
Zitat von: mumpitzstuff am 03 März 2024, 20:51:31...
Hier noch mal eine etwas komplexere Variante der ersten Version, die aber rund doppelt so schnell ist auf meinem Desktop Rechner, dafür aber einen Buffer von 1MB benötigt (was sicherlich lächerlich wenig ist).

Der RPi 3 B+ (1GB RAM) braucht für das Skript ca. 24 Sekunden.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 04 März 2024, 16:24:31
Das klingt ja jetzt erst mal nicht so schlecht wenn man bedenkt, das dort ein 33mb zip File zu einem 670mb Textfile entpackt wird und daraus die notwendigen XML Daten extrahiert werden. Auch die aktuell verwendete Version wird einiges an Laufzeit benötigen.

Vielen Dank für deinen Test!
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 04 März 2024, 16:49:51
Noch ein Hinweis zu 1.1.17.3:
2024.03.04 15:33:52.151 1: PERL WARNING: Use of uninitialized value $lastDocTimestamp in subtraction (-) at ./FHEM/55_DWD_OpenData.pm line 1994.
2024.03.04 15:33:52.151 1: PERL WARNING: Use of uninitialized value $dwdDocTimestamp in subtraction (-) at ./FHEM/55_DWD_OpenData.pm line 1994.
...passiert jede Stunde, wenn versucht wird MOSMIX_S upzudaten.
Ich vermute das probl. liegt irgendwo in ParseDateTimeUTC(),
die attr.:
fc_dwdDocSize 38338439 2024-03-04 15:30:57
fc_dwdDocTime 2024-03-04 14:30:44Z
sehen jedenfalls vernüftig aus.
Wichtig: ein manuelles "get DWDxxx update" funktioniert.
l.g.erwin
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 04 März 2024, 17:51:33
Kann die Info von erwin bestätigen.
Habe auch schon gesucht.
Nachdem ich jetzt die Readings fc_dwdDocSize, fc_dwdDocTime gelöscht habe, hat das autom. Update (einmalig) funktioniert.
Ich warte nun ab ob der Fehler damit weg ist oder wiederkommt.

LG

Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 04 März 2024, 19:29:37
Ging nur einmal automatisch. Manuell funktioniert das Update.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 04 März 2024, 20:18:48
Zitat von: SparcWolf am 04 März 2024, 11:19:39
Zitat von: mumpitzstuff am 03 März 2024, 20:51:31...
Hier noch mal eine etwas komplexere Variante der ersten Version, die aber rund doppelt so schnell ist auf meinem Desktop Rechner, dafür aber einen Buffer von 1MB benötigt (was sicherlich lächerlich wenig ist).

Der RPi 3 B+ (1GB RAM) braucht für das Skript ca. 24 Sekunden.

@SparcWolf Könntest du bitte noch mal die folgende Version prüfen?

use strict;
use warnings;
use IO::Uncompress::Unzip qw(unzip $UnzipError);
use Time::HiRes qw(gettimeofday);


# dieser Teil würde durch den Download erledigt werden
open my $fh_zip, '<:raw', 'MOSMIX_S_LATEST_240.kmz' or die "Could not open file for reading: $!";
my $fileContent = do { local $/; <$fh_zip> };
close $fh_zip;

my $t0 = gettimeofday();

my $z = new IO::Uncompress::Unzip(\$fileContent) or die "unzip failed: $UnzipError\n";

my $buffer;
my $offset = 0;
my $startOfLine = 0;
my $endOfLine = 0;
my $line;
my $collect = 0;
my $collectString = '';
my $headerParsed = 0;

# split into chunks of 1MB
READ_CHUNKS:
while ($z->read($buffer, 1000000, $offset) > 0)
{
    $endOfLine = index($buffer, "\n");
   
    while ($endOfLine != -1)
    {
        $line = substr($buffer, $startOfLine, $endOfLine - $startOfLine + 1);
        $startOfLine = $endOfLine + 1;
        $endOfLine = index($buffer, "\n", $endOfLine + 1);
       
        if ($headerParsed == 0)
        {
            if (index($line, '<dwd:Issuer>') != -1)
            {   
                print $line;
            }
            elsif (index($line, '<dwd:IssueTime>') != -1)
            {
                print $line;
            }
            elsif (index($line, '<dwd:ForecastTimeSteps>') != -1)
            {
               $collect = 1;
            }
            elsif (index($line, '</dwd:ForecastTimeSteps>') != -1)
            {
               $collect = 0;
               print $collectString.$line;
               $collectString = '';
            }
            elsif (index($line, '<dwd:FormatCfg>') != -1)
            {
               $collect = 1;
            }
            elsif (index($line, '</dwd:FormatCfg>') != -1)
            {
               $collect = 0;
               print $collectString.$line;
               $collectString = '';
            }
        }
       
        if (index($line, '<kml:Placemark>') != -1)
        {
           #print 'Collection started: '.$line;
           # parsing the header data is not needed anymore
           $headerParsed = 1;
           $collect = 1;
        }
        elsif (($collect == 1) && (index($line, '<kml:name>') != -1))
        {
            # Beispielstation (relativ weit hinten)
            if (index($line, '06770</kml:name>', 10) == -1)
            {
                #print 'Filtered: '.$line;
                $collect = 0;
                $collectString = '';
            }
            else
            {
                print 'Station gefunden!'."\r\n";
            }
        }
        elsif (($collect == 1) && (index($line, '</kml:Placemark>') != -1))
        {
           $collect = 0;
           print $collectString.$line;
           last READ_CHUNKS;
        }
             
        if ($collect == 1)
        {
            $collectString .= $line;
        }
    }

    # find end of last line within chunk
    my $end = rindex($buffer, "\n");
    # copy the last incomplete line to the buffer of the next chunk
    if (($end > 0) && ($end < length($buffer) - 1))
    {
        $buffer = substr($buffer, $end + 1);
        $offset = length($buffer);
    }

    $startOfLine = 0;
}

$z->close();

print "benchmark1: ".(gettimeofday() - $t0)."\n\n";

Ich habe noch ein wenig Feintuning gemacht und auf meinem Rechner die Zeit von 5s auf 3.4s runter gebracht.
Titel: Aw: Modul für DWD Open Data
Beitrag von: SparcWolf am 04 März 2024, 22:28:33
Hallo @mumpitzstuff,

Sehr schön. Die Mühe hat sich gelohnt.

benchmark1: 15.2965559959412
benchmark1: 14.649405002594
benchmark1: 14.5959498882294
benchmark1: 14.8466770648956

Grüße,
  Guido.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 04 März 2024, 22:42:09
Sehr schön. Vielen Dank!
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 05 März 2024, 17:45:39
Jetzt habe ich eine Weile gesucht.
Bei mir funktioniert es jetzt wie es soll mit der angehängten Version. Ursache war dass ParseDateTimeUTC nicht funktioniert hat wie erwin schon vermutet hat. Nach Auswertung und Ausdruck des eval-Fehlers habe ich dann gesehen:

Zitateval: Undefined subroutine &main::strptime called at ./FHEM/55_DWD_OpenData.pm line 1296.

Nach Installation von POSIX::strptime und einfügen von:

use POSIX::strptime qw(strptime); 
               

sowie einigen Anpassungen im Code läuft es jetzt.
Möglicherweise gibt es strptime noch in einem anderen Perl Modul ...

In der angehängten modifizierten Version 1.17.3 habe ich meine Änderungen wird mit "# Heiko" gekennzeichnet.

Edit: siehe Post #995.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 05 März 2024, 18:26:17
Hallo Heiko,
das schaut jetzt besser aus, ich warte noch auf den autom. update...
ich musste allerdings noch eine Kleinigkeit ändern:
in ParseDateTimeUTC:
#  eval { $t = ::timegm(POSIX::strptime(@_, '%Y-%m-%d %H:%M:%S%z')) };    # Heiko
  eval { $t = timegm(POSIX::strptime(@_, '%Y-%m-%d %H:%M:%S%z')) };    # Erwin
sonst ging schon der mauelle update nicht...
timegm ist NICHT im main, das kann ich deshalb behaupten, weil ich in docker teste und DWD und MQTT die einzigen definierten Module sind.
und die Frage bleibt, warum eval? und auch warum POSIX::strptime -  das ist jedenfalls nicht in der aktuellen fhem-version (Docker) dabei...
l.g. erwin

PS: autom. update hat nicht funktioniert, ich musste noch 2x ::timegm( auf timegm( ändern, in: ParseDateTimeLocal u. GetHeaders!
und wieder warten...
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 05 März 2024, 18:55:46
Hallo erwin,

die Variante ist besser, Time::Local wird ja ins Package geladen.
Und den Input für timegm können wir auch manuell formatieren.

Ich ändere das auch mal ab...

LG,
Heiko

Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 05 März 2024, 19:43:49
Danke Heiko,
ZitatUnd den Input für timegm können wir auch manuell formatieren
ich denke da auch an fhemTimeGm und fhemTimeLocal aus fhem.pl....
l.g. erwin
PS: so, jetzt hat der automatische update 2mal funktioniert. Pause bis morgen  :)
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 05 März 2024, 22:42:30
Und ich habe inzwischen auch ein paar Anpassungen vorgenommen.
Das File anbei.  -> siehe #1006

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 06 März 2024, 00:08:55
Hallo Heiko,
danke fürs update, einen hab ich noch:
AttrVal($name, 'forecastResolution', 6)
# ändern auf
AttrVal($name, 'forecastRefresh', 6)
und das 2 mal..., dann kommen nicht nur 3 forcasthours - sondern 24....
War eigentlich schon ganze Zeit da, das Problem - bedingt durch die Attr-Namen Änderung. - post #948
l.g. erwin
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 06 März 2024, 08:23:00
Moin erwin,

du meinst bestimmt die Attr in der UpdateForecast Routine?

Edit: Ich denke es ist richtig so definiert wie es ist.
Mein Attr forecastResolution ist auf 1 gesetzt und die Werte werden für jede Stunde erstellt. Das soll auch so sein.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 06 März 2024, 09:03:02
Morgen,
... ich hatte Attr forecastResolution nicht definiert, sondern nur forecastRefresh auf 1.
Offensichtlich war ich durch die Namensänderungen verwirrt.... - im code werde BEIDE Attr verwendet!
OK ich setze jetzt beide Attr, dann sollte es OK sein.
l.g. erwin
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 06 März 2024, 09:15:31
Ich habe das Wiki um einen Abschnitt ergänzt, der die Einbindung der vom DWD_Weblink_Generator gelieferten Daten in eine beliebige externe Webseite beschreibt.

https://wiki.fhem.de/wiki/DWD_OpenData#Beispiel_f%C3%BCr_die_Einbindung_auf_einer_Webseite_au%C3%9Ferhalb_von_FHEM

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: SparcWolf am 06 März 2024, 11:47:31
Hallo Heiko,

ich habe hier Deine Version von gestern Abend laufen ( 55_DWD_OpenData_V1.17.3_mit_Fixes.pm ).
Die Aktualisierung scheint zu klemmen.
Ich nutze noch MOSMIX-L bis eine Version verfügbar ist, die mit wenig RAM auskommt.

...
fc_dwdDocSize 17663                2024-03-06 07:57:05
fc_dwdDocTime 2024-03-06 06:57:04Z 2024-03-06 07:57:05
fc_state      updated              2024-03-06 11:08:34
fc_station    10400                2024-03-06 07:57:05
fc_time       2024-03-06 04:00:00  2024-03-06 07:57:05
fc_url        https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/10400/kml/MOSMIX_L_LATEST_10400.kmz    2024-03-06 07:57:05
nextUpdate    11:46:45             2024-03-06 11:32:31
...
fc_time ist immer noch 4:00 (Jetzt ist es 11:45)
Auf dem DWD Server ist eine neue Datei vorhanden:
...
MOSMIX_L_2024030603_10400.kmz                      06-Mar-2024 04:02               17663
MOSMIX_L_2024030609_10400.kmz                      06-Mar-2024 09:54               17535
MOSMIX_L_LATEST_10400.kmz                          06-Mar-2024 09:54               17535

Hätte die Datei nicht inzwischen verarbeitet sein müssen?
Wenn ich <get forecast> ausführe, werden die Daten aktualisiert.

Grüße,
  Guido.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 06 März 2024, 12:08:13
MOSMIX_L habe ich jetzt nicht getestet. Sieht aber nach noch einem Bug aus. Bin auch gerade nicht am Platz. Vllt. erwin mal danach schauen ...
Titel: Aw: Modul für DWD Open Data
Beitrag von: SparcWolf am 06 März 2024, 12:11:23
Kein Stress 8) . Das hat Zeit.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 06 März 2024, 12:23:05
Bei mir klemmt nichts. Alles ab fc1 ist auf dem Stand von 10:43

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: SparcWolf am 06 März 2024, 12:38:43
Mittlerweile sind bei mir auch die Daten aktualisiert worden:
fc_dwdDocSize 17535                2024-03-06 11:50:00
fc_dwdDocTime 2024-03-06 10:50:00Z 2024-03-06 11:50:00
fc_state      updated              2024-03-06 12:03:15
fc_station    10400                2024-03-06 11:50:00
fc_time       2024-03-06 10:00:00  2024-03-06 11:50:00
Ich beobachte das mal weiter.
Titel: Aw: Modul für DWD Open Data
Beitrag von: erwin am 06 März 2024, 13:25:25
@SparcWolf,

so ähnlich hatte ich es heute morgen auch:
- DWD def neu erstellt - MODMIX_S
- ein manuelles update um ca. 09:00 Uhr - interessant war, das reading fc_dwdDocTime den (manuellen) downloadzeitpunt hatte.
- kein autom. update um 09:3x
- ab 10:3x regelmäßig updates jede Stunde...
l.g. erwin
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 06 März 2024, 16:54:38
@all,

habe noch ein Problem beseitigt und hier ein verbose 5 zum Vergleich:

2024.03.06 16:22:10.408 5: DWD: GetForecast START (PID 1215)
2024.03.06 16:22:10.457 5: DWD: GetForecast END
2024.03.06 16:22:10.461 5: DWD: IsDocumentUpdated BEFORE
2024.03.06 16:22:10.846 5: DWD: GetHeaders content_length: 18496
2024.03.06 16:22:10.847 5: DWD: GetHeaders last_modified raw: Wed, 06 Mar 2024 09:54:57 GMT
2024.03.06 16:22:10.851 5: DWD: GetHeaders last_modified formatted: 2024-03-06 09:54:57
2024.03.06 16:22:10.852 5: DWD: IsDocumentUpdated docSize:18496/0 docTime:2024-03-06 09:54:57Z/2024-03-06 09:54:57Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/N5872/kml/MOSMIX_L_LATEST_N5872.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/N5872/kml/MOSMIX_L_LATEST_N5872.kmz
2024.03.06 16:22:10.852 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 18496, docTime: 2024-03-06 09:54:57Z
2024.03.06 16:22:10.853 5: DWD: GetForecastStart 2024-03-06 09:54:57Z 1709718897 1709718897 0 0 : 1
2024.03.06 16:22:10.854 5: DWD: GetForecastStart START (PID 9427): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/N5872/kml/MOSMIX_L_LATEST_N5872.kmz
2024.03.06 16:22:13.493 5: DWD: GetForecastDataDiskless: data received, unzipping ...
2024.03.06 16:22:13.499 5: DWD: ProcessForecast START
2024.03.06 16:22:13.500 5: DWD: ProcessForecast: data unpacked, decoding ...
2024.03.06 16:22:13.501 5: DWD: ProcessForecast: parsing XML document
2024.03.06 16:22:13.503 5: DWD: ProcessForecast: extracting data
2024.03.06 16:22:13.530 5: DWD: ProcessForecast temp file /tmp/6DGzWyO4gs forecast 3 size 17699
2024.03.06 16:22:13.531 5: DWD: ProcessForecast END
2024.03.06 16:22:13.532 5: DWD: GetForecastStart END
2024.03.06 16:22:13.534 5: DWD: GetForecastFinish START (PID 1215)
2024.03.06 16:22:13.535 5: DWD: GetForecastFinish temp file /tmp/6DGzWyO4gs forecast 3 size 17699
2024.03.06 16:22:13.536 5: DWD: UpdateForecast: START
2024.03.06 16:22:13.537 5: DWD: RotateForecast: START 2 day(s) exist
2024.03.06 16:22:13.538 5: DWD: RotateForecast: END 2 day(s) remain
2024.03.06 16:22:13.768 5: DWD: UpdateForecast: END
2024.03.06 16:22:13.770 5: DWD: GetForecastFinish END


Das Reading fc_dwdDocTime wird jetzt auch (wieder?) richtig gesetzt.

Grüße,
Heiko

Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 06 März 2024, 19:25:57
Ist vielleicht eine dumme Frage, aber MOSMIX L war doch die kleine Variante. Weshalb geht das dann über das Tempfile? Sollte das nicht nur bei der großen Variante passieren?

Und die URL steht auch 2x hintereinander im Logfile (die bei IsDocumentUpdated).
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 06 März 2024, 20:08:17
Die URL Angabe ist aktuelle URL/letzte URL. Wenn die gleich sind, sieht es doppelt aus. Ich weiß nicht warum Jens das so ausgibt, er hat sich bestimmt etwas dabei gedacht.
Ich habe das File oben nochmal ersetzt. In der sub GetForecastDataUsingFile stand in der Logausgabe noch GetForecastDataDiskless drin.

Wenn ich es richtig sehe, ist das erwähnte Tempfile der Datenspeicher für die Ergebnisse, geschrieben imBlockingCall -> gelesen danach im Hauptprozess.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 06 März 2024, 20:42:24
Für mich sah das irgendwie größenabhängig aus. Siehe Anhang.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 06 März 2024, 20:46:50
Ja, das ist schon richtig. Doch die Meldung:

DWD: ProcessForecast temp file /tmp/6DGzWyO4gs

bezieht sich auf die sub ProcessForecast  und nicht GetForecastDataUsingFile oder GetForecastDataDiskless.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 07 März 2024, 17:18:57
Kurze Info, die V aus dem Post #1006 läuft bei mir stabil und einwandfrei.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 07 März 2024, 17:58:52
Hi,

habe jetzt auch die Version von Post #1006.

Es scheint zu gehen.

Bin auch etwas verwirrt von den Parametern, ich habe:
forecastResolution 1

Sehe aber auch noch ein
forecastRefresh dass man von 6 bis 1 stellen kann.
Was macht das und benötige ich es?
Was ist forecastPruning?

Warum steht im Log etwas von MOSMIX_L ich möchte doch S?
Ist das so korrekt?

Im Log sieht es so aus:
2024.03.07 17:56:28 5: DWD_Birkenau: GetForecast START (PID 1863966)
2024.03.07 17:56:28 5: DWD_Birkenau: GetForecast END
2024.03.07 17:56:28 5: DWD_Birkenau: IsDocumentUpdated BEFORE
2024.03.07 17:56:29 5: DWD_Birkenau: GetHeaders content_length: 18767
2024.03.07 17:56:29 5: DWD_Birkenau: GetHeaders last_modified raw: Thu, 07 Mar 2024 16:09:17 GMT
2024.03.07 17:56:29 5: DWD_Birkenau: GetHeaders last_modified formatted: 2024-03-07 16:09:17
2024.03.07 17:56:29 5: DWD_Birkenau: IsDocumentUpdated docSize:18767/0 docTime:2024-03-07 16:09:17Z/2024-03-07 16:09:17Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/L979/kml/MOSMIX_L_LATEST_L979.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/L979/kml/MOSMIX_L_LATEST_L979.kmz
2024.03.07 17:56:29 5: DWD_Birkenau: IsDocumentUpdated AFTER return update: 1, docSize: 18767, docTime: 2024-03-07 16:09:17Z
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastStart dwdDocTime: 2024-03-07 16:09:17Z, dwdDocTimestamp: 1709827757,  dwdDocSize: 18767, lastDocTimestamp: 1709827757, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastStart START (PID 1871758): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/L979/kml/MOSMIX_L_LATEST_L979.kmz
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastDataDiskless: data received, unzipping ...
2024.03.07 17:56:29 5: DWD_Birkenau: ProcessForecast START
2024.03.07 17:56:29 5: DWD_Birkenau: ProcessForecast: data unpacked, decoding ...
2024.03.07 17:56:29 5: DWD_Birkenau: ProcessForecast: parsing XML document
2024.03.07 17:56:29 5: DWD_Birkenau: ProcessForecast: extracting data
2024.03.07 17:56:29 5: DWD_Birkenau: ProcessForecast temp file /tmp/D3_Cx4B0xX forecast 3 size 24249
2024.03.07 17:56:29 5: DWD_Birkenau: ProcessForecast END
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastStart END
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastFinish START (PID 1863966)
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastFinish temp file /tmp/D3_Cx4B0xX forecast 3 size 24249
2024.03.07 17:56:29 5: DWD_Birkenau: UpdateForecast: START
2024.03.07 17:56:29 5: DWD_Birkenau: RotateForecast: START 3 day(s) exist
2024.03.07 17:56:29 5: DWD_Birkenau: RotateForecast: END 3 day(s) remain
2024.03.07 17:56:29 5: DWD_Birkenau: UpdateForecast: END
2024.03.07 17:56:29 5: DWD_Birkenau: GetForecastFinish END

Danke und viele Grüße,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 07 März 2024, 18:07:28
Hi Stefan,

die Attribute sind alle in der engl. Hilfe (help DWD_OpenData en) erläutert.

Für MOSMIX_S mußt du forecastRefresh < 6 stellen.

LG,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 07 März 2024, 18:11:42
Hi Heiko,

danke.

Weiß nicht was los war.
Ich habe eigentlich in die Ref geschaut und die Parameter nicht gesehen.
Eben nochmal geschaut und alles ist da ;-)

Ok habs jetzt auch mit MOSMIX_S.
Ich beobachte mal.

P.S.:
Das File auf meiner SSD in /tmp hat 0 bytes und ist leer.
Ist das so ok?

Danke,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 07 März 2024, 18:18:03
Ok, habe etwas beobachtet.

Speicherverbrauch ist super, da passiert so gut wie nichts mehr.

Beim Update gibt es das Fiel das gedownloaded wird und bis auf 70MB anwächst.
Danach wird es verarbeitet, das geht sehr schnell und dann verschwindet es.

Übrig bleibt für jede Station ein 0 Byte File, das sieht so aus:
-rw------- 1 fhem   dialout    0 Mar  7 18:09 sStErJza_E
-rw------- 1 fhem   dialout    0 Mar  7 18:15 0SacCjFRsY

Ist das eine Checksumme?

Gruß,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 07 März 2024, 18:21:51
Das ist ein Filename. Das Management der Tempfiles wird durch das eingebundene Perl Modul File::Temp gemacht. Da muss man sich nicht mit rumschlagen.
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 07 März 2024, 18:29:33
Ah ok, das schaue ich mir mal an.
Danke!
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 08 März 2024, 09:09:23
Danke dafür das diese Modul so weiter entwickelt wird. Leider läuft die aktuelle Version bei mir wieder nicht

2024.03.08 09:29:34 5: DWD_forecast: IsDocumentUpdated BEFORE
2024.03.08 09:29:34 5: DWD_forecast: GetHeaders content_length: 38675917
2024.03.08 09:29:34 5: DWD_forecast: GetHeaders last_modified raw: Fri, 08 Mar 2024 08:21:32 GMT
2024.03.08 09:29:34 5: DWD_forecast: GetHeaders last_modified formatted: 2024-03-08 08:21:32
2024.03.08 09:29:34 5: DWD_forecast: IsDocumentUpdated docSize:38675917/0 docTime:2024-03-08 08:21:32Z/2024-03-08 04:02:50Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/M225/kml/MOSMIX_L_LATEST_M225.kmz
2024.03.08 09:29:34 5: DWD_forecast: IsDocumentUpdated AFTER return update: 1, docSize: 38675917, docTime: 2024-03-08 08:21:32Z
2024.03.08 09:29:34 5: DWD_forecast: GetForecastStart dwdDocTime: 2024-03-08 08:21:32Z, dwdDocTimestamp: 1709886092,  dwdDocSize: 38675917, lastDocTimestamp: 1709870570, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.08 09:29:34 5: DWD_forecast: GetForecastStart START (PID 14571): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.08 09:29:38 5: DWD_forecast: GetForecastDataUsingFile: data received, unzipping ...
2024.03.08 09:31:50 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 14571
2024.03.08 09:31:50 3: DWD_forecast: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Timeout: process terminated)
2024.03.08 09:31:50 5: DWD_forecast: RotateForecast: START 2 day(s) exist
2024.03.08 09:31:50 5: DWD_forecast: RotateForecast: END 2 day(s) remain
2024.03.08 09:40:47 5: DWD_forecast: Timer START
2024.03.08 09:40:47 5: DWD_forecast: Timer first:0 forecastQuarter:2 fetchAlerts:
2024.03.08 09:40:47 5: DWD_forecast: GetForecast START (PID 12917)
2024.03.08 09:40:47 5: DWD_forecast: GetForecast END
2024.03.08 09:40:47 5: DWD_forecast: Timer END

Anwender, deren TEMP-Verzeichnis sich auf einer SD-Karte ohne Overprovisioning befindet, sollten prüfen, ob eine Umstellung des TEMP-Verzeichnisses auf tmpfs möglich ist, damit die Lebensdauer der SD-Karte nicht reduziert wird

Ich benutze nach wievor eine SD-Karte ohne OP, bleibt diese Empfehlung trotzdem bestehen ?
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 08 März 2024, 10:37:48
Hi Ingo,

ohne jetzt der Experte hier zu sein, der Fehler scheint:
2024.03.08 09:31:50 1: Timeout for DWD_OpenData::GetForecastStart reached, terminated process 14571
2024.03.08 09:31:50 3: DWD_forecast: GetForecastAbort ERROR: downloading and processing weather forecast data failed (Timeout: process terminated)

Eventuell dauert das Entpacken auf SD Karte zu lang?
Ich habe an meinem Raspberry (auch ein 4er mit 4GB Ram) eine SSD hängen und alles läuft sehr schnell ab.
Was hast du als Timeout gesetzt?

Gruß,
Stefan
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 08 März 2024, 12:58:20
Ja Stefan hat recht, das ist ein Timeout.
Du kannst zut Einstellung das Attribut nutzen:

 downloadTimeout = 120

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 08 März 2024, 14:01:48
geht wieder habe  downloadTimeout = 120 eingestellt und gleich mal /tmp auf tmpfs umgestellt hoffe das es so richtig ist.
Ich muss nur ein bisschen aufpassen da ich noch Log2Ram benutze
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 08 März 2024, 14:14:56
Du könntest uns mal den Gefallen tun und testen wie weit runter du den downloadTimeout schrauben kannst bevor es nicht mehr geht. Nicht dass 120 gerade so funktioniert und Jens evtl. doch noch etwas mehr erlauben müßte um sicher zu gehen.

LG
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 08 März 2024, 14:51:22
Ich habe es bereits auf 60 gesetzt, geht auch noch. Ich denke bei wird es mit 30 zu kurz sein

2024.03.08 13:34:47 5: DWD_forecast: GetForecastStart START (PID 7680): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.08 13:34:51 5: DWD_forecast: GetForecastDataUsingFile: data received, unzipping ...
2024.03.08 13:35:17 5: DWD_forecast: GetForecastDataUsingFile: unzipped 666223134 bytes, filtering ...
2024.03.08 13:35:19 5: DWD_forecast: GetForecastDataUsingFile: filtered 130167 bytes
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 08 März 2024, 14:56:00
@mumpitzstaff, hast du mal deine Routine aus Post #988 in das Modul (am Besten meine Version mit den Fixes) eingebaut?
Ich möchte die Arbeit ungern doppelt machen.

LG
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 08 März 2024, 16:29:05
Noch ein Tipp für die Darstellung: Rudi hat gerade eine Änderung im 98_SVG.pm vorgenommen, die es ermöglicht, die Zeitdarstellung im Meteogramm an die Ausgabe von DWD_Weblink_Generator anzupassen:

https://forum.fhem.de/index.php?topic=137398.0

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 09 März 2024, 17:49:33
Zitat von: DS_Starter am 08 März 2024, 14:56:00@mumpitzstaff, hast du mal deine Routine aus Post #988 in das Modul (am Besten meine Version mit den Fixes) eingebaut?
Ich möchte die Arbeit ungern doppelt machen.

LG

Nein habe ich nicht. Ich wollte lediglich testen was maximal möglich ist an Geschwindigkeit, ohne das man beim entpacken und parsen Unmengen an ram benötigt. Ich habe ja von dem Modul auch nicht die geringste Ahnung, das ist bestimmt aus meinen Fragen deutlich geworden.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 09 März 2024, 17:55:15
Zitat von: Prof. Dr. Peter Henning am 08 März 2024, 16:29:05Noch ein Tipp für die Darstellung: Rudi hat gerade eine Änderung im 98_SVG.pm vorgenommen, die es ermöglicht, die Zeitdarstellung im Meteogramm an die Ausgabe von DWD_Weblink_Generator anzupassen:

https://forum.fhem.de/index.php?topic=137398.0

LG

pah

Könntest du der Einfachheit halber bitte posten welche Attribute du wie gesetzt hast? Ich blicke es irgendwie nicht.
Titel: Aw: Modul für DWD Open Data
Beitrag von: 300P am 09 März 2024, 18:40:13
@mumpitzstuff - schau mal hier:

https://wiki.fhem.de/wiki/DWD_OpenData# (https://wiki.fhem.de/wiki/DWD_OpenData#)
Titel: Aw: Modul für DWD Open Data
Beitrag von: oelidoc am 09 März 2024, 19:41:33
Hallo,
hab auch nur ein Raspi 4
Zitat von: Ingo298 am 08 März 2024, 14:01:48... und gleich mal /tmp auf tmpfs umgestellt hoffe das es so richtig ist.
Wie geht das? Was muss man da machen? Möchte mir ungern meine SD vorzeitig schrotten...
Gruß
oelidoc
Titel: Aw: Modul für DWD Open Data
Beitrag von: 300P am 09 März 2024, 21:24:51
Hab diese Info eben beim SolarForeCast-Modul hinterlassen.

Heiko meint wäre gut dies hier auch zu posten:

###################################################################

Hier mal ein Logauszug mit Verbose 5 bei MOSMIX-S wegen der Laufzeit bei Verwendung des "aktuell von Heiko optimierten DWD-Modules" (contrib)

Genutzte Hardware

Raspberry Pi 4 Model B Rev 1.1
ohne SD-Karte - aber mit SSD-Festplatte (1 TB - 3 Jahre alt)

              gesamt      benutzt    frei      gemns.  Puffer/Cache verfügbar
Speicher:      3,7Gi      687Mi      1,8Gi        68Mi      1,3Gi      2,9Gi
Swap:          99Mi          0B        99Mi

(MariaDB extern auf einer QNAP)

Internet : Anbindung per DSL mit 100 MBit


LOG-Auszug

2024.03.09 17:59:24 5: DWD: GetForecast START (PID 630357)
2024.03.09 17:59:24 5: DWD: GetForecast END
2024.03.09 17:59:24 5: DWD: IsDocumentUpdated BEFORE
2024.03.09 17:59:24 5: DWD: GetHeaders content_length: 38616989
2024.03.09 17:59:24 5: DWD: GetHeaders last_modified raw: Sat, 09 Mar 2024 16:23:25 GMT
2024.03.09 17:59:24 5: DWD: GetHeaders last_modified formatted: 2024-03-09 16:23:25
2024.03.09 17:59:25 5: DWD: IsDocumentUpdated docSize:38616989/0 docTime:2024-03-09 16:23:25Z/2024-03-09 16:23:25Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.09 17:59:25 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 38616989, docTime: 2024-03-09 16:23:25Z
2024.03.09 17:59:25 5: DWD: GetForecastStart dwdDocTime: 2024-03-09 16:23:25Z, dwdDocTimestamp: 1710001405,  dwdDocSize: 38616989, lastDocTimestamp: 1710001405, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.09 17:59:25 5: DWD: GetForecastStart START (PID 669494): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.09 17:59:29 5: DWD: GetForecastDataUsingFile: data received, unzipping ...
2024.03.09 18:00:10 5: DWD: GetForecastDataUsingFile: unzipped 666223134 bytes, filtering ...
2024.03.09 18:00:11 5: DWD: GetForecastDataUsingFile: filtered 130167 bytes
2024.03.09 18:00:11 5: DWD: ProcessForecast START
2024.03.09 18:00:11 5: DWD: ProcessForecast: data unpacked, decoding ...
2024.03.09 18:00:11 5: DWD: ProcessForecast: parsing XML document
2024.03.09 18:00:11 5: DWD: ProcessForecast: extracting data
2024.03.09 18:00:12 5: DWD: ProcessForecast temp file /tmp/HKMzG8q62P forecast 3 size 18758
2024.03.09 18:00:12 5: DWD: ProcessForecast END
2024.03.09 18:00:12 5: DWD: GetForecastStart END
2024.03.09 18:00:12 5: DWD: GetForecastFinish START (PID 630357)
2024.03.09 18:00:12 5: DWD: GetForecastFinish temp file /tmp/HKMzG8q62P forecast 3 size 18758
2024.03.09 18:00:12 5: DWD: UpdateForecast: START
2024.03.09 18:00:12 5: DWD: RotateForecast: START 8 day(s) exist
2024.03.09 18:00:12 5: DWD: RotateForecast: END 8 day(s) remain
2024.03.09 18:00:14 5: DWD: UpdateForecast: END
2024.03.09 18:00:14 5: DWD: GetForecastFinish END

Laufzeit : 17:59:24 - 18:00:14 Uhr
(Also würde schon ein Timout von 60 Sekunden reichen)


Achtung:
=>> bei MOSMIX-S (ansonsten gibt es z.Z. aber ab und an mal Timoutmeldungen)
    unbedingt
    attr DWD downloadTimeout 120 (oder 60 wenns gut läuft s.o.)
    setzen

Und hier eine zugehörige DWD-Beispielkonfiguration:

defmod DWD DWD_OpenData
attr DWD DbLogExclude .*
attr DWD alertArea XYXYXYXYXYX
attr DWD downloadTimeout 120
attr DWD forecastDays 7
attr DWD forecastProperties SunUp, SunRise, SunSet, Rad1h, R101, RR1c, TTT, Tx, Tn, Tg, DD, FX1, RR6c, R600, RRhc, Rh00, ww, wwd, Neff
attr DWD forecastRefresh 1
attr DWD forecastResolution 1
attr DWD forecastStation dfghjkl12345
attr DWD forecastWW2Text 1
attr DWD group Umwelt
attr DWD icon rc_WEB
attr DWD room 021_DWD
attr DWD stateFormat Tomorrow Tmax fc1_Tx °C on fc1_date
attr DWD verbose 5

Gruß
300P
Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 10 März 2024, 04:57:27
@mumpitzstuff: Nix Attribute.

Im gplot-File
set timefmt "%a"
LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: Bozan am 11 März 2024, 09:58:24
Nur noch einmal für mich zur Klarheit, da sich zuletzt ja einiges geändert hatte.
Ich habe einen Rasp 3b mit 1 GB RAM und SD Karte

Macht hier Mosmix S überhaupt Sinn oder besser "Finger weg!"?
Welchen mind. Speicherplatz sollte man dann im tmpfs reservieren?

Wenn ich den ForecastRefresh auf <6h setze, dann zieht das Modul automatisch die Mosmix S Daten?
Ist noch irgendetwas zu beachten?

Danke,
Bozan
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 11 März 2024, 17:12:35
da ich 8GB RAM habe, nutze ich derzeit 1GB für tmpfs da das DWD Modul ca. 700MB für das entpacken benötigt wenn ich es richtig verstanden habe.
in die "fstab" datei habe ich folgende Zeile eingefügt admit nach einen Neustart es wieder verfügbar ist

sudo nano /etc/fstab

tmpfs /tmp tmpfs nodev,nosuid,size=1G 0 0

sudo mount -a

damit zum Schluss prüfen ob es angelegt wurde
df -h
Titel: Aw: Modul für DWD Open Data
Beitrag von: 300P am 11 März 2024, 17:40:34
.....
für tmpfs da das DWD Modul ca. 700MB für das entpacken benötigt wenn ich es richtig verstanden habe.
......


Ja, ca. 1 GB für das TMP-Verzeichnis sollte reichen.

2024.03.09 17:59:25 5: DWD: GetForecastStart START (PID 669494): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.09 17:59:29 5: DWD: GetForecastDataUsingFile: data received, unzipping ...
2024.03.09 18:00:10 5: DWD: GetForecastDataUsingFile: unzipped 666223134 bytes, filtering ...
2024.03.09 18:00:11 5: DWD: GetForecastDataUsingFile: filtered 130167 bytes
Titel: Aw: Modul für DWD Open Data
Beitrag von: oelidoc am 11 März 2024, 17:46:37
Zitat von: Ingo298 am 11 März 2024, 17:12:35sudo nano /etc/fstab
tmpfs /tmp tmpfs nodev,nosuid,size=1G 0 0
sudo mount -a
Okay, darf ich fragen, wie man das DWD Modul dann dazu bringt, tmpfs zu nutzen? Hab zwar nur 4GB, aber Versuch macht klug...
Danke
oelidoc
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 11 März 2024, 20:05:42
@Boznan,

ZitatWenn ich den ForecastRefresh auf <6h setze, dann zieht das Modul automatisch die Mosmix S Daten?
Ist noch irgendetwas zu beachten?
Nur bei forecastRefresh = 1 wird MOSMIX_S verwendet. Weiteres ist nicht zu beachten.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Bozan am 11 März 2024, 20:10:02
Danke!
So lange ich aber noch die kleine "Maschine" habe, scheidet das für mich aus. Mit nur 1 GB Ram kann ich das nicht alles für das tmpfs verwenden. Und die SD Karte soll noch etwas länger leben  ;)
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 11 März 2024, 20:11:00
Kein Problem, dewegen hat man ja die Wahlmöglichkeit.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 12 März 2024, 20:36:26
Hallo Jens,

spricht aus deiner Sicht etwas dagegen die inzwischen nun hinreichend getestete Fixed Version aus Post #1006 (bzw. meinem contrib) zu finalisieren und einzuchecken?

Die weiteren Schritte bzgl. Support mehrere Stationen in einem Download können m.M. nach separat in einem nächsten Entwicklungsschritt folgen.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 15 März 2024, 16:02:52
So hier mal eine gaaaaaaanz üüüüüüüüübel zusammenkopierte/gehackte Version.

2024.03.15 15:40:50 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.03.15 15:44:50 5: DWD: GetForecast START (PID 8806)
2024.03.15 15:44:50 5: DWD: GetForecast END
2024.03.15 15:44:50 5: DWD: IsDocumentUpdated BEFORE
2024.03.15 15:44:50 5: DWD: GetHeaders content_length: 39582498
2024.03.15 15:44:50 5: DWD: GetHeaders last_modified raw: Fri, 15 Mar 2024 14:21:48 GMT
2024.03.15 15:44:50 5: DWD: GetHeaders last_modified formatted: 2024-03-15 14:21:48
2024.03.15 15:44:50 5: DWD: IsDocumentUpdated docSize:39582498/0 docTime:2024-03-15 14:21:48Z/2024-03-15 14:21:48Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.15 15:44:50 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 39582498, docTime: 2024-03-15 14:21:48Z
2024.03.15 15:44:50 5: DWD: GetForecastStart dwdDocTime: 2024-03-15 14:21:48Z, dwdDocTimestamp: 1710512508,  dwdDocSize: 39582498, lastDocTimestamp: 1710512508, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.15 15:44:50 5: DWD: GetForecastStart START (PID 9009): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.15 15:44:50 5: DWD: ProcessForecast START
2024.03.15 15:44:54 5: DWD: ProcessForecast: data received, unzipping and decoding ...
2024.03.15 15:45:05 5: DWD: ProcessForecast: extracting data
2024.03.15 15:45:05 5: DWD: ProcessForecast temp file /tmp/DJz5JS2LQR forecast 3 size 17168
2024.03.15 15:45:05 5: DWD: ProcessForecast END
2024.03.15 15:45:05 5: DWD: GetForecastStart END
2024.03.15 15:45:05 5: DWD: GetForecastFinish START (PID 8806)
2024.03.15 15:45:05 5: DWD: GetForecastFinish temp file /tmp/DJz5JS2LQR forecast 3 size 17168
2024.03.15 15:45:05 5: DWD: UpdateForecast: START
2024.03.15 15:45:05 5: DWD: RotateForecast: START 4 day(s) exist
2024.03.15 15:45:05 5: DWD: RotateForecast: END 4 day(s) remain
2024.03.15 15:45:05 5: DWD: UpdateForecast: END
2024.03.15 15:45:05 5: DWD: GetForecastFinish END

Soweit ich das sehen konnte, gehen beide Versionen MOSMIX L und S und auch beide ohne signifikanten RAM/Flash Verbrauch. Insbesondere der Teil an dem ich fehlende XML Daten ergänzen musste, damit libXML die Klappe hält, sollte dringenst verbessert werden. Von Formatierung und Benamsung usw. will noch nicht einmal reden...

Ich habe hier wieder meine Beispielstation genommen, die relativ weit hinten liegt im File und mein RPi4 kommt gut damit klar.


Ich habe es jetzt auch mal auf meinem Pi Zero mit 512MB RAM ausgeführt:

2024.03.15 16:25:05 5: DWD: GetForecast START (PID 17566)
2024.03.15 16:25:05 5: DWD: GetForecast END
2024.03.15 16:25:05 5: DWD: IsDocumentUpdated BEFORE
2024.03.15 16:25:07 5: DWD: GetHeaders content_length: 39541523
2024.03.15 16:25:07 5: DWD: GetHeaders last_modified raw: Fri, 15 Mar 2024 15:22:57 GMT
2024.03.15 16:25:07 5: DWD: GetHeaders last_modified formatted: 2024-03-15 15:22:57
2024.03.15 16:25:07 5: DWD: IsDocumentUpdated docSize:39541523/0 docTime:2024-03-15 15:22:57Z/ URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/
2024.03.15 16:25:07 5: DWD: IsDocumentUpdated AFTER return update: 1, docSize: 39541523, docTime: 2024-03-15 15:22:57Z
2024.03.15 16:25:07 5: DWD: GetForecastStart dwdDocTime: 2024-03-15 15:22:57Z, dwdDocTimestamp: 1710516177,  dwdDocSize: 39541523, lastDocTimestamp: 0, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.15 16:25:07 5: DWD: GetForecastStart START (PID 17586): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.15 16:25:07 5: DWD: ProcessForecast START
2024.03.15 16:25:38 5: DWD: ProcessForecast: data received, unzipping and decoding ...
2024.03.15 16:25:56 5: DWD: ProcessForecast: extracting data
2024.03.15 16:25:56 5: DWD: ProcessForecast temp file /tmp/L67C20GSFm forecast 3 size 17168
2024.03.15 16:25:56 5: DWD: ProcessForecast END
2024.03.15 16:25:56 5: DWD: GetForecastStart END
2024.03.15 16:25:56 5: DWD: GetForecastFinish START (PID 17566)
2024.03.15 16:25:56 5: DWD: GetForecastFinish temp file /tmp/L67C20GSFm forecast 3 size 17168
2024.03.15 16:25:56 5: DWD: UpdateForecast: START
2024.03.15 16:25:56 5: DWD: RotateForecast: START 0 day(s) exist
2024.03.15 16:25:56 3: DWD: RotateForecast: station has changed, deleting exisiting readings
2024.03.15 16:25:56 5: DWD: RotateForecast: END 0 day(s) remain
2024.03.15 16:25:57 5: DWD: UpdateForecast: END
2024.03.15 16:25:57 5: DWD: GetForecastFinish END

Titel: Aw: Modul für DWD Open Data
Beitrag von: Prof. Dr. Peter Henning am 15 März 2024, 17:09:56
Noch nen Fipptehler
Zitatdeleting exisiting readings

LG

pah
Titel: Aw: Modul für DWD Open Data
Beitrag von: SparcWolf am 16 März 2024, 09:01:26
Hallo @mumpitzstuff,

ich habe mal einen Testlauf auf dem RPi 3B+ gemacht. Keine 20 Sekunden. Wow.
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecast START (PID 17864)
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecast END
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: IsDocumentUpdated BEFORE
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetHeaders content_length: 40034065
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetHeaders last_modified raw: Sat, 16 Mar 2024 07:21:50 GMT
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetHeaders last_modified formatted: 2024-03-16 07:21:50
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: IsDocumentUpdated docSize:40034065/0 docTime:2024-03-16 07:21:50Z/2024-03-16 04:02:30Z URL:https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz/https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/H419/kml/MOSMIX_L_LATEST_H419.kmz
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: IsDocumentUpdated AFTER return update: 1, docSize: 40034065, docTime: 2024-03-16 07:21:50Z
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecastStart dwdDocTime: 2024-03-16 07:21:50Z, dwdDocTimestamp: 1710573710,  dwdDocSize: 40034065, lastDocTimestamp: 1710561750, maxDocAge: 0, lastDocSize: 0 : update: 1
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: GetForecastStart START (PID 19071): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_S/all_stations/kml/MOSMIX_S_LATEST_240.kmz
2024.03.16 08:48:36 5: DWD_Duisburg_Baerl: ProcessForecast START
2024.03.16 08:48:40 5: DWD_Duisburg_Baerl: ProcessForecast: data received, unzipping and decoding ...
2024.03.16 08:48:51 5: DWD_Duisburg_Baerl: ProcessForecast: extracting data
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: ProcessForecast temp file /tmp/OEQGNSbckh forecast 3 size 12974
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: ProcessForecast END
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastStart END
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastFinish START (PID 17864)
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastFinish temp file /tmp/OEQGNSbckh forecast 3 size 12974
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: UpdateForecast: START
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: RotateForecast: START 2 day(s) exist
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: RotateForecast: END 2 day(s) remain
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: UpdateForecast: END
2024.03.16 08:48:53 5: DWD_Duisburg_Baerl: GetForecastFinish END
Ich werde es mal weiter beobachten.
Dank und Grüße,
  Guido.
Titel: Aw: Modul für DWD Open Data
Beitrag von: Ingo298 am 16 März 2024, 09:52:08

ZitatOkay, darf ich fragen, wie man das DWD Modul dann dazu bringt, tmpfs zu nutzen? Hab zwar nur 4GB, aber Versuch macht klug...
Danke
oelidoc

das DWD Modul benutzt automatisch den /tmp Ordner vom System, /tmp wird durch tmpfs auf den RAM umgeleitet. Alle Dateien aus dem /tmp Ordner sind nach einem Neustart vom System nicht mehr vorhanden.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 März 2024, 10:49:38
In der Version habe ich noch mal die Formatierung überarbeitet bzw. den Code aufgehübscht und etwas aufgeräumt, so das er besser zum bestehenden Code passt. Funktional habe ich nichts weiter geändert, da ich bisher keine Probleme feststellen konnte.
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 17 März 2024, 11:14:40
Moin mumpitzstuff,

hast du für deine Integration meine Version aus #1006 als Grundlage verwendet?
Diese würde ich dann für einen Diff Vergleich nutzen und eine Zusammenführung erstellen.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 März 2024, 12:43:09
Ja.
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 März 2024, 20:38:18
1 Sache die mir bei MOSMIX S noch aufgefallen ist, das mir der zu erwartende Regen fehlt. Im Wiki ist das entsprechend angegeben und funktioniert auch mit MOSMIX L (1h Auflösung ansonsten R600, was aber auch nicht existiert). 

Siehe hier: https://wiki.fhem.de/wiki/DWD_OpenData (https://wiki.fhem.de/wiki/DWD_OpenData)
#LogProxy Func:logProxy_dwd2Plot("DWD","R101_",$from,$to,0,"day",(-0.5*3600))
Gibt es einen alternativ nutzbaren Wert für die Regenmenge bei MOSMIX S? Kann ich irgendwo die Bedeutung der durch MOSMIX S zur verfügung gestellten Daten einsehen?
Titel: Aw: Modul für DWD Open Data
Beitrag von: DS_Starter am 17 März 2024, 20:52:07
Eine Übersicht der Daten und UNterschiede der MOSMIX Variante findest du hier: https://www.dwd.de/DE/leistungen/opendata/help/schluessel_datenformate/kml/mosmix_elemente_xls.html

Für den Regen verwende ich den Wert RR1c. Es ist eine zu erwartende Regenmenge in kg/m2.

Grüße,
Heiko
Titel: Aw: Modul für DWD Open Data
Beitrag von: mumpitzstuff am 17 März 2024, 21:46:29
Hmm der Wert ist ebenfalls in der Grafik aus dem Wiki schon drin. Hier gibts 2 Werte für den Regen. Einen für die Regenmenge (den Wert den du meintest) und einen für die Regenwahrscheinlichkeit, der es anscheinend nicht in die MISMIX S Daten geschafft hat. Wahrscheinlich muss man hier dann das Wiki entsprechend anpassen, denn ich habe leider nichts anderes verwertbares gefunden.  :-\

R602 würde es maximal noch geben, aber der Wert hat leider nur eine Auflösung von 6h. Naja man kann nicht alles haben...
Titel: Aw: Modul für DWD Open Data
Beitrag von: stefanru am 20 März 2024, 19:45:25
Kurze Rückmeldung,
habe die letzte Version von mumpitzstuff nun seit ein paar Tagen in kombination mit SolarForecast laufen.
Funktioniert super!

Speicherverbrauch und Laufzeit auf Raspberry auch top.

Danke!