Tägliche Regenmenge aus DWD-Radolan Daten einlesen

Begonnen von alkazaa, 12 August 2023, 21:12:09

Vorheriges Thema - Nächstes Thema

Jamo

Hallo Jörg,
mit der letzten VERSION 01.10e des CDCOpenData MOduls, bekomme ich immer noch eine Warning im Log:
PERL WARNING: using SSL support of Net::FTP 3.11 instead of SSLGlue at /usr/share/perl5/Net/SSLGlue/FTP.pm line 16, <$fh> line 13281.Ist nur eine Warnung, aber wäre ganz schön wenn die weg wäre.

Beste Grüsse, Jamo.
Bullseye auf iNUC, Homematic + HMIP(UART/HMUSB), Debmatic, HUEBridge, Zigbee/ConbeeII, FB, Alexa (fhem-lazy), Livetracking, LaCrosse JeeLink, LoRaWan / TTN / Chirpstack

JoWiemann

Zitat von: Jamo am 20 November 2023, 20:51:36Ist nur eine Warnung, aber wäre ganz schön wenn die weg wäre.

Hallo Jamo,

morgen im Update.

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

Jamo

Bullseye auf iNUC, Homematic + HMIP(UART/HMUSB), Debmatic, HUEBridge, Zigbee/ConbeeII, FB, Alexa (fhem-lazy), Livetracking, LaCrosse JeeLink, LoRaWan / TTN / Chirpstack

enno

Moin Jörg,

ich habe bei mir schon Verbose 0 eingestellt, trotzdem bekomme ich mehrmals täglich diese Warnung im Log. Kann ich das irgendwo unterdrücken?

Zitat2023.12.07 10:11:47.368 1: PERL WARNING: Use of uninitialized value $files[-1] in pattern match (m//) at ./FHEM/98_CDCOpenData.pm line 1367.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $2 in subtraction (-) at ./FHEM/98_CDCOpenData.pm line 1369.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $1 in addition (+) at ./FHEM/98_CDCOpenData.pm line 1369.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $mday in addition (+) at fhem.pl line 5253.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $hour in addition (+) at fhem.pl line 5253.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $min in addition (+) at fhem.pl line 5253.

Gruss
  Enno
Einfacher FHEM Anwender auf Intel®NUC

alkazaa

#154
Moin Enno,

anscheinend wird in Zeile 1360
my @files = grep /10000.........50/, $ftp->ls(); beim listing des ftp-Verzeichnisses mit "$ftp->ls()" nichts eingelesen. Der Rest sind dann Folgefehler. Ich habe bei den ersten code-Entwürfen viele Dinge nicht abgefangen, u.a. auch diese Stelle nicht. Hatte ja immer alles funktioniert ;-).

Du schriebst, dass das mehrmals täglich passiert. Heißt das, dass nie die rain_since_midnight Daten gelesen werden, oder klappt es manchmal doch?

Zum Testen könntest Du (wiederholt) mal folgendes code-Fragment im FHEM Kommandofenster ausführen:
{my $ftp = Net::FTP->new("opendata.dwd.de", Debug => 0, Timeout => 10);;\
$ftp->login() or die "Cannot login ", $ftp->message;;\
$ftp->cwd("/climate_environment/CDC/grids_germany/hourly/radolan/recent/bin/");;\
my @files = grep /10000.........50/, $ftp->ls();;\
$files[-1] =~ /10000-(\d\d)(\d\d)(\d\d)(\d\d)(\d\d)/;;\
$ftp->quit;;\
"\$1=$1, \$2=$2, \$3=$3, \$4=$4, \$5=$5"}
Die Antwort müsste dann z.B. so lauten:
$1=23, $2=12, $3=07, $4=15, $5=50für "07.12.2023 15:50"

Wäre interessant zu sehen, wie oft das gut geht.
(Du könntest dann auch mal den timeout in Zeile 1 variieren, obwohl der mit 10 sec schon sehr lang ist. Ich habe bei mir mal rumgespielt, und bis runter zu 0.04 sec geht alles gut, bei <= 0.03 sec geht's dann schief.)

Da ich immer noch ziemlicher Perl-Anfänger bin, hoffe ich, dass Jörg sich der Sache annimmt und den Fehler abfängt. Macht aber halt nur Sinn, wenn er nicht zu oft auftritt.

Gruß
Franz

enno

Moin Franz,

die Warnungen kommen ca. 3 mal pro Tag. Die Werte für rain_since_midnight sind eigentlich immer da. Gefühlt läuft alles wie erwartet, aber das Log füllt sich halt und ich dachte wenn ich Verbose 0 mache, dann wird nichts mehr ins Log geschrieben. Dein Code-Fragment führt zu folgender Meldung; Experimental aliasing via reference not enabled at (eval 4598025) line 1.
Den Timeout hatte ich schon auf 100 gestellt.

Auf meinem zweiten System 400 km nördlicher habe ich keine Warnungen. Dort scheint der Server immer Werte zurück zu liefern.

Gruss
  Enno
Einfacher FHEM Anwender auf Intel®NUC

alkazaa

#156
Zitat von: enno am 07 Dezember 2023, 20:43:27Dein Code-Fragment führt zu folgender Meldung
OK, ich erwähnte nicht, dass der code im erweiterten KommandoFENSTER (in der f18-style FHEM Oberfläche) laufen muss. Wenn Du den code in der normalen, einzeiligen KommandoZEILE ausführen willst, muss er auch als Einzeiler reinkopiert werden:
{my $ftp = Net::FTP->new("opendata.dwd.de", Debug => 0, Timeout => 0.04);;$ftp->login() or die "Cannot login ", $ftp->message;;$ftp->cwd("/climate_environment/CDC/grids_germany/hourly/radolan/recent/bin/");;my @files = grep /10000.........50/, $ftp->ls();;$files[-1] =~ /10000-(\d\d)(\d\d)(\d\d)(\d\d)(\d\d)/;;$ftp->quit;;"\$1=$1, \$2=$2, \$3=$3, \$4=$4, \$5=$5"}

ZitatAuf meinem zweiten System 400 km nördlicher habe ich keine Warnungen. Dort scheint der Server immer Werte zurück zu liefern.
Das deutet darauf hin, dass die 'südliche' deiner Verbindungen zum DWD Server über irgendeinen 'Umweg' abgewickelt wird, und auf diesem Weg dann manchmal schief geht.

Um die warnings zu vermeiden, müsste in der since_midnight routine $files[-1] auf undefined geprüft werden und die Routine mit einer (vom verbose Mechanismus abgefangenen) Fehlermeldung verlassen werden.
@Jörg: ich denke, das geht dir schneller und sicherer von der Hand als mir...

Beste Grüße
Franz

JoWiemann

Hallo,

bin morgen aus dem Urlaub zurück. Dann schaue ich mir das an.

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

JoWiemann

Zitat von: enno am 07 Dezember 2023, 11:43:20Moin Jörg,

ich habe bei mir schon Verbose 0 eingestellt, trotzdem bekomme ich mehrmals täglich diese Warnung im Log. Kann ich das irgendwo unterdrücken?

Zitat2023.12.07 10:11:47.368 1: PERL WARNING: Use of uninitialized value $files[-1] in pattern match (m//) at ./FHEM/98_CDCOpenData.pm line 1367.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $2 in subtraction (-) at ./FHEM/98_CDCOpenData.pm line 1369.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $1 in addition (+) at ./FHEM/98_CDCOpenData.pm line 1369.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $mday in addition (+) at fhem.pl line 5253.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $hour in addition (+) at fhem.pl line 5253.
2023.12.07 10:11:47.371 1: PERL WARNING: Use of uninitialized value $min in addition (+) at fhem.pl line 5253.

Gruss
  Enno


Hallo Enno,

anbei eine Version zum Testen. Ich habe eine zusätzliche Fehlerbehandlung eingebaut. Ich selber kann das nicht nachstellen.

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

enno

Moin Jörg,

danke dafür. Habe ich eben eingebaut, melde mich mit Beobachtungen.

Gruss
  Enno
Einfacher FHEM Anwender auf Intel®NUC

enno

Moin Jörg, 

bei Verbose 0 werden die Timeout Warnungen nicht mehr angezeigt. Allerdings sind dann noch diese Warnungen vorhanden.
Can't use an undefined value as a symbol reference at ./FHEM/98_CDCOpenData.pm line 1185.
Can't use an undefined value as a symbol reference at ./FHEM/98_CDCOpenData.pm line 1185.

Gruss
  Enno
Einfacher FHEM Anwender auf Intel®NUC

JoWiemann

Zitat von: enno am 12 Dezember 2023, 12:23:00Moin Jörg, 

bei Verbose 0 werden die Timeout Warnungen nicht mehr angezeigt. Allerdings sind dann noch diese Warnungen vorhanden.
Can't use an undefined value as a symbol reference at ./FHEM/98_CDCOpenData.pm line 1185.
Can't use an undefined value as a symbol reference at ./FHEM/98_CDCOpenData.pm line 1185.

Hallo Enno,

habe jetzt auch den Fall berücksichtigt. Bitte einmal testen.

Danke Dir

Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

mumpitzstuff

Die Möglichkeit mit dem bestehenden DWD Modul anschauliche Plots zu erstellen, die auch die Regenmenge und Regenwahrscheinlichkeit enthalten ist euch bekannt? Das geht sowohl als Tagesansicht, als auch für mehrere Tage.

enno

Zitat von: JoWiemann am 13 Dezember 2023, 11:20:49
Zitat von: enno am 12 Dezember 2023, 12:23:00Moin Jörg, 

bei Verbose 0 werden die Timeout Warnungen nicht mehr angezeigt. Allerdings sind dann noch diese Warnungen vorhanden.
Can't use an undefined value as a symbol reference at ./FHEM/98_CDCOpenData.pm line 1185.
Can't use an undefined value as a symbol reference at ./FHEM/98_CDCOpenData.pm line 1185.

Hallo Enno,

habe jetzt auch den Fall berücksichtigt. Bitte einmal testen.

Danke Dir

Jörg


Moin Jörg,

läuft seit gestern mit dieser Version ohne Meldungen im Log und soweit ich es erkennen kann auch plausiblen Werten. Danke dafür!

Gruss
  Enno
Einfacher FHEM Anwender auf Intel®NUC

romakrau

Hallo zusammen, ich bekomme keine Daten von DWD mehr. Hat noch jemand diese Erfahrung gemacht. Gruss Roman