Modul für DWD Open Data

bjozim · 28 November 2020, 22:53:48

Hallo Jens,

danke für die Erläuterung - jetzt ist das klar. Die Anzeige ist also geanu so, wie sie sein soll.

Wenn ich das nach meinen Wunschvorstellungen zu einem Forcast-Item alle 6h anpassen möchte, dann müsste ich das im Modul selbst vornehmen, oder?

Gruß
Björn

jensb · 29 November 2020, 19:51:02

Hallo Christian,

Zitat
Daher kommt z.B. ein relativer Vergleich der Zeitstempel in Frage. Man bestimmt den jüngsten Zeitstempel pro Tag und löscht alle Readings dieses Tages, die mindestens 24 oder besser noch 30 Stunden älter sind.
Einwände?

Bisher keine Einwände

Dann soll es so sein. Allerdings ist das kein Einzeiler. Habe noch keine Idee wie ich das testen soll, da der Effekt bei mir bisher nicht aufgetreten ist. Wie sieht es da bei dir aus?

Grüße,
Jens

jensb · 29 November 2020, 19:57:26

Hallo Björn,

ZitatWenn ich das nach meinen Wunschvorstellungen zu einem Forecast-Item alle 6h anpassen möchte, dann müsste ich das im Modul selbst vornehmen, oder?

Ja, das wird sich nicht vermeiden lassen. Es ist eine Vereinfachung der vorhandenen Logik erforderlich. Du müsstest die Sonderbehandlungen für die ersten beiden Icons ausbauen.

Wenn du es konfigurierbar machst, so dass man den Anzeigemodus über ein Attribut umschalten kann, kannst du es posten und ich werde deine Erweiterung übernehmen.

Grüße,
Jens

ch.eick · 29 November 2020, 20:29:51

Zitat von: jensb am 29 November 2020, 19:51:02
Dann soll es so sein. Allerdings ist das kein Einzeiler. Habe noch keine Idee wie ich das testen soll, da der Effekt bei mir bisher nicht aufgetreten ist. Wie sieht es da bei dir aus?

Es scheint wohl auch nur bei der Zeitumstellung aufgetaucht zu sein. Ich hänge mal ein list an, jetzt sind die fc0 auch schon zwei Tage alt, wie kommt das?

Code Auswählen


Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5f5ddbe7-f33f-61a8-1b89-fb4c13efef9261f5
   FVERSION   55_DWD_OpenData.pm:v1.0.0-s22220/2020-06-21
   NAME       DWD_Forecast
   NR         470
   STATE      forecast updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   READINGS:
     2020-11-27 05:00:05   fc0_0_Neff      79
     2020-11-27 05:00:05   fc0_0_Rad1h     0.00
     2020-11-27 05:00:05   fc0_0_TTT       2.70
     2020-11-27 05:00:05   fc0_0_time      00:00
     2020-11-27 10:00:05   fc0_10_Neff     84
     2020-11-27 10:00:05   fc0_10_Rad1h    160.00
     2020-11-27 10:00:05   fc0_10_TTT      3
     2020-11-27 10:00:05   fc0_10_time     10:00
     2020-11-29 17:00:05   fc0_11_Neff     73
     2020-11-29 17:00:05   fc0_11_Rad1h    320.00
     2020-11-29 17:00:05   fc0_11_TTT      1.80
     2020-11-29 17:00:05   fc0_11_time     11:00
     2020-11-29 17:00:05   fc0_12_Neff     68
     2020-11-29 17:00:05   fc0_12_Rad1h    480.00
     2020-11-29 17:00:05   fc0_12_TTT      2.10
     2020-11-29 17:00:05   fc0_12_time     12:00
     2020-11-29 17:00:05   fc0_13_Neff     64
     2020-11-29 17:00:05   fc0_13_R600     12.00
     2020-11-29 17:00:05   fc0_13_Rad1h    560.00
     2020-11-29 17:00:05   fc0_13_TTT      2.30
     2020-11-29 17:00:05   fc0_13_time     13:00
     2020-11-29 17:00:05   fc0_14_Neff     61
     2020-11-29 17:00:05   fc0_14_Rad1h    530.00
     2020-11-29 17:00:05   fc0_14_TTT      2.60
     2020-11-29 17:00:05   fc0_14_time     14:00
     2020-11-29 17:00:05   fc0_15_Neff     57
     2020-11-29 17:00:05   fc0_15_Rad1h    410.00
     2020-11-29 17:00:05   fc0_15_TTT      2.5
     2020-11-29 17:00:05   fc0_15_time     15:00
     2020-11-29 17:00:05   fc0_16_Neff     54
     2020-11-29 17:00:05   fc0_16_Rad1h    200.00
     2020-11-29 17:00:05   fc0_16_TTT      2.10
     2020-11-29 17:00:05   fc0_16_time     16:00
     2020-11-29 20:00:05   fc0_17_Neff     52
     2020-11-29 20:00:05   fc0_17_Rad1h    30.00
     2020-11-29 20:00:05   fc0_17_TTT      2.10
     2020-11-29 20:00:05   fc0_17_time     17:00
     2020-11-29 20:00:05   fc0_18_Neff     50
     2020-11-29 20:00:05   fc0_18_Rad1h    0.00
     2020-11-29 20:00:05   fc0_18_TTT      1.40
     2020-11-29 20:00:05   fc0_18_time     18:00
     2020-11-29 20:00:05   fc0_19_Neff     45
     2020-11-29 20:00:05   fc0_19_R600     4.00
     2020-11-29 20:00:05   fc0_19_Rad1h    0.00
     2020-11-29 20:00:05   fc0_19_TTT      0.80
     2020-11-29 20:00:05   fc0_19_time     19:00
     2020-11-27 05:00:05   fc0_1_Neff      82
     2020-11-27 05:00:05   fc0_1_R600      11.00
     2020-11-27 05:00:05   fc0_1_Rad1h     0.00
     2020-11-27 05:00:05   fc0_1_TTT       2.60
     2020-11-27 05:00:05   fc0_1_time      01:00
     2020-11-29 20:00:05   fc0_20_Neff     44
     2020-11-29 20:00:05   fc0_20_Rad1h    0.00
     2020-11-29 20:00:05   fc0_20_TTT      0.20
     2020-11-29 20:00:05   fc0_20_time     20:00
     2020-11-29 20:00:05   fc0_21_Neff     44
     2020-11-29 20:00:05   fc0_21_Rad1h    0.00
     2020-11-29 20:00:05   fc0_21_TTT      -0.20
     2020-11-29 20:00:05   fc0_21_time     21:00
     2020-11-29 20:00:05   fc0_22_Neff     44
     2020-11-29 20:00:05   fc0_22_Rad1h    0.00
     2020-11-29 20:00:05   fc0_22_TTT      -0.60
     2020-11-29 20:00:05   fc0_22_time     22:00
     2020-11-29 20:00:05   fc0_23_Neff     43
     2020-11-29 20:00:05   fc0_23_Rad1h    0.00
     2020-11-29 20:00:05   fc0_23_TTT      -1
     2020-11-29 20:00:05   fc0_23_time     23:00
     2020-11-27 05:00:05   fc0_2_Neff      82
     2020-11-27 05:00:05   fc0_2_Rad1h     0.00
     2020-11-27 05:00:05   fc0_2_TTT       2.40
     2020-11-27 05:00:05   fc0_2_time      02:00
     2020-11-27 05:00:05   fc0_3_Neff      84
     2020-11-27 05:00:05   fc0_3_Rad1h     0.00
     2020-11-27 05:00:05   fc0_3_TTT       2.40
     2020-11-27 05:00:05   fc0_3_time      03:00
     2020-11-27 05:00:05   fc0_4_Neff      85
     2020-11-27 05:00:05   fc0_4_Rad1h     0.00
     2020-11-27 05:00:05   fc0_4_TTT       2.30
     2020-11-27 05:00:05   fc0_4_time      04:00
     2020-11-27 10:00:05   fc0_5_Neff      85
     2020-11-27 10:00:05   fc0_5_Rad1h     0.00
     2020-11-27 10:00:05   fc0_5_TTT       2
     2020-11-27 10:00:05   fc0_5_time      05:00
     2020-11-27 10:00:05   fc0_6_Neff      85
     2020-11-27 10:00:05   fc0_6_Rad1h     0.00
     2020-11-27 10:00:05   fc0_6_TTT       2.10
     2020-11-27 10:00:05   fc0_6_time      06:00
     2020-11-27 10:00:05   fc0_7_Neff      86
     2020-11-27 10:00:05   fc0_7_R600      20.00
     2020-11-27 10:00:05   fc0_7_Rad1h     0.00
     2020-11-27 10:00:05   fc0_7_TTT       2.20
     2020-11-27 10:00:05   fc0_7_time      07:00
     2020-11-27 10:00:05   fc0_8_Neff      85
     2020-11-27 10:00:05   fc0_8_Rad1h     0.00
     2020-11-27 10:00:05   fc0_8_TTT       2.40
     2020-11-27 10:00:05   fc0_8_time      08:00
     2020-11-27 10:00:05   fc0_9_Neff      86
     2020-11-27 10:00:05   fc0_9_Rad1h     30.00
     2020-11-27 10:00:05   fc0_9_TTT       2.5
     2020-11-27 10:00:05   fc0_9_time      09:00
     2020-11-29 20:00:05   fc0_date        2020-11-29
     2020-11-29 20:00:05   fc0_weekday     So
     2020-11-29 20:00:05   fc1_0_Neff      42
     2020-11-29 20:00:05   fc1_0_Rad1h     0.00
     2020-11-29 20:00:05   fc1_0_TTT       -1.5
     2020-11-29 20:00:05   fc1_0_time      00:00
     2020-11-29 20:00:05   fc1_10_Neff     59
     2020-11-29 20:00:05   fc1_10_Rad1h    200.00
     2020-11-29 20:00:05   fc1_10_TTT      -1.10
     2020-11-29 20:00:05   fc1_10_time     10:00
     2020-11-29 20:00:05   fc1_11_Neff     57
     2020-11-29 20:00:05   fc1_11_Rad1h    390.00
     2020-11-29 20:00:05   fc1_11_TTT      -0.40
     2020-11-29 20:00:05   fc1_11_time     11:00
     2020-11-29 20:00:05   fc1_12_Neff     55
     2020-11-29 20:00:05   fc1_12_Rad1h    560.00
     2020-11-29 20:00:05   fc1_12_TTT      0.5
     2020-11-29 20:00:05   fc1_12_time     12:00
     2020-11-29 20:00:05   fc1_13_Neff     52
     2020-11-29 20:00:05   fc1_13_R600     11.00
     2020-11-29 20:00:05   fc1_13_Rad1h    630.00
     2020-11-29 20:00:05   fc1_13_TTT      0.80
     2020-11-29 20:00:05   fc1_13_time     13:00
     2020-11-29 20:00:05   fc1_14_Neff     52
     2020-11-29 20:00:05   fc1_14_Rad1h    560.00
     2020-11-29 20:00:05   fc1_14_TTT      1.20
     2020-11-29 20:00:05   fc1_14_time     14:00
     2020-11-29 20:00:05   fc1_15_Neff     52
     2020-11-29 20:00:05   fc1_15_Rad1h    400.00
     2020-11-29 20:00:05   fc1_15_TTT      1.10
     2020-11-29 20:00:05   fc1_15_time     15:00
     2020-11-29 20:00:05   fc1_16_Neff     59
     2020-11-29 20:00:05   fc1_16_Rad1h    180.00
     2020-11-29 20:00:05   fc1_16_TTT      0.90
     2020-11-29 20:00:05   fc1_16_time     16:00
     2020-11-29 20:00:05   fc1_17_Neff     60
     2020-11-29 20:00:05   fc1_17_Rad1h    20.00
     2020-11-29 20:00:05   fc1_17_TTT      0.60
     2020-11-29 20:00:05   fc1_17_time     17:00
     2020-11-29 20:00:05   fc1_18_Neff     67
     2020-11-29 20:00:05   fc1_18_Rad1h    0.00
     2020-11-29 20:00:05   fc1_18_TTT      0.30
     2020-11-29 20:00:05   fc1_18_time     18:00
     2020-11-29 20:00:05   fc1_19_Neff     73
     2020-11-29 20:00:05   fc1_19_R600     41.00
     2020-11-29 20:00:05   fc1_19_Rad1h    0.00
     2020-11-29 20:00:05   fc1_19_TTT      0.10
     2020-11-29 20:00:05   fc1_19_time     19:00
     2020-11-29 20:00:05   fc1_1_Neff      44
     2020-11-29 20:00:05   fc1_1_R600      3.00
     2020-11-29 20:00:05   fc1_1_Rad1h     0.00
     2020-11-29 20:00:05   fc1_1_TTT       -1.70
     2020-11-29 20:00:05   fc1_1_time      01:00
     2020-11-29 20:00:05   fc1_20_Neff     75
     2020-11-29 20:00:05   fc1_20_Rad1h    0.00
     2020-11-29 20:00:05   fc1_20_TTT      0.30
     2020-11-29 20:00:05   fc1_20_time     20:00
     2020-11-29 20:00:05   fc1_21_Neff     80
     2020-11-29 20:00:05   fc1_21_Rad1h    0.00
     2020-11-29 20:00:05   fc1_21_TTT      0.5
     2020-11-29 20:00:05   fc1_21_time     21:00
     2020-11-29 20:00:05   fc1_22_Neff     87
     2020-11-29 20:00:05   fc1_22_Rad1h    0.00
     2020-11-29 20:00:05   fc1_22_TTT      0.5
     2020-11-29 20:00:05   fc1_22_time     22:00
     2020-11-29 20:00:05   fc1_23_Neff     89
     2020-11-29 20:00:05   fc1_23_Rad1h    0.00
     2020-11-29 20:00:05   fc1_23_TTT      0.70
     2020-11-29 20:00:05   fc1_23_time     23:00
     2020-11-29 20:00:05   fc1_2_Neff      44
     2020-11-29 20:00:05   fc1_2_Rad1h     0.00
     2020-11-29 20:00:05   fc1_2_TTT       -2
     2020-11-29 20:00:05   fc1_2_time      02:00
     2020-11-29 20:00:05   fc1_3_Neff      44
     2020-11-29 20:00:05   fc1_3_Rad1h     0.00
     2020-11-29 20:00:05   fc1_3_TTT       -2.30
     2020-11-29 20:00:05   fc1_3_time      03:00
     2020-11-29 20:00:05   fc1_4_Neff      49
     2020-11-29 20:00:05   fc1_4_Rad1h     0.00
     2020-11-29 20:00:05   fc1_4_TTT       -2.40
     2020-11-29 20:00:05   fc1_4_time      04:00
     2020-11-29 20:00:05   fc1_5_Neff      51
     2020-11-29 20:00:05   fc1_5_Rad1h     0.00
     2020-11-29 20:00:05   fc1_5_TTT       -2.40
     2020-11-29 20:00:05   fc1_5_time      05:00
     2020-11-29 20:00:05   fc1_6_Neff      52
     2020-11-29 20:00:05   fc1_6_Rad1h     0.00
     2020-11-29 20:00:05   fc1_6_TTT       -2.60
     2020-11-29 20:00:05   fc1_6_time      06:00
     2020-11-29 20:00:05   fc1_7_Neff      55
     2020-11-29 20:00:05   fc1_7_R600      5.00
     2020-11-29 20:00:05   fc1_7_Rad1h     0.00
     2020-11-29 20:00:05   fc1_7_TTT       -2.5
     2020-11-29 20:00:05   fc1_7_time      07:00
     2020-11-29 20:00:05   fc1_8_Neff      56
     2020-11-29 20:00:05   fc1_8_Rad1h     0.00
     2020-11-29 20:00:05   fc1_8_TTT       -2.40
     2020-11-29 20:00:05   fc1_8_time      08:00
     2020-11-29 20:00:05   fc1_9_Neff      57
     2020-11-29 20:00:05   fc1_9_Rad1h     30.00
     2020-11-29 20:00:05   fc1_9_TTT       -1.80
     2020-11-29 20:00:05   fc1_9_time      09:00
     2020-11-29 20:00:05   fc1_date        2020-11-30
     2020-11-29 20:00:05   fc1_weekday     Mo
     2020-11-29 20:00:05   fc_coordinates  8.47,49.78,90.0
     2020-11-29 20:00:05   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-11-29 20:00:05   fc_description  BIEBESHEIM
     2020-11-29 20:00:05   fc_state        updated
     2020-11-29 20:00:05   fc_station      P0178
     2020-11-29 20:00:05   fc_time         2020-11-29 16:00:00
     2020-11-29 20:00:05   state           forecast updated
Attributes:
   DbLogExclude .*
   comment    Version 2020.10.19 18:28
   event-on-change-reading Rad1h,TTT,Neff,R600
   forecastDays 1
   forecastProperties Rad1h,TTT,Neff,R600
   forecastResolution 1
   forecastStation P0178
   group      PV Eigenverbrauch
   icon       weather_rain_fog
   room       Informationen->Wetter,Strom->Photovoltaik
   sortby     06

jensb · 29 November 2020, 22:03:35

Hallo Christian,

die fc0 sind bei dir nicht alle 2 Tage alt, aber fc0_0 bis fc0_10.

Normalerweise werden die ersten Einträge nur am gleichen Tag nicht mehr vom DWD aktualisiert. Außerdem müssten nach einem Tag die Werte vom Vortag gelöscht werden.

Ich werde deine Station bei mir einstellen und beobachten, was so passiert.

Grüße,
Jens

ch.eick · 30 November 2020, 08:35:50

Zitat von: jensb am 29 November 2020, 22:03:35
Außerdem müssten nach einem Tag die Werte vom Vortag gelöscht werden.

So hatte ich mir das ja auch gedacht. Muss ich da noch ein Attribut setzen?

jensb · 30 November 2020, 19:34:15

Hallo Christian,

ZitatMuss ich da noch ein Attribut setzen?

Nein, das ist fest verdrahtet.

Zitatdie fc0 sind bei dir nicht alle 2 Tage alt, aber fc0_0 bis fc0_10.

Ich konnte bisher folgendes nachstellen:

gestern Vorhersage aktualisiert und danach DWD-Updates künstlich unterbrochen-> Vorhersagedaten von gestern für "morgen=fc1" sind heute die von "heute=fc0". Es gibt Vorhersagedaten für alle Stunden. Es gibt keine Vorhersagedaten mehr für "morgen=fc1". Soweit korrekt.
DWD-Updates wieder erlaubt -> Ab der aktuellen Stunde wird alles für fc0 und fc1 aktualisiert. Nur die Daten bis zur Update-Sperre sind noch die Vorhersagedaten von gestern für "morgen" also für heute. Soweit ebenfalls korrekt

Deine Daten vom 29.11. sehen so ähnlich aus. Allerdings haben deine "toten" Daten verschiedene Uhrzeiten, während meine alle die gleiche haben. Sie sehen also eher so aus, als ob sie nie durch Vorhersagedaten beim Tageswechsel überschrieben worden wären.

Plausibel ist das zu beobachtende Verhalten für mich (noch) nicht. Mir fallen als mögliche Ursachen bisher eine längere Unterbrechung des DWD Datenabrufs und eine sich sprunghaft ändernde Systemzeit ein. Beides ist aber nicht sehr wahrscheinlich. Daher werde ich dir wahrscheinlich eine Modulversion vorbereiten, die man etwas länger mit verbose=4 laufen lassen kann. Bei der "normalen" Version sieht man bei 4 zu wenig und bei 5 zu viel.

Grüße,
Jens

ch.eick · 30 November 2020, 23:07:41

Zitat von: jensb am 30 November 2020, 19:34:15
Mir fallen als mögliche Ursachen bisher eine längere Unterbrechung des DWD Datenabrufs und eine sich sprunghaft ändernde Systemzeit ein. Beides ist aber nicht sehr wahrscheinlich.

Mit der Systemzeit habe ich kein Problem. Ich kann dann gerne Deine Trace version mal laufen lassen.

jensb · 01 Dezember 2020, 21:48:52

Hallo Christian,

werde am Wochenende was zum Testen vorbereiten. Wenn du in der Zwischenzeit für "heute" vorzugsweise morgens wieder diesen Effekt siehst, da stell bitte vorübergehend verbose=5 ein und führe einmal ein Vorhersage-Update manuell durch. Bitte Info, ob dadurch die Daten für "heute" zumindest ab der aktuellen Uhrzeit aktualisiert wurden. Und den dazugehörigen Ausschnitt aus dem FHEM Log bitte als Anhang posten, er dürfte länglich sein.

Grüße,
Jens

ch.eick · 01 Dezember 2020, 22:12:56

Zitat von: jensb am 01 Dezember 2020, 21:48:52
deletereading DWD_Forecast fc.*
verbose=5 ein und führe einmal ein Vorhersage-Update manuell durch.
DWD_Forecast forecast

Jetzt ist alles frisch

Code Auswählen


2020.12.01 22:10:10.876 5: DWD_Forecast: GetForecast START (PID 7523)
2020.12.01 22:10:10.899 5: DWD_Forecast: GetForecast END
2020.12.01 22:10:10.932 5: DWD_Forecast: GetForecastStart START (PID 4280): https://opendata.dwd.de/weather/local_forecasts/mos/MOSMIX_L/single_stations/P0178/kml/MOSMIX_L_LATEST_P0178.kmz 
2020.12.01 22:10:11.024 5: DWD_Forecast: ProcessForecast START
2020.12.01 22:10:11.024 5: DWD_Forecast: ProcessForecast: data received, decoding ...
2020.12.01 22:10:11.050 5: DWD_Forecast: ProcessForecast: parsing XML document
2020.12.01 22:10:11.070 5: DWD_Forecast: ProcessForecast: extracting data
2020.12.01 22:10:11.160 5: DWD_Forecast: ProcessForecast temp file /tmp/r1q6tcMBxt forecast 3 size 8800
2020.12.01 22:10:11.160 5: DWD_Forecast: ProcessForecast END
2020.12.01 22:10:11.161 5: DWD_Forecast: GetForecastStart END
2020.12.01 22:10:11.166 5: DWD_Forecast: GetForecastFinish START (PID 7523)
2020.12.01 22:10:11.170 5: DWD_Forecast: GetForecastFinish temp file /tmp/r1q6tcMBxt forecast 3 size 8800
2020.12.01 22:10:11.171 5: DWD_Forecast: UpdateForecast: START
2020.12.01 22:10:11.171 5: DWD_Forecast: RotateForecast: 0 days exist with readings
2020.12.01 22:10:11.194 5: DWD_Forecast: UpdateForecast: END
2020.12.01 22:10:11.195 5: DWD_Forecast: GetForecastFinish END

Internals:
   FHEM_TZ    Europe/Berlin
   FUUID      5f5ddbe7-f33f-61a8-1b89-fb4c13efef9261f5
   FVERSION   55_DWD_OpenData.pm:v1.0.0-s22220/2020-06-21
   NAME       DWD_Forecast
   NR         488
   STATE      forecast updated
   TYPE       DWD_OpenData
   VERSION    1.014006
   OLDREADINGS:
   READINGS:
     2020-12-01 22:10:11   fc0_17_Neff     100
     2020-12-01 22:10:11   fc0_17_Rad1h    0.00
     2020-12-01 22:10:11   fc0_17_TTT      1.80
     2020-12-01 22:10:11   fc0_17_time     17:00
     2020-12-01 22:10:11   fc0_18_Neff     100
     2020-12-01 22:10:11   fc0_18_Rad1h    0.00
     2020-12-01 22:10:11   fc0_18_TTT      1.70
     2020-12-01 22:10:11   fc0_18_time     18:00
     2020-12-01 22:10:11   fc0_19_Neff     100
     2020-12-01 22:10:11   fc0_19_R600     88.00
     2020-12-01 22:10:11   fc0_19_Rad1h    0.00
     2020-12-01 22:10:11   fc0_19_TTT      1.80
     2020-12-01 22:10:11   fc0_19_time     19:00
     2020-12-01 22:10:11   fc0_20_Neff     100
     2020-12-01 22:10:11   fc0_20_Rad1h    0.00
     2020-12-01 22:10:11   fc0_20_TTT      1.90
     2020-12-01 22:10:11   fc0_20_time     20:00
     2020-12-01 22:10:11   fc0_21_Neff     100
     2020-12-01 22:10:11   fc0_21_Rad1h    0.00
     2020-12-01 22:10:11   fc0_21_TTT      1.90
     2020-12-01 22:10:11   fc0_21_time     21:00
     2020-12-01 22:10:11   fc0_22_Neff     100
     2020-12-01 22:10:11   fc0_22_Rad1h    0.00
     2020-12-01 22:10:11   fc0_22_TTT      1.90
     2020-12-01 22:10:11   fc0_22_time     22:00
     2020-12-01 22:10:11   fc0_23_Neff     100
     2020-12-01 22:10:11   fc0_23_Rad1h    0.00
     2020-12-01 22:10:11   fc0_23_TTT      2
     2020-12-01 22:10:11   fc0_23_time     23:00
     2020-12-01 22:10:11   fc0_date        2020-12-01
     2020-12-01 22:10:11   fc0_weekday     Di
     2020-12-01 22:10:11   fc1_0_Neff      100
     2020-12-01 22:10:11   fc1_0_Rad1h     0.00
     2020-12-01 22:10:11   fc1_0_TTT       2
     2020-12-01 22:10:11   fc1_0_time      00:00
     2020-12-01 22:10:11   fc1_10_Neff     90
     2020-12-01 22:10:11   fc1_10_Rad1h    130.00
     2020-12-01 22:10:11   fc1_10_TTT      2.60
     2020-12-01 22:10:11   fc1_10_time     10:00
     2020-12-01 22:10:11   fc1_11_Neff     91
     2020-12-01 22:10:11   fc1_11_Rad1h    260.00
     2020-12-01 22:10:11   fc1_11_TTT      2.80
     2020-12-01 22:10:11   fc1_11_time     11:00
     2020-12-01 22:10:11   fc1_12_Neff     90
     2020-12-01 22:10:11   fc1_12_Rad1h    350.00
     2020-12-01 22:10:11   fc1_12_TTT      3.30
     2020-12-01 22:10:11   fc1_12_time     12:00
     2020-12-01 22:10:11   fc1_13_Neff     90
     2020-12-01 22:10:11   fc1_13_R600     50.00
     2020-12-01 22:10:11   fc1_13_Rad1h    380.00
     2020-12-01 22:10:11   fc1_13_TTT      3.5
     2020-12-01 22:10:11   fc1_13_time     13:00
     2020-12-01 22:10:11   fc1_14_Neff     89
     2020-12-01 22:10:11   fc1_14_Rad1h    320.00
     2020-12-01 22:10:11   fc1_14_TTT      3.60
     2020-12-01 22:10:11   fc1_14_time     14:00
     2020-12-01 22:10:11   fc1_15_Neff     88
     2020-12-01 22:10:11   fc1_15_Rad1h    210.00
     2020-12-01 22:10:11   fc1_15_TTT      3.5
     2020-12-01 22:10:11   fc1_15_time     15:00
     2020-12-01 22:10:11   fc1_16_Neff     88
     2020-12-01 22:10:11   fc1_16_Rad1h    80.00
     2020-12-01 22:10:11   fc1_16_TTT      3.10
     2020-12-01 22:10:11   fc1_16_time     16:00
     2020-12-01 22:10:11   fc1_17_Neff     89
     2020-12-01 22:10:11   fc1_17_Rad1h    10.00
     2020-12-01 22:10:11   fc1_17_TTT      2.80
     2020-12-01 22:10:11   fc1_17_time     17:00
     2020-12-01 22:10:11   fc1_18_Neff     89
     2020-12-01 22:10:11   fc1_18_Rad1h    0.00
     2020-12-01 22:10:11   fc1_18_TTT      2.30
     2020-12-01 22:10:11   fc1_18_time     18:00
     2020-12-01 22:10:11   fc1_19_Neff     89
     2020-12-01 22:10:11   fc1_19_R600     26.00
     2020-12-01 22:10:11   fc1_19_Rad1h    0.00
     2020-12-01 22:10:11   fc1_19_TTT      2
     2020-12-01 22:10:11   fc1_19_time     19:00
     2020-12-01 22:10:11   fc1_1_Neff      99
     2020-12-01 22:10:11   fc1_1_R600      78.00
     2020-12-01 22:10:11   fc1_1_Rad1h     0.00
     2020-12-01 22:10:11   fc1_1_TTT       1.90
     2020-12-01 22:10:11   fc1_1_time      01:00
     2020-12-01 22:10:11   fc1_20_Neff     88
     2020-12-01 22:10:11   fc1_20_Rad1h    0.00
     2020-12-01 22:10:11   fc1_20_TTT      1.40
     2020-12-01 22:10:11   fc1_20_time     20:00
     2020-12-01 22:10:11   fc1_21_Neff     88
     2020-12-01 22:10:11   fc1_21_Rad1h    0.00
     2020-12-01 22:10:11   fc1_21_TTT      0.90
     2020-12-01 22:10:11   fc1_21_time     21:00
     2020-12-01 22:10:11   fc1_22_Neff     88
     2020-12-01 22:10:11   fc1_22_Rad1h    0.00
     2020-12-01 22:10:11   fc1_22_TTT      0.90
     2020-12-01 22:10:11   fc1_22_time     22:00
     2020-12-01 22:10:11   fc1_23_Neff     88
     2020-12-01 22:10:11   fc1_23_Rad1h    0.00
     2020-12-01 22:10:11   fc1_23_TTT      0.70
     2020-12-01 22:10:11   fc1_23_time     23:00
     2020-12-01 22:10:11   fc1_2_Neff      99
     2020-12-01 22:10:11   fc1_2_Rad1h     0.00
     2020-12-01 22:10:11   fc1_2_TTT       1.90
     2020-12-01 22:10:11   fc1_2_time      02:00
     2020-12-01 22:10:11   fc1_3_Neff      99
     2020-12-01 22:10:11   fc1_3_Rad1h     0.00
     2020-12-01 22:10:11   fc1_3_TTT       2
     2020-12-01 22:10:11   fc1_3_time      03:00
     2020-12-01 22:10:11   fc1_4_Neff      98
     2020-12-01 22:10:11   fc1_4_Rad1h     0.00
     2020-12-01 22:10:11   fc1_4_TTT       1.90
     2020-12-01 22:10:11   fc1_4_time      04:00
     2020-12-01 22:10:11   fc1_5_Neff      96
     2020-12-01 22:10:11   fc1_5_Rad1h     0.00
     2020-12-01 22:10:11   fc1_5_TTT       2
     2020-12-01 22:10:11   fc1_5_time      05:00
     2020-12-01 22:10:11   fc1_6_Neff      94
     2020-12-01 22:10:11   fc1_6_Rad1h     0.00
     2020-12-01 22:10:11   fc1_6_TTT       2
     2020-12-01 22:10:11   fc1_6_time      06:00
     2020-12-01 22:10:11   fc1_7_Neff      92
     2020-12-01 22:10:11   fc1_7_R600      65.00
     2020-12-01 22:10:11   fc1_7_Rad1h     0.00
     2020-12-01 22:10:11   fc1_7_TTT       2
     2020-12-01 22:10:11   fc1_7_time      07:00
     2020-12-01 22:10:11   fc1_8_Neff      92
     2020-12-01 22:10:11   fc1_8_Rad1h     0.00
     2020-12-01 22:10:11   fc1_8_TTT       2
     2020-12-01 22:10:11   fc1_8_time      08:00
     2020-12-01 22:10:11   fc1_9_Neff      91
     2020-12-01 22:10:11   fc1_9_Rad1h     20.00
     2020-12-01 22:10:11   fc1_9_TTT       2.30
     2020-12-01 22:10:11   fc1_9_time      09:00
     2020-12-01 22:10:11   fc1_date        2020-12-02
     2020-12-01 22:10:11   fc1_weekday     Mi
     2020-12-01 22:10:11   fc_coordinates  8.47,49.78,90.0
     2020-12-01 22:10:11   fc_copyright    Datenbasis: Deutscher Wetterdienst
     2020-12-01 22:10:11   fc_description  BIEBESHEIM
     2020-12-01 22:10:11   fc_state        updated
     2020-12-01 22:10:11   fc_station      P0178
     2020-12-01 22:10:11   fc_time         2020-12-01 16:00:00
     2020-12-01 22:10:11   state           forecast updated
Attributes:
   DbLogExclude .*
   comment    Version 2020.10.19 18:28
   event-on-change-reading Rad1h,TTT,Neff,R600
   forecastDays 1
   forecastProperties Rad1h,TTT,Neff,R600
   forecastResolution 1
   forecastStation P0178
   group      PV Eigenverbrauch
   icon       weather_rain_fog
   room       Informationen->Wetter,Strom->Photovoltaik
   sortby     06
   verbose    5

EDIT: Im Anhang ist jetzt das Log mit List Device bis 02.12 10:15

jensb · 02 Dezember 2020, 21:01:22

Hallo Christian,

durch das deletereading ist die Ausgangssitutation natürlich etwas anders als ohne. Aber sei es drum, das Ergebnis ist wie es sein soll. Dadurch das um 00:00:05 das Update vom DWD geklappt hat, was der Normalfall sein sollte, gab es für die Rotation der Vorhersagedaten von "morgen" auf "heute" nichts zu tun. Entscheidend ist also, ob die Daten vom DWD kommen und ob in den Daten alle Werte für "heute" und "morgen" enthalten sind. Wie bereits erwähnt löscht das DWD_OpenData-Modul momentan keine Readings, die nicht aktualisiert werden.

Jetzt bleibt vor allem die Frage, ob es bei dir auch über mehrere Tage hinweg so bleibt oder ob sich wieder Readings einstellen, die nicht mehr aktualisiert werden. Falls es passiert, dann versuche bitte rückwärts im FHEM Log Modulausgaben zu finden, die damit im Zusammenhang stehen könnten.

Momentan tendiere ich dazu, mir wie angedacht zunächst das Löschen von nicht aktualisierten Vorhersage-Readings vorzunehmen. Das würde ich mit einer Logausgabe kombinieren, damit man es nachvollziehen kann.

Grüße,
Jens

ch.eick · 04 Dezember 2020, 18:38:29

Hallo Jens
hier kommt das Log und ein List mit den veralteten readings
Gruß
Christian

jensb · 04 Dezember 2020, 21:45:03

Hallo Christian,

danke für das Log. Leider kann ich da keine "veralteten" Readings finden. Das Log geht bis 10:00. Die Vorhersage ist von 04:00 (fc_time). Alle Readings ab fc0_5 sind aktuell. Die Readings vor/bis fc_time werden vom DWD nicht (mehr) ausgeliefert und deshalb in FHEM auch nicht mehr aktualisiert.

Dein neues Log zeigt also den Normalfall. Es ist nicht vergleichbar mit dem Fall den du am 29.11.2020 gepostet hast.

Falls ich da was übersehen habe, brauch ich noch einen Hinweis.

Grüße,
Jens

ch.eick · 05 Dezember 2020, 09:19:48

Zitat von: jensb am 04 Dezember 2020, 21:45:03
Leider kann ich da keine "veralteten" Readings finden. Das Log geht bis 10:00. Die Vorhersage ist von 04:00 (fc_time). Alle Readings ab fc0_5 sind aktuell. Die Readings vor/bis fc_time werden vom DWD nicht (mehr) ausgeliefert und deshalb in FHEM auch nicht mehr aktualisiert.

Dein neues Log zeigt also den Normalfall. Es ist nicht vergleichbar mit dem Fall den du am 29.11.2020 gepostet hast.

Falls ich da was übersehen habe, brauch ich noch einen Hinweis.

Okay, dann scheine ich es bisher nicht richtig verstanden zu haben. Sollte mir noch etwas auffallen, melde ich mich wieder.

Vielen Dank für die viele Mühe
Christian

jensb · 07 Dezember 2020, 21:43:40

Hallo,

am 29.11.20 hatte ich angekündigt eine neue Funktion für die Vorhersage zu erstellen, die Readings, die nicht mehr vom DWD aktualisiert werden, findet und löscht. Hintergrund ist, das der DWD gelegentlich die Messzeit für einzelne Werte ändert, was sich vor allem bei forecastResolution=1 entsprechend auswirkt.

Diese Funktion ist fertig und kann mit dem neuen Attribut forecastPruning=1 aktiviert werden. Da sie aber in den allermeisten Fällen nicht benötigt wird, wird sie nicht automatisch aktiviert. Sie hat den Nachteil, dass sie relativ rechenintensiv ist, weil die Zeitstempel aller Vorhersagereadings 2mal hintereinander überprüft werden müssen: einmal um den jüngsten pro Tag zu finden und einmal um damit die nicht mehr aktualisierten zu finden und zu löschen, und das dauert einige Millisekunden. Wer es genau wissen will, sollte vorübergehend verbose=5 einstellen und danach die Log-Zeitstempel für "PruneForecast START/END" betrachten. Der Vorteil dieser Funktion liegt darin, dass veraltete Readings spätestens nach 25 Stunden gelöscht werden, unabhängig vom Vorhersagetag.

In der neuen Version ist auch ein Fehler in der Rotation der Vorhersagedaten um 0:00 behoben: Der Löschbefehl, der ebenfalls nicht mehr aktualierte Vorhersagewerte löschen sollte, hat faktisch nie etwas gelöscht. Das könnte das eigentliche Problem gewesen sein, dass zu den veralteten Readings geführt hat, die @ch.eick festgestellt hatte. Wahrscheinlich wird durch diese Fehlerbehebung die neue Funktion sogar überflüssig. Allerdings erfolgt hier das Löschen "nur" beim Tageswechsel und beginnt bei letzten Vorhersagetag. Je nach forecastDays dauert es also ein paar Tage bis auch "heute" aufgeräumt ist. Das ist aber nur relevant, wenn man bereits veraltete Readings hat und nachträglich aufräumen will. Hierfür wäre ein einmaliges manuelles Update mit forecastPruning=1 die besser Wahl.

Bevor die neue Version (siehe Anhang bzw. https://github.com/jnsbyr/fhem/tree/develop/FHEM) per FHEM Update verteilt wird bitte ich um ein paar freiwillige Tester. Bei den allermeisten sollte sich schlicht nichts ändern. Nur wer schon Readings hat, die nicht aktualisert werden, sollte am Folgetag bzw. mit forecastPruning=1 nach der nächsten Aktualisierung die oben beschriebenen Korrekturen sehen. Wenn Readings gelöscht werden, wird das nun auch bei verbose=3 im Log festgehalten.

Grüße,
Jens