59_Twilight.pm - Funktioniert seit dem 3.1.19 nicht mehr - Yahoo API Umstellung

Christoph Morrison · 10 Januar 2019, 10:55:58

Zitat von: mi.ke am 10 Januar 2019, 10:28:20
Moin,

ich hatte mich gerade gewundert, warum mein Twilight ohne Probleme noch funktioniert.

Ich hatte meine erste historische fhem Installation auf einem RPi1. Dieser klebt seit 5-6 Jahren im Büro unter dem Schreibtisch und dient ausschließlich zum sammeln von Umweltdaten via HTTPMOD (zum Teil sogar aus dem Videotext).

Da bin ich echt neugierig: Was (und wie) holst du denn aus dem Videotext?

Zitat von: mi.ke am 10 Januar 2019, 10:28:20
Verbunden über fhem2fhem versorgt er brav, zuverlässig und schon ewig (seit 2016) nicht mehr aktuallisiert seinen Dienst.

Die Umstellung auf API hat er wohl auch verpasst, deshalb läuft noch eine alte Twilight-Version:
59_Twilight.pm 12153 2016-09-12 22:01:24Z dietmar63

Die macht allerdings immernoch was sie soll . . .

Bug oder feature?

Diese Version hat eigentlich auch schon die Yahoo API benutzt. Whatever.

mi.ke · 10 Januar 2019, 11:33:18

Zitat von: Christoph Morrison am 10 Januar 2019, 10:55:58
Da bin ich echt neugierig: Was (und wie) holst du denn aus dem Videotext?

Ich hatte damals nicht für alle gesuchten Werte für meine Region die passenden Quellen im Netz gefunden
z.B. Feinstaub- PM10, Kohlenmonoxid und/ oder Wasserstände von Flüssen.

Gibt es aber im Viedeotext und den kann man (zumindest für Hessen) auch im Internet finden und dann mit HTTPMOD abfragen

https://www.hr-text.hr-fernsehen.de/ttxHtmlGenerator/index.jsp?page=162&subpage=2

Zitat von: Christoph Morrison am 10 Januar 2019, 10:55:58
Diese Version hat eigentlich auch schon die Yahoo API benutzt. Whatever.

Zitat von: CoolTux am 05 Januar 2019, 11:53:51
Es ist einzig und allein twilight_weather sowie sr und ss weather betroffen.

Diese Readings werden bei der Version zumindest auch aktuallisiert

Cheers

mi.ke

Christoph Morrison · 10 Januar 2019, 11:45:14

Zitat von: mi.ke am 10 Januar 2019, 11:33:18
Ich hatte damals nicht für alle gesuchten Werte für meine Region die passenden Quellen im Netz gefunden
z.B. Feinstaub- PM10, Kohlenmonoxid und/ oder Wasserstände von Flüssen.

Gibt es aber im Viedeotext und den kann man (zumindest für Hessen) auch im Internet finden und dann mit HTTPMOD abfragen

Achso. Ich dachte echt, dass du einen TV-Tuner angeschlossen hast und dort den Kram irgendwie rauspopelst. Die Feinstaubwerte gibt es inzwischen wohl auch vom HLNUG ohne Teletext.

Zitat von: mi.ke am 10 Januar 2019, 11:33:18
Diese Readings werden bei der Version zumindest auch aktuallisiert

Das liegt am Fallback, der dann - iirc - von einer 50%igen Bedeckung ausgeht.

heikoh81 · 10 Januar 2019, 21:31:13

Zitat von: Christoph Morrison am 10 Januar 2019, 07:13:27
Kannst du mir ein List vom Device geben?

Standort Stuttgart:

Code Auswählen


Internals:
   CONDITION  50
   DEF        48.7xx 9.1xx 1 652005
   INDOOR_HORIZON 1
   LATITUDE   48.7xx
   LONGITUDE  9.1xx
   NAME       myTwilight
   NR         205
   STATE      12
   SUNPOS_OFFSET 300
   SWIP       1
   TYPE       Twilight
   VERSUCHE   0
   WEATHER    652005
   WEATHER_HORIZON 0
   READINGS:
     2019-01-10 18:40:54   aktEvent        ss_astro
     2019-01-10 21:28:57   azimuth         290.48
     2019-01-10 21:28:57   compasspoint    west
     2019-01-04 00:00:01   condition       28
     2019-01-04 00:00:01   condition_txt   Mostly Cloudy
     2019-01-10 21:28:57   elevation       -44.79
     2019-01-10 18:40:54   horizon         -18
     2019-01-10 18:40:54   light           0
     2019-01-10 18:40:54   nextEvent       sr_astro
     2019-01-10 18:40:54   nextEventTime   06:20:31
     2019-01-10 03:14:41   sr              08:20:38
     2019-01-10 03:14:41   sr_astro        06:20:31
     2019-01-10 03:14:41   sr_civil        07:38:12
     2019-01-10 03:14:41   sr_indoor       08:28:04
     2019-01-10 03:14:41   sr_naut         06:58:31
     2019-01-10 15:51:55   sr_weather      08:20:38
     2019-01-10 03:14:41   ss              16:40:44
     2019-01-10 03:14:41   ss_astro        18:40:54
     2019-01-10 03:14:41   ss_civil        17:23:09
     2019-01-10 03:14:41   ss_indoor       16:33:17
     2019-01-10 03:14:41   ss_naut         18:02:52
     2019-01-10 15:51:55   ss_weather      16:40:44
     2019-01-10 18:40:54   state           12
     2019-01-10 21:28:57   twilight        0
     2019-01-10 21:28:57   twilight_weather 0
   TIMER:
     myTwilight_Midnight:
       HASH       myTwilight
       MODIFIER   Midnight
       NAME       myTwilight_Midnight
     myTwilight_sr:
       DEG        0
       HASH       myTwilight
       LIGHT      4
       MODIFIER   sr
       NAME       myTwilight_sr
       NAMENEXT   sr_indoor
       STATE      4
       SWIP       0
       TIME       1547104838.03
     myTwilight_sr_astro:
       DEG        -18
       HASH       myTwilight
       LIGHT      1
       MODIFIER   sr_astro
       NAME       myTwilight_sr_astro
       NAMENEXT   sr_naut
       STATE      1
       SWIP       0
       TIME       1547097631
     myTwilight_sr_civil:
       DEG        -6
       HASH       myTwilight
       LIGHT      3
       MODIFIER   sr_civil
       NAME       myTwilight_sr_civil
       NAMENEXT   sr
       STATE      3
       SWIP       0
       TIME       1547102292.02
     myTwilight_sr_indoor:
       DEG        1
       HASH       myTwilight
       LIGHT      5
       MODIFIER   sr_indoor
       NAME       myTwilight_sr_indoor
       NAMENEXT   sr_weather
       STATE      5
       SWIP       0
       TIME       1547105284.04
     myTwilight_sr_naut:
       DEG        -12
       HASH       myTwilight
       LIGHT      2
       MODIFIER   sr_naut
       NAME       myTwilight_sr_naut
       NAMENEXT   sr_civil
       STATE      2
       SWIP       0
       TIME       1547099911.01
     myTwilight_sr_weather:
       DEG        0
       HASH       myTwilight
       LIGHT      6
       MODIFIER   sr_weather
       NAME       myTwilight_sr_weather
       NAMENEXT   ss_weather
       STATE      6
       SWIP       1
       TIME       1547104838.05
     myTwilight_ss:
       DEG        0
       HASH       myTwilight
       LIGHT      3
       MODIFIER   ss
       NAME       myTwilight_ss
       NAMENEXT   ss_civil
       STATE      9
       SWIP       0
       TIME       1547134844.97
     myTwilight_ss_astro:
       DEG        -18
       HASH       myTwilight
       LIGHT      0
       MODIFIER   ss_astro
       NAME       myTwilight_ss_astro
       NAMENEXT   sr_astro
       STATE      12
       SWIP       0
       TIME       1547142054
     myTwilight_ss_civil:
       DEG        -6
       HASH       myTwilight
       LIGHT      2
       MODIFIER   ss_civil
       NAME       myTwilight_ss_civil
       NAMENEXT   ss_naut
       STATE      10
       SWIP       0
       TIME       1547137389.98
     myTwilight_ss_indoor:
       DEG        1
       HASH       myTwilight
       LIGHT      4
       MODIFIER   ss_indoor
       NAME       myTwilight_ss_indoor
       NAMENEXT   ss
       STATE      8
       SWIP       0
       TIME       1547134397.96
     myTwilight_ss_naut:
       DEG        -12
       HASH       myTwilight
       LIGHT      1
       MODIFIER   ss_naut
       NAME       myTwilight_ss_naut
       NAMENEXT   ss_astro
       STATE      11
       SWIP       0
       TIME       1547139772.99
     myTwilight_ss_weather:
       DEG        0
       HASH       myTwilight
       LIGHT      5
       MODIFIER   ss_weather
       NAME       myTwilight_ss_weather
       NAMENEXT   ss_indoor
       STATE      7
       SWIP       1
       TIME       1547134844.95
     myTwilight_sunpos:
       HASH       myTwilight
       MODIFIER   sunpos
       NAME       myTwilight_sunpos
   TW:
     sr:
       DEG        0
       LIGHT      4
       NAME       sr
       NAMENEXT   sr_indoor
       STATE      4
       SWIP       0
       TIME       1547104838.03
     sr_astro:
       DEG        -18
       LIGHT      1
       NAME       sr_astro
       NAMENEXT   sr_naut
       STATE      1
       SWIP       0
       TIME       1547097631
     sr_civil:
       DEG        -6
       LIGHT      3
       NAME       sr_civil
       NAMENEXT   sr
       STATE      3
       SWIP       0
       TIME       1547102292.02
     sr_indoor:
       DEG        1
       LIGHT      5
       NAME       sr_indoor
       NAMENEXT   sr_weather
       STATE      5
       SWIP       0
       TIME       1547105284.04
     sr_naut:
       DEG        -12
       LIGHT      2
       NAME       sr_naut
       NAMENEXT   sr_civil
       STATE      2
       SWIP       0
       TIME       1547099911.01
     sr_weather:
       DEG        0
       LIGHT      6
       NAME       sr_weather
       NAMENEXT   ss_weather
       STATE      6
       SWIP       1
       TIME       1547104838.05
     ss:
       DEG        0
       LIGHT      3
       NAME       ss
       NAMENEXT   ss_civil
       STATE      9
       SWIP       0
       TIME       1547134844.97
     ss_astro:
       DEG        -18
       LIGHT      0
       NAME       ss_astro
       NAMENEXT   sr_astro
       STATE      12
       SWIP       0
       TIME       1547142054
     ss_civil:
       DEG        -6
       LIGHT      2
       NAME       ss_civil
       NAMENEXT   ss_naut
       STATE      10
       SWIP       0
       TIME       1547137389.98
     ss_indoor:
       DEG        1
       LIGHT      4
       NAME       ss_indoor
       NAMENEXT   ss
       STATE      8
       SWIP       0
       TIME       1547134397.96
     ss_naut:
       DEG        -12
       LIGHT      1
       NAME       ss_naut
       NAMENEXT   ss_astro
       STATE      11
       SWIP       0
       TIME       1547139772.99
     ss_weather:
       DEG        0
       LIGHT      5
       NAME       ss_weather
       NAMENEXT   ss_indoor
       STATE      7
       SWIP       1
       TIME       1547134844.95
Attributes:
   verbose    2

Christoph Morrison · 10 Januar 2019, 21:33:49

652005 ist aber lt. Yahoo Geldern in NRW und nicht Stuggi

Also du hast/hattest eine Yahoo ID angegeben.

heikoh81 · 10 Januar 2019, 21:41:49

Dann habe ich womöglich die DEF aus einem Tutorial kopiert und nunr Long/Lat auf Stuttgart angepasst (das war ganz zu Beginn meiner fhem-Zeit...).
Seither nie mehr angefasst.
Naja, jetzt wo Yahoo nicht mehr funktioniert auch egal

rallye · 12 Januar 2019, 14:40:31

Mir kommt vor als würden auch die readings "state"/"light" unter der Abwesenheit von yahoo-weather leiden. Ich habe diese beiden Werte jetzt um 14:38 immer noch auf 5 (anstatt 6) und ich bin nicht in Skandinavien, sondern in Österreich daheim. Mich trifft das schon, denn ich steuere die Stehlampen im WZ mit dem Reading "light" ...

Christoph Morrison · 12 Januar 2019, 15:22:35

Zitat von: statler am 12 Januar 2019, 14:40:31
Mir kommt vor als würden auch die readings "state"/"light" unter der Abwesenheit von yahoo-weather leiden. Ich habe diese beiden Werte jetzt um 14:38 immer noch auf 5 (anstatt 6) und ich bin nicht in Skandinavien, sondern in Österreich daheim. Mich trifft das schon, denn ich steuere die Stehlampen im WZ mit dem Reading "light" ...

Gibst du mir mal ein list deines Twilight-Devices?

yersinia · 12 Januar 2019, 17:34:42

fyi, hier mal ein Chart des Twilight Light Wertes von heute (rote Linie; rechte Achse).

HansDampfHH · 13 Januar 2019, 08:55:02

Ich habe soeben mein Wetter-Device gelöscht, das Update gemacht und ein entsprechendes neues Device angelegt:

Code Auswählen


define Wetter Weather api=OpenWeatherMapAPI,cachemaxage:600 apikey=310---6ae9 location=52.896488,10.445219 interval=600 language=de

Nach einem Update sieht das aber sehr merkwürdig aus:

Code Auswählen


API Maintainer: Leon Gaultier (CoolTux) ErrorMsg: DarkSky Weather decode JSON err malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "permission denied\n") at FHEM/DarkSkyAPI.pm line 192.

Hier mal das Device:

Code Auswählen


Internals:
   API        DarkSkyAPI
   APIKEY     3104eb55ff0c52444a77bbb7ea1e6ae9
   APIOPTIONS cachemaxage:600
   CFGFN      
   DEF        api=OpenWeatherMapAPI,cachemaxage:600 apikey=310---6ae9 location=53.636239,9.940282 interval=600 language=de
   INTERVAL   600
   LANG       de
   LOCATION   53.636239,9.940282
   NAME       Wetter
   NOTIFYDEV  global
   NR         1092
   NTFY_ORDER 50-Wetter
   STATE      API Maintainer: Leon Gaultier (<a href=https://forum.fhem.de/index.php?action=profile;u=13684>CoolTux</a>) ErrorMsg: DarkSky Weather decode JSON err malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "permission denied\n") at FHEM/DarkSkyAPI.pm line 192.

   TYPE       Weather
   READINGS:
     2019-01-13 08:53:28   apiMaintainer   Leon Gaultier (<a href=https://forum.fhem.de/index.php?action=profile;u=13684>CoolTux</a>)
     2019-01-13 08:53:28   current_date_time So, 13 Jan 2019 08:47 
     2019-01-13 08:53:28   lastError       DarkSky Weather decode JSON err malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "permission denied\n") at FHEM/DarkSkyAPI.pm line 192.

     2019-01-13 08:53:28   lat             53.636239
     2019-01-13 08:53:28   long            9.940282
     2019-01-13 08:53:28   state           API Maintainer: Leon Gaultier (<a href=https://forum.fhem.de/index.php?action=profile;u=13684>CoolTux</a>) ErrorMsg: DarkSky Weather decode JSON err malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "permission denied\n") at FHEM/DarkSkyAPI.pm line 192.

     2019-01-13 08:53:28   status          DarkSky Weather decode JSON err malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "permission denied\n") at FHEM/DarkSkyAPI.pm line 192.

     2019-01-13 08:53:28   validity        stale
   fhem:
     allowCache 1
     interfaces temperature;humidity;wind
Attributes:

Jemand eine Idee oder einen Hinweis woher das kommt bzw was ich da machen kann?

CoolTux · 13 Januar 2019, 08:59:26

falscher Thread dafür. Aber egal. Schreibe das
api=OpenWeatherMapAPI

so

API=OpenWeatherMapAPI

HansDampfHH · 13 Januar 2019, 09:03:17

Oh sorry, aber danke funktioniert jetzt.
Ich hatte das 1:1 aus der Commandref übernommen, da steht es "klein".
TOP

HausHH · 13 Januar 2019, 11:10:56

Jetzt wo das 59_Weather Modul aktualisiert ist (danke an alle Beteiligten dafür), bekommt Twilight demnächst die weiter vorne angeregte Verbindung dorthin?
Und bekommt man dann von dort (nutze das DarkSkyApi) auch wieder aussagekräftige Twilight_weather Werte? Zuletzt waren die ja identisch zu den Twilight-Werten, was bei mir die Rolläden etwas aus dem Takt gebracht hat.

satprofi · 13 Januar 2019, 12:14:07

Hallo.
gerade bemerkt das twilight nicht mehr über state 5 hinaus kommt, trotz twilight 100

Christoph Morrison · 13 Januar 2019, 12:15:45

Zitat von: HausHH am 13 Januar 2019, 11:10:56
Jetzt wo das 59_Weather Modul aktualisiert ist (danke an alle Beteiligten dafür), bekommt Twilight demnächst die weiter vorne angeregte Verbindung dorthin?
Und bekommt man dann von dort (nutze das DarkSkyApi) auch wieder aussagekräftige Twilight_weather Werte? Zuletzt waren die ja identisch zu den Twilight-Werten, was bei mir die Rolläden etwas aus dem Takt gebracht hat.

Identisch zu den anderen Werten sollten sie eigentlich nicht gewesen sein, da bei fehlenden Werten eine Beschattung von 50% angenommen wird.

Meine Roadmap sieht so aus:
- Ich entferne den ganzen Yahoo-Teil aus 59_Twilight, die Angabe einer Yahoo-ID bleibt aber weiter (folgenlos) aus Gründen der Rückwärtskompatiblität möglich. Es wird weiterhin möglich bleiben, über useExtWeather einen Beschattungsgrad in Prozent einzubinden. Entsprechende Infos gibt es lt. CoolTux bei den Weather-API-Modulen.
- Ich evaluiere inwiefern sich Twilight und Astro überschneiden und ob man die Berücksichtigung des Beschattung nicht lieber zu Astro kontribuiert und Twilight dafür beerdigt

Alles weitere wird hier stattfinden: https://github.com/christoph-morrison/FHEM-59_Twilight
Stabile Releases wird es auch weiterhin über update geben.