Ein virtueller Regensensor mit wetter.com und HTTPMOD

binford6000 · 26 August 2021, 15:50:16

Zitat von: ch.eick am 26 August 2021, 15:23:23
Gibt es denn dann jetzt eine saubere, komplette Definition?

Nö. Hab jetzt alle Beispiele für Regex08 durch und bei allen schmiert FHEM ab sobald versucht wird die Daten abzuholen.
Hab wieder auf disabled 1 gesetzt...

Tri · 26 August 2021, 20:16:43

TYPE
HTTPMOD
ModuleVersion
4.1.10 - 6.7.2021

Meine aktuelle Konfig:

Code Auswählen


defmod wetter_com_gifhorn HTTPMOD https://www.wetter.com/deutschland/gifhorn/DE0003428.html 290
attr wetter_com_gifhorn DbLogExclude .*
attr wetter_com_gifhorn DbLogInclude Status,Status2h,regen,date,time_04,feld-\d*,wolken
attr wetter_com_gifhorn reading01Name regen
attr wetter_com_gifhorn reading01Regex <span.id=\"nowcast-text\".class=\"portable-mb--\">\W*(.*)\W*</span>
attr wetter_com_gifhorn reading02Name date
attr wetter_com_gifhorn reading02Regex <div class=\"\[.forecast-navigation-grid.\]\">\W*<a.data-label=\"VHSTabTag_1\"\W*class=\"\[.is-active.\]\"\W*.*\W*.*\W*.*\W*.*\W*.*\W*<div>\W*(.*)\W*<\/div>
attr wetter_com_gifhorn reading03Name wolken
attr wetter_com_gifhorn reading03OMap wolkenlos:0/8 wolkenlos,sonnig:1/8 sonnig,heiter:2/8 heiter,leicht bew\u00f6lkt:3/8 leicht bewölkt,wolkig:4/8 wolkig,bew\u00f6lkt:5/8 bewölkt,stark bew\u00f6lkt:6/8 stark bewölkt,fast bedeckt:7/8 fast bedeckt,bedeckt:8/8 bedeckt
attr wetter_com_gifhorn reading03Regex <div.id..rtw_cnt..data-rtw..*..quot.*shortText.quot...quot.(.*).quot...quot.*longText.*quot
attr wetter_com_gifhorn reading08-1Name feld-01
attr wetter_com_gifhorn reading08-25Name time_04
attr wetter_com_gifhorn reading08-2Name feld-02
attr wetter_com_gifhorn reading08-3Name feld-03
attr wetter_com_gifhorn reading08-4Name feld-04
attr wetter_com_gifhorn reading08-5Name feld-05
attr wetter_com_gifhorn reading08-6Name feld-06
attr wetter_com_gifhorn reading08-7Name feld-07
attr wetter_com_gifhorn reading08-8Name feld-08
attr wetter_com_gifhorn reading08-9Name feld-09
attr wetter_com_gifhorn reading08Name feld
attr wetter_com_gifhorn reading08OMap #fff:0, #a6caf0:< 0.4 l/m²/h, #bfd4ff:< 0.4 l/m²/h, #fce4ec:< 0.4 l/m²/h(*), #6699ff:< 1.9 l/m²/h, #f9bad0:< 1.9 l/m²/h(*), #004ce5:< 8.1 l/m²/h, #f68db1:< 8.1 l/m²/h(*), #002673:< 35 l/m²/h, #f25f91:< 35 l/m²/h(*), #ffa800:< 150 l/m²/h, #ee3c79:< 150 l/m²/h(*), #e60000:> 150 l/m²/h #eb1561:> 150 l/m²/h(*)
attr wetter_com_gifhorn reading08Regex <table.class=\"\[.rainnowcast-timeline.\].*\">\W*<tbody>\W*<tr>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*</tr>\W*<tr>\W*<td.colspan=\"2\".*Jetzt\W*</td>\W*<td colspan="2".*>(.*)</td>
attr wetter_com_gifhorn room KLF200Node
attr wetter_com_gifhorn stateFormat date time_04 Regen aktuell: Status, Regen 2h: Status2h, wolken, regen, <html><a target= "_blank" href="https://www.wetter.com/deutschland/gifhorn/DE0003428.html">wetter.com</a></html>
attr wetter_com_gifhorn userReadings Status:feld-01.* {\
  0 + \
  (ReadingsVal("wetter_com_gifhorn","feld-01",0) ne 0 || \
  ReadingsVal("wetter_com_gifhorn","feld-02",0) ne 0 || \
  ReadingsVal("wetter_com_gifhorn","feld-03",0) ne 0 || \
  ReadingsVal("wetter_com_gifhorn","feld-04",0) ne 0 || \
  ReadingsVal("wetter_com_gifhorn","feld-05",0) ne 0 || \
  ReadingsVal("wetter_com_gifhorn","feld-06",0) ne 0 || \
  ReadingsVal("wetter_com_gifhorn","feld-07",0) ne 0 );;;; },\
Status2h:regen.* {\
  0 + ( ReadingsVal("wetter_com_gifhorn","regen",0) ne "Kein Niederschlag in Sicht" );;;; },\
Status_old,\
Status2h_old\

Die Readings

Code Auswählen


setstate wetter_com_gifhorn Do 26.08. 19:55 Regen aktuell: 0, Regen 2h: 0, 7/8 fast bedeckt, Kein Niederschlag in Sicht, <html><a target= "_blank" href="https://www.wetter.com/deutschland/gifhorn/DE0003428.html">wetter.com</a></html>
setstate wetter_com_gifhorn 2021-08-26 19:48:29 Status 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 Status2h 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 Status2h_old 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 Status_old 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 date Do 26.08.
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-01 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-02 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-03 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-04 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-05 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-06 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-07 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-08 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-09 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-10 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-11 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-12 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-13 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-14 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-15 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-16 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-17 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-18 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-19 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-20 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-21 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-22 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-23 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 feld-24 0
setstate wetter_com_gifhorn 2021-08-26 19:48:29 regen Kein Niederschlag in Sicht
setstate wetter_com_gifhorn 2021-08-26 19:48:29 time_04 19:55
setstate wetter_com_gifhorn 2021-08-26 19:48:29 wolken 7/8 fast bedeckt

Also im Prinzip alles so ähnlich wie oben beschrieben. Was ich zugefügt habe, ist eine Auswertung der Wolken. Die ModuleVersion sollte auf alle Fälle kontrolliert werden. Bei reading02Regex habe ich scheinbar auch etwas angepasst: <\/div>

Das teilweise auf wetter.com keine Auswertung vorhanden ist, steht ja oben beschrieben.

Ich hatte bislang keinen einzigen Absturz, kann diese Probleme aus diesem Grund auch nicht nachvollziehen. Da müssen schon noch mehr Informationen kommen, wie z.B. die Readings. Was zu beachten bleibt ist, das ich eine Datenbank mariadb benutze.

enno · 26 August 2021, 21:05:40

Moin Tri,

mit deinem neuen Vorschlag funktioniert es bei mir. Jetzt werde ich mir das für meinen Wohnort umstricken...

Erst mal danke für die Idee!

Gruss
Enno

binford6000 · 27 August 2021, 13:01:23

Zitat von: Tri am 26 August 2021, 20:16:43
TYPE
HTTPMOD
ModuleVersion
4.1.10 - 6.7.2021

Meine aktuelle Konfig:
Code Auswählen Erweitern
defmod wetter_com_gifhorn HTTPMOD https://www.wetter.com/deutschland/gifhorn/DE0003428.html 290 attr wetter_com_gifhorn DbLogExclude .* attr wetter_com_gifhorn DbLogInclude Status,Status2h,regen,date,time_04,feld-\d*,wolken attr wetter_com_gifhorn reading01Name regen attr wetter_com_gifhorn reading01Regex <span.id=\"nowcast-text\".class=\"portable-mb--\">\W*(.*)\W*</span> attr wetter_com_gifhorn reading02Name date attr wetter_com_gifhorn reading02Regex <div class=\"\[.forecast-navigation-grid.\]\">\W*<a.data-label=\"VHSTabTag_1\"\W*class=\"\[.is-active.\]\"\W*.*\W*.*\W*.*\W*.*\W*.*\W*<div>\W*(.*)\W*<\/div> attr wetter_com_gifhorn reading03Name wolken attr wetter_com_gifhorn reading03OMap wolkenlos:0/8 wolkenlos,sonnig:1/8 sonnig,heiter:2/8 heiter,leicht bew\u00f6lkt:3/8 leicht bewölkt,wolkig:4/8 wolkig,bew\u00f6lkt:5/8 bewölkt,stark bew\u00f6lkt:6/8 stark bewölkt,fast bedeckt:7/8 fast bedeckt,bedeckt:8/8 bedeckt attr wetter_com_gifhorn reading03Regex <div.id..rtw_cnt..data-rtw..*..quot.*shortText.quot...quot.(.*).quot...quot.*longText.*quot attr wetter_com_gifhorn reading08-1Name feld-01 attr wetter_com_gifhorn reading08-25Name time_04 attr wetter_com_gifhorn reading08-2Name feld-02 attr wetter_com_gifhorn reading08-3Name feld-03 attr wetter_com_gifhorn reading08-4Name feld-04 attr wetter_com_gifhorn reading08-5Name feld-05 attr wetter_com_gifhorn reading08-6Name feld-06 attr wetter_com_gifhorn reading08-7Name feld-07 attr wetter_com_gifhorn reading08-8Name feld-08 attr wetter_com_gifhorn reading08-9Name feld-09 attr wetter_com_gifhorn reading08Name feld attr wetter_com_gifhorn reading08OMap #fff:0, #a6caf0:< 0.4 l/m²/h, #bfd4ff:< 0.4 l/m²/h, #fce4ec:< 0.4 l/m²/h(*), #6699ff:< 1.9 l/m²/h, #f9bad0:< 1.9 l/m²/h(*), #004ce5:< 8.1 l/m²/h, #f68db1:< 8.1 l/m²/h(*), #002673:< 35 l/m²/h, #f25f91:< 35 l/m²/h(*), #ffa800:< 150 l/m²/h, #ee3c79:< 150 l/m²/h(*), #e60000:> 150 l/m²/h #eb1561:> 150 l/m²/h(*) attr wetter_com_gifhorn reading08Regex <table.class=\"\[.rainnowcast-timeline.\].*\">\W*<tbody>\W*<tr>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*</tr>\W*<tr>\W*<td.colspan=\"2\".*Jetzt\W*</td>\W*<td colspan="2".*>(.*)</td> attr wetter_com_gifhorn room KLF200Node attr wetter_com_gifhorn stateFormat date time_04 Regen aktuell: Status, Regen 2h: Status2h, wolken, regen, <html><a target= "_blank" href="https://www.wetter.com/deutschland/gifhorn/DE0003428.html">wetter.com</a></html> attr wetter_com_gifhorn userReadings Status:feld-01.* {\ 0 + \ (ReadingsVal("wetter_com_gifhorn","feld-01",0) ne 0 || \ ReadingsVal("wetter_com_gifhorn","feld-02",0) ne 0 || \ ReadingsVal("wetter_com_gifhorn","feld-03",0) ne 0 || \ ReadingsVal("wetter_com_gifhorn","feld-04",0) ne 0 || \ ReadingsVal("wetter_com_gifhorn","feld-05",0) ne 0 || \ ReadingsVal("wetter_com_gifhorn","feld-06",0) ne 0 || \ ReadingsVal("wetter_com_gifhorn","feld-07",0) ne 0 );;;; },\ Status2h:regen.* {\ 0 + ( ReadingsVal("wetter_com_gifhorn","regen",0) ne "Kein Niederschlag in Sicht" );;;; },\ Status_old,\ Status2h_old\

Mit dieser Definition klappt der Datenabruf bei mir ebenfalls und dann werden auch die Readings befüllt.
Danke und VG,
Sebastian

binford6000 · 27 August 2021, 18:04:58

Aktuell habe ich noch folgende Meldung im Log:

Code Auswählen

2021.08.27 18:00:31 3: rain.fc: MapConvert called from FormatReading did not find 18:05 (18:05) in map #fff:0, #a6caf0:< 0.4 l/m²/h, #bfd4ff:< 0.4 l/m²/h, #fce4ec:< 0.4 l/m²/h(*), #6699ff:< 1.9 l/m²/h, #f9bad0:< 1.9 l/m²/h(*), #004ce5:< 8.1 l/m²/h, #f68db1:< 8.1 l/m²/h(*), #002673:< 35 l/m²/h, #f25f91:< 35 l/m²/h(*), #ffa800:< 150 l/m²/h, #ee3c79:< 150 l/m²/h(*), #e60000:> 150 l/m²/h #eb1561:> 150 l/m²/h(*)

enno · 27 August 2021, 18:38:40

Zitat von: binford6000 am 27 August 2021, 18:04:58
Aktuell habe ich noch folgende Meldung im Log:
Code Auswählen Erweitern
2021.08.27 18:00:31 3: rain.fc: MapConvert called from FormatReading did not find 18:05 (18:05) in map #fff:0, #a6caf0:< 0.4 l/m²/h, #bfd4ff:< 0.4 l/m²/h, #fce4ec:< 0.4 l/m²/h(*), #6699ff:< 1.9 l/m²/h, #f9bad0:< 1.9 l/m²/h(*), #004ce5:< 8.1 l/m²/h, #f68db1:< 8.1 l/m²/h(*), #002673:< 35 l/m²/h, #f25f91:< 35 l/m²/h(*), #ffa800:< 150 l/m²/h, #ee3c79:< 150 l/m²/h(*), #e60000:> 150 l/m²/h #eb1561:> 150 l/m²/h(*)

Habe ich auch. Ist nur eine Info (Level 3). Daher Verbose 2 und Ruhe ist.

Gruss
Enno

jkriegl · 28 August 2021, 17:55:56

Habe per ui_Table (DOIF) die Regen-Prognose visualisiert.
Verbesserungen Zeit und Farbe sind noch möglich.
Auf uns kommte heftiger Regen zu!

Helmi55 · 28 August 2021, 18:48:35

guten Abend Leute
das würde mir sehr gut gefallen - ABER - was muss ich ändern wenn ich keine DB Log Datei verwende?
Habe naiver weise nur die 2 Zeilen gelöscht - aber das wäre zu einfach

Gruß und Danke
Helmut

Tri · 28 August 2021, 18:53:42

Zitat von: jkriegl am 28 August 2021, 17:55:56
Habe per ui_Table (DOIF) die Regen-Prognose visualisiert.
Verbesserungen Zeit und Farbe sind noch möglich.
Auf uns kommte heftiger Regen zu!

DOIF/uiTable Schnelleinstieg: https://wiki.fhem.de/wiki/DOIF/uiTable_Schnelleinstieg

Helmi55 · 28 August 2021, 19:58:34

Wenn das für mich gemeint war Danke.
Aber ich meinte die Grundconfig bezüglich DB Datenbank
Gruß
Helmut

gestein · 28 August 2021, 20:33:43

Zitat von: Tri am 25 August 2021, 20:00:39
ich habe mal die Seite https://at.wetter.com/oesterreich/brigittenau/ATAT10678010.html aufgerufen. Ich vermisse da die Regenvorhersage. Unter https://www.wetter.com/deutschland/gifhorn/DE0003428.html sieht das anders aus. Die Bilder sind im Anhang. Das dürft aber nicht der Grund für einen Absturz sein. Vielleicht liegt es aber auch an den Berechtigungen der Seite, die ich (nicht?) gegeben habe. Wie sehen den die Readings aus?

Hallo Tri,

da hast Du wohl recht. Anscheinend wird in Österreich kein Regen angegeben.
Schade.
Danke für Deine Hilfe!
lg, Gerhard

Esjay · 28 August 2021, 21:49:53

Zitat von: Helmi55 am 28 August 2021, 19:58:34
Wenn das für mich gemeint war Danke.
Aber ich meinte die Grundconfig bezüglich DB Datenbank
Gruß
Helmut

Was ist denn dein Ziel? Das Device an und für sich sollte auch ohne Datenbank funktionieren.
Geht irgendwas nicht?

Grüße

Tri · 29 August 2021, 08:56:09

Hallo Helmi55,

der Link DOIF/uiTable Schnelleinstieg: https://wiki.fhem.de/wiki/DOIF/uiTable_Schnelleinstieg war eher für mich und andere, die nicht gerne suchen, sorry.

Ich habe das mal auf die Grundfunktion runter gebrochen, damit sollte es übersichtlicher werden:

Code Auswählen

defmod wetter_com_gifhorn HTTPMOD https://www.wetter.com/deutschland/gifhorn/DE0003428.html 290
attr wetter_com_gifhorn reading08Name feld
attr wetter_com_gifhorn reading08Regex <table.class=\"\[.rainnowcast-timeline.\].*\">\W*<tbody>\W*<tr>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;.*</td>\W*<td class=\".*style=\"background-color:(.*);;
attr wetter_com_gifhorn stateFormat Status
attr wetter_com_gifhorn userReadings Status:feld-1.* { \
0 + \
(ReadingsVal("wetter_com_gifhorn","feld-1",0) ne "#fff" || \
ReadingsVal("wetter_com_gifhorn","feld-2",0) ne "#fff" || \
ReadingsVal("wetter_com_gifhorn","feld-3",0) ne "#fff" || \
ReadingsVal("wetter_com_gifhorn","feld-4",0) ne "#fff" || \
ReadingsVal("wetter_com_gifhorn","feld-5",0) ne "#fff" || \
ReadingsVal("wetter_com_gifhorn","feld-6",0) ne "#fff" || \
ReadingsVal("wetter_com_gifhorn","feld-7",0) ne "#fff" );;;; }

Gruß
Tri

ch.eick · 29 August 2021, 09:06:00

Zitat von: Helmi55 am 28 August 2021, 19:58:34
Wenn das für mich gemeint war Danke.
Aber ich meinte die Grundconfig bezüglich DB Datenbank

Hallo Helmut,
ohne DbLog nimmst Du einfach die Einträge raus, dann bleibt das einfache Device und im Anschluss kannst Du Dir ein FileLog definieren, wie Du es bei anderen devices sicher auch hast.
Generell wäre es für die Zukunft aber sicher schöner, wenn Du eine Datenbank nimmst und das dann mit Grafana auswertest. Das ist am Anfang etwas Arbeit, macht aber dann mächtig Spaß.

Für der RPI gibt es auch einen Docker Container für MySQL und auch für Grafana.

Gruß
Christian

jkriegl · 29 August 2021, 10:18:07

Bei mir funktioniert alles ohne die beiden DB-attr-Einträge. (s. Lösung von Sebastian).
Warum soll ich Prognosewerte aufzeichnen? Höchstens um zu prüfen, ob diese auch etwas taugen.
Vorschlag: im userReading $name statt <device> verwenden, dann ist so etwas einfacher zu übertragen.
Sorry: die Lösung ist von Tri.