httpmod.template: bugs, Fragen, Anregungen

[Beta-User]

Na ja, viele Fragezeichen sind es nicht mehr...

Wenn "wir" das mit der firmware nicht in denselben HTTPMOD bekommen, würde ich vorschlagen, den Namen um "daemon" zu erweitern, das ganze ergäbe dann:

Code Auswählen Erweitern

#Contributed by OdfFHEM, see https://forum.fhem.de/index.php/topic,97694.msg998835.html#msg998835
name:zigbee2mqtt_daemon_updates
filter:TYPE=HTTPMOD
desc: Check zigbee2mqtt homepage for new versions of the deamon software.<br>Define a HTTPMOD device like <br>define zigbee2mqtt_updates HTTPMOD https://github.com/Koenkk/zigbee2mqtt/tags 604800<br>
<a href="https://forum.fhem.de/index.php/topic,97694.msg998835.html#msg998835">Source: Forum</a>.
order:X_01f
par:WHICHROOM;Actual room of the device, defaults to HTTPMOD; {AttrVal("DEVICE","room","HTTPMOD" )}
par:INTERVAL;Actual interval for updating, defaults to one day; {InternalVal("DEVICE","Interval",604800)}
par:UPDATABLEDEVICESMODE;Actual mode for updatableDevices, defaults to onlyUpdatable; {AttrVal("DEVICE","updatableDevicesMode","onlyUpdatable")}
defmod DEVICE HTTPMOD https://github.com/Koenkk/zigbee2mqtt/tags INTERVAL
attr DEVICE userattr reading01Name reading01Regex reading02Name reading02OExpr reading02Regex updatableDevicesMode:onlyUpdatable,all
attr DEVICE enableControlSet 1
attr DEVICE event-on-change-reading .*
attr DEVICE event-on-update-reading LAST_ERROR,MATCHED_READINGS
attr DEVICE handleRedirects 0
attr DEVICE reading01Name latestVersion
attr DEVICE reading01Regex commit-title">[\w\W]*?<a href=".*">[\w\W]*?(\d*\.\d*\.\d*)[\w\W]*?</a>
attr DEVICE reading02Name latestDate
attr DEVICE reading02OExpr $val =~ m/^(.{4})-(.{2})-(.{2})$/ ;; "$3.$2.$1"
attr DEVICE reading02Regex relative-time[\w\W]*?datetime="(\d*-\d*-\d*)T\d*:\d*:\d*Z"
attr DEVICE showError 1
attr DEVICE showMatched 1
attr DEVICE stateFormat {   my $ret ="";;\
    my $lastCheck = ReadingsTimestamp($name,"MATCHED_READINGS","???");;\
    $ret .= '<div style="text-align:left">';;\
    $ret .= 'last <a title="versions" href="'.InternalVal($name,"MainURL","unknown").'">ZigBee</a>-check => '.$lastCheck;;\
    $ret .= '<br><br><pre>';;\
    $ret .= "| device                           | current |   new   |  released  |<br>";;\
    $ret .= "---------------------------------------------------------------------<br>";;\
    my $check = ReadingsVal($name,"updatableDevices","error => no or wrong data from server!");;\
    if($check eq "no updates needed!") {\
      $ret .= '| <b style="color:green">';;\
      $ret .= sprintf("%-65s",$check);;\
      $ret .= '</b> |';;\
    } elsif($check eq "error => no or wrong data from server!") {\
      $ret .= '| <b style="color:red">';;\
      $ret .= sprintf("%-65s",$check);;\
      $ret .= '</b> |';;\
    } else {\
      my @devices = split(',',$check);;\
      foreach my $devStr (@devices) {\
        my ($dev,$old,$new,$date) = $devStr =~ m/^([^\s]+)\s\(([^\s]+)\s\|\s([^\s]+)\s\|\s([^\)]+)\)$/;;\
        $ret .= '| <a href="/fhem?detail='.$dev.'"><b>';;\
        $ret .= sprintf("%-32s",$dev);;\
        $ret .= '</b></a> | ';;\
        $ret .= '<b style="color:lightgray">';;\
        $ret .= sprintf("%7s",$old);;\
        $ret .= '</b> | ';;\
        $ret .= '<a href="https://github.com/Koenkk/zigbee2mqtt/releases/tag/'.$new.'">';;\
        $ret .= '<b style="color:'.(($new eq $old)?'black':'red').'">';;\
        $ret .= sprintf("%7s",$new);;\
        $ret .= '</b></a> | ';;\
        $ret .= '<a href="https://github.com/Koenkk/zigbee2mqtt/releases/tag/'.$new.'">';;\
        $ret .= '<b style="color:black">';;\
        $ret .= sprintf("%-10s",$date);;\
        $ret .= '</b></a>';;\
        $ret .= " |<br>";;\
      }\
    }\
    $ret .= '</pre></div>';;\
  return $ret;;\
}
attr DEVICE updatableDevicesMode UPDATABLEDEVICESMODE
attr DEVICE timestamp-on-change-reading .*
attr DEVICE userReadings updatableDevices:MATCHED_READINGS.* {\
  my $ret = "";;\
  if (ReadingsVal($name,"MATCHED_READINGS","") eq "") {\
    $ret = "error => no or wrong data from server!";;\
  } else {\
    my $VERSION = ReadingsVal($name,"latestVersion","unknown");;\
    my $DATE = ReadingsVal($name,"latestDate","unknown");;\
    foreach my $dev (devspec2array("TYPE=MQTT[2]?_[D]EVICE:FILTER=permit_join!=")) {\
      my $version = ReadingsVal($dev,"version","0.0.0");;\
      $version =~ m/([0-9.]*).*/;;\
      $version = $1;;\
      if (AttrVal($name,"updatableDevicesMode","onlyUpdatable") eq "all" || $version ne $VERSION) {\
        $ret .= "," if($ret ne "");;\
        $ret .= $dev." (".$version." | ".$VERSION." | ".$DATE.")";;\
      }\
    }\
  }\
  return ($ret eq "")?"no updates needed!":$ret;;\
}
attr DEVICE webCmd reread
attr DEVICE room WHICHROOM
attr DEVICE model zigbee2mqtt_daemon_updates


In die mqtt2.template-file würde ich dann zu zigbee2mqtt_bridge noch folgendes anfügen?

Code Auswählen Erweitern

attr DEVICE comment To check for new updates of the deamon software, you might want to use a separate HTTPMOD device. See HTTPMOD template zigbee2mqtt_daemon_updates for further details.

[OdfFhem]

@Beta-User

Die Firmware müsste man vermutlich in mehreren HTTPMOD abhandeln, da die Firmware pro verwendetem Chip / pro Einsatzzweck / pro Zigbee-Protokoll-Version zu unterscheiden ist. Bislang schaue ich "automatisch" nach neuer Firmware nur, wenn es neue Server-Software gibt oder ich ein Problem mit der aktuellen Firmware habe ... zum Glück ein eher seltenes Unterfangen.

Einen Namenszusatz zu verwenden finde ich gut und ein bisschen "Werbung" im MQTT-Bereich schadet ja nicht ...

[Romoker]

Mit dem Attribut-Template DWD_weather_warnings wurden die aktuellen DWD-Warnungen zu meinem REGIONCODE als Readings wunderbar angelegt.
Wie bekomme ich es hin, dass die Readings wieder gelöscht werden, wenn die DWD-Warnungen nicht mehr existent sind?
Es gibt ja das Attribut DeleteIfUnmatched. Aber wie wende ich das auf die generierten JSON-Readings an?

Viele Grüße

[Beta-User]

Würde mal (ungetestet) auf

Code Auswählen Erweitern

attr DEVICE readingMaxAge 10
attr DEVICE readingMaxAgeReplacementMode deletetippen (analog einiger anderer attrTemplate). Das scheint (nach Zeitablauf, hier 10 sec. nach dem Parsen) schlicht alle Readings zu löschen, die es nicht mehr gibt.

[Romoker]

Danke - funktioniert.

Ich schlage vor die zwei Attribute mit in das Template DWD_weather_warnings aufzunehmen.

Viele Grüße

[Beta-User]

THX, ist ab nachher via update verfügbar.

[Panik]

Hallo Beta-User

ich habe in einem anderen Forumsblock eine Frage gestellt, die wohl besser hier aufgehoben wäre:
https://forum.fhem.de/index.php/topic,107454.msg1015106.html#msg1015106

Da geht es um das HTTPMOD Template DWD_weather_warnings und eine Umformatierung eines Unix-Zeitstempels

Wie kann man denn das readingFormat so universell anwenden, dass es nur auf die
warnings_109187000_0x_end und warnings_109187000_0x_start wirkt, die ja auch mal
in der Anzahl mehr oder weniger oft vorhanden sein können.

Der Wert des dortigen Unix-Zeitstempels sollte so ähnlich formatiert sein: localtime(TIMESTAMP)

[Beta-User]

Hi Panik,

ob das besser hier aufgehoben ist, sei mal dahingestellt, was HTTPMOD angeht, bin ich auch eher "Not-Maintainer"...

Vermutlich ist das Thema am besten im allg. HTTPMOD-Thread aufgehoben, sollten wir hier nicht Ansatzpunkte finden. Wenn ich es richtig verstanden habe, soll eigentlich der Readingwert in den zwei Fällen direkt weiterverarbeitet werden (durch 1000 teilen (ggf. int davon) und dann in
FmtDateTime() umgewandelt werden).

Das sieht mir nach einem etwas komplexeren coding für ein (get|reading)[0-9]*OExpr-Attribut aus...

Hilft dir dieses Stichwort schon weiter?

(Evtl. gibt es hier ja jemanden, der damit etwas mehr Erfahrung hat wie meinereiner, der das austesten könnte...?)

[Panik]

Hallo Beta-User,

Code Auswählen Erweitern

defmod Wetterwarnungen_rg readingsGroup .*:.*[Ww]arnings.*
attr Wetterwarnungen_rg group Wetter
attr Wetterwarnungen_rg room Wetter
attr Wetterwarnungen_rg timestampStyle style="color: silver"
attr Wetterwarnungen_rg valueFormat {return FmtDateTime($VALUE/1000) if( $READING =~ "end" );;;;return FmtDateTime($VALUE/1000) if( $READING =~ "start" );;;;}

Vom HTTPMOD-Maintainer bekam ich die Empfehlung, es hier zu versuchen
bzw. readingFormat zu verwenden.

mit readingFormat ist leider so ein Konstrukt wie ich es in der RG mit valueFormat umsetzen konnte nicht möglich.

[Beta-User]

Ok, ich gebe mich geschlagen ...

Versuch's mal mit

Code Auswählen Erweitern

attr Wetterwarner readingOExpr $val = FmtDateTime($val/1000) if $val =~ m/^[\d]+$/g && $val >10000;;;;$val

[Panik]

BINGO!

Danke!

Ich wusste doch, da geht was in den Attributen.
An den Trick ">10000" hat ich auch schon gedacht, um die richtigen Werte zu bearbeiten. 

[yersinia]

Hallo Beta-User,

hier zwei neue Template Vorschläge - bitte mal auf Fehler prüfen und bei gefallen übrnehmen.

neuer homematic fw check

Code Auswählen Erweitern

#Contributed by Pfriemler & yersinia, see https://forum.fhem.de/index.php/topic,78501.msg1019327.html#msg1019327
name:hm_fw_check_v2
filter:TYPE=HTTPMOD
desc: check for homematic firmware updates; based on new link provided by Pfriemler (switch from eq-3.de to update.homematic.com)<br>Define a HTTPMOD device like <br>define hm_fw_check HTTPMOD https://update.homematic.com/firmware/api/firmware/search/DEVICE 86400<a href="https://forum.fhem.de/index.php/topic,78501.msg1019327.html#msg1019327">Source: Forum</a>
order:X_01a
par:WHICHROOM;Actual room of the device, defaults to HTTPMOD; {AttrVal("DEVICE","room","HTTPMOD" )}
par:INTERVAL;Actual interval for updating, defaults to one day (86400s); {InternalVal("DEVICE","Interval",86400)}
defmod DEVICE HTTPMOD https://update.homematic.com/firmware/api/firmware/search/DEVICE INTERVAL
attr DEVICE userattr reading01AutoNumLen reading01Name reading01RegOpt reading01Regex reading02AutoNumLen reading02Name reading02RegOpt reading02Regex readingMaxAge readingMaxAgeReplacementMode:text,reading,internal,expression,delete showNewFWOnly:yes,no
attr DEVICE enableControlSet 1
attr DEVICE icon hm_ccu
attr DEVICE reading01AutoNumLen 2
attr DEVICE reading01Name hmfw-type
attr DEVICE reading01RegOpt g
attr DEVICE reading01Regex (?i)"type":"((?:\w+[-]*){1,})
attr DEVICE reading02AutoNumLen 2
attr DEVICE reading02Name hmfw-version
attr DEVICE reading02RegOpt g
attr DEVICE reading02Regex (?si)"version":"(\d+[.]\d+[.]\d+)
attr DEVICE readingMaxAge 10
attr DEVICE readingMaxAgeReplacementMode delete
attr DEVICE room WHICHROOM
attr DEVICE showError 1
attr DEVICE showMatched 1
attr DEVICE showNewFWOnly yes
attr DEVICE stateFormat {   my $ret ="";;;;\
    my $lastCheck = ReadingsTimestamp($name,"MATCHED_READINGS","???");;;;\
    $ret .= '<div style="text-align:left">';;;;\
    $ret .= 'last <a title="eq3-downloads" href="http://www.eq-3.de/service/downloads.html">homematic</a>-fw-check => '.$lastCheck;;;;\
    $ret .= '<br><br><pre>';;;;\
    $ret .= "| device                         | model                   | cur_fw | new_fw |<br>";;;;\
    $ret .= "------------------------------------------------------------------------------<br>";;;;\
    my $check = ReadingsVal($name,"newFwForDevices","error => no or wrong data from eq3-server!");;;;\
    if($check eq "no fw-updates needed!") {\
      $ret .= '| <b style="color:green">';;;;\
      $ret .= sprintf("%-74s",$check);;;;\
      $ret .= '</b> |';;;;\
    } elsif($check eq "error => no or wrong data from eq3-server!") {\
      $ret .= '| <b style="color:red">';;;;\
      $ret .= sprintf("%-74s",$check);;;;\
      $ret .= '</b> |';;;;\
    } else {\
      my @devices = split(',',$check);;;;\
      foreach my $devStr (@devices) {\
        my ($dev,$md,$idx,$ofw,$nfw) = $devStr =~ m/([^\s]+)\s[(]([^\s]+)\s[(](\d+)[)]\sofw_([\d\.]+)\s=>\snfw_([\d\.]+)/;;;;\
        my $fw_link = "https://ccu3-update.homematic.com/firmware/download?cmd=download&serial=0&product=".$md;;;;\
        $ret .= '| <a href="/fhem?detail='.$dev.'" target="_blank"><b>';;;;\
        $ret .= sprintf("%-30s",$dev);;;;\
        $ret .= '</b></a> | ';;;;\
        $ret .= '<b'.(($md eq "?")?' title="missing attribute model => set device in teach mode to receive missing data" style="color:yellow;;"':' style="color:lightgray;;"').'>';;;;\
        $ret .= sprintf("%-23s",$md);;;;\
        $ret .= '</b> | ';;;;\
        $ret .= '<b'.(($ofw eq "0.0")?' title="missing attribute firmware => set device in teach mode to receive missing data" style="color:yellow"':' style="color:lightgray;;"').'>';;;;\
        $ret .= sprintf("%6s",$ofw);;;;\
        $ret .= '</b> | ';;;;\
        $ret .= '<a title="download firmware file" href="'.$fw_link.'" target="_blank"><b style="color:red;;">';;;;\
        $ret .= sprintf("%6s",$nfw);;;;\
        $ret .= '</b></a> | ';;;;\
        $ret .= "<br />";;;;\
      }\
    }\
    $ret .= '</pre></div>';;;;\
  return $ret;;;;\
}
attr DEVICE userReadings newFwForDevices:MATCHED_READINGS.* {\
  my $ret = "";;;;\
  my $newfwonly = AttrVal($name,"showNewFWOnly","yes");;;;\
  if (ReadingsVal($name,"UNMATCHED_READINGS","?") eq "") {\
    my @eq3FwList = map { \
sprintf(ReadingsVal($name,"hmfw-type-".$_,"?").":".ReadingsVal($name,"hmfw-version-".$_,"?").":".$_);;;;\
} ReadingsVal($name,"MATCHED_READINGS","?")=~ m/hmfw-version-(\d\d)/g;;;;\
\
foreach my $dev (devspec2array("TYPE=CUL_HM:FILTER=DEF=......:FILTER=subType!=(virtual|)")) {\
      my $md = AttrVal($dev,"model","?");;;;\
      my $v = AttrVal($dev,"firmware","0.0");;;;\
      my ($h,$l) = split('\.',$v);;;;\
      foreach my $newFW (grep m/^${md}:/i,@eq3FwList) {\
my ($fwmd, $fwv, $idx) = $newFW =~ m/([^:]+):(\d+[.]\d+[.]\d+):(\d+)$/;;;;\
my ($fwh, $fwl) = split('\.',$fwv);;;;\
if(($newfwonly eq "no") || (($fwh > $h) || (($fwh == $h) && ($fwl > $l)))) {\
          $ret .= "," if($ret ne "");;;;\
  $ret .= $dev." (".$md." (".$idx.") ofw_".$v." => nfw_".$fwv.")";;;;\
        }\
      }\
    }\
  } else {\
    $ret = "error => no or wrong data from eq3-server!";;;;\
  }\
  return ($ret eq "")?"no fw-updates needed!":$ret;;;;\
}
attr DEVICE webCmd reread

Heizölpreis-ermittlung via easyoil:

Code Auswählen Erweitern

#Contributed by subseven & yersinia, see https://forum.fhem.de/index.php/topic,107189.msg1017754.html#msg1017754
name:fuel_oil_check
filter:TYPE=HTTPMOD
desc: checks fuel oil prices via easyoil.com<br>Define a HTTPMOD device like<br>define heizoelpreis HTTPMOD https://www.esyoil.com/preisausgabe.php?pr-unloading-points=%%ENTLADESTELLEN%%&pr-product=8&pr-payment-type=2&%%ANHAENGER%%&pr-hose-length=%%SCHLAUCHLAENGE%%&pr-app=1&pr-zip=%%PLZ%%&pr-amount=%%MENGE%%&submit= 3600 <a href="https://forum.fhem.de/index.php/topic,107189.msg1017754.html#msg1017754">Source: Forum</a>
order:X_02a
par:WHICHROOM;Actual room of the device, defaults to HTTPMOD; {AttrVal("DEVICE","room","HTTPMOD" )}
par:INTERVAL;Actual interval for updating, defaults to hourly (3600s); {InternalVal("DEVICE","Interval",3600)}
defmod Heizoelpreis HTTPMOD https://www.esyoil.com/preisausgabe.php?pr-unloading-points=%%ENTLADESTELLEN%%&pr-product=8&pr-payment-type=2&%%ANHAENGER%%&pr-hose-length=%%SCHLAUCHLAENGE%%&pr-app=1&pr-zip=%%PLZ%%&pr-amount=%%MENGE%%&submit= INTERVAL
attr DEVICE userattr reading010Name reading010OExpr reading010Regex replacement01Mode:reading,internal,text,expression,key replacement01Regex replacement01Value replacement02Mode:reading,internal,text,expression,key replacement02Regex replacement02Value replacement03Mode:reading,internal,text,expression,key replacement03Regex replacement03Value replacement04Mode:reading,internal,text,expression,key replacement04Regex replacement04Value replacement05Mode:reading,internal,text,expression,key replacement05Regex replacement05Value
attr DEVICE enableControlSet 1
attr DEVICE reading010Name Heizoelpreis
attr DEVICE reading010OExpr $val =~ s/,/\./;; $val;;
attr DEVICE reading010Regex <span class="fw_b ">([\d\,]+)
attr DEVICE replacement01Mode text
attr DEVICE replacement01Regex %%PLZ%%
attr DEVICE replacement01Value 40764
attr DEVICE replacement02Mode text
attr DEVICE replacement02Regex %%MENGE%%
attr DEVICE replacement02Value 3000
attr DEVICE replacement03Mode text
attr DEVICE replacement03Regex %%ENTLADESTELLEN%%
attr DEVICE replacement03Value 1
attr DEVICE replacement04Mode text
attr DEVICE replacement04Regex %%SCHLAUCHLAENGE%%
attr DEVICE replacement04Value 40
attr DEVICE replacement05Mode text
attr DEVICE replacement05Regex %%ANHAENGER%%
attr DEVICE replacement05Value pr-truck-type=short_vehicle
attr DEVICE room WHICHROOM
attr DEVICE stateFormat {"<div>".ReadingsTimestamp($name,"Heizoelpreis","-")." \
<b>".ReadingsVal($name,"Heizoelpreis","-")."&euro;;</b>/100l</div>"}
attr DEVICE webCmd reread

Bei der order war ich mir nicht ganz sicher, was ich eintragen soll...-.-

[Beta-User]

Moin,

hab's erst mal fast so übernommen.

Was das homematic-Thema angeht, bin ich eigentlich geneigt, das andere attrTemplate rauszunehmen, eine (funktionierende...) Quelle sollte reichen, oder?

Order für Heizöl habe ich jetzt so gewählt, dass es nach den Spritpreisen aufgelistet werden sollte...

(du siehst: alles kein Hexenwerk  ...)

[yersinia]

Bedankt.

Was das homematic-Thema angeht, bin ich eigentlich geneigt, das andere attrTemplate rauszunehmen, eine (funktionierende...) Quelle sollte reichen, oder?

Ja, ich denke auch, da es -anscheinend zurzeit- nicht funktioniert. Oder man markiert die eq-3 Version als deprecated.

Order für Heizöl habe ich jetzt so gewählt, dass es nach den Spritpreisen aufgelistet werden sollte...

pascht. (auch hier kann es mehrere Lösungen geben, die Anbieter variieren ja....)

[Beta-User]

Bedankt.

(Hoffe, die Aussage hinter der Aussage kam an...?)

Daher noch ein paar weitere Anmerkungen:

Ja, ich denke auch, da es -anscheinend zurzeit- nicht funktioniert. Oder man markiert die eq-3 Version als deprecated.

Könnte man. Aber es ist ja kein "funktionales" Device in dem Sinne, dass man da typischerweise Eventhandler usw. andocken würde, es ist nach meinem Verständnis eher ein informatorisches "Hilfsdevice" zur direkten Bedienung durch den User. Von daher kann man die alte Version immer noch wieder aus dem svn holen, wenn man das bräuchte. Sehe aber im Moment keinen Grund anzunehmen, dass die neue Quelle eher versiegen würde als die alte...

pascht. (auch hier kann es mehrere Lösungen geben, die Anbieter variieren ja....)

Klar. Ist eine reine Geschmacksfrage, und dadurch, dass order "nur" im Hintergrund verarbeitet wird, kann man das insgesamt im Prinzip auch völlig frei nachträglich ändern oder dieselbe order-Anbage sogar mehrfach nehmen. Wichtig ist m.E. nur, dass thematisch ähnliche Templates irgendwie "beeinander" auftauchen, wichtigere optimalerweise vorneweg; aber auch das ist nur eine Frage der Benutzerführung, nicht der Funktionalität...

(Wie gesagt: der Stuhl ist frei ).