Läuft: zigbee2mqtt mit MQTT2_SERVER und MQTT2_DEVICE

[Beta-User]

AttrTemplate, ab sofort

WOW!

Habe eben eine aktualisierte mqtt2.template hochgeladen, die "desc:" testweise mitverwendet .

Bezgl. zigbee2mqtt habe ich "nur" die "alte" Zigbee-Bridge "nach hinten" geschoben, damit Einsteiger eher eine der beiden aktuellen bridgeRegexp nutzen.

@Badflex:
Blau verbinde ich "aus den Untiefen meines Gedächtnisses" (vulgo: muß nicht richtig sein) mit einem Fehler bei der Übertragung von Daten zur Bulb. Kannst du als erstes Checken, ob die vollständig gepairt ist und das ggf. wiederholen?
Ansonsten wäre mein Vorschlag, den Datenverkehr auf dem Server mal abzuhören, ob der json paßt. Wenn nein: wäre vielleicht ein gesondertes Thema zu zigbee2mqtt_RGB2JSON(), das geht sonst leicht hier unter.

[supernova1963]

@supernova1963: ist auf dem "Problemsystem" eine autocreate Instanz konfiguriert?
In der ausgelieferten fhem.cfg gibt es eine Definition mit dem Namen autocreate.

Ja:

Code Auswählen Erweitern

define autocreate autocreate
attr autocreate autosave 1
attr autocreate device_room %TYPE
attr autocreate filelog ./log/%NAME-%Y.log
attr autocreate room 99_FHEM
attr autocreate weblink 1
attr autocreate weblink_room 99_Plotting

Danke,

Gernot

[rudolfkoenig]

@supernova1963: ich habe versucht das Problem mit deiner autocreate und MQTT2_SERVER Definitionen nachzustellen, leider ohne Erfolg.

Kannst du bitte folgenden Befehl auf dem FHEM Server ausfuehren (das sollte das in deinem Log gesehene Meldung reproduzieren):

Code Auswählen Erweitern

% mosquitto_pub -i SONOFFPOW_65 -t /fhem/31_Eingang/SONOFFPOW_65/tele/SENSOR -m '{"Time":"2018-12-12T17:03:27","ENERGY":{"TotalStartTime":"2018-11-27T18:44:07","Total":5.464,"Yesterday":0.037,"Today":0.020,"Power":0,"ApparentPower":0,"ReactivePower":0,"Factor":0.00,"Voltage":232,"Current":0.000}}'

Bei mir wird daraufhin automatisch was angelegt:

2018.12.16 23:38:20 2: autocreate: define MQTT2_SONOFFPOW_65 MQTT2_DEVICE SONOFFPOW_65
2018.12.16 23:38:20 2: autocreate: define FileLog_MQTT2_SONOFFPOW_65 FileLog ./log/MQTT2_SONOFFPOW_65-%Y.log MQTT2_SONOFFPOW_65

mit

define MQTT2_SONOFFPOW_65 MQTT2_DEVICE SONOFFPOW_65
attr MQTT2_SONOFFPOW_65 IODev mqtt2
attr MQTT2_SONOFFPOW_65 readingList SONOFFPOW_65:/fhem/31_Eingang/SONOFFPOW_65/tele/SENSOR:.* { json2nameValue($EVENT, 'SENSOR_') }
attr MQTT2_SONOFFPOW_65 room MQTT2_DEVICE

setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_ApparentPower 0
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Current 0.000
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Factor 0.00
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Power 0
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_ReactivePower 0
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Today 0.020
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Total 5.464
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_TotalStartTime 2018-11-27T18:44:07
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Voltage 232
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_ENERGY_Yesterday 0.037
setstate MQTT2_SONOFFPOW_65 2018-12-16 23:38:20 SENSOR_Time 2018-12-12T17:03:27

[Beta-User]

@OdfFHEM:
Danke für die umfangreichen Vorarbeiten zum "Einheits-template" für die Bridge! (beziehe mich auf hier)

Das macht Sinn, es wird allerdings erst mal etwas dauern, bis ich diesen Teil wieder testen kann. Ich gehe aber davon aus, dass deine Definition dann die JSON-Blobs einfach so in die Readings schiebt, oder?

Ich werd's daher ungetestet "vertemplaten", das zum default erklären und eventuell eine Variante anbieten, die das JSON auspackt.

Dass einzelne Elemente (grafische Rückmeldung) nicht sinnvoll ausgewertet werden, ist korrekt. Bei der Erstellung der ersten Definition hatte ich halt erst mal alles genommen, was bei zigbee2mqtt an Abfrageoptionen da war.
An sich würde ich das tendenziell auch vollständig halten und dann im Wiki den Hinweis unterpringen, was ggf. schlicht nicht funktioniert, weil es a) Vorbereitung auf der zigbee2mqtt-Seite benötigt und b) (derzeit) von FHEM nicht ausgewertet werden kann (@Rudi: da kommt ein png zurück, wenn ich das richtig verstanden habe; hat m.E. keine hohe Priorität!)
Interessanter fand ich, dass man über "raw" zurückgemeldet bekommt, ob ein Gerät grade erreichbar ist; das allerdings in einem seltsamen Format und mit "anderen" Namen....
Vielleicht hat da jemand eine Idee (hat dann aber m.E. wenig mit MQTT2 zu tun!)?

[rudolfkoenig]

@Rudi: da kommt ein png zurück, wenn ich das richtig verstanden habe; hat m.E. keine hohe Priorität!

Kannst du bitte explizit / mit Details beschreiben, was du meinst?
In der ZWDongle Detailansicht gibt es eine Moeglichkeit das Netzwerk grafisch darzustellen. Wenn ich das fuer zigbee2mqtt anpassen soll, dann brauche ich ein Beispiel mit moeglichst vielen Daten.

[Beta-User]

Kannst du bitte explizit / mit Details beschreiben, was du meinst?
In der ZWDongle Detailansicht gibt es eine Moeglichkeit das Netzwerk grafisch darzustellen. Wenn ich das fuer zigbee2mqtt anpassen soll, dann brauche ich ein Beispiel mit moeglichst vielen Daten.

Sorry, Details kann ich im Moment nicht selbst liefern, ich kenne nur diesen Beitrag von mark79 dazu: https://forum.fhem.de/index.php/topic,84790.msg848840.html#msg848840 Habe da mal die Bitte hinterlassen, weitere Infos zu liefern.

EDIT: link repariert

[Beta-User]

@OdfFHEM
Habe deinen input mal in template-Form gebracht und noch ein paar Kleinigkeiten angepaßt, die ggf. zum Testen usw. sinnvoll sein könnten (nach meinem Verständnis).

Code Auswählen Erweitern

###########################################
# zigbee2mqtt
# The zigbee2mqtt bridge device (entire hex id of devices as bridgeRegexp)
name:L_01_zigbee2mqtt_bridge
desc:The zigbee2mqtt bridge device <br>NOTE: JSON of networkmap raw will not be expanded! <br>If you want that, change readingList accordingly, "get <device> networkmap raw" will lead to an empty afterwards.
filter:TYPE=MQTT2_DEVICE
par:BASE_TOPIC;base topic set in configuration.yaml of the zigbee2mqtt bridge;{ AttrVal("DEVICE","readingList","") =~ m,([^/]+)[/].*:, ? $1 : undef }
attr DEVICE bridgeRegexp\
zigbee2mqtt/([A-Za-z0-9]*)[/]?.*:.* "zigbee_$1"
attr DEVICE getList\
  devicelist:noArg log BASE_TOPIC/bridge/config/devices\
  networkmap:raw networkmap_result BASE_TOPIC/bridge/networkmap $EVTPART1\
  networkmap_graphviz networkmap_result_g BASE_TOPIC/bridge/networkmap graphviz
attr DEVICE readingList\
  BASE_TOPIC/bridge/state:.* state\
  BASE_TOPIC/bridge/config/devices:.* {}\
  BASE_TOPIC/bridge/config/log_level:.* log_level\
  BASE_TOPIC/bridge/config/permit_join:.* permit_join\
  BASE_TOPIC/bridge/config/rename:.* { json2nameValue($EVENT, 'rename_') }\
  BASE_TOPIC/bridge/log:.* log\
  BASE_TOPIC/bridge/networkmap:.* {}\
  BASE_TOPIC/bridge/networkmap/graphviz:.* networkmap_result_g\
  BASE_TOPIC/bridge/networkmap/raw:.* networkmap_result
attr DEVICE setList\
  log_level:debug,info,warn,error BASE_TOPIC/bridge/config/log_level $EVTPART1\
  permit_join:true,false BASE_TOPIC/bridge/config/permit_join $EVTPART1\
  remove:textField BASE_TOPIC/bridge/config/remove $EVTPART1\
  rename:textField BASE_TOPIC/bridge/config/rename  {"old":"$EVTPART1","new":"$EVTPART2"}
attr DEVICE model L_01_zigbee2mqtt_bridge
# Based on https://forum.fhem.de/index.php/topic,94060.msg872371.html#msg872371
# networkmap networkmap_graphviz needs some additional configuration: https://forum.fhem.de/index.php/topic,84790.msg848840.html#msg848840
# networkmap_result_g muß mind. noch nachbearbeitet werden: "| sfdp -Tpng | display -",
Wäre nett, wenn du das mal gegenprüfen könntest.

Aus dem Beitrag von mark79 hatte ich den Schluß gezogen, dass "graphviz" auf dem empfangenden System (also dem FHEM-Server) installiert sein muß. Daher würde ich annehmen, dass man "einfach" (wie json2nameValue()) $EVENT an eine perl-Funktion weiterleiten könnte, die dann ihrerseits das $EVENT an sfdp (auf shell-Ebene?) weitergeben würde (über den weiteren Weg hatte ich mir noch nicht den Kopf zerbrochen, ich habe graphviz (noch) nicht installiert)?
Es schient sogar ein Perl-Modul für graphviz zu geben: https://foswiki.org/Extensions/GraphvizPlugin
Kommt mir aber alles insgesamt wie sehr viel Aufwand vor, und von alledem verstehe ich (mal wieder) eigentlich nichts....

[mark79]

Hallo, das mit der Network Map wollte ich auch schon mal ansprechen, das funktioniert out of the box nicht.

Es muss graphviz installiert sein und man muss das hier nebenbei laufen lassen:

Code Auswählen Erweitern

mosquitto_sub -h localhost -C 1 -t zigbee2mqtt/bridge/networkmap/graphviz | sfdp -Tpng > /tmp/network_map.png
Dieser Prozess beendet sich nach Erstellung der Bilddatei selbst, also wenn man unteres CMD absetzt...

In der zweiten Console kann man dann mit:

Code Auswählen Erweitern

mosquitto_pub -h localhost -t zigbee2mqtt/bridge/networkmap -m graphviz
die Network Map anfordern, oder über das Fhem zigbee2mqtt Device.

Code Auswählen Erweitern

-rw-r--r-- 1 root root 222999 Dec 17 16:03 network_map.png

[rudolfkoenig]

@mark79: koenntest du bitte die Ausgabe von

mosquitto_sub -h localhost -C 1 -t zigbee2mqtt/bridge/networkmap/graphviz

hier anhaengen? Ich meine nicht das Bild, sondern das Input fuer sfdp.

[mark79]

@mark79: koenntest du bitte die Ausgabe vonhier anhaengen? Ich meine nicht das Bild, sondern das Input fuer sfdp.

Klar, der Output sieht so aus:

root@fhem:~#  mosquitto_sub -h localhost -C 1 -t zigbee2mqtt/bridge/networkmap/graphviz

Code Auswählen Erweitern

digraph G {
node[shape=record];
  "0x00124b00182cd417" [label="{0x00124b00182cd417|Coordinator|No model information available|online}"];
  "0x00124b00182cd417" -> "0x90fd9ffffe0e11b3" [label="80"]
  "0x90fd9ffffe0e11b3" [label="{0x90fd9ffffe0e11b3|Router|IKEA TRADFRI LED bulb E26/E27 950 lumen, dimmable, white spectrum, clear (LED1546G12)|online}"];
  "0x90fd9ffffe0e11b3" -> "0x00124b00182cd417" [label="43"]
  "0x00158d000213492e" [label="{0x00158d000213492e|EndDevice|Xiaomi Aqara wireless switch (WXKG11LM)|online}"];
  "0x00158d000213492e" -> "0x00124b00182cd417" [label="125"]
  "0x00158d0001e52525" [label="{0x00158d0001e52525|EndDevice|Xiaomi Aqara human body movement and illuminance sensor (RTCGQ11LM)|online}"];
  "0x00158d0001e52525" -> "0x00124b00182cd417" [label="60"]
  "0x00158d0001d926ca" [label="{0x00158d0001d926ca|EndDevice|Xiaomi MiJia human body movement sensor (RTCGQ01LM)|online}"];
  "0x00158d0001d926ca" -> "0x00124b00182cd417" [label="95"]
  "0x00158d00016d7946" [label="{0x00158d00016d7946|EndDevice|Xiaomi MiJia wireless switch (WXKG01LM)|online}"];
  "0x00158d00016d7946" -> "0x00124b00182cd417" [label="73"]
  "0x00158d0002310f05" [label="{0x00158d0002310f05|EndDevice|Xiaomi Mi smart home cube (MFKZQ01LM)|online}"];
  "0x00158d0002310f05" -> "0x00124b00182cd417" [label="81"]
  "0x00158d0002135505" [label="{0x00158d0002135505|EndDevice|Xiaomi Aqara wireless switch (WXKG11LM)|online}"];
  "0x00158d0002135505" -> "0x00124b00182cd417" [label="102"]

und von mosquitto_sub -v -t \#

Code Auswählen Erweitern

zigbee2mqtt/bridge/networkmap graphviz
zigbee2mqtt/bridge/networkmap/graphviz digraph G {
node[shape=record];
  "0x00124b00182cd417" [label="{0x00124b00182cd417|Coordinator|No model information available|online}"];
  "0x00124b00182cd417" -> "0x90fd9ffffe0e11b3" [label="79"]
  "0x90fd9ffffe0e11b3" [label="{0x90fd9ffffe0e11b3|Router|IKEA TRADFRI LED bulb E26/E27 950 lumen, dimmable, white spectrum, clear (LED1546G12)|online}"];
  "0x90fd9ffffe0e11b3" -> "0x00124b00182cd417" [label="43"]
  "0x00158d000213492e" [label="{0x00158d000213492e|EndDevice|Xiaomi Aqara wireless switch (WXKG11LM)|online}"];
  "0x00158d000213492e" -> "0x00124b00182cd417" [label="125"]
  "0x00158d0001e52525" [label="{0x00158d0001e52525|EndDevice|Xiaomi Aqara human body movement and illuminance sensor (RTCGQ11LM)|online}"];
  "0x00158d0001e52525" -> "0x00124b00182cd417" [label="62"]
  "0x00158d0001d926ca" [label="{0x00158d0001d926ca|EndDevice|Xiaomi MiJia human body movement sensor (RTCGQ01LM)|online}"];
  "0x00158d0001d926ca" -> "0x00124b00182cd417" [label="95"]
  "0x00158d00016d7946" [label="{0x00158d00016d7946|EndDevice|Xiaomi MiJia wireless switch (WXKG01LM)|online}"];
  "0x00158d00016d7946" -> "0x00124b00182cd417" [label="73"]
  "0x00158d0002310f05" [label="{0x00158d0002310f05|EndDevice|Xiaomi Mi smart home cube (MFKZQ01LM)|online}"];
  "0x00158d0002310f05" -> "0x00124b00182cd417" [label="85"]
  "0x00158d0002135505" [label="{0x00158d0002135505|EndDevice|Xiaomi Aqara wireless switch (WXKG11LM)|online}"];
  "0x00158d0002135505" -> "0x00124b00182cd417" [label="102"]

Das läuft aber noch über XiaomiMQTTDevice und alten MQTT, bin immer noch nicht dazu gekommen es umzustellen.

[OdfFhem]

Anmerkung zum Code in #234: es fehlt jeweils eine abschließende }.

[OdfFhem]

@Beta-User
Ich habe den Code aus #231 geprüft und auch einmal testweise als Template angewendet.

Bis auf eine Kleinigkeit sieht es gut aus: Im bridgeRegexp muss noch zigbee2mqtt durch BASE_TOPIC ersetzt werden.


Beim Testen ist mir dann allerdings noch aufgefallen, dass bei der initialen, automatisch angelegten readingList für das Sammel-MQTT2_DEVICE alle Einträge mit dem vorangestellten IODev beginnen. Ich bin mir nicht sicher, ob das vor dem heutigen Update auch schon so war. Die Folge davon ist jedenfalls, dass die BASE_TOPIC-Erkennung in einem solchen Fall nicht den gewünschten Wert liefert.

Code Auswählen Erweitern


attr <sammel_device> readingList myMqttClient:zigbee2mqtt/bridge/state:.* state

Statt zigbee2mqtt wird myMqttClient:zigbee2mqtt als BASE_TOPIC ermittelt ... nach der Template-Anwendung ist das resultierende Device mehr oder weniger unbrauchbar ...

Bei den weiteren, mittels autocreate angelegten MQTT2_DEVICEs wird das IODev nicht vorangestellt und die Template-Anwendung funktioniert problemlos ...

[Beta-User]

@OdfFHEM
Danke für's Testen. Das mit dem vorangestellten "zigbee_pi:" war schon eine Zeitlang so und vermutlich eines der Probleme, über die ich auch gestolpert war (es kam nichts zurück....). Ich kann aber nicht sagen, ab wann das wirklich zu einem Problem geführt hat (ich meine, nicht schon immer).

Anbei eine etwas angepaßte Version der regex:

Code Auswählen Erweitern

par:BASE_TOPIC;base topic set in configuration.yaml of the zigbee2mqtt bridge;{ AttrVal("DEVICE","readingList","") =~ m,[^:]+:([^/]+)[/].*:, ? $1 : undef }
Das würde ich dann für alle drei Versionen der Bridge (vorläufig bleiben die alten mal noch drin) verwenden. Kannst du das auch nochmal testen. Sonstige Einwände?
(Bei den normalen Devices, die abgeleitet werden, bleibt es beim alten Stand!).

@Rudi
Mit der getList (networkmap_graphviz networkmap_result_g zigbee2mqtt/bridge/networkmap graphviz) erhalte ich das Reading "networkmap_result_g digraph G {" (danach kommt nichts mehr) Am Server kommt das an:

2018-12-17 21:43:39 MQTT2_SERVER MQTT2_FHEM_Server zigbee2mqtt/bridge/networkmap/graphviz:digraph G {   "0x00158d000279119c" [label="0x00158d000279119c (offline)"];   "0x00158d000279119c" -> "0x00124b0014bdec02" [label="170"]   "0x00158d000211b5e5" [label="0x00158d000211b5e5 (offline)"];   "0x00158d000211b5e5" -> "0x00124b0014bdec02" [label="170"]   "0x90fd9ffffefe2b91" [label="0x90fd9ffffefe2b91 (offline)"];   "0x90fd9ffffefe2b91" -> "0x00124b0014bdec02" [label="170"]   "0x90fd9ffffe65db16" [label="0x90fd9ffffe65db16 (online)"];   "0x90fd9ffffe65db16" -> "0x90fd9ffffe0bcd51" [label="255"]   "0x90fd9ffffe0bcd51" [label="0x90fd9ffffe0bcd51 (online)"];   "0x90fd9ffffe0bcd51" -> "0x90fd9ffffe65db16" [label="255"]   "0x00124b0014bdec02" [label="0x00124b0014bdec02 (online)"];   "0x00124b0014bdec02" -> "0x90fd9ffffe0bcd51" [label="36"] }

[rudolfkoenig]

Ich habe bei Vorhandensein von einem graphviz (oder .graphviz) Reading  ein "Show neighbor map" Link eingebaut, was die ZWDongle-Visualisierung aufruft.
Anhang 1 zeigt die Daten von mark79, Anhang 2 die von Beta-User.
Beim "hovern" ueber einen der Boxen wird Zusatzinfo angezeigt.

Damit es sinnvoll nutzbar wird, muessen wir die Nummer zu einem FHEM-Device mappen.
Vorschlaege?

Zur Info: Anhang 3 zeigt was moeglich ist mit der ZWDongle Version.

[Beta-User]

Vorab mal ein WOW!

Was das mapping angeht, ist es so, dass mind. 3 der Device durch ihre IEEE-Adresse repräsentiert werden (die 90fd9ffff...). Ich würde vermuten, dass das für die graphviz-Abfrage ggf. weiter diese Adresse bleibt, auch wenn man einen friendly name vergibt; kann ich gerne testen, wenn nicht jemand schneller ist.
Will heißen: Ohne friendly name entspricht das (erweitert um 0x) der CID. Hat man einen friendly name, mit muß man vermutlich erst noch die devicelist abfragen, um dann innerbalb eines array-Elements zu schauen, was wie zusammengehört. Da steht dann aber auch das model drin, was wiederum auf so hübsche Bilder gemappt werden könnte wie bei ZWave.

Wäre es ggf. sinnvoll, noch ein Attribut zu setzen, um damit einen Marker zu haben, damit mehrdimensionale JSON (wie hier den devicelist-Blob) dann nur "flach" ausgepackt werden? (sorry, kann grade kein list liefern, sonst wäre es vermutlich einfacher nachzuvollziehen).

Was die beiden "158d"-Geräte angeht, kann ich im Moment nur spekulieren: Ich habe neulich erst eine Fernbedienung in Betrieb genommen (müßte ....2b91 sein). Diese ist mit den beiden Bulbs (db16 und cb51) gepairt. Wie berichtet, kann ich weder von der FB selbst was an Sendebefehlen sehen, noch erhalte ich einen Statusupdate der Bulbs beim Schalten über diese FB.
Vermutung: Es handelt sich bei diesen beiden ID's um eine Art Steuerkanal zu jeweils einer Bulb... Vielleicht kann man das irgendwie rechnerisch nachvollziehen? Es muß ja eine Logik dahinterstecken. Und dass irgendeiner meiner Nachbarn hier just in dem Moment, wo ich da rumspiele genau zwei zigbee-Geräte neu installiert hat (und die sich auch noch in meine Installation eingeklinkt haben), halte ich für eher unwahrscheinlich.

Bitte um Info, wenn ich was (?) liefern soll...