FHEM Forum

FHEM - Hausautomations-Systeme => MQTT => Thema gestartet von: andre07 am 29 September 2026, 12:43:34

Titel: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 29 September 2026, 12:43:34
Hallo zusammen,

ich betreibe FHEM mit MQTT2_SERVER als zentralen Broker. Daran hängen u. a. Zigbee2MQTT 2.14.0 separat auf einem Raspberry Pi mehrere OpenMQTTGateways und seit Kurzem Home Assistant in version 2026.9.3.

Bis vor Kurzem hat Home Assistant die Zigbee2 MQTT-Geräte per Discovery gefunden und angezeigt. Nach einem Update des HA-Containers funktioniert das nicht mehr: Es werden keine Geräte mehr angelegt, und bereits bekannte Geräte stehen auf "nicht verfügbar".

Die Ursachen liegen wahrscheinlich daran das neue HA-Versionen sich automatisch mit MQTT 5 verbinden, sobald der Broker das im CONNACK akzeptiert. Eine manuelle Einstellung auf 3.1.1 wird von HA beim Verbinden wieder auf 5 hochgestuft. Mit MQTT 5 kann HA die vom MQTT2_SERVER weitergeleiteten PUBLISH-Pakete offenbar nicht verarbeiten.

Im HA-Log erscheint folgender Fehler (über 6,5 Mio. Mal innerhalb weniger Stunden):

Logger: homeassistant
Quelle: components/mqtt/client.py:615

Error doing job: Exception in callback MQTT._async_reader_callback()() (task: None)
Traceback (most recent call last):
  File "/usr/src/homeassistant/homeassistant/components/mqtt/client.py", line 615, in _async_reader_callback
    if (status := client.loop_read(MAX_PACKETS_TO_READ)) != 0:
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 2100, in loop_read
    rc = self._packet_read()
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 3142, in _packet_read
    rc = self._packet_handle()
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 3808, in _packet_handle
    return self._handle_publish()
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 4123, in _handle_publish
    props, props_len = message.properties.unpack(packet)
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/properties.py", line 410, in unpack
    attr_type = self.properties[identifier][0]
KeyError: 123

123 ist der ASCII-Code für "{", also das erste Zeichen der JSON-Payload. Meine Vermutung (ohne es im Detail geprüft zu haben): Im PUBLISH-Paket an einen MQTT-5-Client fehlt die Property-Length (bzw. sie wird anders kodiert), sodass paho den Beginn der Payload als Property-Identifier liest.

Zusätzlich meldet HA beim Verbinden:

Logger: homeassistant.components.mqtt.client
Quelle: components/mqtt/client.py:1205

Your MQTT broker reports it does not support Subscription Identifiers, see https://docs.oasis-open.org/mqtt/mqtt/v5.0/os/mqtt-v5.0-os.html#_Toc3901092. Please use a supported MQTT broker; got broker properties: [SessionExpiryInterval : 0, MaximumQoS : 1, RetainAvailable : 0, SubscriptionIdentifierAvailable : 0, SharedSubscriptionAvailable : 0]

(RetainAvailable : 0 erscheint nur, solange respectRetain nicht gesetzt ist; mit "attr MQTTServer respectRetain 1" fehlt dieser Eintrag.)

Weitere Beobachtungen:
- FHEM selbst empfängt alle Zigbee2MQTT-Nachrichten einwandfrei.
- mosquitto_sub auf dem FHEM-Rechner empfängt die Zigbee2MQTT-Nachrichten vom MQTTServer sowohl mit "-V mqttv311" als auch mit "-V mqttv5" korrekt, inkl. der Discovery-Topics unter homeassistant/#.
- Nachrichten der OpenMQTTGateways kamen in HA teilweise an, die von Zigbee2MQTT nie.
- In dieser Zeit hatte FHEM Verbindungsprobleme und ist einmal eingefroren. Ich vermute einen Zusammenhang mit den ständigen Fehlern bzw. Neuverbindungen von HA, kann das aber nicht belegen.

Versionen:
- MQTT2_SERVER
- MQTT2_DEVICE: 0.305090/2025-11-09
- Home Assistant: core 2026.9.3, Python 3.14, paho-mqtt (aus dem HA-Container)
- Zigbee2MQTT: 2.14.0

Könnte es sich jemand das bitte einmal ansehen? Falls MQTT 5 im MQTT2_SERVER nur teilweise unterstützt wird, wäre alternativ eine Option hilfreich, mit der der Server MQTT-5-Verbindungen ablehnt. HA würde dann auf 3.1.1 zurückfallen. Wenn ich weitere Logs liefern soll vomMQTTServer, mache ich das gern.

Vielen Dank und viele Grüße
Andre
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: PeterLustig am 29 September 2026, 18:47:00
Es wird Dir in der Sache nicht weiterhelfen, aber ich kann das Fehlerbild bestätigen.

Home Assistant meines Sohnes wollte sich nur noch per V5 mit meinem MQTT2_SERVER verbinden, die Vorgabe V3.1.1 hat sich immer wieder auf V5 geändert. Wir hatten die gleichen Fehlermeldungen zu den Subscription Identifiers.
Letztendlich konnte ich das Problem nur durch einen externen Broker (Eclipse Mosquitto) lösen. Allerdings auch mit den Nachteilen, auf z.B. autocreate usw zu verzichten.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 29 September 2026, 19:08:10
Kann bitte einer von euch testen, ob durch aendern der Zeile
    if($hash->{protoNum} < 3 || $hash->{protoNum} > 5) {
in FHEM/00_MQTT2_SERVER.pm in
    if($hash->{protoNum} < 3) {
und spezifizieren von 3.1.1 in HA das Problem geloest wird?
Wenn ja dann werde ich ein passendes Attribut einbauen.

Auch das eigentliche Problem will ich beheben, aber dazu brauche ich ein Testprogramm, am besten ohne dafuer HA aufsetzen und konfigurieren zu muessen.
Womoeglich reicht auch ein python Programm...
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: PeterLustig am 30 September 2026, 09:48:21
Ich werde es testen. Aus beruflichen Gründen aber leider erst in der nächsten Woche.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 30 September 2026, 11:54:50
Werde es testen und dann berichten
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 30 September 2026, 13:04:52
Trotz Änderung und anschließender umstellung in HA auf protokoll 3.1.1 schaltet HA wieder auf Protokoll 5
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 30 September 2026, 13:10:52
ZitatTrotz Änderung und anschließender umstellung in HA auf protokoll 3.1.1 schaltet HA wieder auf Protokoll 5
Bedeutet das, dass keine Verbindung hergestellt wird?
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 30 September 2026, 13:39:59
Verbindung springt auf grün verbunden aber im log von HA erscheint dies Logger: homeassistant
Quelle: components/mqtt/client.py:615
Erstmals aufgetreten: 13:13:27 (648827 Vorkommnisse)
Zuletzt protokolliert: 13:37:25

Error doing job: Exception in callback MQTT._async_reader_callback()() (task: None)
Traceback (most recent call last):
  File "/usr/local/lib/python3.14/asyncio/events.py", line 94, in _run
    self._context.run(self._callback, *self._args)
    ~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/src/homeassistant/homeassistant/components/mqtt/client.py", line 615, in _async_reader_callback
    if (status := client.loop_read(MAX_PACKETS_TO_READ)) != 0:
                  ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 2100, in loop_read
    rc = self._packet_read()
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 3142, in _packet_read
    rc = self._packet_handle()
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 3808, in _packet_handle
    return self._handle_publish()
           ~~~~~~~~~~~~~~~~~~~~^^
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/client.py", line 4123, in _handle_publish
    props, props_len = message.properties.unpack(packet)
                       ~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^
  File "/usr/local/lib/python3.14/site-packages/paho/mqtt/properties.py", line 410, in unpack
    attr_type = self.properties[identifier][0]
                ~~~~~~~~~~~~~~~^^^^^^^^^^^^
KeyError: 123
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 30 September 2026, 13:50:48
und das hier noch wobei SubscriptionIdentifierAvailable : 0 nicht unterstützt wird Logger: homeassistant.components.mqtt.client
Quelle: components/mqtt/client.py:1205
Integration: MQTT (Dokumentation, Probleme)
Erstmals aufgetreten: 13:13:25 (12 Vorkommnisse)
Zuletzt protokolliert: 13:37:21

Your MQTT broker reports it does not support Subscription Identifiers, see https://docs.oasis-open.org/mqtt/mqtt/v5.0/os/mqtt-v5.0-os.html#_Toc3901092. Please use a supported MQTT broker; got broker properties: [SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 0, SharedSubscriptionAvailable : 0]
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: DasQ am 30 September 2026, 13:59:10
Zitat von: rudolfkoenig am 29 September 2026, 19:08:10Kann bitte einer von euch testen, ob durch aendern der Zeile
    if($hash->{protoNum} < 3 || $hash->{protoNum} > 5) {
in FHEM/00_MQTT2_SERVER.pm in
    if($hash->{protoNum} < 3) {
und spezifizieren von 3.1.1 in HA das Problem geloest wird?
Wenn ja dann werde ich ein passendes Attribut einbauen.

Auch das eigentliche Problem will ich beheben, aber dazu brauche ich ein Testprogramm, am besten ohne dafuer HA aufsetzen und konfigurieren zu muessen.
Womoeglich reicht auch ein python Programm...

Kurze Recherche bringt zu Tage das HA hat mqtt 3.1.1 für obsolet erklärt

https://github.com/home-assistant/addons/issues/4647
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 30 September 2026, 15:21:08
Kurze Recherche bringt zu Tage das HA hat mqtt 3.1.1 für obsolet erklärt -> habe ich auch festgestellt
habe das Problem ohne HA mit einem kleinen Python-Skript nachgestellt, Skript anbei. Mit MQTT 3.1.1 funktioniert alles. Mit MQTT 5 verbindet sich der Client erfolgreich (CONNACK meldet SubscriptionIdentifierAvailable : 0), SUBSCRIBE und SUBACK klappen ebenfalls, aber beim ersten eingehenden PUBLISH bricht paho in properties.unpack() mit KeyError ab. Der Wert entspricht jeweils einem Zeichen aus der Payload (49 = ,,1", in HA 123 = ,,{"). Es sieht so aus, als würde MQTT2_SERVER an v5-Clients PUBLISH-Pakete ohne das Property-Length-Byte nach Topic bzw. Packet-ID senden. HA setzt das Protokoll beim Start auf 5 zurück, 3.1.1 ist wohl deaktiviert ?
hier das script # Test MQTT2_SERVER mit paho-mqtt 2.x nutzt HA
# Aufruf: python3 mqtt5_test.py HOST PORT USER PASS [5|311]
#python3 -m venv ~/mqtttest && ~/mqtttest/bin/pip install "paho-mqtt>=2"
#nano ~/mqtt5_test.py
#~/mqtttest/bin/python ~/mqtt5_test.py 192.168.178.78 1884 user pass 5
#~/mqtttest/bin/python ~/mqtt5_test.py 192.168.178.78 1884 user pass 311

import sys, logging, paho.mqtt.client as mqtt
logging.basicConfig(level=logging.DEBUG)
host, port, user, pw = sys.argv[1], int(sys.argv[2]), sys.argv[3], sys.argv[4]
v5 = len(sys.argv) < 6 or sys.argv[5] == "5"
c = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id="mqtt5-test",
                protocol=mqtt.MQTTv5 if v5 else mqtt.MQTTv311)
c.enable_logger()
c.username_pw_set(user, pw)
def on_connect(cl, ud, flags, rc, props):
    print("CONNACK:", rc, "Properties:", props)
    cl.subscribe("foxess_m1/#")
c.on_connect = on_connect
c.on_message = lambda cl, ud, m: print("MSG", m.topic, m.payload[:60])
c.connect(host, port, 60)
c.loop_forever()
Hat mir übrigens meine gesamte platte zugemüllt Protocol-log war zum schluß 200gb groß.
noch was Retained-Nachrichten verlieren beim Weiterreichen über den MQTT2_SERVER ihr Retain-Flag hatte das festgestellt nachdem ich mir auf dem server wo HA läuft eine Mosquitto Brücke gebaut habe der Daten von fhem weiterreicht an HA.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 30 September 2026, 18:14:59
Ich habe das obige python Programm mit
python mqtt2_test.py localhost 1883 "" "" 5
gestartet (paho-mqtt Version ist 2.1.0), und in FHEM
set m2s publish foxess_m1/hello World
eingegeben, aber ich bekomme keine Fehlermeldung:
DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c1, k60) client_id=b'mqtt5-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 0, SharedSubscriptionAvailable : 0]
CONNACK: Success Properties: [SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 0, SharedSubscriptionAvailable : 0]
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m1) [(b'foxess_m1/#', {QoS=0, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
DEBUG:paho.mqtt.client:Sending PINGREQ
DEBUG:paho.mqtt.client:Received PINGRESP
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r0, m0), 'foxess_m1/hello', properties=[], ...  (5 bytes)
MSG foxess_m1/hello b'World'

Was mache ich falsch?
Falsche paho Version?
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 30 September 2026, 18:41:42
Was mache ich falsch?Ich habe keine retain Nachricht geschickt: publish aus dem retain "Vorrat" war bei V5 kaputt, und das habe ich jetzt gefixt.
Weiterhin wird ab jetzt das Retain-Bit bei publish gesendet.

@andre07: danke fuer das Testprogramm!
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 30 September 2026, 21:32:21
habe das bei mir so gestartet #python3 -m venv ~/mqtttest && ~/mqtttest/bin/pip install "paho-mqtt>=2"
#~/mqtttest/bin/python ~/mqtt5_test.py 192.168.178.78 1884 user pass 5 ->versuch mit protokol 5
#~/mqtttest/bin/python ~/mqtt5_test.py 192.168.178.78 1884 user pass 311 > und hier 3.1.1
Danke für die schnelle hilfe werde das so bald wie möglich testen.
Als Nachtrag
Mit respectRetain 1 werden gespeicherte Nachrichten beim SUBSCRIBE zwar ausgeliefert, aber mit Retain-Flag 0
Habe das problem so lange behoben mit Status Topics direkt im Mosquitto als Retained gesetzt habe docker exec mosquitto mosquitto_pub -p 1885 -u ha -P 'passwort' -t 'zigbee2mqtt/bridge/state' -m '{"state":"online"}' -r
.Daraufhin bekommen devices in HA auch Daten.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 01 Oktober 2026, 13:45:26
So heute ersten Test gemacht folgendes ist mir noch aufgefallen
Gespeicherte und Live-Nachrichten kommen sauber an, kein KeyError mehr, 3 Minuten Dauerlauf ohne Fehler. Retain funktioniert. Zwei Punkte noch Erstens kommen auch Live-Nachrichten mit Retain-Bit 1 an, obwohl der Client retainAsPublished=False abonniert; laut Spezifikation wäre hier 0 zu erwarten. Zweitens meldet das CONNACK weiterhin SubscriptionIdentifierAvailable : 0, Home Assistant verlangt dieses Feature bei MQTT 5.siehe log vom script ~/mqtttest/bin/python ~/mqtt5_test.py 192.168.178.78 1884 user pass 5
DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c1, k60) client_id=b'mqtt5-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 0, SharedSubscriptionAvailable : 0]
CONNACK: Success Properties: [SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 0, SharedSubscriptionAvailable : 0]
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m1) [(b'foxess_m1/#', {QoS=0, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/state', properties=[], ...  (480 bytes)
MSG foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":385,"export_power_w"'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/availability', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/availability b'online'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/power b'404'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/power b'385'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/export_power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/export_power b'385'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/voltage', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/ac/voltage b'236.156'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/ac/current b'1.633'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/frequency', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/0/ac/frequency b'49.945'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/temperature', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/temperature b'49.03'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/yieldtotal', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/yieldtotal b'284.977'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/status b'running'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/1/power b'195'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/1/voltage b'31.805'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/1/current b'6.172'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/2/power b'209'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/2/voltage b'30.539'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/current b'6.857'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/sequence', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/sequence b''
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status_code', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/status_code b''
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/active_power_limit/state', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/active_power_limit/state b'100'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/active_power_limit/result', properties=[], ...  (9 bytes)
MSG foxess_m1/60M28010557L581/active_power_limit/result b'confirmed'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/status', properties=[], ...  (6 bytes)
MSG foxess_m1/status b'online'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/state', properties=[], ...  (480 bytes)
MSG foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":385,"export_power_w"'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/availability', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/availability b'online'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/power b'404'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/power b'385'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/export_power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/export_power b'385'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/voltage', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/ac/voltage b'236.156'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/ac/current b'1.633'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/frequency', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/0/ac/frequency b'49.945'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/temperature', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/temperature b'49.03'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/yieldtotal', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/yieldtotal b'284.977'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/status b'running'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/1/power b'195'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/1/voltage b'31.805'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/1/current b'6.172'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/2/power b'209'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/2/voltage b'30.539'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/current b'6.857'
DEBUG:paho.mqtt.client:Sending PINGREQ
DEBUG:paho.mqtt.client:Received PINGRESP
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/state', properties=[], ...  (479 bytes)
MSG foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":397,"export_power_w"'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/availability', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/availability b'online'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/power b'418'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/power b'397'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/export_power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/export_power b'397'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/voltage', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/ac/voltage b'236.969'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/ac/current b'1.672'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/frequency', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/0/ac/frequency b'49.938'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/temperature', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/temperature b'48.72'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/yieldtotal', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/yieldtotal b'284.984'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/status b'running'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/1/power b'199'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/1/voltage b'32.504'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/1/current b'6.115'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/2/power b'219'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/voltage', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/voltage b'32.25'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/current b'6.818'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/sequence', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/sequence b''
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status_code', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/status_code b''
DEBUG:paho.mqtt.client:Sending PINGREQ
DEBUG:paho.mqtt.client:Received PINGRESP
DEBUG:paho.mqtt.client:Sending PINGREQ
DEBUG:paho.mqtt.client:Received PINGRESP
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/state', properties=[], ...  (478 bytes)
MSG foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":406,"export_power_w"'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/availability', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/availability b'online'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/power b'427'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/power b'406'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/export_power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/export_power b'406'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/voltage', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/ac/voltage b'237.406'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/ac/current b'1.709'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/frequency', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/0/ac/frequency b'49.945'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/temperature', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/temperature b'48.91'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/yieldtotal', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/yieldtotal b'284.992'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/status b'running'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/1/power b'200'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/1/voltage b'32.504'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/1/current b'6.182'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/2/power b'227'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/voltage', properties=[], ...  (4 bytes)
MSG foxess_m1/60M28010557L581/2/voltage b'32.0'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/current b'7.098'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/sequence', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/sequence b''
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status_code', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/status_code b''
DEBUG:paho.mqtt.client:Sending PINGREQ
DEBUG:paho.mqtt.client:Received PINGRESP
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/state', properties=[], ...  (478 bytes)
MSG foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":450,"export_power_w"'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/availability', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/availability b'online'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/power b'471'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/power b'450'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/export_power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/0/ac/export_power b'450'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/voltage', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/ac/voltage b'238.062'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/ac/current b'1.895'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/ac/frequency', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/0/ac/frequency b'49.992'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/temperature', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/0/temperature b'49.38'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/yieldtotal', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/yieldtotal b'285.008'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status', properties=[], ...  (7 bytes)
MSG foxess_m1/60M28010557L581/0/status b'running'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/1/power b'218'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/voltage', properties=[], ...  (6 bytes)
MSG foxess_m1/60M28010557L581/1/voltage b'32.367'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/1/current', properties=[], ...  (4 bytes)
MSG foxess_m1/60M28010557L581/1/current b'6.76'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/power', properties=[], ...  (3 bytes)
MSG foxess_m1/60M28010557L581/2/power b'253'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/voltage', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/voltage b'30.66'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/2/current', properties=[], ...  (5 bytes)
MSG foxess_m1/60M28010557L581/2/current b'8.273'
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/sequence', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/sequence b''
DEBUG:paho.mqtt.client:Received PUBLISH (d0, q0, r1, m0), 'foxess_m1/60M28010557L581/0/status_code', properties=[], ...  (0 bytes)
MSG foxess_m1/60M28010557L581/0/status_code b''
DEBUG:paho.mqtt.client:Sending PINGREQ
DEBUG:paho.mqtt.client:Received PINGRESP

Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 01 Oktober 2026, 19:31:22
Ich habe jetzt die subscription Options (RetainAsPublished, NoLocal, RetainHandling:0,2) implementiert.

Hat das nicht implementierte SubscriptionIdentifierAvailable ausser der Meldung noch weitere Konsequenzen?
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 01 Oktober 2026, 20:31:52
Ich habe jetzt SubscriptionIdentifier hinzugefuegt.
Testen ist schwierig:
- keine Ahnung, wie ich das mit dem python Programm spezifizieren und ausgeben kann.
- mit mosquitto_sub kann ich es spezifizieren, es wird aber beim Empfang nicht ausgegeben.

Immherin: keiner der beiden ist abgestuerzt, und laut "verbose 5" habe ich den Identifier versendet.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 02 Oktober 2026, 17:33:28
Ein Test mit dem script lief eigentlich erfolgreich aber als ich den Broker auf fhem umstellte waren die Entitäten auch mit deinen Patch nicht verfügbar,obwohl die Nachrichten laut Diagnose korrekt zugeordnet ankamen.Werde also mit der neuen Version nochmal neu testen und berichten. Script zum nachstellen habe ich etwas abgeändert.# MQTT5 Subscription-Identifier-Test (paho-mqtt 2.x, wie Home Assistant)
# pip install "paho-mqtt>=2"
# Aufruf: python3 mqtt5_subid.py HOST PORT USER PASS TOPIC
import sys, paho.mqtt.client as mqtt
from paho.mqtt.properties import Properties
from paho.mqtt.packettypes import PacketTypes
host, port, user, pw, topic = sys.argv[1], int(sys.argv[2]), sys.argv[3], sys.argv[4], sys.argv[5]
c = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id="subid-test", protocol=mqtt.MQTTv5)
c.username_pw_set(user, pw)
def on_connect(cl, ud, flags, rc, props):
    print("CONNACK:", rc, props)
    sp = Properties(PacketTypes.SUBSCRIBE)
    sp.SubscriptionIdentifier = 42
    cl.subscribe(topic, properties=sp)
c.on_connect = on_connect
c.on_message = lambda cl, ud, m: print("r%d" % m.retain, m.topic, m.payload[:40], m.properties)
c.connect(host, port, 60)
c.loop_forever()
 
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 02 Oktober 2026, 18:22:55
Hallo ,

hab es doch gleich getestet mit dem script.Sieht gut aus im CONNACK steht jetzt SubscriptionIdentifierAvailable:1 und bei jeder Nachricht kommt der SubscriptionIdentifier hatte 42 gesetzt, kommt auch überall 42 an. Live Nachrichten kommen mit retain r0, passt.

Eine Sache ist mir aufgefallen: die gespeicherten retain Nachrichten die direkt nach dem subscribe kommen, haben bei MQTT 5 jetzt auch retain 0. Gestern kamen die noch mit r1. Mit 3.1.1 mosquitto_sub -V mqttv311 kommen sie richtig mit r1.

Soweit ich das verstehe muss bei den gespeicherten Nachrichten nach einem subscribe das retain immer r0 sein, RetainAsPublished gilt nur für neue Nachrichten die weitergeleitet werden.Man sieht das gut an den zeiten die ersten werte kamen sofort mit r0 und die live daten danach auch mit r1
CONNACK: Success [SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
18:11:35 r0 foxess_m1/60M28010557L581/active_power_limit/state b'100' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/status b'online' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/availability b'online' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/power b'12' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/ac/power b'12' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/ac/export_power b'12' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/ac/voltage b'227.531' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/ac/current b'0.053' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/ac/frequency b'49.969' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/temperature b'27.22' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/yieldtotal b'286.266' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/0/status b'running' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/1/power b'4' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/1/voltage b'29.98' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/1/current b'0.16' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/2/power b'8' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/2/voltage b'29.992' [SubscriptionIdentifier : [42]]
18:11:35 r0 foxess_m1/60M28010557L581/2/current b'0.266' [SubscriptionIdentifier : [42]]
18:11:46 r0 foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/availability b'online' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/power b'11' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/ac/power b'11' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/ac/export_power b'11' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/ac/voltage b'227.719' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/ac/current b'0.047' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/ac/frequency b'49.961' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/temperature b'27.03' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/yieldtotal b'286.266' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/status b'running' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/1/power b'4' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/1/voltage b'29.98' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/1/current b'0.15' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/2/power b'7' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/2/voltage b'30.133' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/2/current b'0.252' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/sequence b'' [SubscriptionIdentifier : [42]]
18:11:49 r0 foxess_m1/60M28010557L581/0/status_code b'' [SubscriptionIdentifier : [42]]
18:13:17 r0 foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/availability b'online' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/power b'11' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/ac/power b'10' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/ac/export_power b'10' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/ac/voltage b'227.5' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/ac/current b'0.043' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/ac/frequency b'49.953' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/temperature b'26.88' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/yieldtotal b'286.273' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/status b'running' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/1/power b'4' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/1/voltage b'30.176' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/1/current b'0.133' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/2/power b'7' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/2/voltage b'30.039' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/2/current b'0.236' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/sequence b'' [SubscriptionIdentifier : [42]]
18:13:20 r0 foxess_m1/60M28010557L581/0/status_code b'' [SubscriptionIdentifier : [42]]
18:14:48 r0 foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/availability b'online' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/power b'9' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/ac/power b'10' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/ac/export_power b'10' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/ac/voltage b'227.125' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/ac/current b'0.043' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/ac/frequency b'49.969' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/temperature b'26.69' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/yieldtotal b'286.273' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/status b'running' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/1/power b'3' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/1/voltage b'29.98' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/1/current b'0.129' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/2/power b'6' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/2/voltage b'30.086' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/2/current b'0.225' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/sequence b'' [SubscriptionIdentifier : [42]]
18:14:51 r0 foxess_m1/60M28010557L581/0/status_code b'' [SubscriptionIdentifier : [42]]
18:16:20 r0 foxess_m1/60M28010557L581/state b'{"serial":"60M28010557L581","r_power_w":' [SubscriptionIdentifier : [42]]
18:16:20 r0 foxess_m1/60M28010557L581/availability b'online' [SubscriptionIdentifier : [42]]
18:16:22 r0 foxess_m1/60M28010557L581/0/power b'9' [SubscriptionIdentifier : [42]]
18:16:22 r0 foxess_m1/60M28010557L581/0/ac/power b'9' [SubscriptionIdentifier : [42]]
18:16:22 r0 foxess_m1/60M28010557L581/0/ac/export_power b'9' [SubscriptionIdentifier : [42]]

Gruß Andre
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 02 Oktober 2026, 18:36:26
ZitatEine Sache ist mir aufgefallen: die gespeicherten retain Nachrichten die direkt nach dem subscribe kommen, haben bei MQTT 5 jetzt auch retain 0. Gestern kamen die noch mit r1.
Das liegt an dem Subscription Options (https://docs.oasis-open.org/mqtt/mqtt/v5.0/os/mqtt-v5.0-os.html#_Toc3901169), die ich gestern implementiert habe.
Kommt per Voreinstellung mit allen Werten als 0, also auch RetainAsPublished=0:
ZitatIf the value of Retain As Published subscription option is set to 0, the Server MUST set the RETAIN flag to 0 when forwarding an Application Message regardless of how the RETAIN flag was set in the received PUBLISH packet.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 02 Oktober 2026, 18:43:39
ZitatSoweit ich das verstehe muss bei den gespeicherten Nachrichten nach einem subscribe das retain immer r0 sein, RetainAsPublished gilt nur für neue Nachrichten die weitergeleitet werden.Man sieht das gut an den zeiten die ersten werte kamen sofort mit r0 und die live daten danach auch mit r1
(Sorry, zu spaet gelesen)
Bin nicht sicher, ob ich das Zusammenspiel von RetainAsPublished und RetainHandling richtig verstehe, ich finde die Spezifikation uebertreibt da etwas. Wenn die aktuelle Implementierung ein Problem ist, dann werde ich laenger darueber nachdenken.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 02 Oktober 2026, 20:42:28
könnte dabei helfen das ein Client am Flag erkennt, ob ein Wert ein alter, gespeicherter Stand oder eine frische Meldung ist. Ob HA diese stelle auswertet für meine Devices weiß ich jetzt auch nicht genau kann aber auch ein Grund sein warum meine Entitäten in HA nicht funktionieren. Bei V5 Clients könnte es wichtig sein, weil die am Flag erkennen ob es ein alter gespeicherter Wert ist oder ein neuer. Eilt jetzt aber nicht. https://docs.oasis-open.org/mqtt/mqtt/v5.0/os/mqtt-v5.0-os.html siehe 3.8.3.1, Beschreibung von Retain As Published
Andre

PS: Morgen werde ich mal HA im Debug loggen sowie Mqtt2Server der Unterschied der logs ist dann vieleicht die Lösung ehe ich hier weiter nur vermute.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 04 Oktober 2026, 12:01:33
ZitatPS: Morgen werde ich mal HA im Debug loggen sowie Mqtt2Server der Unterschied der logs ist dann vieleicht die Lösung ehe ich hier weiter nur vermute.
Zwei nacheinanderfolgende Logs, einmal mit mosquitto und einmal mit MQTT2_SERVER koennte auch helfen
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: GatuRatz am 05 Oktober 2026, 13:09:33
Ich weiß nicht ob das nützlich ist... aber ich habe das Problem offensichtlich auch.
Kann ich irgendwas für Euch testen? Mosquitto habe ich allerdings nicht auf dem Server.

LG GatuRatz
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 07 Oktober 2026, 18:57:11
So hat jetzt etwas gedauert hier die beiden logs
Man sieht das ca 11 sek trennt HA mit "network protocol error kommt.Das passiert beim ersten UNSUBSCRIBE von HA
Aus dem log:
17:31:16.778 Unsubscribing with mid: 92 to topics: ['/Smarthome/wohnzimmer/licht/stat/sonoff/STATUS1']
17:31:16.936 Error returned from MQTT server: A network protocol error occurred
Bei MQTT 5 muss die Antwort für jedes Topic ein Häkchen enthalten. Der Server muss also zurückschreiben: ,,Topic 1 erledigt, Topic 2 erledigt, Topic 3 erledigt". Stehen drei Topics auf dem Zettel, braucht die Antwort drei Häkchen. Bei MQTT 3.1.1 reicht ein alles erledigt aus denke ich.Ob das alles war weiß ich nicht
Andre
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 08 Oktober 2026, 19:52:46
Danke fuer die Fehlermeldung, habs gefixt, und mit dem modifizierten python Programm getestet.

Genaugenommen habe ich bei V5/UNSUBACK gar kein Return-Code zurueckgegeben, nur ein 0 fuer keine UserProperties.

Off-Topic: warum sendet HA ueberhaupt ein UNSUBSCRIBE?
Bei 80 Subscriptions kommt auf einen mehr oder weniger nicht mehr an.
Jetzt verstehe ich auch, warum HA auf SubscriptionIdentifier besteht.
Die subscription-Regexps werden ab sofort kompiliert.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: DasQ am 09 Oktober 2026, 09:06:09
Zitat von: rudolfkoenig am 08 Oktober 2026, 19:52:46Off-Topic: warum sendet HA ueberhaupt ein UNSUBSCRIBE?

Um schneller zu starten, um Anhäufung hängender Clients raus zu bekommen und um Daten aktuell zu halten.

Jetzt mal mit eigenen Worten wieder gegeben, was mir die Google ki vorgekaut hat. Und was ich jetzt noch gelesen hab ist, das HA versucht die alten clientes (mqtt 3.1.1) nach v5 zu migrieren (jedes mal?)
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 09 Oktober 2026, 13:09:00
Genau weiß ich es nicht. Bei mir kam das UNSUBSCRIBE kurz nachdem die Discovery-Configs aus dem Retain-Speicher nochmal kamen, vermutlich baut HA die Entity dann neu auf und meldet alte Topics ab. Danke für die schnellen Fixes!
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 09 Oktober 2026, 14:14:41
Zitat von: DasQ am 09 Oktober 2026, 09:06:09
Zitat von: rudolfkoenig am 08 Oktober 2026, 19:52:46Off-Topic: warum sendet HA ueberhaupt ein UNSUBSCRIBE?

Um schneller zu starten, um Anhäufung hängender Clients raus zu bekommen und um Daten aktuell zu halten.

Jetzt mal mit eigenen Worten wieder gegeben, was mir die Google ki vorgekaut hat. Und was ich jetzt noch gelesen hab ist, das HA versucht die alten clientes (mqtt 3.1.1) nach v5 zu migrieren (jedes mal?)
HA sendet ein unsubscribe 0 an fhem weil verbindungsprobleme und das heißt ich will keine daten mehr von dir. Mir ist das aufgefallen weil ich HA mehrmals neu gestartet habe und dann neue daten kamen in HA.So erkläre ich mir das jedenfalls hoffe erzähle hier keinen Mist.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 09 Oktober 2026, 15:01:10
ZitatUm schneller zu starten, um Anhäufung hängender Clients raus zu bekommen und um Daten aktuell zu halten.
Das mag allgemein gueltig sein, in diesem Fall (siehe ha_log_direkt_mqtt2server.zip) sehe ich das nicht: da wird was unsubscribed, was vorher nicht subscribed war.
MQTT2_SERVER unterstuetzt nur Clean Start, und das steht auch so im CONNACK drin.
Vmtl. ist HA auch nicht komplett ohne Probleme.

ZitatHA sendet ein unsubscribe 0 an fhem
Was genau bedeutet 0? MQTT2_SERVER braucht eine Liste von Topics, auch laut Doku ist das Pflicht:
ZitatThe Payload of an UNSUBSCRIBE packet MUST contain at least one Topic Filter [MQTT-3.10.3-2]. An UNSUBSCRIBE packet with no Payload is a Protocol Error. Refer to section 4.13 for information about handling errors.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 09 Oktober 2026, 20:19:33
Mit deiner gepatchten Version hatte ich immer noch Probleme es kamen immer wieder ständige reconnects alle 15s
In 00_MQTT2_SERVER.pm, Zeile 567 (UNSUBACK bei Protokoll 5), stimmt die Länge nicht.
Dort steht pack("CCnCC*",0xb0,2+@ret,$pid,0,@ret). Es müsste 3+@ret sein, weil Packet-ID, Properties-Länge und Reason Code zusammen 3+@ret Bytes ergeben.Nach der Änderung funktioniert es bei mir lampen lassen sich schalten bei meiner solaranlage steht zwar noch offline liegt aber vieleicht daran das es dunkel ist morgen früh weiß ich mehr.Die ausgabe mit orginal DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c1, k60) client_id=b'unsub-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
CONNACK Success
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m1) [(b'test/#', {QoS=1, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
SUBACK ['Granted QoS 0']
DEBUG:paho.mqtt.client:Sending UNSUBSCRIBE (d0, m2) None [b'test/#']
DISCONNECT Unspecified error
DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c0, k60) client_id=b'unsub-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
CONNACK Success
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m3) [(b'test/#', {QoS=1, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
SUBACK ['Granted QoS 0']
DEBUG:paho.mqtt.client:Sending UNSUBSCRIBE (d0, m4) None [b'test/#']
DISCONNECT Unspecified error
DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c0, k60) client_id=b'unsub-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
CONNACK Success
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m5) [(b'test/#', {QoS=1, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
SUBACK ['Granted QoS 0']
DEBUG:paho.mqtt.client:Sending UNSUBSCRIBE (d0, m6) None [b'test/#']
DISCONNECT Unspecified error
DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c0, k60) client_id=b'unsub-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
CONNACK Success
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m7) [(b'test/#', {QoS=1, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
SUBACK ['Granted QoS 0']
DEBUG:paho.mqtt.client:Sending UNSUBSCRIBE (d0, m8) None [b'test/#']
DISCONNECT Unspecified error
DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c0, k60) client_id=b'unsub-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
CONNACK Success
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m9) [(b'test/#', {QoS=1, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
SUBACK ['Granted QoS 0']
DEBUG:paho.mqtt.client:Sending UNSUBSCRIBE (d0, m10) None [b'test/#']
DISCONNECT Unspecified error
und nach Änderung DEBUG:paho.mqtt.client:Sending CONNECT (u1, p1, wr0, wq0, wf0, c1, k60) client_id=b'unsub-test' properties=None
DEBUG:paho.mqtt.client:Received CONNACK (0, Success) properties=[SessionExpiryInterval : 0, MaximumQoS : 1, SubscriptionIdentifierAvailable : 1, SharedSubscriptionAvailable : 0]
CONNACK Success
DEBUG:paho.mqtt.client:Sending SUBSCRIBE (d0, m1) [(b'test/#', {QoS=1, noLocal=False, retainAsPublished=False, retainHandling=0})]
DEBUG:paho.mqtt.client:Received SUBACK
SUBACK ['Granted QoS 0']
DEBUG:paho.mqtt.client:Sending UNSUBSCRIBE (d0, m2) None [b'test/#']
DEBUG:paho.mqtt.client:Received UNSUBACK (Mid: 2)
UNSUBACK ['Success'] []
Zwei Kleinigkeiten fielen noch auf, gespeicherte nachrichten kommen bei Abos mit Wildcard mit Retain-Flag 0 an und in gespeicherten Discovery-Nachrichten von Zigbee2MQTT und OpenMQTTGateway fehlen die Backslashes in eingebetteten Strings
Script zum testen im Anhang
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 10 Oktober 2026, 11:52:47
ZitatEs müsste 3+@ret sein,
Danke, hast natuerlich Recht, habs auch eingecheckt.
Schade, dass paho.mqtt.client beim UNSUBSCRIBE von zwei Topics mit 2+@ret in UNSUBACK kein Problem hat, sonst waere es mir auch aufgefallen.

Zitatgespeicherte nachrichten kommen bei Abos mit Wildcard mit Retain-Flag 0 an
Dazu haette ich gerne die subscription Options.
Warum ist retain fuer einen Client wie HA interessant?

Zitatund in gespeicherten Discovery-Nachrichten von Zigbee2MQTT und OpenMQTTGateway fehlen die Backslashes in eingebetteten Strings
Das war ein Bug in json2nameValue, interessant, dass es bisher keinem aufgefallen ist.
Habs gefixt, hoffentlich ohne Nebeneffekte.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 11 Oktober 2026, 11:31:47
Hallo, zu den Retain-Flag habe es nochmal getestet mit fhem und Mosquitto als vergleich.Topic und Wildcard verhalten sich gleich, der Unterschied hängt nur an Retain-As-Published. RAP=1: retain=1 bei FHEM und Mosquitto. RAP=0: FHEM liefert retain=0, Mosquitto retain=1 bei der ersten Zustellung nach dem Abonnieren. Für HA ist das vermutlich egal, mir fiel nur die Abweichung zu Mosquitto auf. Mein Wildcard-Verdacht von neulich war falsch.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 11 Oktober 2026, 12:44:06
ZitatRAP=0: [...] Mosquitto retain=1 bei der ersten Zustellung nach dem Abonnieren.
Interessant, in der RFC finde ich fuer RAP so eine Bedingung nicht.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: DasQ am 12 Oktober 2026, 09:50:18
steht auch in der oasis  ;)

btw. ich hab von alle dem kein plan, aber was ich machen kann ich deine fragen durch eine ki jagen und die schreibt folgendes

"Das ist eine hervorragende Beobachtung aus dem Forum, die technisch absolut ins Schwarze trifft. Der Foren-Nutzer beschreibt hier ein Phänomen, bei dem Mosquitto sich exakt an die Abwärtskompatibilität der MQTT-Spezifikation hält, während FHEM (bzw. dessen MQTT2-Implementierung) eine strikte, aber logische MQTT v5-Auslegung nutzt.
Das Verhalten lässt sich exakt über die offizielle MQTT v5.0 Spezifikation (OASIS Standard) aufschlüsseln:

1. Warum verhält sich Mosquitto so bei RAP = 0?

Die Spezifikation besagt für die Auslieferung von gespeicherten Retain-Nachrichten direkt beim Abonnieren (beim ersten Verbinden):
• Laut MQTT 3.1.1: Wenn ein Client ein Topic abonniert, schickt der Broker die gespeicherte Retain-Nachricht los und muss das Retain-Flag auf 1 belassen. Nur so erkennt der neue Client, dass dies eine alte, historische Nachricht aus dem Speicher des Brokers ist und kein Live-Event.
• Laut MQTT v5 (RAP = 0): Eigentlich besagt RAP=0, dass das Retain-Flag beim Weiterleiten gelöscht werden soll (retain=0). Aber: Die Spezifikation macht eine Ausnahme für die erste Zustellung direkt nach dem Absenden des SUBSCRIBE-Befehls, um rückwärtskompatibel zu MQTT 3.1.1 zu bleiben.
Mosquitto verhält sich hier standardkonform: Bei der allerersten Zustellung nach dem Abonnieren bleibt das Flag retain=1, damit der Client weiß: "Achtung, das ist ein gespeicherter Zustand!" Würde derselbe Sensor nun während der bestehenden Verbindung eine neue Nachricht publizieren, würde Mosquitto bei RAP=0 das Flag auf 0 herabsetzen.

2. Warum weicht FHEM ab?

FHEM (insbesondere das integrierte MQTT2_SERVER-Modul) wurde oft hochgradig pragmatisch direkt für moderne Smart-Home-Anwendungsfälle entwickelt.
FHEM interpretiert RAP=0 radikal und wörtlich: Wenn der User RAP=0 anfordert, liefert FHEM jede Nachricht (auch die allererste beim Abonnieren) mit retain=0 aus. Das bricht zwar streng genommen mit der traditionellen Erkennung von historischen Broker-Nachrichten, verhindert aber im Smart Home genau das, was der Nutzer möchte: Verwirrung bei nachgeschalteten Skripten durch ein gesetztes Retain-Flag.

Zusammenfassung der Foren-Beobachtung


Option / Zustand   FHEM Verhalten   Mosquitto Verhalten   Bedeutung laut MQTT v5 Spezifikation
RAP = 1   retain = 1   retain = 1   Korrekt. Das originale Flag des Publishers bleibt immer erhalten.
RAP = 0 (Erste Zustellung)   retain = 0   retain = 1   Mosquitto folgt dem Standard (Abwärtskompatibilität für historische Daten). FHEM erzwingt strikt die Null.


Warum ist das für Home Assistant (HA) egal?

Der Foren-Nutzer schreibt völlig richtig: "Für HA ist das vermutlich egal".
Home Assistant wertet bei eingehenden MQTT-Sensoren (State Topics) das Retain-Flag im Nachrichtenkopf in der Regel überhaupt nicht aus. HA interessiert sich nur für das Topic und den Payload (den Inhalt). Ob die Nachricht aus dem Broker-Archiv stammt (retain=1) oder eine Live-Nachricht ist, ist Home Assistant beim Aktualisieren eines Sensor-Zustands schlicht gleichgültig."
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 12 Oktober 2026, 10:12:58
Das ist alles nett, aber keine Loesung fuer mein Problem:

ZitatDie Spezifikation macht eine Ausnahme für die erste Zustellung direkt nach dem Absenden des SUBSCRIBE-Befehls, um rückwärtskompatibel zu MQTT 3.1.1 zu bleiben.
Wo steht das in der RFC?
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: DasQ am 12 Oktober 2026, 11:40:48
hier

https://docs.oasis-open.org/mqtt/mqtt/v5.0/cos01/mqtt-v5.0-cos01.pdf

im Kapitel 3.8.3.1 Subscription Options
"Bit 3 of the Subscription Options represents the Retain As Published option. [...] If 0, Application Messages forwarded using this subscription have the RETAIN flag set to 0. Retained messages sent when the subscription is established have the RETAIN flag set to 1."


und hier ein vorschlag der ki als pseudocode# 1. BEIM ABONNIEREN (In der SUBSCRIBE-Routine)
# Hier werden die im Server gepufferten Retain-Nachrichten an den neuen Client gesendet.
sub send_retained_messages_on_subscribe {
    my ($client, $topic) = @_;
    my @matching_messages = find_retained_messages($topic);

    foreach my $msg (@matching_messages) {
        # MQTT v5 vorschrift: Bei der Erstauslieferung IMMER retain = 1 erwingen!
        # Unabhängig davon, was der Client als RAP (Retain As Published) gewählt hat.
        my $flags = 0x01; # Bit 0 gesetzt für Retain = 1
       
        send_publish_packet($client, $msg->{topic}, $msg->{payload}, $flags);
    }
}


# 2. IM LIVE-BETRIEB (In der PUBLISH-Weiterleitung)
# Ein Gerät sendet eine NEUE Nachricht an den Server, der Server verteilt sie an Abonnenten.
sub forward_live_message {
    my ($client, $msg) = @_; # $client ist der Empfänger (Subscriber)
   
    my $flags = 0;
   
    # Hier greift die RAP (Retain As Published) Option aus den Subscription Options:
    if ($client->{subscription_options}->{RAP} == 1) {
        # Übernehme das originale Retain-Flag des Senders (z.B. 1 oder 0)
        $flags = $msg->{original_retain_flag};
    } else {
        # RAP = 0: Erzwinge im Live-Betrieb immer retain = 0 für den Empfänger
        $flags = 0;
    }
   
    send_publish_packet($client, $msg->{topic}, $msg->{payload}, $flags);
}
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 12 Oktober 2026, 12:33:27
Zitathttps://docs.oasis-open.org/mqtt/mqtt/v5.0/cos01/mqtt-v5.0-cos01.pdf
Danke. Das kommt, wenn man von den 3 Definitionen von RAP nur die ersten zwei aufmerksam liest.
Btw. ich verwende http://docs.oasis-open.org/mqtt/mqtt/v5.0/mqtt-v5.0.html, das ist kein "Candidate" mehr.

Hab den der Server angepasst, kurz getestet und eingecheckt.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 12 Oktober 2026, 17:21:12
ich habe noch einen Fehler bei SUBACK/UNSUBACK gefunden. HA (paho,
MQTT5) meldet bei jedem grossen Abo "KeyError: 48 in _handle_suback",
bei mir waren das zuletzt 2500-3500 pro Minute. Der ist wahrscheinlich schon länger da auch vor deiner Änderung.
Mir ist  aufgefallen das HA immer mehrere Minuten gebraucht hat um die Entitäten anzuzeigen.
Hier habe ich die letzten 15 min vom log ausgelesen.
docker logs --timestamps --since 15m homeassistant 2>&1 | grep "KeyError: 48" | awk '$1>="2026-10-12T14:11:42"{n++; if(n==1)f=$1; l=$1} END{print n+0, f, l}'
2876 2026-10-12T14:11:42.006571456Z 2026-10-12T14:12:33.149633902Z




Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 12 Oktober 2026, 17:39:00
Zitatmeldet bei jedem grossen Abo "KeyError: 48 in _handle_suback",
Kannst Du bitte MQTT2_SERVER eine Weile mit verbose 5 laufen lassen, und das Log zeigen?
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: andre07 am 12 Oktober 2026, 20:14:01
Hab dazu provisorisch gepatcht: SUBACK (Zeile 528/530) und UNSUBACK
(567) bauen die Laenge jetzt mit MQTT2_SERVER_makeLength statt mit
pack("C",...), also zwei Bytes ab 128. Seitdem kommt der KeyError bei
mir nicht mehr, vorher 2500-3500 pro Minute im HA-Log.

verbose 5 mache ich gern. Mit dem Patch zeigt das Log aber nur das
korrekte SUBACK. Willst du das so, oder soll ich kurz ohne Patch
laufen lassen, damit du den Fehlerfall im Log hast? Dann gibt's bei
HA wieder die Fehlerflut, ich wuerde es auf ein, zwei Minuten
begrenzen.hier noch meine mit patch im anhang
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 12 Oktober 2026, 20:29:35
Danke fuer den Fix, habs eingecheckt.
Ich habe nicht damit gerechnet, das ein Client mehr als 127 Topics auf einmal spezifiziert.
Mir wuerde ein einziges SUBSCRIBE/UNSUBSCRIBE genuegen, womoeglich faellt einem was dazu ein, was man noch optimieren kann.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: TomLee am 12 Oktober 2026, 21:18:03
Zitat... womoeglich faellt einem was dazu ein, was man noch optimieren kann.

Mein Agent dazu:

1. Alle Längenfelder prüfen
Gibt es außer SUBACK/UNSUBACK noch weitere Stellen, an denen die Remaining Length mit pack("C",...) statt mit MQTT2_SERVER_makeLength gebaut wird? Ein grep -n 'pack("C' 00_MQTT2_SERVER.pm wäre schnell gemacht. Kurze Pakete sind unkritisch, aber alles mit variabler Liste (Reason Codes, Properties) kann über 127 Bytes kommen.

2. Exakte Topics in einen Hash statt Regexp
HA abonniert fast nur exakte Topics ohne +/#. Die könnte man pro Client in einen Hash legen ($cl->{subExact}{$topic} = [qos, subId, opts]). Bei jedem PUBLISH reicht dann ein Lookup, und nur die Wildcard-Filter laufen über die kompilierten Regexps. Bei 80 bis über 1000 Filtern pro HA-Client ist das der größte Hebel.
my @hits;
push @hits, $cl->{subExact}{$topic} if exists $cl->{subExact}{$topic};
for my $s (@{$cl->{subWild}}) { push @hits, $s if $topic =~ $s->{re} }

3. Mehrere Subscription Identifier
Wenn ein PUBLISH auf mehrere Abos desselben Clients passt (exakt und Wildcard), müssen alle passenden Identifier in einem einzigen PUBLISH stehen [MQTT-3.3.4-4]. Mit Punkt 2 fällt das gleich mit ab: alle @hits sammeln, einmal senden.

4. Retained-Auslieferung beim SUBSCRIBE
Bei exakten Filtern direkt im Retain-Speicher nachschlagen, statt den ganzen Speicher gegen jeden Filter zu matchen. Nur Wildcard-Filter brauchen den Durchlauf.

5. UNSUBSCRIBE für nicht abonnierte Topics
Hier sollte im UNSUBACK der Reason Code 0x11 (No subscription existed) stehen, nicht 0x00. HA stört es vermutlich nicht, es wäre aber spezifikationskonform.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 12 Oktober 2026, 22:16:17
ZitatHA abonniert fast nur exakte Topics ohne +/#
Laut ha_log_direkt_mqtt2server.zip (s.o.) sind von den 195 Subscriptions 79 mit + oder #, geht das durch als "fast nur"?
Ich pruefe aber ab sofort auf Subscriptions ohne Wildcard separat.

Zitat3. Mehrere Subscription Identifier
Das wird z.Zt. nicht korrekt gemacht, um die Liste mit den Wildcards nicht immer komplett durchlaufen zu muessen.
Ich wuerde das auch dabei belassen, es sei denn, irgendwer hat ein konkretes Problem damit.

Zitat5. UNSUBSCRIBE für nicht abonnierte Topics
Gibt es Hinweise darauf, dass das falsch implementiert ist?

Und nochmal zur Erinnerung: MQTT2_SERVER ist dafuer da, um Integration von MQTT Geraeten in FHEM zu erleichtern.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: TomLee am 12 Oktober 2026, 23:19:05
- 197 Subscriptions, 78 davon mit + oder # (66 davon homeassistant/<typ>/+/config bzw. /+/+/config)
- Danke für r31774 mit dem separaten Lookup für Subscriptions ohne Wildcard, das war Punkt 2.
- Punkt 3 (mehrere Subscription Identifier): Im Log passt keines der 489 empfangenen Topics auf mehr als einen Filter. Kein konkretes Problem, da würde ich es auch dabei belassen.
- Punkt 5 (0x11) ziehe ich zurück, ist seit r31750 drin.

Zum UNSUBSCRIBE: /Smarthome/wohnzimmer/licht/stat/sonoff/STATUS1 war vorher abonniert, und zwar um 17:31:12.298 im SUBSCRIBE mit mid 80. Das enthält 115 Topics in einem Paket. HA erhält die Nachricht um 16.676 und meldet das Topic 100 ms später wieder ab, sieht nach einer einmaligen Abfrage aus.

Was mir im Log aufgefallen ist: HA schickt 82 SUBSCRIBE-Pakete, verteilt über 6,5 s (05.738 bis 12.298). Retained Topics kommen dabei mehrfach an, z.B.:
tasmota/discovery/DC4F22F4B8D6/config  abonniert 1x (05.738, SubId 75)
empfangen 5x: 07.520 08.892 10.271 11.832 13.810
Das betrifft 429 von 489 empfangenen Topics. HA verarbeitet die Discoveryu.

Ursache ist wohl der Timer nach SUBSCRIBE (00_MQTT2_SERVER.pm, Zeilen 543en ganzen Retain-Speicher, gefiltert gegen alle Subscriptions des Clients, nicht nur gegen die neuen. retainDelay hilft nur, wenn alle SUBSCRIBEs innerhalb einer Sekunde kommen. Laut 3.8.4 sollen nur die Retained Messages zu den neu abonnierten
Filtern gesendet werden.
Vorschlag: die Filter aus dem SUBSCRIBE in einer Liste sammeln und im Timer nur gegen diese matchen.

Noch zwei Kleinigkeiten in MQTT2_SERVER_dosendto (r31774):
- Die beiden "next" stehen seit dem Auslagern nicht mehr in einer Schleifs Aufrufers ("Exiting subroutine via next").
- RetainHandling 2 verwirft dort alle Nachrichten der Subscription, gemeint ist aber nur die Retain-Auslieferung beim SUBSCRIBE.

Und etwas Älteres: Die Filter-Regex nutzt kein quotemeta und arbeitet mit \b:
foo/#           trifft  foo-bar/x
a/+/b           trifft  a/-x/b nicht
tele/a.b/STATE  trifft  tele/aXb/STATE
a/[x/b          -> die "Unmatched [", seit r31774 schon beim SUBSCRIBE
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 13 Oktober 2026, 11:37:23
Danke fuer die Hinweise, ich habe eine neue Version eingecheckt.
Das Attribut retainDelay ist ab sofort ohne Wirkung.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: TomLee am 13 Oktober 2026, 16:20:44
Zwei Punkte noch, nur am Code bzw. mit einem Perl-Einzeiler geprüft:

- RetainHandling 2 verwirft weiterhin auch Live-Nachrichten (dosendto, "return 0 if(($sopt & 0x30) == 0x20)"). Gemeint ist laut 3.8.3.1 nur die Retain-Auslieferung beim SUBSCRIBE, also z.B.
    return 0 if(($sopt & 0x30) == 0x20 && !$src); # RetainHandling:2
- foo/# trifft seit r31776 das Topic foo nicht mehr, laut 4.7.1.2 muss es das ("sport/tennis/player1/#" matcht auch "sport/tennis/player1"). Und + sollte auch eine leere Ebene treffen (a/+/b auf a//b). Vorschlag für die SUBSCRIBE-Schleife:
        $re =~ s,/\\#$,(?:/.*)?,;     # foo/# also matches foo
        $re =~ s,\\#,.*,g;
        $re =~ s,\\\+,[^/]*,g;        # + may match an empty level

retainDelay steht noch in der Attributliste.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 13 Oktober 2026, 20:18:49
Danke fuer die Vorschlaege, habe sie uebernommen.

retainDelay habe ich gelassen, damit keinen Fehler beim Start gibt.
Auf der anderen Seite taucht es in der Attributliste auf, ohne Doku.
Ich habe sie jetzt entfernt.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: roelleke am 14 Oktober 2026, 09:07:09
Guten Morgen,
Nach dem heutigen Update startet FHEM ständig neu. Im Log steht:
Unmatched ) in regex; marked by <-- HERE in m/^G\<C3>\<A4>stezimmer_1\(?:/.*) <-- HERE ?$/ at ./FHEM/00_MQTT2_SERVER.pm line 528.Nachdem ich 00_MQTT2_SERVER.pm durch das Modul aus dem Restore-Ordner ersetzt habe funktioniert es wieder.
Grüße
Dieter
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: Violinux am 14 Oktober 2026, 09:28:31
Guten Morgen,
dies kann ich auch bestätigen:
Unmatched ) in regex; marked by <-- HERE in m/^cmnd\/SD_KUC\(?:/.*) <-- HERE ?$/ at ./FHEM/00_MQTT2_SERVER.pm line 528.

Mit freundlichen Grüßen Uwe
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 14 Oktober 2026, 09:34:52
Könnt ihr mir ein "attr <mqtt2_server> verbose 5" Log anhaengen?
Die letzten paar Zeilen vor dem Crash wuere mir reichen.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 14 Oktober 2026, 09:43:11
ZitatKönnt ihr mir ein "attr <mqtt2_server> verbose 5" Log anhaengen?
Nicht mehr noetig, habe den Fehler gesehen und behoben.
Habe auch fhemupdate nachgeholt, so dass ein erneutes update das Problem auch beheben sollte.
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: Flachzange am 18 Oktober 2026, 18:03:10
Hallo Rudi,

bei meinem ESP-Projekt bin ich auf ein Problem mit dem Retain-Flag bei MQTT 3.1.1 gestoßen, das vermutlich mit den hier diskutierten Änderungen zusammenhängt.

Der ESP32 soll auch ohne MQTT-Verbindung weiterarbeiten können. Nach einem Reconnect muss er deshalb unterscheiden, ob eine Konfigurationsnachricht noch aus dem Retain-Speicher des Brokers stammt oder ob es sich um eine neue Änderung handelt. Alte Konfigurationen möchte ich nicht einfach wieder übernehmen, neue Änderungen aber natürlich schon.

Dabei ist mir aufgefallen, dass MQTT2_SERVER auch bei einer neuen retained Veröffentlichung an einen bereits verbundenen Subscriber `retain=1` weitergibt. Bei MQTT 3.1.1 müsste hier eigentlich `retain=0` ankommen. `retain=1` ist nur bei der Zustellung einer gespeicherten Nachricht nach dem Subscribe richtig.

Das kann auch andere Clients betreffen, die retained Nachrichten gesondert behandeln oder ignorieren. Neue Änderungen werden dann unter Umständen als alte Nachrichten erkannt und verworfen.

Ich habe mir den Code angesehen. Seit r31699 wird das Retain-Bit weitergereicht, die spätere Unterscheidung über `$src` ist aber nur für MQTT 5 eingebaut.

Ich habe daher in `MQTT2_SERVER_dosendto()` den else-Zweig folgendermaßen ergänzt:

} else {
  $props = "";
  $lr = 0 if($src);
}

Damit bekomme ich bei meinen Tests mit mosquitto_pub und mosquitto_sub (MQTT 3.1.1) jetzt das erwartete Verhalten:

              vorher    nachher
Live          retain=1  retain=0
Retain-Replay retain=1  retain=1

Der Patch läuft inzwischen auch auf meinem produktiven FHEM und funktioniert dort wie erwartet.

Vielleicht kannst du die Zeile bei Gelegenheit übernehmen.

Danke und Gruß
Chris
Titel: Aw: Mqtt2server mit Home Assistant Verbindungsprobleme
Beitrag von: rudolfkoenig am 19 Oktober 2026, 09:41:27
Danke fuer den Hinweis, habs geaendert und eingecheckt.