Netatmo Modul - 38_netatmo.pm (Support)

[gernst48]

Ich beobachte jetzt schon mehrer Wochen die Situation mit dem Netatmo module.
Die vorletzte Änderung des Netatmo Authentikation Mechanismus wurde im
38_netatmo.pm Module richtig behandelt und funktionierte einige Wochen trotz
FHEM und System neustart (den ich ca. zweimal pro Woche mache) problemlos.
Seit der letzten Änderung des Netatmo Authentikation Mechanismus funktioniert
das 38_netatmo.pm Module nicht mehr wenn ich einen FHEM oder System neustart mache.
Ich habe die Netatmo Konfiguration in einem eigenen File da meine
FHEM Konfiguration sonst zu groß und unübersichtlich wird.
Was immer ich versucht habe nichts funktioniert.
Ich glaube nicht das dass bei irgendwen funktioniert der
einen FHEM oder System restart macht.
Ich bin gerne bereit logs auf meinem System zu machen um den Fehler
einzugrenzen bzw. die Suche zu beschleunigen:

Hier sind einige Auszüge aus fhem logs:
-----------------------------------------------------------------------------
System restart at So Jun 23 03:43:27 CEST 2024
2024.06.23 09:39:02 1: Netatmo: No access token was found! (getDevices)
2024.06.23 09:39:02 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.23 09:39:02 1: netatmo_M02_00_00_05_f7_60: No access token was found! (requestDeviceReadings)
2024.06.23 09:39:02 1: Netatmo: No access token was found! (getDevices)
2024.06.23 09:39:02 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.23 09:39:02 1: netatmo_M03_00_00_0d_ac_12: No access token was found! (requestDeviceReadings)
2024.06.23 09:39:02 1: Netatmo: No access token was found! (getDevices)
2024.06.23 09:39:02 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.23 09:39:02 1: netatmo_D70_ee_50_06_0b_b8: No access token was found! (requestDeviceReadings)
Out of memory!
Out of memory!
FHEM läuft nicht mehr, wurde vom System abgeschossen.
-----------------------------------------------------------------------------
FHEM neu gestartet um die 38_netatmo.pm version Release 31 / 2024-06-17 zu verwenden:
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getDevices)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getDevices)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getDevices)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getDevices)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getHomecoachs)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getDevices)
2024.06.30 14:34:13 1: Netatmo: No access token was found! (getHomecoachs)
-----------------------------------------------------------------------------
Danach Including ./Include/fhem_netatmo.cfg unter kommentar im fhem.cfg
Hier FHEM neu gestartet:
2024.06.30 14:34:53 1: Including fhem.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_nut.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_harmony.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_wol.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_proplanta.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_server.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_therm.cfg
2024.06.30 14:34:53 1: Including ./Include/fhem_mqtt.cfg
2024.06.30 14:34:54 1: Including ./log/fhem.save
-----------------------------------------------------------------------------
Access token und refresh token von Netatmo geholt,
und im netatmo define eingetragen.
Danach ./Include/fhem_netatmo.cfg im fhem.cfg wieder aktiviert:
2024.06.30 14:36:56 1: Including fhem.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_nut.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_harmony.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_wol.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_proplanta.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_server.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_therm.cfg
2024.06.30 14:36:56 1: Including ./Include/fhem_mqtt.cfg
2024.06.30 14:36:57 1: Including ./Include/fhem_netatmo.cfg
2024.06.30 14:36:57 1: Including ./log/fhem.save
Jetzt funktioniert wieder alles.
Natürlich nur bis zum neustart von FHEM oder des Systems.
-----------------------------------------------------------------------------

[Rudi_Hirsch]

Kämpfe auch seit Wochen mit dem Modul! Vorher lief das Modul über lange Zeit fehlerfrei.
Vielleicht hilt diese Beobachtung.
Nach einigen Tagen funktioniert das Modul (grant error) nicht mehr. Nach Erneuerung des refresh tokens zeigt das Modul keinen Fehler mehr an. Die Readings werden aber trotzdem nicht mehr erneuert.
Nehme ich eine neue Station dazu, werden zuerst die Readings der neuen Station abgerufen, nach einiger Zeit auch wieder die Readings der nicht mehr abgerufenen Stationen.
Bis der error wieder kommt.
Liegt der Fehler im Antwort/Zeitverhalten des Moduls?
PS Die Liste zeigt verschiedene Auswertungen des Niederschlags, aber auch die Abrufbeobachtung
PPS Die nicht mehr aktive Station habe ich gelöscht, Fehler bleibt

[markusm]

Leider läuft das Modul auch bei mir nach wie vor instabil. Bis vor wenigen Wochen, wo die Troubles angefangen haben, ewig keine Probleme.
Aktuell -- auch mit den letzten Updates -- ständig wiederkehrende Token-Issues.

[Markus M.]

Ich kann euch hierbei leider, auch zeitlich, nicht helfen.
Das Modul funktioniert in seiner letzten Fassung einwandfrei und überlebt einen Neustart sowohl mit als auch ohne Speichern.
Ohne Speichern kommt kurz der Login Fehler und nach 1 Minute ist die Verbindung wieder da.
Wenn die Devices nicht funktionieren, FHEM neu starten und vorher überprüfen ob IoDev noch überall richtig gesetzt ist.

[gernst48]

Das halte ich für ein Gerücht.
Das Module hat bei mir Jahrelang funktioniert, seit den letzten Netatmo
Protokoll Änderung geht es aber nicht mehr.
Außerdem wird FHEM nach einiger Zeit blockiert was ab und an zu
einem Out of Memory Fehler führt.
Es gab vor ein paar Versionen eine disable des Modules, gibts aber
auch nicht mehr daher kommt es zu diesen FHEM runtime Fehlern.
Warum versuchen wie nicht bei mir diesen Fehler zu tracen
um den Grund dieses Problems zu finden.

[Markus M.]

disable passiert immer noch nachdem der Login aus der Definition fehlschlägt und danach auch noch der Loginversuch aus dem Reading einen Login Fehler ergibt.

[arthur_dent_2015]

Moin Markus,
ich musste heute meinen Proxmox Server neu starten. Danach gabs wieder einen invalid grant
Der hashdump beim shutdown hat leider nicht funktioniert. Hier der Dump vom Start:

Code Auswählen Erweitern

2024.07.07 16:21:19 1:  hash dump:
$VAR1 = {
  '.FhemMetaInternals' => 1,
  '.attraggr' => [],
  '.attreocr' => [
    'active'
  ],
  '.attrminint' => [],
  '.triggerUsed' => 0,
  'CL' => undef,
  'Clients' => ':netatmo:',
  'DEF' => 'ACCOUNT crypt:104141550f5e0476570e4e160d0110 crypt:2f474644075e56691351060955 5e849d6f9e109c06d8336cc2 EtRK9H7pQshUOTdqHjnQ0oLANdrQDjjJzAh59PsPmQ62v 5e849b9367d63018b1481ac4|6b85ad59bc6fa9f34b80013169d909bc',
  'FUUID' => '64b137de-f33f-052b-62e1-1d8b67634f4bac25',
  'FVERSION' => '38_netatmo.pm:0.289510/2024-06-07',
  'NAME' => 'netatmo_Wetter',
  'NOTIFYDEV' => 'global',
  'NR' => 891,
  'NTFY_ORDER' => '50-netatmo_Wetter',
  'READINGS' => {
    '.refreshtoken' => {
      'TIME' => '2024-07-07 15:17:44',
      'VAL' => '5e849b9367d63018b1481ac4|864f602fd30167bb8ec96fa038339f6b'
    },
    'active' => {
      'TIME' => '2024-07-07 16:21:09',
      'VAL' => 'ok'
    }
  },
  'STATE' => 'LOGIN FAILED',
  'SUBTYPE' => 'ACCOUNT',
  'TYPE' => 'netatmo',
  'helper' => {
    'INTERVAL' => 900,
    'NEXT_POLL' => 1720365710,
    'apiserver' => 'api.netatmo.com',
    'client_id' => '5e849d6f9e109c06d8336cc2',
    'client_secret' => 'EtRK9H7pQshUOTdqHjnQ0oLANdrQDjjJzAh59PsPmQ62v',
    'last_refresh' => 1720362069,
    'last_status_store' => 0,
    'password' => 'crypt:2f474644075e56691351060955',
    'refresh_token' => undef,
    'username' => 'crypt:104141550f5e0476570e4e160d0110'
  },
  'model' => 'ACCOUNT',
  'network' => 'ok',
  'refresh_token' => '5e849b9367d63018b1481ac4|6b85ad59bc6fa9f34b80013169d909bc',
  'status' => 'invalid_grant error'
};

2024.07.07 16:21:19 1:  netatmo_Wetter: No refresh token was found! (getToken)
You will need to generate one at https://dev.netatmo.com/apps/
2024.07.07 16:21:19 4:  netatmo_Wetter: dispatch (apptoken)
2024.07.07 16:21:19 4:  netatmo_Wetter: dispatch return: apptoken
Der Loginversuch danach:

Code Auswählen Erweitern

2024.07.07 16:22:55 3:  netatmo_Wetter: poll (ACCOUNT)
2024.07.07 16:22:55 3:  netatmo_Wetter: refreshing token
2024.07.07 16:22:55 1:  netatmo_Wetter: No refresh token found
2024.07.07 16:22:55 1:  netatmo_Wetter: No refresh token was found! (getToken)
You will need to generate one at https://dev.netatmo.com/apps/
Das Devices wurde nicht disabled! Allerdings werden keine weiteren Aktivitäten des Modules ins Log geschrieben 

Code Auswählen Erweitern

define netatmo_Wetter netatmo ACCOUNT crypt:104141550f5e0476570e4e160d0110 crypt:2f474644075e56691351060955 5e849d6f9e109c06d8336cc2 EtRK9H7pQshUOTdqHjnQ0oLANdrQDjjJzAh59PsPmQ62v 5e849b9367d63018b1481ac4|6b85ad59bc6fa9f34b80013169d909bc
attr netatmo_Wetter DbLogExclude .*
attr netatmo_Wetter addresslimit 75
attr netatmo_Wetter alias netatmo_Wetter
attr netatmo_Wetter disable 0
attr netatmo_Wetter event-on-change-reading active
attr netatmo_Wetter interval 900
attr netatmo_Wetter room Wetter
attr netatmo_Wetter verbose 4
#   Clients    :netatmo:
#   DEF        ACCOUNT crypt:104141550f5e0476570e4e160d0110 crypt:2f474644075e56691351060955 5e849d6f9e109c06d8336cc2 EtRK9H7pQshUOTdqHjnQ0oLANdrQDjjJzAh59PsPmQ62v 5e849b9367d63018b1481ac4|6b85ad59bc6fa9f34b80013169d909bc
#   FUUID      64b137de-f33f-052b-62e1-1d8b67634f4bac25
#   FVERSION   38_netatmo.pm:0.289510/2024-06-07
#   NAME       netatmo_Wetter
#   NOTIFYDEV  global
#   NR         891
#   NTFY_ORDER 50-netatmo_Wetter
#   STATE      LOGIN FAILED
#   SUBTYPE    ACCOUNT
#   TYPE       netatmo
#   access_token_app 5e849b9367d63018b1481ac4|044d545eba395c7574148ea1b3044a43
#   eventCount 3
#   expires_at_app 1720370719
#   model      ACCOUNT
#   network    ok
#   refresh_token 5e849b9367d63018b1481ac4|6b85ad59bc6fa9f34b80013169d909bc
#   refresh_token_app 5e849b9367d63018b1481ac4|e4f20016167ef2cb57c6c07d61e1b600
#   status     ok
#   READINGS:
#     2024-07-07 16:21:09   active          ok
#   helper:
#     INTERVAL   900
#     NEXT_POLL  1720364033
#     apiserver  api.netatmo.com
#     client_id  5e849d6f9e109c06d8336cc2
#     client_secret EtRK9H7pQshUOTdqHjnQ0oLANdrQDjjJzAh59PsPmQ62v
#     last_refresh 1720363379
#     last_status_store 0
#     password   crypt:2f474644075e56691351060955
#     refresh_token
#     username   crypt:104141550f5e0476570e4e160d0110
#
setstate netatmo_Wetter LOGIN FAILED
setstate netatmo_Wetter 2024-07-07 15:17:44 .refreshtoken 5e849b9367d63018b1481ac4|864f602fd30167bb8ec96fa038339f6b
setstate netatmo_Wetter 2024-07-07 16:21:09 active ok
Neuen token generiert, läuft wieder.
Gruß
Arthur

[Lichti]

Mich hatte es jetzt auch erwischt.
Bei mir war noch eine Version von 2023 drauf, welche sich heute früh nicht mehr angemeldet hat.

Aktuelle Version installiert, neuen Token generiert, läuft wieder.
Auch nach mehreren FHEM-Neustarts alles ok.

[gernst48]

"disable passiert immer noch nachdem der Login aus der Definition fehlschlägt und danach auch noch der Loginversuch aus dem Reading einen Login Fehler ergibt."
Das funktioniert bei mir nicht, deshalb wird auch FHEM blockiert oder vom System beendet.
Ja, das attribut disable ist vorhanden und lässt sich auch setzen.
Ich habe Heute bevor das System neu gestartet hat das disable gesetzt und nach dem Neustart wieder
gelöscht. Siehe da das netatmo module funktioniert bei mir noch !!!
Gibt es eine Möglichkeit mit einem at Kommando des netatmo attribut disable zu steuern ?
Ich habe das mit dem at Kommando
*03:00:00 { if (localtime() =~ /Sun/) { fhem("set Netatmo disable 1"); Log 1, "Netatmo disabled at 03:00 on Sunday" } }
probiert, aber das funktionierte nicht.

[nissty]

Hallo zusammen,

bei mir ist es nun so mit dem aktuellen Modul:
- Startet FHEM ungeplant neu, läuft er in den Token Error und ich muss einen neuen Token generieren
- Wenn ich einen Neustart geplant machen möchte, gehe ich nun wie folgt vor:

• Attribut disable auf 1 setzen
• Save config
• Neustarten
• Attribut disable auf 0 setzen
• Save config
• Befehl "get TYPE=netatmo update" aufrufen

Für meine geplanten und regelmäßigen Backup- und Neustartprozesse werde ich das wie folgt in meine Pre- und Post-Scripte einbauen:
perl /opt/fhem/fhem.pl 7072 "attr Netatmo disable 1"
perl /opt/fhem/fhem.pl 7072 "save"

perl /opt/fhem/fhem.pl 7072 "attr Netatmo disable 0"
perl /opt/fhem/fhem.pl 7072 "save"
perl /opt/fhem/fhem.pl 7072 "get TYPE=netatmo update"

Damit beschränkt sich die Token Neugenerierung nur noch auf die ungeplanten Neustarts und die kommen extrem selten vor.

[gernst48]

Ja, das ist richtig.
Diese Erfahrung habe ich diese Woche in Zahlreichen Test auch gemacht.
Diese Verhalten deutet auf eine sogenannte 'Race Condition' zwischen System, Netzwerk und Module hin.
Ich habe einige at Module und bash Programme geschrieben um diese Situationen
automatisch zu beheben und zu vermeiden.
Mehr zu diesen Programmen am Wochenende.

[gernst48]

Hier sind diese Programme:

Ich habe diese Erfahrung diese Woche in Zahlreichen Test auch gemacht.
Dieses Verhalten deutet auf eine sogenannte 'Race Condition' zwischen System,
Netzwerk und Module hin.

Ich habe einige at Module und bash Programme geschrieben um diese Situationen
automatisch zu beheben und zu vermeiden.

Die idee von nissty mit den perl Befehlen funktioniert so wie angegeben nicht.

Die Zeitdefinition der FHEM at module ist unwichtig da diese disabled sind.
Sie werden nur verwendet um von außen diese module mit execNow anzuwerfen.
Es geht nicht anders da nur das toggle des netatmo module disable funktioniert.

FHEM at module zum ausschalten der netatmo synchronisierun:
-----------------------------------------------------------------------------
define Ausschalten_Netatmo at *03:00:00 {\
 my $dis=AttrVal("Netatmo","disable",2);;;;\
 if ($dis == 0) {\
  fhem("attr Netatmo disable toggle");;\
  fhem("save");;\
  { Log 1, "Netatmo Disabled" };;\
 }\
}
attr Ausschalten_Netatmo disable 1
attr Ausschalten_Netatmo room NetAtmo
-----------------------------------------------------------------------------
FHEM at module zum einschalten der netatmo synchronisierun:
-----------------------------------------------------------------------------
define Einschalten_Netatmo at *05:00:00 {\
 my $dis=AttrVal("Netatmo","disable",2);;\
 if ($dis == 1) {\
  fhem("attr Netatmo disable toggle");;\
  fhem("save");;\
  { Log 1, "Netatmo Enabled" };;\
 }\
}
attr Einschalten_Netatmo disable 1
attr Einschalten_Netatmo room NetAtmo
-----------------------------------------------------------------------------
Aufruf von einem bash file:
-----------------------------------------------------------------------------
# Netatmo Ausschalten
/opt/fhem/commands/Ausschalten_Netatmo.sh >/dev/null 2>&1
-----------------------------------------------------------------------------
Ausschalten_Netatmo.sh
-----------------------------------------------------------------------------
#!/bin/bash

# Define variables
passwd="......"

# Netatmo Ausschalten
echo -en "${passwd}\nset Ausschalten_Netatmo execNow\nquit\n" | /bin/nc -w5 127.0.0.1 7072

exit 0
-----------------------------------------------------------------------------
Da beim einschalten des netatmo modules das update nicht immer gestartet
wurde habe ich für alle module einen update Kommando eingebaut.
Um beim einschalten des netatmo module das system nicht zu überlasten
habe ich eine zeitverzögerung beim aufruf eingebaut.
-----------------------------------------------------------------------------
Aufruf von einem bash file:
-----------------------------------------------------------------------------
# Netatmo Einschalten
/opt/fhem/commands/Einschalten_Netatmo.sh 30 >/dev/null 2>&1 &
-----------------------------------------------------------------------------
Einschalten_Netatmo.sh
-----------------------------------------------------------------------------
#!/bin/bash

# Define variables
twait=30
passwd="......"

#
if [ ! -z "$1" ]
  then twait=$1
fi

# Wait given time
sleep $(($twait * 3))

# Netatmo Ausschalten
echo -en "${passwd}\nset Einschalten_Netatmo execNow\nquit\n" | /bin/nc -w5 127.0.0.1 7072

# Wait given time
sleep $twait

# Netatmo update per telnet
echo -en "${passwd}\nget Netatmo update\nquit\n" | /bin/nc -w5 127.0.0.1 7072

# Wait given time
sleep $twait

# Netatmo Wohnzimmer update per telnet
echo -en "${passwd}\nget netatmo_D70_ee_50_06_0b_b8 update\nquit\n" | /bin/nc -w5 127.0.0.1 7072

# Wait a little bit
sleep $twait

# Netatmo Terrasse update per telnet
echo -en "${passwd}\nget netatmo_M02_00_00_05_f7_60 update\nquit\n" | /bin/nc -w5 127.0.0.1 7072

# Wait a little bit
sleep $twait

# Netatmo Arbeitszimmer update per telnet
echo -en "${passwd}\nget netatmo_M03_00_00_0d_ac_12 update\nquit\n" | /bin/nc -w5 127.0.0.1 7072

# Wait a little bit
sleep $twait

# Netatmo Schlafzimmer update per telnet
echo -en "${passwd}\nget netatmo_M03_00_00_06_b9_06 update\nquit\n" | /bin/nc -w5 127.0.0.1 7072

exit 0
-----------------------------------------------------------------------------

[Seli]

Auch ich beobachte seit dem "Authentication update" von Netatmo ständige Probleme mit ungültig gewordenen Refresh-Tokens. Folgendes konnte ich mit Logausgaben untersuchen: Wird das Token refreshed, so wird ein neues refresh_token geliefert. Das vorherige wird dabei ungültig (neu seit der Netatmo-Umstellung). Das neue refresh_token findet sich anschließend im reading refresh_token, als auch im DEF des netatmo-devices (ACCOUNT...refresh_token) in der GUI. Aber - und das ist wohl das Problem - das refresh_token wird nicht in der fhem.cfg in der DEF aktualisiert. Lädt man die fhem.cfg, steht hier noch ein altes refresh_token. Bei einem regulären Neustart wird dieses jedoch aktualisiert und nach dem reboot findet sich das zuletzt erhaltene, korrekte refresh_token im DEF, und alles funktioniert. Beendet sich fhem jedoch unerwartet, bzw. nicht korrekt, so findet sich nach dem Neustart das alte refresh_token im DEF, welches inzwischen ungültig geworden ist. Dies passiert natürlich erst dann, wenn zur Laufzeit mindestens einmal refreshed worden ist. Lösung wäre also, nach einem refresh den geänderten define sofort in die fhem.cfg zu schreiben. Hierzu fehlen mir im Moment leider die Kenntnisse, aber vielleicht kann dies jemand umsetzen.

Grüße,
Seli

[Markus M.]

Die Lösung dafür ist längst implementiert.
Es gibt noch ein unsichtbares Reading mit dem aktuellen Token das auch einen harten Restart übersteht und eine Minute nach dem fehlgeschlagenen Refresh mit dem falschen Token aus der DEF, gibt es einen erneuten Recovery Refresh mit dem Token aus dem Reading, der dann funktioniert.
VG Markus

[Seli]

Es gibt noch ein unsichtbares Reading mit dem aktuellen Token das auch einen harten Restart übersteht

Ok. Allerdings scheint dies bei mir, so wie bei anderen auch, wie man oben lesen kann, nicht (immer) zu funktionieren. Alle paar Tage ist das refresh_token ungültig und es reapariert sich weder nach einer Minute, noch nach einem Tag. Und ich fummele ja auch nicht ständig an dem Device herum, sodass ich hier irgendetwas durcheinander bringen könnte. Es soll ja einfach nur laufen und quittiert dann nach einer gewissen Zeit den Dienst (wobei inzwischen unerwartete Neustarts aufgetreten sein können!).

Grüße,
Seli