[teilweise erledigt] FHEM wird von Events überflutet

Begonnen von Perek, 31 Dezember 2016, 15:11:01

Vorheriges Thema - Nächstes Thema

Perek

Moin,

Ich habe FHEM seit nun etwas über 2 Jahren auf einem Raspberry Pi 2 mit Rasbian laufen. Das bisher auch sehr stabil.
Aber vor über einem Monat ist mir aufgefallen das FHEM nach einem Neustart des Pis, nach ca. 5 Minuten von einer extremen Flut von Events überschwemmt wird. Z.B. die Thermostate melden diverse Ist/Soll Temperaturen im Sekunden Takt. Dazu die Anwesenheitserkennung und die HUE-Lampen.
Man könnte es ignorieren, wenn man nicht versuchen wollen würde, z.B. die Soll-Temperatur über das Handy in der Web-Oberfläche zu ändern. Denn die Soll-Temperatur springt im Dropdown Menü wahllos von Wert zu Wert. Klar daraus kann man tolle events gestalten, in welchem Raum ist es am Wärmsten nach 5 Versuchen. Aber hilfreich ist es nicht  ;)

Kennt dieses Problem jemand und hat gegebenenfalls eine Lösung dafür?

Danke im Voraus.

PS. Sollten noch Informationen benötigt werden, einfach Fragen. Ich versuche das denn auch umzusetzen.

Wernieman

Was mir einfällt ... hast Du einen npd laufen, bzw. wird die Uhrzeit, nach dem Reboot des Pis, gestellt, oder ist sie 5 Minuten lang "falsch"?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Perek

Zitat von: Wernieman am 01 Januar 2017, 17:32:26
Was mir einfällt ... hast Du einen npd laufen, bzw. wird die Uhrzeit, nach dem Reboot des Pis, gestellt, oder ist sie 5 Minuten lang "falsch"?

Leider ist das nicht das Problem. Ich habe es ein paar mal getestet und jedes mal hatte er die Zeit aktualisiert bevor ich per ssh drauf gekommen bin.

Perek

Scheinbar hat sich das Problem ~4,25 Stunden nach dem Jahreswechsel in Luft aufgelöst. In dem Bild sieht man gut das Ergebnis des Problems. Kann mir einer erklären warum um die Uhrzeit sich das Problem erledigt hat? Und natürlich habe ich kein Update per Hand gestartet, ich habe geschlafen :P und automatisch passieren auf den beteiligten Komponenten keine Updates.

http://perek.bplaced.net/FHEM/FHEM.jpg

automatisierer

Wie sieht dein System denn aus? Nutzt du evtl. FHEM2FHEM?

Perek

Zitat von: automatisierer am 01 Januar 2017, 22:30:33
Wie sieht dein System denn aus? Nutzt du evtl. FHEM2FHEM?

Ja nutze ich. Aber der zweite Raspberry war seit Monaten aus. Der hatte nur Presence bereitgestellt. Und ich hatte ihn vor ein paar Tagen bis heute Abend wieder an um mit ihm rum Zuspielen. Aber die Zeiträume stimmen leider nicht überein.

KölnSolar

Die Antwort ist relativ simpel und hatten wir im Forum schon öfter. Die Verursacher sind periodische at's. Beim Neustart nach einer längeren Pause des Systems werden die periodischen ats gnadenlos von ihrem letzten Ausführungszeitpunkt(aus fhem.save) bis zur aktuellen Datum/Uhrzeit ausgeführt. Sieht recht lustig aus, wenn man sich die ats in der Detailansicht anguckt  ;D
Gutes neues Jahr, Markus
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

Perek

Sehe ich leider nicht als die Lösung an. Denn der Raspberry war nie aus. Nur der zweite war lange Zeit aus.
Kann es damit zusammen hängen das die Logs zu groß geworden sind? Ich hatte Logs für die Thermostate, die über ein GB groß waren. Weil sie auf Jährlich stehen. Das ist für mich gerade die einzige Erklärung. Da mit dem neuen Jahr auch neue Log-Dateien erstellt wurden.

frank

als erstes würde ich mir fhem.log anschauen. von reboot bis zur eventflut und am ende der flut.
FHEM: 6.0(SVN) => Pi3(buster)
IO: CUL433|CUL868|HMLAN|HMUSB2|HMUART
CUL_HM: CC-TC|CC-VD|SEC-SD|SEC-SC|SEC-RHS|Sw1PBU-FM|Sw1-FM|Dim1TPBU-FM|Dim1T-FM|ES-PMSw1-Pl
IT: ITZ500|ITT1500|ITR1500|GRR3500
WebUI [HMdeviceTools.js (hm.js)]: https://forum.fhem.de/index.php/topic,106959.0.html

automatisierer

Du hast ein Logfile, dass 1GB groß ist?????

Ich habe auch Jahres-Log bei den Thermostaten, die sind ~3MB groß, gut ich hab die auf die relevanten Werte ausgedünnt, aber 1GB zu 3MB ist schon nen ordentlicher Faktor.

Hast du vergessen bei den Dingern event-on-change-reading .* zu setzen? Ansonsten ist da was Anderes faul...

Wenn dir weiter geholfen werden soll, musst du vielleicht mal mehr Details zu deinem System nennen. (Serverhardware, welches System (HM, Z-wave...), irgendwelche Besonderheiten)

Perek

Zitat von: automatisierer am 03 Januar 2017, 11:06:25
Du hast ein Logfile, dass 1GB groß ist?????

Ich habe auch Jahres-Log bei den Thermostaten, die sind ~3MB groß, gut ich hab die auf die relevanten Werte ausgedünnt, aber 1GB zu 3MB ist schon nen ordentlicher Faktor.

Hast du vergessen bei den Dingern event-on-change-reading .* zu setzen? Ansonsten ist da was Anderes faul...

Wenn dir weiter geholfen werden soll, musst du vielleicht mal mehr Details zu deinem System nennen. (Serverhardware, welches System (HM, Z-wave...), irgendwelche Besonderheiten)

Natürlich nicht. Wo genau kann ich das Einstellen? Habe die Funktion bis jetzt nur in den einzelnen Geräten gefunden. Ist das dort der Richtige Ort?

automatisierer

Was heisst - "natürlich nicht"??

sollte man bei allen HM Geräten standartmäßig setzen, es sei denn man benötigt es anders.

Wobei ich nicht weiß, ob du auch HM Geräte betreibst...

Das wird deine Event-Flut zwar ein wenig eingrenzen - aber ich denke nicht, dass das die Lösung deines Problems ist - es sei denn du hast 100 Thermostate im Einsatz.

Perek

Zitat von: automatisierer am 03 Januar 2017, 12:58:32
Was heisst - "natürlich nicht"??

sollte man bei allen HM Geräten standartmäßig setzen, es sei denn man benötigt es anders.

Wobei ich nicht weiß, ob du auch HM Geräte betreibst...

Das wird deine Event-Flut zwar ein wenig eingrenzen - aber ich denke nicht, dass das die Lösung deines Problems ist - es sei denn du hast 100 Thermostate im Einsatz.

"Natürlich nicht" heisst das ich es nicht an hatte. Wenn es irgend wo steht, dann habe ich das scheinbar konsequent überlesen. Vor allem weil die Geräte sich so toll selbst in FHEM anlegen.
Aber gut, das wurde ja jetzt zum Glück durch deinen Hinweiss behoben.

So viele HM Geräte habe ich nicht im Betrieb. Nur 2 Heizkörperthermostate, 1 Wandthermostat, ein Indoor Temperatur/Luftfeuchtesensor, ein Outdoor Temperatur/Luftfeuchtesensor. Also sehr überschaubar. Aber jedes Gerät hatte, über das Jahr ein Eigendes Log produziert, welches 1GB und mehr Speicher belegt hatte. Im Schnitt kann man sagen das jede Sekunde ein Messwert in das entsprechende Log geschrieben wurde. Das Über ein Jahr lang, da die Geräte alle ende 2015 beschafft wurden. Macht insgesamt 31.536.000 Einträge mal x. Da kommen schon ein paar Daten zusammen ;)

KölnSolar

ZitatDenn der Raspberry war nie aus.
Da war meine Interpretation wohl falsch  :-[

Wenn Du in Deinem ersten Post das Problem beschreibst
ZitatZ.B. die Thermostate melden diverse Ist/Soll Temperaturen im Sekunden Takt.
und nun die korrekte Funktion mit
ZitatIm Schnitt kann man sagen das jede Sekunde ein Messwert in das entsprechende Log geschrieben wurde.
umschreibst, fällt es einem schwer Dein Problem nachzuvollziehen. Das Einzige, was mir dann in den Sinn kommt: Zufällig mal beim reboot  auf den event-monitor geguckt und über die Häufigkeit der events erschrocken. Ist aber gar kein Problem, weil die events immer so häufig kamen :o
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

automatisierer

die Dinger senden normal nur ca. alle 3 minuten. also irgendwas ist da faul!

Kannst ja mal nen stück von einem logfile hier posten. nur ein stück!!! 2-5 Minuten oder so.

nen list von einem der Devices und ein list von einem FileLog Definition würde mich auch mal interessieren.