Proxmox VM: Fhem nicht erreichbar

Begonnen von Gisbert, 06 Juli 2023, 08:33:51

Vorheriges Thema - Nächstes Thema

Gisbert

Hallo zusammen,

ich bin seit 2 Wochen mit Fhem auf eine Proxmox VM umgezogen.
Hardware: Fujitsu Futro S740, 4 Kerne, 16 GB RAM, Fhem VM hat 4 Kerne und 8GB RAM.

Ich hatte jetzt schon mehrfach den Fall, dass Fhem nicht erreichbar war, und 1 von 4 Rechenkernen hatten eine 100%-Auslastung. Meistens hab ich es direkt mitbekommen und die VM in Proxmox neu gebootet.

Gestern hab ich es nicht mitbekommen, habe aber dafür Daten aus SYSMON als Diagramm zur Verfügung. Im log-file kurz vor der Störung gibt es absolut keinen Hinweis, was die Ursache sein könnte. Während dieser Phase loggen Devices, die auf Input vom Internet angewiesen sind, dass sie keine Verbindung haben. Fhem tut also noch etwas, aber etwas Grundlegendes läuft schief.

Ich hab in einer weiteren VM Pi-hole laufen und in Fhem die IP-Adresse der Pi-hole VM als DNS-Server eingetragen. Ich glaube nicht, dass es daran liegt, da mein Handy die ganze Zeit Verbindung zu Pi-hole hatte.

Da das log-file riesig war, und Fhem nach Neustart nicht über Web erreichbar war, hab ich den log-file gelöscht - ich wusste mir anders nicht zu helfen.

Aufgefallen ist mir noch, dass vor dieser Phase die CPU-Auslastung von 2 auf 1% zurückging.

Mehr als das angehängte Bild hab ich im Moment nicht. Weitere Daten aus dem log-file liefere ich, sobald es wieder auftritt.

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Wernieman

Hast Du das Problem noch?
Vor allem die Logausgaben während des Problems währen interessant ...

Auch, wie viele FHEM-Prozesse es gibt. Das Verhalten ist nicht normal, aber ohne mehr Infos keine Möglichkeit es zu analysieren ...
(Anzahl der FHEM-Prozesse, als root: ps aux | grep [f]hem)

Btw: Schon ein "zu großes Logfile" weist auf ein Problem hin ...
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Gisbert

Hallo Wernieman,

gottseidank ist die Situation nicht erneut aufgetreten.
Ich werde es weiter beobachten und versuche log-Dateien zu sichern und die Anzahl der Fhem-Prozesse zu ermitteln.

Möglicherweise hat der Proxmox-Host zu wenig RAM gehabt, da ich den 3 VM's zu viel RAM zugestanden habe.
Ich hab 16 GB RAM:
Fhem: 6 GB RAM - vorher 8 GB
Pi-hole: 1 GB RAM, gleich geblieben
Unifi-Controller: 3 GB - vorher 4 GB.

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Wernieman

Braucht Dein FHEM wirklich 6GB?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

betateilchen

-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

Gisbert

Hallo Wernieman,
Hallo betateilchen,

die Beobachtung ist, dass der Server, auf dem Fhem läuft, mit der Zeit immer mehr Arbeitsspeicher benötigt.
Aktuell liege ich nach 2 Tagen bei 58% von 6GB - da sind 4 GB schnell zu wenig, vielleicht gehen 5GB.
Hier ein Auszug, wie weiter oben angeregt:
sudo ps aux | grep [f]hem
fhem         584  6.5  7.5 525932 461000 ?       S    Jul09 194:58 /usr/bin/perl fhem.pl fhem.cfg
rhasspy      593  0.0  0.0   6816  3156 ?        S    Jul09   0:00 bash /usr/lib/rhasspy/rhasspy-nlu-hermes/
bin/rhasspy-nlu-hermes --intent-graph /opt/rhasspy/profiles/de/intent_graph.pickle.gz --debug --host localho
st --port 1883 --site-id Pixel4a --site-id defhem --username gis23 --password zfmgs23 --replace-numbers --la
nguage de_DE --casing lower --converters-dir /opt/rhasspy/profiles/de/converters --failure-token <unk>
rhasspy      611  0.0  0.8 316656 49460 ?        Sl   Jul09   0:42 python3 -m rhasspynlu_hermes --intent-gra
ph /opt/rhasspy/profiles/de/intent_graph.pickle.gz --debug --host localhost --port 1883 --site-id Pixel4a --
site-id defhem --username gis23 --password zfmgs23 --replace-numbers --language de_DE --casing lower --conve
rters-dir /opt/rhasspy/profiles/de/converters --failure-token <unk>
fhem      406171  1.3  2.0 497616 122824 ?       Sl   10:07  10:35 python3 FHEM/bindings/python/bin/fhempy -
-local
fhem      464175  0.0  6.9 503872 424668 ?       S    15:26   0:02 /usr/bin/perl fhem.pl fhem.cfg
fhem      547171  5.5  7.4 525932 449808 ?       S    23:04   0:00 /usr/bin/perl fhem.pl fhem.cfg
Vielleicht sehen eure geschulten Augen etwas; ich weiß nicht, wonach ich überhaupt Ausschau halten sollte.

Viele Grüße
Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Wernieman

Wie hast Du den Speicherverbrauch gemessen?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Gisbert

Hallo Wernieman,

htop sagt 1.66G von 5.79G.
SYSMON kommt zum gleichen Ergebnis, in etwa.
Proxmox behauptet in der Summary: 3.56 GiB von 6 GiB.
Die Angaben beziehen sich jeweils auf die VM, auf der Fhem läuft.

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Wernieman

was sagt free? also auf der Konsole? (Bitte komplette Ausgabe)

Hintergrund: Im Gegensatz zu Windows benutzt ein Unix-System den Freien Speicher immer als Cache. Damit wird er dann auch als "belegt" angegeben. Deshalb geht bei einem Unix (und Linux ist ein Unix) immer der Speicherverbrauch in der Laufzeit nach oben.

Wenn htop jetzt sagt, 1.66G benützt, sollten Dir z.B. auch 4G reichen. Proxmox rechnet wie oben, d.h. incl. Cache, wie soll er denn sehen, wie der Speicher verwendet wird?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

CoolTux

#9
Also mein produktiver FHEM LX Container hat 4GB Ram wovon er seit Monaten nur rund 500MB verwendet. Ne VM brauch immer etwas mehr aber auch hier sollten 2GB locker reichen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

Gisbert

Hallo zusammen,

hier ist die Ausgabe von free:
free -h
              total        used        free      shared  buff/cache  available
Mem:          5.8Gi      1.8Gi      1.9Gi      2.0Mi      2.0Gi      3.7Gi
Swap:          974Mi          0B      974Mi

Ich interpretiere, dass die Nichterreichbarkeit von Fhem (Auslöser für diesen Thread) nicht bei der RAM-Größe des Clients liegen sollte. 4GB RAM sind offensichtlich für Fhem und alles, was daran hängt (RHASSPY, fhempy, ...) ausreichend.

Ich frage mich, ob mein Proxmox-Host genügend RAM hatte. Was sollte für den Host übrigbleiben, gibt es da eine Empfehlung bzw. gängige Praxis?

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

carlos

Zitat von: betateilchen am 10 Juli 2023, 22:36:20
Zitat von: Wernieman am 10 Juli 2023, 14:27:14Braucht Dein FHEM wirklich 6GB?

Und wenn ja: warum?


Also ich habe sogar 8GB eingestellt und benutzt werden hier schnell mehr als 4GB.
FHEM svn auf Intel NUC mit proxmox,1 UDOO, 3 Raspberry Pi, signalduino, nanoCUL, div. Homematic Komponenten, toom Baumarkt Funksteckdosen, einige sonoffs, hue, shelly

Wernieman

- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

CoolTux

Zitat von: carlos am 13 Juli 2023, 11:53:07
Zitat von: betateilchen am 10 Juli 2023, 22:36:20
Zitat von: Wernieman am 10 Juli 2023, 14:27:14Braucht Dein FHEM wirklich 6GB?

Und wenn ja: warum?


Also ich habe sogar 8GB eingestellt und benutzt werden hier schnell mehr als 4GB.

Das ist die Proxmoxansicht für die VM und ja da wird schnell mal mehr Speicher allokiert von Linux wie eigentlich benötigt wird. Das sieht man super bei free

free -h
              total        used        free      shared  buff/cache  available
Mem:          5.8Gi      1.8Gi      1.9Gi      2.0Mi      2.0Gi      3.7Gi
Swap:          974Mi          0B      974Mi
buff/cach bedeutet das Speicher vorgehalten aber aktuell nicht verwendet wird.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net