backup reduziert ram free sehr stark und dauerhaft

Begonnen von heinzfo, 26 September 2020, 20:01:30

Vorheriges Thema - Nächstes Thema

heinzfo

Hallo

Ich habe seit einigen Monaten folgendes Problem.

Ein FHEM backup reduziert den RAM free von 2600Mbit auf 177Mbit.
Mit 'free' auf der SSH sieht man die Reduzierung am angestiegenen 'buff/cache' von 688Mbit auf 2590Mbit.

Das passiert auch wenn ich eine backup Datei ...tag.gz (305Mbit) mit z.B. FileZilla vom Rpi 4 auf meine NAS kopiere.
Hier ist die Reduzierung des RAM free von 2760Mbt auf 2405Mbit man sieht den anstieg am 'buff/cache' 171Mbit auf 490Mbit.

Das belibt so bis ich FHEM neu starte.

Was kann das sein?

Das FHEM und Rasperry - Buster Update ist von heute.

Grüße, Heinz

rudolfkoenig

Free bezeichnet die Menge des Speichers, was unnuetz herumliegt.

Linux versucht den Speicher sinnvoll zu belegen, z.Bsp. mit dem gelesenen/geschriebenen Daten (buff/cache), damit diese nicht nochmal von der Platte gelesen muessen, falls sie wieder nachgefragt werden.

In einem sinnvoll verwendeten Linux wird free nach eine Weile sehr klein, das bedeutet aber lange keine Speicherknappheit, da der Platz mit gecacheten Daten jederzeit genutzt werden kann. Siehe auch "available" in neueren free Varianten, oder +-buffers/cache bei den Aelteren.

Wernieman

- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

heinzfo

Hallo Wernieman

Danke für den link zu diesem sehr informativen Beitrag!

Ich habe mit top und free mein System angesehen und kann nichts ungewöhnliches entdecken.

Ich dache erst, das der Logfile eintrag 'Out of memory!' daher kommen könnte.
Der Eintrag kommt zu unterschiedlichen Zeiten und korreliert auch nicht mit einer bestimmten FHEM Aktion, so lese ich das zu mindest aus dem Logfile, FHEM bleibt dann stehen und ich muss es manuel neu starten.

Ich habe jetzt alle möglichen Module die auf das Internet zugreifen disabled auch FRITZBOX das hilft aber nicht.

Bin ratlos was ich noch tun kann.

Grüße
Heinz


Wernieman

Was sagt das kern.log und syslog zu der Zeit, wenn FHEM stehenbleibt?

ZU finden unter "/var/log" (bei normalen Unix-Systemen)
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

heinzfo

#5
In den files 'kern.log - kern.log.4' gibt es leider keine Einträge zur entsprechenden Uhrzeit. :-|

Im September ist es sechs mal vorgekommen, kein Eintrag passt zu den kern.log files.

Wernieman

Kannst Du uns mal die komplette "free" Ausgabe zum Fehlerzeitpunkt geben?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

heinzfo

Ich melde mich wenn der Fehler wieder vorhanden ist.
Danke

heinzfo

#8
Gerade ist es passiert!
Zum ersten mal sehe ich 'Out of memory!' kurz hintereinander.

fhem.log
2020.10.03 11:43:33 1: FHEMWEB SSL/HTTPS error:  SSL accept attempt failed (peer: 192.168.178.36)
2020.10.03 12:48:58 3: CUL_HM set KellerVierKanalSchalter_Sw_01 on-for-timer 3
2020.10.03 12:49:38 3: CUL_HM set KellerVierKanalSchalter_Sw_02 on-for-timer 0.5
Out of memory!
2020.10.03 12:50:13 1: FRITZBOX FB7590: Readout_Aborted.1931 Error: Timeout when reading Fritz!Box data.
Out of memory!


free
Sa 3. Okt 13:09:54 CEST 2020
              total        used        free      shared  buff/cache   available
Mem:        3919812      199532     3484700        6472      235580     3584308
Swap:        102396       21768       80628


Kann es an der Kernel version liegen ?
Sa 3. Okt 13:13:24 CEST 2020
Linux raspberrypi3fhem 5.4.51-v7l+ #1333 SMP Mon Aug 10 16:51:40 BST 2020 armv7l GNU/Linux


free im Fehlerzusatnd, FHEM not running

Sa 3. Okt 13:35:29 CEST 2020
              total        used        free      shared  buff/cache   available
Mem:        3919812      197536     3486488        6468      235788     3586320
Swap:        102396       21768       80628


free nach dem starten von FHEM

pi@raspberrypi3fhem:/opt/fhem/backup $ sudo /etc/init.d/fhem start
Starting fhem...
pi@raspberrypi3fhem:/opt/fhem/backup $ date; free
Sa 3. Okt 13:40:26 CEST 2020
              total        used        free      shared  buff/cache   available
Mem:        3919812      350324     3290908        6476      278580     3433364
Swap:        102396       21768       80628


Im Anhang die Chart von ran used und free von SYSMON

Grüße, Heinz

Wernieman

Und es steht nichts im syslog oder kern.log?

Und .. wie machst Du backup?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

heinzfo

#10
Hallo

Keine Einträge zum Zeitpunkt von 'Out of memory!' in beiden Dateien, auch nicht annähernd um diese Urzeit.

Backup mache ich über die FHEMWEB Oberfläche, siehe Anhang.

Grüße, Heinz

Wernieman

#11
Auch keine "OOM" Eintrage?

Die free-Einträge sehen jedenfalls nicht schlecht aus.

Btw:
Hast Du IO-Probleme?
grep -i i/o /var/log/kern.log
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

heinzfo

Nichts von beiden :-|

kein oom oder i/o in den logs

Wernieman

Backup ins gleiche Dateisystem? SDCard oder per USB?

Kannst Du mir ein Log-Abzug der Zeit vom kern.log mir geben? Kann es mir aktuell wirklich nicht vorstellen ....
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

heinzfo

In das gleiche Dateisystem, aber eine HDD am USB des Rpi als SD Ersatz, booten über die SD Card.