FHEM Forum

FHEM => Sonstiges => Thema gestartet von: Nobbynews am 21 Januar 2024, 14:58:08

Titel: [gelöst] Backup sehr groß
Beitrag von: Nobbynews am 21 Januar 2024, 14:58:08
Hallo zusammen,

ich habe heute ein Problem beim backup festgestellt.
Durch ein at lasse ist jede Nacht um 3:45 Uhr automatisch ein Backup erstellen.
Bis zum 19.1. waren die Datein immer so um die 65 MB groß.
Ab dann wurden die Dateien plötzlich sehr groß, und zwar >=25 GB.
Das hat natürlich Stunden gedauert.
Als Ursache konnte ich feststellen, dass der Inhalt vom backupdir mit in das Backup eingepackt wird.
Unter global ist gesetzt:
backup_before_update 1
   backupdir  /Festplatte/FHEM/Backup
   backupsymlink yes
   statefile  /Festplatte/FHEM/log/fhem.save
/Festplatte ist ein externe Festplatte.
Im Log steht folgendes:
backup include: /Festplatte/FHEM/log/fhem.save
2024.01.21 14:41:02 2: Backup with command: tar chzf /Festplatte/FHEM/Backup//FHEM-20240121_144102.tar.gz "./lib" "./ZWave.bin" "/Festplatte/FHEM/log/" "./docs" "./log" "./restoreDir" "./fhem.cfg" "./fhem.cfg.demo" "/Festplatte" "./CHANGED" "./MAINTAINER.txt" "./GPL_V2.txt" "/Festplatte/FHEM/log/fhem.save" "./kopiereSicherung.sh" "./fhem.pl" "/Festplatte/FHEM/log" "./README_DEMO.txt" "./unused" "./demolog" "./configDB.pm" "./www" "./contrib" "./FHEM"
tar: Entferne führende ,,/" von Elementnamen
tar: Entferne führende ,,/" von Zielen harter Verknüpfungen
....
tar: /Festplatte/FHEM/Backup/FHEM-20240121_144102.tar.gz: Datei hat sich beim Lesen geändert.

Die Backup-Datei FHEM-20240121_144102.tar.gz wird natürlich auch wieder mit eingepackt.
Der Effekt tritt natürlich auch auf, wenn durch ein Update ein Backup erstellt wird.
Bewusst habe ich an den Einstellung nichts geändert. Warum auch, lief ja.

Fhem ist aktuell und einen Neutart sowohl von Fehm als auch vom Pi habe ich schon gemacht.

Ich stehe gerade ziemlich auf dem Schlauch.
Hat jemand eine Idee hierzu?

Norbert
Titel: Aw: Backup sehr groß
Beitrag von: enno am 21 Januar 2024, 15:08:16
Moin Norbert,

leg das Backup Dir doch ausserhalb von FHEM ab z.B.:

attr global backupdir /Festplatte/backup
Fhem muss da natürlich Schreibrechte haben.

Gruss
  Enno
Titel: Aw: Backup sehr groß
Beitrag von: Nobbynews am 21 Januar 2024, 15:18:26
Zitat von: enno am 21 Januar 2024, 15:08:16leg das Backup Dir doch ausserhalb von FHEM ab z.B.:

attr global backupdir /Festplatte/backup
Fhem muss da natürlich Schreibrechte haben.

Ähh, habe ich doch? Oder doch nicht?
Rechte haben bisher immer gepasst.

Norbert
Titel: Aw: Backup sehr groß
Beitrag von: betateilchen am 21 Januar 2024, 15:32:49
Zitat von: Nobbynews am 21 Januar 2024, 15:18:26Ähh, habe ich doch? Oder doch nicht?

Kommt drauf an, wo genau Dein FHEM liegt.

ZitatBackup with command: tar chzf /Festplatte/FHEM/Backup//FHEM-20240121_144102.tar.gz "./lib" "./ZWave.bin" "/Festplatte/FHEM/log/" "./docs" "./log" "./restoreDir" "./fhem.cfg" "./fhem.cfg.demo" "/Festplatte" "./CHANGED" ...

Da wird versucht, das gesamte Verzeichnis /Festplatte mit allen Unterverzeichnissen nach /Festplatte/FHEM/Backup//FHEM-20240121_144102.tar.gz zu sichern - also quasi sich selbst. Das kann nicht funktionieren, wie man das eigentlich möchte.

Dass im Pfad der Backupdatei auch noch mittendrin ein doppelter Slash steht, lasse ich jetzt mal unberücksichtigt.

Irgendwas ist da komplett durcheinander. Wie führst Du denn die Sicherung aus?
Titel: Aw: Backup sehr groß
Beitrag von: Nobbynews am 21 Januar 2024, 15:37:07
Fhem liegt unter /opt/fhem

Das mit dem überflüssigen "/" war nur ein Versuch in der Angabe des backupdir.

Das at sieht so aus:
define aBackup at *03:45 backup
attr aBackup disable 1
attr aBackup room System
#   COMMAND    backup
#   DEF        *03:45 backup
#   FUUID      61ab2f13-f33f-8873-c1a0-8747e3a74ff1bd80
#   FVERSION   90_at.pm:0.280040/2023-09-28
#   NAME       aBackup
#   NR         618
#   PERIODIC   yes
#   RELATIVE   no
#   REP        -1
#   STATE      disabled
#   TIMESPEC   03:45
#   TRIGGERTIME 1705891500
#   TRIGGERTIME_FMT 2024-01-22 03:45:00
#   TYPE       at
#   READINGS:
#     2024-01-21 15:33:59   state           disabled
#
setstate aBackup disabled
setstate aBackup 2024-01-21 15:33:59 state disabled


Aktuell natürlich disabled.

Das Backup command wird ja automatisch generiert und hat ja bisher funktioniert.
Wieso jetzt plötzlich das gesamte Verzeichnis /Festplatte mitgesichert wird, ist mir ein Rätsel. Wie gesagt, bewusst nichts geändert.

Norbert

Edit:
Zurückspielen der Sicherung vom 18.1. vom Verzeichnis /opt/fhem/FHEM hat auch keine Änderung gebracht.
Da sah die LOg-Datei so aus:
2024.01.18 03:45:00 2: backup include: /Festplatte/FHEM/log/fhem.save
2024.01.18 03:45:00 2: Backup with command: tar czf /Festplatte/FHEM/Backup/FHEM-20240118_034500.tar.gz "/Festplatte/FHEM/log/" "./GPL_V2.txt" "./fhem.pl" "./unused" "./fhem.cfg" "./CHANGED" "./demolog" "./contrib" "./docs" "./log" "/Festplatte/FHEM/log/fhem.save" "./lib" "./kopiereSicherung.sh" "./Festplatte" "./ZWave.bin" "./FHEM" "./restoreDir" "./README_DEMO.txt" "./MAINTAINER.txt" "./fhem.cfg.demo" "./www" "/Festplatte/FHEM/log" "./configDB.pm"
tar: Entferne führende ,,/" von Elementnamen
2024.01.18 03:45:00 3: aBackup: Started the backup in the background, watch the log for details
tar: Entferne führende ,,/" von Zielen harter Verknüpfungen
Backup done
2024.01.18 03:47:48 1: Backup erstellt
2024.01.18 03:47:48 1: Backup kopiert
Wenn ich das richtig sehe, war das gesamte Verzeichnis /Festplatte da noch nicht enthalten.
Titel: Aw: Backup sehr groß
Beitrag von: Nobbynews am 21 Januar 2024, 16:33:38
Funktioniert wieder.

Zitat von: Nobbynews am 21 Januar 2024, 15:37:07Edit:
Zurückspielen der Sicherung vom 18.1. vom Verzeichnis /opt/fhem/FHEM hat auch keine Änderung gebracht.

Man sollte nicht nur das Verzeichnis sondern auch die fhem.cfg zurücksichern, ich Dödel.

Jetzt überlege ich natürlich, was ich in den Tagen gemacht habe.


Norbert
Titel: Aw: Backup sehr groß
Beitrag von: Beta-User am 21 Januar 2024, 18:55:54
Ist da ein MQTT2_SERVER mit vielen "retain"-Readings im Spiel?
Titel: Aw: Backup sehr groß
Beitrag von: Nobbynews am 21 Januar 2024, 19:03:27
Ein MQTT2_Server ist zwar vorhanden, war aber nicht die Ursache.
Der Hinweis von @betateilchen zur kompletten Sicherung des Verzeichnisses /Festplatte war schon richtig und deckte sich ja auch mit meinen Nachforschungen.
Stellt sich nur die Frage, was das Generieren des Backup commands so verbogen hat.
Mit richtigem Zurückspielen der Sicherung konnte das Problem gelöst werden.

Norbert