MiniPC Umstellung von Windows auf Linux - Fragen bezüglich Backup

[swsmily]

Hallo,

Ich habe einen Mini PC (Asus VivoPC / Mini-PC VC60-B013M). Auf diesem läuft momentan Windows 10.
Ich nutze ihn aktuell fast nur noch als Datenspeicher, früher für Kodi (aber unterdessen extrem selten).
Da Windows immer wieder automatisch neustartet durch Updates usw, es einfach sehr langsam ist, hab ich die Überlegung statt Windows zukünftig Debian darauf laufen zu lassen.

Was läuft momentan drauf?
Ich habe aktuell eine externe HDD dran, auf die unsere Handys in der Nacht Bilder/Videos sichern (via FolderSync-App).
In Windows läuft SyncBackFree, was einmal wöchentlich die Sicherungen der Handys auf unser NAS synchronisiert (NAS wird per WOL gestartet, nach Sicherung per Skript wieder runtergefahren).
Zusätzlich läuft Acronis, welches an einem anderen Tag einmal wöchentlich ein inkrementelles Backup der internen Festplatte auf das NAS sichert (ebenso mit WOL und Skript zum runterfahren).

Mein Ziel:
Statt Windows möchte ich Debian laufen lassen.
Ich bin aber nicht fündig geworden, ob es sowas wie SyncBackFree auch für Linux gibt, damit regelmäßig die Bilder/Videos aufs NAS gesichert werden. Was ich dazu gefunden habe, es soll wohl über RSYNC funktionieren. Ich vermute, ich müsste ein Script schreiben, welches das NAS startet, wenn es erreichbar ist, dann mit RSYNC die Dateien sychronisiert (aber nicht überschreibt), danach NAS runterfährt. Ist das so mit RSYNC möglich, dass nur neue Dateien hochgeladen werden, vorhandene aber nicht gelöscht (selbst wenn auf Quelle gelöscht), und nicht überschrieben werden?

Gibt es sowas wie Acronis für Debian, also so dass inkrementelle Backups erstellt werden, für den Fall, dass die interne Festplatte mal kaputt geht? Und wenn ja - wie stellt man es auf einer neuen Festplatte wieder her?

Zusammenfassung:

Externe HDD - Foto/Video Sicherung der Handys - neue Dateien kommen aufs NAS, vorhandene werden nicht überschrieben.
Interne HDD - System, soll inkrementell auf NAS gesichert werden; im Fall des Falles schnell auf eine neue HDD wiederherstellbar sein

Wie setzt man sowas mit Linux/Debian um?

[isy]

Moin,
also mit rsync kannst du dein Backup umsetzen. Ich würde die Zeitsteuerung (crontab) zu dem Zeitpunkt einrichten, wenn deinen Nas Online ist.

Zugriff auf deine Nas mit FTP oder Windows CIFS sollte beides gehen.

Für den Backup der Handys fällt mir im Moment nur ein Script ein, welches prüft, ob Handys per USB angeschlossen sind und dann die Kopie der Dateien per rsync startet.

Ein Image Tool wie Acronis kenne ich nicht, der Terminal Befehl "dd" erzeugt ein Image, wie mit Acronis, aber der Datenträger darf nicht gemountet sein. Also kein Online Backup, wie mit Acronis.

Viel Spaß,
Helmut

[kadettilac89]

Nur für fhem ist die Hardware schon etwas oversized. Wenn du etwas Zeit und Lust am Basteln mitbringst, kann du dir auch Proxmox ansehen. Auf den Pc installieren, Fhem und was ggf. noch dazu kommt in einen Docker Container werfen.

Mein Setup:
Proxmox mit Container für Fhem, Owncloud, ...
Stündliche Snapshot auf eine zweite Backupplatte. Wochenende Per Script auf NAS.

Ist zwar etwas mehr Zeit beim Aufsetzen. Aber wenn es läuft musst du es nicht mehr anfassen.

Ich weiß, dass die Anforderung etwas anders war. Aber manchmal hat man zu Beginn ggf. gute Lösungen nicht auf dem Schirm weil man es einfach nicht weiß.

Wenn du Interesse hast, kannst du dir Proxmox auch auf einem Rechner in einer VM, z. B. VMWare Player installieren und mal ansehen ohne dass du das bestehende Setup anfasst. Mit VM kannst du auch dein ursprünglich angedachtes Setup testen und durchspielen.

Das Sichern deiner Handy will ich nicht schlecht reden, aber hast du so wichtige Daten drauf dass die täglich gesichert werden müssen? Ich nutze auch Foldersync aber gehe direkt einmal in der Woche auf mein NAS. Würde Komplexität raus nehmen.

[swsmily]

Vielen Dank für eure Antworten.

Erstmal was die Handys betrifft. Foldersync sichert da nur die Fotos und Videos. Immer dann, wenn das Handy in unserem WLAN ist und geladen wird. Das habe ich vor paar Jahren eingerichtet, nachdem in einem alten Handy eine SD Karte kaputt gegangen war und zum Glück seit dem letzten manuellen sichern damals nur ca 3 Fotos verloren gingen.
Das Risiko wollte ich nicht mehr eingehen, daher die regelmäßige automatische Sicherung. Das wird aktuell bereits auf eine externe HDD an dem Mini-PC gemacht, der noch mit Windows läuft. Foldersync nutzt dazu einfach eine SMB-Freigabe. Das wäre auf Debian ja ebenso möglich einzurichten.

Mein Ziel ist nur, Windows von dem Mini-PC zu entfernen und Linux zu verwenden, da Windows auf dem PC einfach nur extrem langsam ist. Aber natürlich weiterhin mit automatischer Sicherung der Daten (Fotos, Dokumente usw.) aufs NAS, aber auch das System selbst sollte am besten regelmäßig automatisiert gesichert werden. Aktuell übernimmt das Sichern vom Betriebssytem und dessen Daten Acronis, was im laufenden Betrieb inkrementelle Backups erstellt.

Mit Rsync scheint es möglich zu sein, dass nur neue Dateien, die auf der "Foto"-Festplatte liegen gesichert werden.
DD nutze ich beim Raspi um das System zu sichern, auch im laufenden Betrieb, Restore hat bereits einmal erfolgreich funktioniert. Jedoch erstellt das eben immer ein komplettes Backup, was unnötig viel Speicher verbraucht. Inkrementell würden ja nur die Änderungen am System gesichert.


FHEM hat mit dem Mini-PC nichts weiter zu tun, das läuft bereits auf einem Raspi.

Danke für den Hinweis mit Proxmox. Das schaue ich mir mal an. Hatte in einer VM mal Docker probiert, bin komplett dran gescheitert 
Aktuell teste ich in einer VM auf meinem Laptop Debian mit Nextcloud. Das soll dann auch auf den Mini-PC drauf.
Die Snapshots werden dann von den einzelnen Container gemacht? Werden die durch Proxmox erstellt, oder wie erstellst du diese?

Ich würde die Zeitsteuerung (crontab) zu dem Zeitpunkt einrichten, wenn deinen Nas Online ist.

Über crontab würde ich auch ein Skript starten, was erstmal ein WOL-Paket ans NAS sendet, 5 Minuten warten, bis es hochgefahren ist, danach das Backup durchführt und am Ende per Telnet aufs NAS verbindet und den shutdown-Befehl sendet.

Nur für fhem ist die Hardware schon etwas oversized.

Klar, der Mini-PC ist für diese wenigen Aufgaben definitiv too much. Ursprünglich wollte ich ihn auch mal durch einen Raspi ersetzen. Aber die sind momentan einfach so extrem teuer geworden, da nutze ich lieber vorhandene Hardware, auch wenn die sich viel langweilen wird.



Werde weiterhin erstmal alles nur in einer VM Testen, bis ich eine Lösung so gefunden habe, die mir wirklich gefällt. Erst dann werde ich irgendwann Windows von dem Mini-PC werfen. Bin aber dennoch für jeden Hinweis dankbar.

TOLLES FORUM!

[kadettilac89]

Die Snapshots werden dann von den einzelnen Container gemacht? Werden die durch Proxmox erstellt, oder wie erstellst du diese?

Proxmox ist die Virtualisierungsplattform -> Darauf läuft ein LXC-Container (Debian) -> Da drin läuft Docker mit den Containern
In Proxmox sind NAS-Verzeichnisse mit als BAckup-Destination eingehängt

Backup-Solution / Failover
PC mit Windows -> VM-Workstation mit VM in der Proxmox läuft -> In Proxmox LXC-Container (identisch zu oben) ...

Snapshot ist eigentlich falsche Bezeichnung. Es wird ein stündliches Backup des LXC auf die zweite Platte gemacht. Da das ganze in einem LXC läuft ist das BAckup nur ca. 1 GB groß. Da sind alle Container mit Daten und das Betriebssystem drin. Docker Images, Logs, ... alles ausgenommen da unwichtig. Da brauch ich mich nicht um einzelne Docker-Container kümmern. Historisch bedingt, vom Raspberry, habe ich auch noch BAckupscripte für Fhem, MySQL, Influx ... und andere Container. Aber eigentlich unnötig.

DAs ganze Backup der VM/LXC ist in Proxmox als Funktion enthalten. Du kannst auch NAS mounten. Ich habe mein NAS unter der Woche aus, da ich unterwegs bin. NAS startet sobald ich heim komme. Wochenende macht Proxmox "großes" BAckup auf NAS, mit allen Containern und VM, und der eigenen Proxmox-Konfiguration.

Ich nutze Docker weil ich mehrere Funktionen einfach implementieren will. Du könntest Fhem auch in LXC installieren ohne Docker. Backup in Proxmox weiß nichts von "innen" liegenden Docker.

Danke für den Hinweis mit Proxmox. Das schaue ich mir mal an. Hatte in einer VM mal Docker probiert, bin komplett dran gescheitert 

Proxmox hat sehr gutes, deutschsprachiges Forum, hier ist auch Threads zu Proxmox. Wenn du konkrete Fehlermeldungen oder Fragen hast auch hier.

[CoolTux]

Ich selbst habe Proxmox auf einem Hetzner Server. Darauf dann LXC Container mit Nextcloud wo ich meine Handys syncen lasse. Fotos, Kalender, Kontakte und mehr. Zusätzlich zum Handy Sync habe ich in der Nextcloud generell noch alle meine Daten liegen.

Du kannst auch die Nextcloud Daten sichern über rsync auf den Host (Proxmox) oder gleich auf eine externe Festplatte oder ein NAS im Netz.
Hilfreich sind auf jeden Fall rudimentäre Linux Kenntnisse

[swsmily]

Mit Proxmox und LXC-Containern werde ich mich auf jedenfall weiter beschäftigen. Vermutlich ist das die einfachste Möglichkeit regelmäßig Backups der Container zu erstellen. Am Host-System ändert man ja in der Regel dann wenig und falls doch, kann man davon auch mal ein Offline-Backup ziehen.
Ich hab Proxmox gestern Abend in einer VM auf meinem Notebook installiert. Erst auf einer frisch installierten Debian, da bin ich aber schon bei der Installation gescheitert. Hab dann aber gesehen, dass es eine ISO gibt, mit der man direkt Proxmox installieren kann.
Nach unendlichen Versuchen hab ich dann da auch einen Container erstellt bekommen. Dann war es aber schon 1 Uhr nachts und hab aufgegeben. 

Ich bleibe aber dran.
Ein paar Linuxkenntnisse sind da und die Lernkurve ist steil.

Ich spiele auf jedenfall weiter in der VM auf meinem Notebook und wenn ich das alles ordentlich hinbekomme, so wie ich es mir vorstelle, dann wird auch der MiniPC irgendwann angefasst.

Ich danke euch für eure Hinweise!

[Wernieman]

- Wegen Sync von Handy (Oder anderen Geräten): Schaue dir mal "syncthing" an
- Wegen Backup mit rsync: Es gibt gute Programme, die genau das erledigen, was Du beschreibst. Das es in Wirklichkeit aufsätze von rsync sind, ist dabei nur am Rande Wichtig. Spontan fällt mir ein: dirvish, rsnapshot .. es giebt aber deutlich mehr.

[swsmily]

Vielen Dank für die Hinweise zu den ganzen Programmen.
Auf den Handsy werde ich weiterhin FolderSync nutzen, da ich damit sehr zufrieden bin. Das unterstützt unterschiedlichste Protokolle (SMB, S/FTP, SCP, Nextcloud usw.).

dirvish und rsnapshot werde ich mir auch mal mit anschauen.

Ich bin immer wieder von der Community hier im FHEM-Forum begeistert!

[Wernieman]

Erst beim 2. mal lesen aufgefallen

DD nutze ich beim Raspi um das System zu sichern, auch im laufenden Betrieb, Restore hat bereits einmal erfolgreich funktioniert.

Eine Sichrung per DD kann funktionieren, muß es aber nicht. Stichwort: Offene Dateien.

Linux als Unix ist da etwas empfindlicher als Windows. Unter Windows werden Filezugrife gecacht, unter Linux wird in den Cache geschrieben und dann auf die Festplatte (HDD,SDD oder Netzwerk) gebracht. Hört sich jetzt erstmal als akademischer Unterschied an, ist aber fundamentaler. Offene Dateien können deshalb immer "korrupt" sein. Deshalb sehe ich DD als problematisch. Es kann funktionieren, muß aber nicht. Und gerade wenn man Problem hat und ein Restore dingend braucht, wird es nicht klappen, "Murphy lässt grüßen". Ich weiß, das ich höchstwahrscheinlich trotzdem aus dem Image die benötigten Infos rausbekomme, aber würdest Du es kriegen? *)

Da ich persönlich c.a. 1h zum kompletten Neuaufsetzen des Systems brauche, ist mein Backup "nur" /etc (für die Konfig) und "Anwenderdaten" wie mysql, fhem etc.

Anmerkungen:
*) Dieses ist bitte nicht persönlich zu nehmen, also keine Kritik an Deinen Fähigkeiten.

[swsmily]

Erst beim 2. mal lesen aufgefallen

Eine Sichrung per DD kann funktionieren, muß es aber nicht. Stichwort: Offene Dateien.

Linux als Unix ist da etwas empfindlicher als Windows. Unter Windows werden Filezugrife gecacht, unter Linux wird in den Cache geschrieben und dann auf die Festplatte (HDD,SDD oder Netzwerk) gebracht. Hört sich jetzt erstmal als akademischer Unterschied an, ist aber fundamentaler. Offene Dateien können deshalb immer "korrupt" sein. Deshalb sehe ich DD als problematisch. Es kann funktionieren, muß aber nicht. Und gerade wenn man Problem hat und ein Restore dingend braucht, wird es nicht klappen, "Murphy lässt grüßen". Ich weiß, das ich höchstwahrscheinlich trotzdem aus dem Image die benötigten Infos rausbekomme, aber würdest Du es kriegen? *)

Da ich persönlich c.a. 1h zum kompletten Neuaufsetzen des Systems brauche, ist mein Backup "nur" /etc (für die Konfig) und "Anwenderdaten" wie mysql, fhem etc.

Anmerkungen:
*) Dieses ist bitte nicht persönlich zu nehmen, also keine Kritik an Deinen Fähigkeiten.

Keine Sorge, ich nehme das nicht persönlich, weiß auch nicht, ob ich im Falle des Falles wirklich wieder an alles ran komme.  und solche Hinweise sind immer auch hilfreich, aber schon bekannt 

Mit einem Raspi und FHEM hab ich 2016 das erste Mal mit Linux richtig angefangen. Es ist natürlich deutlich komplizierter als Windows, aber umso mehr man damit spielt, umso mehr lernt man - unter anderem auch aus Fehlern.


Nach größeren Änderungen habe ich daher auch ein Offline-Backup der SD-Karte des Raspi gemacht, in unregelmäßigen Abständen, wird auch immer mal eins erstellt, was ich direkt auf eine zweite SD Karte schreibe, die neben dem Raspi liegt. Weitere kleinere Änderungen habe ich auch dokumentiert. Sollte also tatsächlich ein Online-Backup mit DD sich nicht wiederherstellen lassen, kann ich immernoch ein Älteres nutzen und ggf. die weiteren Änderungen händisch nachpflegen.

Fhem (wo immer mal wieder Änderungen gemacht werden, Logfiles, Smartvisu) sichere ich mit folgendem Befehl:

Code Auswählen Erweitern

tar -cf - "/opt/fhem" "/var/www/html/smartvisu" |gzip > /home/pi/shares/backup/FHEM-`date +"%Y-%m-%d_%H-%M"`_inc_SmartVi
su.tar.gz

/home/pi/shares ist momentan eine SMB Freigabe auf dem MiniPC um den es mir in diesem Thread geht 

Wie würde am einfachsten ein Offline-Backup einer echten Festplatte/SSD funktionieren? Beim Raspi ist es ja kein Problem, SD raus, ins Notebook rein, mit Win32Diskimager sichern. Aber eine Festplatte?

Momentan hab ich mir mehrere VMs mit VMware auf meinem Notebook eingerichtet, in denen ich unterschiedliche Sachen teste.
Backupmöglichkeiten, Nextcloud, Proxmox usw.

und bis ich wirklich sicher bin, was mir am Besten gefällt, bleibt der MiniPC noch mit Win10.


Ich bin euch allen auf jeden Fall sehr Dankbar für die ganzen Hinweise, viel Input, viel zu testen 

[DetlefR]

Hallo,

wenn du schon fleißig am virtualisieren bist, dann nützt es doch auch. Installiere auf dem MiniPC einen VM Host deiner Wahl Vmware/Proxmox ..
Die darauf befindliche VM kurz ausschalten, Snapshot erstellen, wieder einschalten und dann kannst du in Ruhe das Image sichern. Die meisten VM Systeme haben Möglichkeiten, dass man solch ein Image auch inkrementell sichern kann. Die ganze Platte brauchst du nicht sichern. Wenn sie wirklich mal defekt ist, installierst du den VM Host neu und restaurierst die VM.

[Wernieman]

Linux richtig angefangen. Es ist natürlich deutlich komplizierter als Windows

Das liegt daran, das Du es nicht kennst. Ich persönlich sehe es nämlich genau anders herum .... 

[MadMax-FHEM]

Das liegt daran, das Du es nicht kennst. Ich persönlich sehe es nämlich genau anders herum .... 

...nicht benutzt

Ich habe mir "früher" Linux auch immer nur "angeschaut"...
...und dachte auch: oioioi...

Jetzt wo ich (privat) (nur noch) Linux nutze stimme ich Wernieman zu.
Ich finde es immer "übel", wenn ich bei meiner Freundin oder in der Arbeit mit Windows rumtun muss

Gruß, Joachim

[swsmily]

wenn du schon fleißig am virtualisieren bist, dann nützt es doch auch. Installiere auf dem MiniPC einen VM Host deiner Wahl Vmware/Proxmox ..

Soweit bin ich mit Testen und Spielen noch nicht um wirklich den MiniPC anzufassen. Daher erstmal weiter am Windows-Notebook in VMware alles mögliche testen, Fehler machen, draus lernen usw - bis ich dann soweit sicher bin, wirklich den MiniPC anzufassen.

Das liegt daran, das Du es nicht kennst. Ich persönlich sehe es nämlich genau anders herum .... 

Naja, ich sag mal so, einen USB-Stick oder USB-Festplatte erkennt Windows direkt automatisch. Meine ersten Tests mit Nextcloud hab ich mit einem USB-Stick am Raspi versucht - das hat viel einlesen bedeutet, bis ich endlich auf den USB-Stick überhaupt zugreifen konnte 

Aber der Wille und Reiz ist auf jeden Fall da Linux besser kennenzulernen.

[bugster_de]

Hi,

die Frage ist zwar schon 4 Wochen alt, aber ggf. ist meine Lösung genau für die Frage passend.
Das Backup kannst du komplett mit Linux Bordmitteln umsetzen; externe Programme a la Acronis oder so braucht man da gar nicht. Die Beispiele unten sind von meinem Hauptserver (Ubuntu) auf meinen Backupserver). Da deine Hardware ja nur für FHEM eh viel zu viel Performance bietet werden dann (glaub mir ) im Laufe der Zeit auch andere Sachen wie z.B. Plex, Kodi-Headless oder so drauf laufen. Beispiele unten sind von meinem Ubuntu Server aber gelten genau so auch für FHEM.

(1) Generell lege ich die Daten in Verzeichnissen ab, die der Wichtigkeit der Dokumente entsprechen
0_High --> wäre eine Katastrophe, wenn die Dateien verloren gehen (z.B. Kinderfotos). Daher Mehstufiges Backup bis hin zu einmal alle 3 Monate DVD Brennen und ausserhalb meines Hauses lagern
5_Med --> wäre schade aber nicht das Ende der Welt, wenn die Dateien weg sind --> einfaches Backup auf zweite Festplatte
9_Low --> egal wenn weg --> gar kein Backup

(2) in menschlich nutzbare Shares mache ich das dann vie Virtual Mount-Points. Somit kann man auch sehr fein granular steuern, wer mit den Daten was machen darf (lesen/schreiben/löschen)

Backup
(3) Dateien die den aktuellen Stand wiederspiegeln
das macht man mit rsync. Hier sind bei mir z.B. die FHEM Dateien *.cfg erhalten so wie die Log-Dateien. Hier wird immer der aktuelleste Stand der Datei auf den Backupserver aufgespielt. Sieht dann so aus

Code Auswählen Erweitern

if [[ $(findmnt -M "/mount/ext/backupsrv") ]]; then
    # is mounted so sync
    rsync -a /mount/int/hd01/0_High/ /mount/ext/backupsrv/hd01/0_High
else
    mail -s "Backupverzeichnis nicht vorhanden!" root <<EOM
    Hallo Admin,
    der externe Server ist nicht gemountet. Kein RSYNC durch geführt
    Mit freundlichem Gruss Backupscript

    EOM
fi


(4) incrementelles Backup
jeweils am 1. eines Monats wird ein Spiegel der Dateien in ein Zip File gelegt und dann jeden weiteren Tag des Monats nur incrementelle Änderungen dazu. Somit hat man einen Rollback auf die letzte funktionierende Version der Dateien

Code Auswählen Erweitern


BACKUPDIR="/mount/int/hd05/backup/${MEINNAME}/current"
# Pfad wo die Backups nach 30 Tagen konserviert werden
ROTATEDIR="/mount/int/hd05/backup/${MEINNAME}/rotate"
EXCLUDE="--exclude=home/user/.VirtualBox  --exclude=home/user/.local/share/Trash"
SOURCE="/etc /var/spool/cron /home/admin /mount/int/hd01/data/0_High /mount/int/hd02/0_High /mount/int/hd02/5_Medium /mount/int/hd03/0_High /mount/int/hd03/5_Medium"
TIMESTAMP="timestamp.dat"
### Alle Variablen einlesen und letzte Backupdateinummer herausfinden ##
set -- ${BACKUPDIR}/backup-???.tgz
lastname=${!#}
backupnr=${lastname##*backup-}
backupnr=${backupnr%%.*}
backupnr=${backupnr//\?/0}
backupnr=$[10#${backupnr}]
backupnr=000${backupnr}
backupnr=${backupnr: -3}
filename=backup-${backupnr}.tgz

### Nun wird das eigentliche Backup ausgefuehrt ##
tar -cpzf ${BACKUPDIR}/${filename} -g ${BACKUPDIR}/${TIMESTAMP} ${SOURCE} ${EXCLUDE}

### Abfragen ob das Backup erfolgreich war ##
if [ $? -ne 0 ]; then
    mail -s "Backup (${SOURCE}) war fehlerhaft!" root <<EOM
    Hallo Admin,
    das Backup ${filename} am ${DATUM} wurde mit Fehler beendet.
    Mit freundlichem Gruss Backupscript
EOM
else
    mail -s "Backup (${SOURCE}) war erfolgreich" root <<EOM
    Hallo Admin,
    echo das Backup ${filename} am ${DATUM} wurde erfolgreich beendet.
    Mit freundlichem Gruss Backupscript
EOM
fi



Die kleine Variante, die einfach stumpf je nach Zeitraster das komplette FHEM wegsichert sieht so aus

Code Auswählen Erweitern

#!/bin/bash
tar --exclude=backup -cvzf "/mount/external/backup/$(date +%y%m%d_%H%M%S)_fhem_backup.tar.gz" "/opt/fhem" &>/dev/null

Das kann man nun mittels crontab regelmässig laufen lassen oder halt auch mittels Timer (at) aus FHEM heraus. FHEM kann dann z.B. prüfen, ob jemand zu Hause ist und das Backup nur machen wenn niemand da ist und die erhöhte Belastung des FHEM Servers und des Netzwerkes also nicht bemerkt. Auch kann FHEM erstmal mittels Wake-on-LAN das NAS hochfahren, warten bis es oben ist und dann das Backup starten. Der Möglichkeiten sind da viele

[swsmily]

Vielen Dank für deine Beispielskripte. Das werde ich auf jeden Fall im Hinterkopf behalten.

Durch meinen Threat und die ganzen Hinweise hier bin ich seit Wochen am Basteln. Erst unter Windows VMWare ein Debian installiert und da verschiedenes getestet, seit nicht ganz einer Woche werkelt nun in dem MiniPC eine kleine 128GB SSD. Darauf Proxmox, in Proxmox Container Nextcloud.

Es war bis jetzt sehr sehr sehr viel auszuprobieren, Fehler gemacht, verzweifelt, gegoogled usw. Aber aktuell läuft es ganz gut. Zwei Tage lang war ich fast am verzweifeln (Bilder der Handys sind auf einer externen HDD mit NTFS), lesen lief super. Aber schreiben war extrem langsam. Ging runter auf unter 100kb/s.
Irgendwas hatte ich an den Mount-Optionen in /etc/fstab falsch, aber egal was ich probiert habe, nichts hat geholfen. Nur ganz ohne irgenwelche Optionen eintragen hat das Problem gelöst:

so kann man schnell auf die extHDD schreiben:
UUID=7EF80448FXXXXX   /media/usb-handysicherung

so gings nur extrem langsam:
UUID=7EF80448FXXXXX   /media/usb-handysicherung   ntfs-3g   auto,nofail,sync,users,rw   0   0

Die kleine SSD ist bisher aber nur zum Testen. Wenn ich alles soweit am Laufen habe, dass ich wirklich zufrieden bin, wird es wohl eine 2TB SSD werden. Damit fällt das Mount-Problem dann auch weg.


Zurück zum ursprünglichen Thema Backup. Dank Proxmox sind Backups der einzelnen Systeme sehr einfach zu machen. Die Bilder und Videos aus /media/ust-handysicherung werde ich wohl auch mit rscyn aufs NAS sichern und mir dazu ein passendes Script schreiben, welches das NAS per WoL startet, Backup durchführt und das NAS danach wieder runterfährt.
Aktuell bin ich aber noch nicht so weit. (Mit 2 Babys, 5 Monate alt - da hat man nur Abends mal 2 bis 3 Stunden Zeit was zu machen )


Ich werde auf jeden Fall berichten, wenn ich alles soweit fertig habe, dass es mir gefällt und wie ich es dann gelöst habe.

[Wernieman]

HDD mit NTFS

Unter Linux würde ich, auch wegen Stabilität im Sinne von "Gesichertes Schreiben", lieber auf ein "passendes" Dateisystem setzen.

[swsmily]

Unter Linux würde ich, auch wegen Stabilität im Sinne von "Gesichertes Schreiben", lieber auf ein "passendes" Dateisystem setzen.

Ich weiß. Das soll auch keine Dauerlösung bleiben. Ich wollte nur nicht eine bestehende NTFS-Platte ändern, wenn ich noch nicht sicher bin, ob ich alles so hinbekomme mit Linux, oder evtl doch wieder auf Windows zurück gehe.
Geplant ist, dass eine große SSD in den PC kommt, und dann die externe NTFS-Platte wegfällt.

[swsmily]

Ich werde auf jeden Fall berichten, wenn ich alles soweit fertig habe, dass es mir gefällt und wie ich es dann gelöst habe.

Nun mal ein kleiner Zwischenbericht von mir. Leider hat sich mein Projekt erstmal verzögert, da ich mit einer meiner Töchter eine Woche im Krankenhaus lag.

Im MiniPC werkelt nun eine 2TB SSD. Proxmox läuft darauf mit 2 Containern. Einmal Nextcloud und einmal einem SMB/Skript-Linux.
Unsere Handys kopieren über die App FolderSync alle neuen Bilder/Videos über eine Freigabe im SMB-Container in die jeweiligen Ordner. Da die Handys aber alles in DCIM speichern und diese Ordner nach paar Jahren sehr sehr viele Dateien enthalten, hab ich ein Skript geschrieben, was die Dateien je nach Erstelldatum in Unterordner je nach Jahreszahl verschiebt.
Die Daten liegen im Hostsystem von Proxmox unter /media/handyarchiv, dieses reiche ich über Mountpoints zu den beiden Containern durch.

Als zusätzliche Sicherung hab ich ein weiteres Skript geschrieben, was 3 mal pro Woche ausgeführt wird. Dieses startet per WoL das NAS, wartet bis es erreichbar ist, mounte das NAS als Netzlaufwerk, prüft ob im Mount-Verzeichnis die Datein ".NAS" verfügbar ist und kopiert via Rsync die Bilder aufs NAS, wartet danach noch 2 Minuten, umounted das NAS und fährt es dann wieder runter.

Somit werden die wichtigen Dateien regelmäßig aufs NAS gesichert.
Was die Container betrifft, von diesen erstelle ich regelmäßig über Proxmox Backups, bevor ich Änderungen "ausprobiere". Diese Backups kopiere ich händisch aufs NAS.
Am Hostsystem selbst wird es selten Änderungen geben, daher hab ich über einen USB-Stick den MiniPC mit Clonezilla gebootet und darüber ein Backup erstellt.

Ich denke so hab ich momentan ein akzeptables Backup-Konzept, was im schlimmsten Falle eines Festplatten-Crashes alles relativ schnell wiederherstellen lässt, ohne alles komplett neu (trotz Dokumentation) einzurichten.

[Wernieman]

1. Ich hoffe, Dir geht es wieder gut ..
2. Sicherst Du wirklich ganze Container?
Wenn Du die persistenten Daten "extern" lagerst, also im Host-Dateisystem oder in einem Docker-Volumen, dann mußt Du doch "nur" dieses sichern. Ein Defekter Container wird nicht wieder hergestellt, sondern "neu" geholt (oder gebaut).

Um bei einem vor kurzen erklärten Beispiel zu bleiben: Du würdest bei Word auch nur die geschriebenen Briefe sichern und nicht komplett Word. Wenn Word defekt, dann wird es neu installiert. Genau ist es mit Containern.

Hinweis: Genau deshalb haben Container auch Tags, welche Seriennummer haben. Dann kann man genau diese dann auch wieder herstellen, wenn gewünscht.

[swsmily]

Zu 1. - ich war als Begleitperson mit meiner Tochter (5 Monate alt - Adenoviren). Ja alles wieder gut, zum Glück. 

zu 2. - via Rsync werden die Bilder und Videos die in /media/handyarchiv liegen aufs NAS gesichert. Also wirklich nur die Dateien.
Ansonsten sichere ich über Proxmox die Container, wenn ich darin Änderungen durchführe, also z.b. Update von Nextcloud Version 24.0.6 (damit hab ich begonnen) zu 24.0.7. und dann zu 25.0.1.
Somit hatte ich eine Sicherung des Containers, der mit Nextcloud 24.0.6 lief. War auch gut so, denn nach dem Update hatte ich erstmal in unregelmäßigen Abständen "internal Server Error". Zurückspielen ging fix und es lief wieder problemlos.

Um es mit dem Beispiel mit Word zu vergleichen - die "Briefe" liegen in einem Mountpoint und damit "sicher". Das Update hat "Word" kaputt gemacht - aber statt neu einzurichten, hab ich das "alte Word" mit sämtlichen Einstellungen wiederhergestellt und konnte direkt weiterarbeiten.

[kadettilac89]

Wenn Du die persistenten Daten "extern" lagerst, also im Host-Dateisystem oder in einem Docker-Volumen, dann mußt Du doch "nur" dieses sichern. Ein Defekter Container wird nicht wieder hergestellt, sondern "neu" geholt (oder gebaut).

Ich denke du redest von Docker und swsmily von LXC. Letzteres kannst du in Proxmox wunderbar sichern.