Backup NAS - Vorschläge zur Umsetzung

Begonnen von chris1284, 10 Oktober 2018, 22:00:17

Vorheriges Thema - Nächstes Thema

chris1284

Moin,

Für ein Backup Nas ist folgende Hardware gegeben
Quad-Core Processor J3455 (up to 2.3 GHz)
Bis 16Gb ram
3 x 2Tb Datenplaten
1 x ssd für System, debian ist angedacht aber eine der nas Lösungen wie omv wäre auch denkbar
Daten sollen im Notfall auf anderen Systemen nutzbar sein, also kein HW raid. Kein sw raid das ohne Software nicht zugreifbar ist (snapraid zb lässt den Zugriff auf die Datenplatten immer noch zu wenn snapraid nicht verfügbar ist).
Daten sollen auf dem Backup Nas möglichst ausfallsicher liegen.
Zu sichern sind nicht mehr als 1Tb.
Aktuell laufen Backups auf 3 nas (2bay Consumer Nas mit je 2X2tb im mirror abwechselnd (Mo Nas1, Mi Nas2, Fr Nas3) auf die per cronjob mir Rsync Gesichert wird. Diese Nas sollen auf max noch eines (plus dem selbstbau Nas) eingestampft werden. Ich hätte gerne mehrer Backupstände. Der erste Gedanke war jeweils  an den oben genannten Tagen auf die 3 Platten zu syncen so das man weiter 3 Stände hat. Würde eine Platte ausfallen hätte man noch 2 Stände. Neue Platte rein und nach Sync sind wieder 3 Stände vorhanden.

Ich kenne von Veeam und BackupExec zb Funktionen wie inkrementel for ever oder inkrementel mit regelmäßigen Fullbackups, so hätte man noch mehr Backupstände aber würde sich wieder in Abhängigkeit zu Software begeben. Gibt es da Alternativen wo mehre Datenstände / Snapshots ohne zusätzliche Software wieder herstellbar sind?

Snapraid wäre noch eine Idee. 2 Datenplatten, eine Parität. Hier wären die Vorteile die Kompatibilität und die Parität (und ich hätte 2 Backupstände). Die erste Lösung benötigt keine Zeitaufwendigen scrubs und Syncs und ich hätte 3 Stände.

Auf das verbliebene Consumer Nas würde ich so syncen und hätte noch einen 4. Stand. Eine Auslagerung an einen anderen Stamdort wäre auch noch zu prüfen.

Was würdet ihr für eine Strategie fahren?

Danke und Gruß

Sanchez

Hi,

ich habe OMV schon seit einigen Jahren bei mir laufen (mit ca 30 TB auf 10 Platten). Kann ich nur empfehelen. Mit den richtigen Modulen/Erweiterungen ist hier sehr viel möglich.
Wenn man das System wirklich "nur" als Datenserver nutzen will, ist es unschlagbar (mir fehlt die Integration in FHEM(?)).
Es gibt für die verschiedenen Datenstände auch ein Frontend für RSnapshot. Ich würde mich an Deiner Stelle mal reinlesen und die OMV-Extras detailliert  durchgehen (zB.UrBackup für meine Windowsrechner etc).
Gruß
GS alias Sanchez

devil77

Warum nicht FreeNAS oder XigmaNas ( früher nas4free)?
Damit hättest Du ZFS an Board mit all seinen Vorzügen?

ZitatDaten sollen im Notfall auf anderen Systemen nutzbar sein
Ist bei dem System relativ einfach da man das System auf einem USB Stick installieren kann (sollte) und so an jedem PC schnell Zugriff haben kann.

chris1284

Zitat von: devil77 am 11 Oktober 2018, 06:57:37
Warum nicht FreeNAS oder XigmaNas ( früher nas4free)?
Damit hättest Du ZFS an Board mit all seinen Vorzügen?
Ist bei dem System relativ einfach da man das System auf einem USB Stick installieren kann (sollte) und so an jedem PC schnell Zugriff haben kann.

ZFS setze ich unter Debaian auf dem Fileserver ein und bin sehr zufrieden.. Ziel des Backups sollte sein das man die Platte einfach an ein anderes Linux hängt und die Daten nutzen kann. Wenn ich erst den Stick booten muss (der ja auch kaputte gehen kann) und am neuen System erstmal "Reparaturen" durchführen muss (zb fstab anpassen weil UUIDS nicht mehr passen / Laufwerke nicht da sind und Debian nicht startet ) ist das schon kein einfaches Recovery-Szenario mehr.

An ZFS hatte ich auch erst gedacht und hätte dann von Stick gebootet und 4 HDDs im 2x2 mirror mit Snapshots genutzt aber wie gesagt begibt man sich da wieder in Abhängigkeiten zur Software. Mit ne einfachen Platte Ext4 formatiert kann man zur not auch unter Windows eine Wiederherstellung starten/lesend auf die Daten zugreifen

chris1284

Zitat von: Sanchez am 10 Oktober 2018, 22:22:25
Hi,

ich habe OMV schon seit einigen Jahren bei mir laufen (mit ca 30 TB auf 10 Platten). Kann ich nur empfehelen. Mit den richtigen Modulen/Erweiterungen ist hier sehr viel möglich.
Wenn man das System wirklich "nur" als Datenserver nutzen will, ist es unschlagbar (mir fehlt die Integration in FHEM(?)).
Es gibt für die verschiedenen Datenstände auch ein Frontend für RSnapshot. Ich würde mich an Deiner Stelle mal reinlesen und die OMV-Extras detailliert  durchgehen (zB.UrBackup für meine Windowsrechner etc).

Danke für den rsnapshot tip, das klingt schonmal ganz gut

Wernieman

Sorry, aber heute bekommst Du ein lauffähiges Linux innerhalb von Minuten aus dem Netz, also keine Relevante Angabe für ein Restore. Dagegen würde ich KEIN Restore über einen Windows-Rechner durchführen, nicht das mir einer der dortigen Treiber die Platte "zerschießt" und dann wirklich alle Daten weg ....
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

devil77

Zitat von: chris1284 am 11 Oktober 2018, 11:21:29
ZFS setze ich unter Debaian auf dem Fileserver ein und bin sehr zufrieden.. Ziel des Backups sollte sein das man die Platte einfach an ein anderes Linux hängt und die Daten nutzen kann. Wenn ich erst den Stick booten muss (der ja auch kaputte gehen kann) und am neuen System erstmal "Reparaturen" durchführen muss (zb fstab anpassen weil UUIDS nicht mehr passen / Laufwerke nicht da sind und Debian nicht startet ) ist das schon kein einfaches Recovery-Szenario mehr.

An ZFS hatte ich auch erst gedacht und hätte dann von Stick gebootet und 4 HDDs im 2x2 mirror mit Snapshots genutzt aber wie gesagt begibt man sich da wieder in Abhängigkeiten zur Software. Mit ne einfachen Platte Ext4 formatiert kann man zur not auch unter Windows eine Wiederherstellung starten/lesend auf die Daten zugreifen

Wenn Du auf XigmaNas zum Bsp. setzt und dir fällt der USB Stick aus oder der PC geht kaputt bist doch auch wieder rasch am start.
Neuer Stick, OS drauf, config einlesen (sofern diese immer gesichert wurde) und ZFS Pool neu einlesen - fertig.

Setzen bei uns auf Arbeit Xigmanas ein mir RaidZ2 und Spiegelung der Daten auf ein ZFS Mirror intern, sowie extern im Haus auf eine Synology und hatten damit nie Probleme.
Zum Anfang wollte ich auch immer die Daten irgendwo haben wo man sie schnell einlesen kann aber davon bin ich ab.
Da sind mir die Vorzüge von zfs wie Snapshot, einfache Erweiterung usw. lieber. Auch die Wiederverfügbarkeit der Daten im Crashfall haben wir simuliert und waren immer so nach 15 Minuten wieder am Start.


chris1284

#7
Danke für die Meinungen und Anregungen, es ist im Endeffekt ein ZFS RaidZ geworden. In der Tat ist der Import eines Pools nicht aufwendig und ein Debian fix installiert.
Ein wenig knifflig war es die PowerOn Funktion der Consumer Nas nachzubauen (starte immer Dienstags um 22:00 Uhr zum Beispiel).
Das Bios kann nur täglich zu Zeit X den Rechner starten und für Linux habe ich nur rtcwake gefunden. Der Einfachheit halber fährt das NAS nun per Cronjob täglich um 0:00 Uhr per rtcwake den Rechner runter um ihn dann in 46h wieder zu starten (also shutdown um 24 Uhr und wakeup 2 Tage später um 22:00 Uhr), zieht sich per rsync die Daten, schreibt in FHEM einen Dummy mit Erfolg/Fehler zum Backup und schreibt den zpool status in einen FHEM dummy (bei Fehlern gibt es dann eine Pushower Nachricht). ToDo ist noch sich in zfs snapshots einzuarbeiten und dann diese auch noch anzulegen + FHEM pushover Meldung wenn dummy state älter als 3 Tage.

Gibts evtl was einfacheres als rtcwake und cronjob um den PC zb an bestimmten Wochentagen zu starten? Ich wollte nochmal ein WOL per FHEM testen dann wäre ein at ja ganz gut. Auf der anderen Seite soll das Backup auch laufen wenn FHEM mal nicht läuft, also wieder ein cronjob mit WOL auf dem zu sichernden System, denn wenn das nicht läuft braucht es auch kein Backup ;)

Gruß
Chris

nonamenogame

Bei Freenas geht es auch mit 2 usb sticks als Systempartition.

Bei der Installation beide wählen und fertig ist ein Raid0.

cheers

Wernieman

Allerdings hallte ich nichts von USB-Sticks als Speichermedium.  Hatte (in der Firma) so eine Konstellation und mindestens 1 Mal im Jahr stieg ein Stick aus ....

Dank RAID 0 und Monitoring kein Problem, aber trotzdem Ärgerlich
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

sku



sku

Es ist zumindest kein RAID 0, das wäre auch nicht sinnvoll für den Anwendungsfall. Kein Mirror, doppelte Ausfallswahrscheinlichkeit.

https://de.wikipedia.org/wiki/RAID#RAID_0:_Striping_%E2%80%93_Beschleunigung_ohne_Redundanz

Wernieman

War nicht so gans auf der Höhe, als ich es geschrieben habe .... natürlich RAID 1 ...
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

sku

war auch gar nicht bös gemeint, nur um Leute die durch Suche/Google drüber stolpern weniger zu verwirren :D