Autor Thema: Fileserver, Datensicherung etc. für wichtige persönliche Erinnerungen  (Gelesen 6270 mal)

Offline Thorsten Pferdekaemper

  • Developer
  • Hero Member
  • ****
  • Beiträge: 5562
  • Finger weg von der fhem.cfg
Hi,
ich weiß nicht so genau, ob der Titel so richtig gut ist. Schau' mer mal...
Ich habe einiges an alten Fotos, Filmen und anderen Dingen, die ich gerne längere Zeit aufbewahren möchte. Dabei ist noch etliches auf Papier, Dias, VHS-Kassetten, ein paar von den kleinen Kassetten von einer alten digitalen Videokamera, CDs, DVDs, Festplatten in alten Rechnern usw.
Das heißt, da kommen schon ein paar GB zusammen.
Jetzt hätte ich gerne eine Lösung, den ganzen Kram sicher, wieder auffindbar und einigermaßen platzsparend aufzubewahren. Natürlich könnte ich das ganze irgendwie auf eine möglichst große Platte speichern, aber wenn die dann kaputt geht... Klar, backup usw., aber das muss irgendwie automatisiert laufen.
Es handelt sich bei den Sachen nicht um irgendwelche Filme aus Hollywood, sondern vor Allem um persönliche Erinnerungen, die ich auf keinen Fall verlieren will.
Habt Ihr dazu irgendwelche Vorschläge?
Gruß,
   Thorsten

RasPi
Heizkessel-Steuerung per Arduino und HTTPMOD
und einen Haufen Homematic (Wired)

Online gloob

  • Hero Member
  • *****
  • Beiträge: 2903
Ein NAS. Dann darf auch ruhig mal eine Platte ausfallen
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

Offline Mitch

  • Hero Member
  • *****
  • Beiträge: 2187
  • Give more - Expect less
Und von dem NAS ein lokales Backup und ein ausgelagertes, z.B. in die Cloud (so mache ich das).
FHEM auf Intel NUC mit Ubuntu Server, CUNOv2 - FHZ1300 - FritzDECT - 2x HM-LAN - Z-Wave - SIGNALduino@433 - SIGNALduino@868 - SignalESP@868 - miniCUL - DuofernStick - ESP Bridge - MQTT - HUE - MiLight - Sonos - Homebridge - Alexa - Nest Protect - Debmatic auf Ubuntu mit HmIP-RFUSB

Offline Thorsten Pferdekaemper

  • Developer
  • Hero Member
  • ****
  • Beiträge: 5562
  • Finger weg von der fhem.cfg
Ein NAS. Dann darf auch ruhig mal eine Platte ausfallen
Ist das bei jedem NAS automatisch so? Ich glaube ja nicht wirklich. Ich habe daheim ein kleines QNap-NAS stehen, das mit Raid 1 arbeitet. Ich habe jetzt aber immer öfter gelesen, dass das nicht wirklich so das Wahre ist. Erstens ist alles im selben Gehäuse und zweitens ist mir auch nicht so ganz klar, wie das Vorgehen ist, wenn wirklich mal eine Platte stirbt. Ich habe nicht nochmal eine in Reserve und so ganz sicher bin ich mir auch nicht, inwiefern man immer wieder was Kompatibles findet.
Außerdem ist das Ding voll, was auch ein Anlass ist, sich damit zu befassen.
...und die "Firmware" auf dem Ding ist auch irgendwie ein Witz. Gibt's da bessere Systeme?
Gruß,
   Thorsten
RasPi
Heizkessel-Steuerung per Arduino und HTTPMOD
und einen Haufen Homematic (Wired)

Offline Morgennebel

  • Hero Member
  • *****
  • Beiträge: 1367
  • Proud systemd-free zone
Eine Empfehlung hängt massiv davon ab, was Du willst...

Nach Deinem Bericht entnehme ich, daß Du Erinnerungen speichern willst. Wertvolle Erinnerungen, die Du vielleicht nie wieder bekommen kannst. Dann brauchst Du:

  • USV mit USB/Seriell
  • NAS mit RAID6 - minimum (zwei Platten von min. 4 dürfen ausfallen)
  • ZFS als Dateisystem
  • Cloud-Backup

RAID6 schützt Dich vor dem Festplatten-Ausfall (maximal zwei). Die USV schützt Dich vor dem Stromausfall und Datenverlust. ZFS schützt Dich vor Bitrot. Das Cloud-Backup schützt Dich vor einem Feuer zu Hause.

Das ganze gibts nicht "fertig". Schau Dir mal FreeNAS in Verbindung mit der Amazon Prime Cloud (unlimited) an. Das dürfte diese Anforderungen oben recht gut erfüllen.

EXT4, BTRFS, JFS und XFS erfüllen die Anforderungen nicht...

Ciao, -MN

Edit: Satz
« Letzte Änderung: 13 Oktober 2016, 16:58:11 von Morgennebel »
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Offline Thorsten Pferdekaemper

  • Developer
  • Hero Member
  • ****
  • Beiträge: 5562
  • Finger weg von der fhem.cfg
Hi,
vielen Dank für die Anregungen soweit.
Das FreeNAS werde ich mir mal genauer betrachten.
Von einer Cloud-Lösung wollte ich eigentlich Abstand nehmen, aber sollte man das wirklich als einen Baustein der Lösung sehen.
Hat jemand Empfehlungen für eine USV?
Danke&Gruß,
   Thorsten
 
RasPi
Heizkessel-Steuerung per Arduino und HTTPMOD
und einen Haufen Homematic (Wired)

Offline Morgennebel

  • Hero Member
  • *****
  • Beiträge: 1367
  • Proud systemd-free zone
USV = APC.

Klappt super mit dem apcd mit Seriell und USB. Gibt neue Batterien zum Austausch nach einigen Jahren...

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Offline Morgennebel

  • Hero Member
  • *****
  • Beiträge: 1367
  • Proud systemd-free zone
Die ganze Lösung geht aber nur, wenn Du aus dem Tiefschlaf aufgeweckt die notwendigen Kommandos herbeten kannst, um eine ausgefallene Festplatte mit einer neuen auszutauschen. Übrigens ist eine neue Platte neben das NAS gelegt keine schlechte Idee...

D.h. ein Gehäuse mit 4 x SATA jeweils 3-6 TB, eine Platte daneben, 16 GB ECC-RAM für ZFS und FreeNas plus 750W APC USV. CPU-Leistung ist eher nebensächlich.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Offline pcbastler

  • Full Member
  • ***
  • Beiträge: 168
Das ist aber nur die Hardware-Seite. RAID & Co. schützen nicht vor versehentlichen Löschen und anderen Fehlbedienungen. Für die Archivierung von Dokumenten suche ich auch noch ein ordentliches DMS, das soll dann auch vor Nutzerfehlern (und "böser" Software) schützen.

Offline Morgennebel

  • Hero Member
  • *****
  • Beiträge: 1367
  • Proud systemd-free zone
ZFS snapshots helfen...

Ciao, - MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Offline Thorsten Pferdekaemper

  • Developer
  • Hero Member
  • ****
  • Beiträge: 5562
  • Finger weg von der fhem.cfg
D.h. ein Gehäuse mit 4 x SATA jeweils 3-6 TB, eine Platte daneben, 16 GB ECC-RAM für ZFS und FreeNas plus 750W APC USV.
Kannst Du da mal andeuten, welche Hardware Du hast? Insbesondere würde mich der Rechner interessieren. ...oder alles selbst gebaut?
Eine 750W APC USV habe ich nicht gefunden...

Zum Raid6: Dass zwei Platten ausfallen "dürfen" ist natürlich schon nett. Aber das System erscheint mir dann schon etwas komplex, zumal es immer noch im selben Gehäuse steckt. Ist Dir schonmal eine Platte abgeraucht? Wie kompliziert war es dann tatsächlich, eine neue einzusetzen?

Gruß,
   Thorsten



RasPi
Heizkessel-Steuerung per Arduino und HTTPMOD
und einen Haufen Homematic (Wired)

Offline pcbastler

  • Full Member
  • ***
  • Beiträge: 168
Der HP ProLiant Gen8 MicroServer wird in solchen Fällen gern genommen.

Offline Morgennebel

  • Hero Member
  • *****
  • Beiträge: 1367
  • Proud systemd-free zone
Ich hatte in den letzten 12 Jahren diverse NAS-Lösungen im Einsatz. Beginnend mit einer NSLU2 und 2 x 200GB an USB (riesig damals), über QNAP hin zu Synology. Im Moment betreibe ich ein Synology 12 Bay mit 36 TB RAW im RAID6, das jedoch schon wieder zu 100% voll ist und ich muß wieder erweitern.

Im Hinblick auf meine Zeit habe ich mich für QNAP/Synology entschieden. Auspacken, hinstellen, eine Woche auf das RAID warten, zwei Wochen kopieren, fertig. Das ist der teurere Weg, der auch keinen Schutz gegen Bitrot enthält (wie ZFS + ECC-RAM) - was ich letzte Woche schmerzlich feststellen konnte, als ich eine 10 TB-Bilder-Partition auflöste. Etwa 10% der Bilder lassen sich nicht mehr anzeigen - nun sind die allerdings auch teilweise von 2000 und mehrfach umkopiert.

Bei QNAP/Synology sind abgerauchte Platten (davon hatte ich 5-8 in den letzten vier Jahren) rausnehmen, Piepsen abschalten, neue stecken, Bestätigen, warten. Bei RAID6 hast Du die Parity-Informationen doppelt gespeichert, d.h. wenig Risiko beim Ausfall einer Platte. Bei RAID5 muß es neu berechnet werden - fällt während dieser intensiven Arbeit das System oder noch eine Platte aus, wird es schmerzhaft.

Mehrere Gehäuse sind noch viel kritischer. Du brauchst redundante Datenwege zwischen den Gehäusen. Fällt dann ein Gehäuse zwischen anderen aus, hast Du massive Probleme. Die hp EVA (damals, 2004-2008) hat deshalb RAID5-Gruppen über 8-Gehäuse aufgezogen...

Beim Selbstbau würde ich bei hp schauen. Dort gibt es schöne Server-Gehäuse, die ECC-RAM unterstützen und viele Plattenslots haben (bis zu 36?). Wichtig sind die 3.5Zoll SATA-Platten - und je nach Datenbedarf reicht dann ein 8-Slot oder 4-Slot-Gehäuse. Wichtig: laß Dir mindestens zwei Plattenslots frei zum skalieren in den nächsten Jahren...

APC-USV: minimal 750W. 1250 oder 1500W tun es auch. Du willst ja nur in Ruhe runterfahren können.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Offline justme1968

  • Developer
  • Hero Member
  • ****
  • Beiträge: 19333
synology kann ich auch empfehlen.  zfs wenn es auf absolute performance ankommt. das ist aber für zuhause übertrieben und noch mal deutlich teurer und aufwändiger.

wenn dir die daten wirklich wichtig sind solltest du sie auf mindestens 3 arten mit unterschiedlichen techniken und systemen aufheben.

5-8 defekte platten in 4 jahren sind aber keine wirklich gute statistik.

ich habe in den letzten 10 jahren etwa 100 seagate constellation es (inszwischen enterprise capacity) in synolology systemen verbaut. anfangs mit 1tb pro stück über 2,3,4 und inzwischen 10tb pro platte. ohne einen einzigen ausfall.

gruss
  andre

ps: hat jemand interesse an 10 2 tb platten die etwa 2-3 jahre monatsweise in betrieb waren :) ?
FHEM5.4,DS1512+,2xCULv3,DS9490R,HMLAN,2xRasPi
CUL_HM:HM-LC-Bl1PBU-FM,HM-LC-Sw1PBU-FM,HM-SEC-MDIR,HM-SEC-RHS
HUEBridge,HUEDevice:LCT001,LLC001,LLC006,LWL001
OWDevice:DS1420,DS18B20,DS2406,DS2423
FS20:fs20as4,fs20bs,fs20di
AKCP:THS01,WS15
CUL_WS:S300TH

Offline Morgennebel

  • Hero Member
  • *****
  • Beiträge: 1367
  • Proud systemd-free zone
ZFS nicht wegen der Performance. Jedes NAS der > 1000 EUR Klasse rennt jeden PC an die Wand...

ZFS wegen dem Schutz vor Bitrot: https://en.wikipedia.org/wiki/Data_degradation - zusammen mit ECC-RAM die einzige ausgereifte solide Lösung.

Die Alternative wäre btrfs aber ohne die RAID-Funktionen - d.h. ein LVM und darüber ein btrfs. Das unterstützt Synology out of the box.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA