Anfänger braucht Hilfe beim Kauf vom NAS-System

[Tedious]

Das meiste wurde ja schon gesagt, deswegen will ich das nicht wiederkäuen. ABER - wenn du von einem WHS kommst ist ein NAS definitiv nicht die Lösung. Prinzipiell ist es völlig Wumpe welches OS Du nimmst, ob nun ein WinServer oder ein LTS-Linux. Aber die Einschränkungen eines fertigen NAS sind definitiv nicht hinnehmbar wenn man von einem richtigen Serversystem kommt.

[Morgennebel]

Ich möchte auch nicht alle Platten neu kaufen, sondern vorhandene 3 und 6 TB Platten weiter verwenden. Das spricht dann ja für zfs.

Meines Wissens kann ZFS keine Platten zu einem existierenden Array hinzufügen. Das ist auch der große große Nachteil. Bei solch riesigen Datenmengen wie ihr sie beschreibt, können nicht eben 60 TB umkopiert werden, um eine Disk hinzuzufügen...

Damit bleibt bei ZFS viele Einzelarrays. Die müssen dann in "eine Sicht" wieder hinzugefügt werden - ist bei Mediadaten nicht wirklich sinnvoll.

In www.reddit.com/r/DataHoarder ist die Empfehlung für Linux ISOs (große Binärdaten von der CD) eigentlich UnRAID, da Prüfsummen nicht notwendig sind - die Original-DVD liegt ja noch im Schrank. UnRAID hat den Charme, daß nur zwei Laufwerke (Daten+Parity) eines Arrays beim Lesen in Benutzung sind und die anderen herunterfahren können.

Ebenfalls empfohlen wird ein i7 statt eines i3s/Atom. Begründung ist, daß die CPU zu 99.999% eh im Sleep-Modus ist, da ist es egal, ob die 30W oder 65W zieht. Aber im Ausfallsfall, beim prüfen des RAIDs und der Parity-Daten braucht man beim SW-Raid die CPU-Leistung.

Ciao, -MN

[Morgennebel]

es braucht auch keiner bluerays als 1:1 als 30gb rip zu speichern. mit aktuellem codec und hoher komprimierung kommt die gleiche qualli auch bei 4-8gb rum (und menüs + zusatzzeug braucht man eigentlich nicht).

Laß mich kurz nachdenken:

194x bis 2005: PAL (und NTSC in Berlin)
2005 bis 2014: HDTV 1080p
2015 bis 202x: 4K
2018 bis 203x: 8K...?

4K und 8K zu streamen wird interessant. Speziell außerhalb der Städte. Dein nächster TV/Projektor hat bereits 4K und min. 65", d.h. Du musst upscalen. Der übernächste wird noch schicker. Und dann eklige, alte 6GByte BR Raupkopien in dem Format? Nein, Danke...

Es gibt schon einen Grund, weshalb die ganzen alten Filme jetzt auf BR erscheinen. Es lohnt sich doch

Ciao, -MN

[justme1968]

natürlich kann zfs einen zpool beliebig um weitere vdevs erweitern. das ist ja gerade eine der stärken. die zdevs müssen weder gleich groß sein noch die gleiche struktur haben. es muss auch nichts umkopiert werden.

aber: raidx ist mit zfs nicht unbedingt sinnvoll. erst recht nicht mit vielen großen platten. viele gespiegelte vdevs zu einem pool zusammen zu fassen ist flexibler und schneller. aber eine usv und viel viel ecc ram sind essentiell. wichtig ist auch das man sich mit den grundlagen wirklich auseinander gesetzt hat.

für die kopien eigener bluerays bei denen die datensicherheit nicht wirklich wichtig ist und gleichzeitig daten bei denen mehr als ein backup sinnvoll ist bietet es sich auch an unterschiedliche vdev konfigurationen in einem system zu fahren.

cpu ist im fehlerfall bei bespiegelten vdevs unkritisch. die platenlast bei der rekonstruktion auch.

es gibt übrigens durchaus nas systeme mit mehr als 4 slots und auch welche mit deutlich mehr als atom cpu. wer nicht selbst bauen will findet z.b. bei den synology 18er oder 36 modellen auch was geschwindigkeit und hauptspeicher angeht fast alle was das herz begehrt. bis hin zu 10gb netzwerk und der möglichkeit echte vms drauf zu fahren.

[chris1284]

Meines Wissens kann ZFS keine Platten zu einem existierenden Array hinzufügen.

arrays gibt es in zfs nicht. es gibt (z)pools welches vdevs enthalten, welche wiederum aus den platten/files/patitionen gebildet werden. das entfernen von vdevs aus pools geht aktuell nicht.

da Prüfsummen nicht notwendig sind - die Original-DVD liegt ja noch im Schrank.

ehr im viruellen schrank namens internet  ich könnte aktuell keine scheiben abspielen (cd/dvd/bd)

Und dann eklige, alte 6GByte BR Raupkopien in dem Format? Nein, Danke...
Es gibt schon einen Grund, weshalb die ganzen alten Filme jetzt auf BR erscheinen. Es lohnt sich doch

wiederspruch in sich die beiden sätze finde ich.nur weil die filme auf br erscheinen ist die quallität nicht immer besser als von der alten dvd ... und dann sind 1:1 iso schon fast wieder datenmüll.
4k setzt sich aktuell nciht wirklich durch (mein empfinden) und bis 8k hast du eh schon wieder ein neues datengrab. 1080p ist auch heute noch ehr der standard in den wohnzimmern als die 4k exoten

[chris1284]

zum thema mirror/raidzX finde ich diesen artikel sehr gut http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-not-raidz/

mal angewendet auf mein jetziges sytsem hätte ich in summe mehr speicher netto bei gleichen platten, höherer ausfallsicherheit, wahrscheinlich höhere performance (eh durchs lan limitiert) und schnellere rebuilds. ein upgrade des speichers wäre auch einfacher, nicht so kostenintensiv und nicht so zeitintensiv)

aktuell 4x2tb im raid5+hotspare (kann also eine platte ausfallen und wärend des rebuilds ist man ungeschützt) = 8tb/3,5tb nutzbar
würde ich auf 2x2tb mirror + 2x2tb mirror umstellen. es könnten 2 platten ausfallen (eine je mirror), fallen 2 platten im selben mirror aus ist auch schluss -> backup), es wären aber 4tb nutzbar.
ein uprade könnte ich gemächlich machen in dem ich erstmal 2 platten gegen zb 4tb tausche => 6 tb nutzbar

[StefanT]

Hab mir auch ein NAS gebaut... hab lange überlegt ob HW-raid, ZFS etc.
Am schluss hab ich mich für Snapraid entschieden (und würde es wieder tun).
Ist perfekt für Daten die sich nicht oft ändern.

Meine 40TB lagern zur Zeit auf 15 SATA Platten (3/4/5TB).
Ich kann jederzeit eine weitere Platte hinzufügen, ohne expand zu machen

[chq]

Jetzt ist genau der richtige Zeitpunkt um sich Gedanken bzgl. des Backups des NAS' zu machen. Hierbei meine ich, wo und wie Deine Daten noch zusätzlich zu denen auf dem NAS sicherheitshalber gespeichert werden sollen; für den Fall, dass Du aus Versehen mal was Wichtiges löschen solltest.

Gruß Chris

[chris1284]

Meine 40TB lagern zur Zeit auf 15 SATA Platten (3/4/5TB).
Ich kann jederzeit eine weitere Platte hinzufügen, ohne expand zu machen

wie kann ich mir das vorstellen? Wie viele Paritätsplatten (und in Summe wie viel TB durch Parität nicht nutzbar) hast du und wie viele Freigaben oder nutzt du Zusatzsoftware / den virt. SnapRAID Pool um nach außen nur eine Freigabe zu schaffen? Wie verhält es sich mit Syncs, machst du die händisch wenn du mal was ändert oder verlässt du dich auf den 7 Tage Sync?

Was verstehst du unter "expand"? Erstmal heißt das nur Erweitern, das machst du bei SnapRAID auch wenn du eine HDD hinzufügst  Klar kann dies bei einem HW Raid zB eine umfangreichere Aktion sein aber zb bei meinem ZFS Pool recht easy (mind. 2 Platten rein, mirror erzeugen, an Pool hängen). Bei SnpaRAID musst du auch etwas mehr tun als nur eine Platte an den Server hängen (den Mount konfigurieren, Datenlatte ain Config aufnehmen, sync starten bei gefüllter Platte).
Bei SNAPRAID sehe ich den Vorteil nur darin dass ich Platten ohne auf Menge achten zu müssen und befüllte Platten hinzufügen kann. Ich muss mir schon Gedanken über die Größe machen (zb sollte ich keine 8TB Platte rein hängen wenn ich nur eine 5TB Parität habe außer du partitionierst die 8TB wieder in <=5TB Stücke).

[Morgennebel]

snapRAID ist ideal für Daten, die sich mit endlichen Aufwand wiederherstellen lassen und die sich wenig ändern.

Also z.B. "Linux ISO"-Images wie Debian, Devuan, Ubuntu, RedHat, CentOS usw. Die lassen sich durch Neueinlesen der CDs/DVDs leicht wieder auf die Platte werfen und werden danach nur gelesen (jedesmal, wenn Du eine neue VM installierst).

Eine gute snapRAID-Strategie sind halt 2-3 supergroße (14 TB) Parity-Platten und viele ökonomisch sinnvolle (8TB/10TB "geshuckt", d.h. aus externen USB-Gehäusen ausgebaut). Das hält erstmal viele Jahre an Linux ISO Images für Dich bereit. Irgendwann tauscht Du die Parity-Platten und wiederholst das Spiel.

snapRAID läßt sich mit MergerFS erweitern. Dann spielt es eigentlich optimal.

Die einzige sinnvolle Alternative sind Odroid HC2 SBCs mit Platten und darüber ein GlusterFS. Ist jedoch nicht so einfach wie snapRAID/MergerFS, speziell im Fehlerfall hast Du ein größeres Problem.

ZFS hat ein anderes Anwendungsgebiet. Das ist ideal für Daten, an denen Du häufig was änderst, die echt wichtig sind und die Du nicht wieder herstellen kannst. Familien/Babyphotos oder -videos fällt mir dazu ein. VMs usw. Du brauchst immer zwei neue Platten (Mirror), die dann in den Pool eingebaut werden. Eigentlich brauchst Du ECC-RAM und zwar viel. Das ist dann irgendwann eine Geldfrage.

Aber ja, ZFS ist sicherlich professioneller und schicker als snapRAID. Den perfekten SweetSpot Kosten/Nutzen für LinuxISOs trifft es aber eigentlich nicht...

Ciao, -MN

[chris1284]

sEigentlich brauchst Du ECC-RAM und zwar viel. Das ist dann irgendwann eine Geldfrage.

Eigentlich nicht und das ist auch die Aussage der Entwickler selbst. Es gibt Anwendungsfälle in denen ZFS von ECC und viel RAM  profitiert, die findest du aber fast ausschließlich im prof. Bereich

[Morgennebel]

Hi Chris,


der Schritt/Wunsch nach ZFS ist doch meist mit Datensicherheit begründet. Es ist ein supersolides Dateisystem und eines der wenigen, die gegen Bitrot schützen können. Für den Schutz gegen Bitrot brauchst Du aber ECC-RAM.

RAM brauchst Du für Deduplikation - und es gab irgendwo eine Empfehlung, je 1 TB Plattenplatz 1 GB RAM einzuplanen (ohne DeDup), das mag natürlich veraltet sein - aber es gibt Dir erstmal eine Größenordnung vor...

Ciao, -MN

[chris1284]

Snapraid, ZFS, HWRaid und Co hat man ja ehr für Ausfallsicherheit, Datensicherheit erreicht man dadurch in erster Linie nicht.
Du meinst übrigens Bitflip, dies bezieht sich auf Arbeitsspeicher. Bitrot bezieht sich auf den Datenträgerverschleiß.
Gegen die äußerst seltenen Bitflips (die bei ungewöhnlichen Sonnenwinden, die evtl. zu bestimmten Konstellationen auftreten "könnten") braucht man sich privat nicht extra absichern. Dafür hat man neben den Daten auf dem ausfallsicheren Speichersystem einfach mind. ein bis zwei Backups (diese helfen dann auch bei Bitrot).

Die meisten Privatleute haben ihre Daten einfach auf einem PC ohne Redundanz/Ausfallsicherheit, Teil auf Consumer-NAS oder SelbstbauNAS und evtl noch ein Backup. Wie viele von denen wohl bisher einen Bitflips hatten? Da bitflips jedes Gerät treffen können, das Arbeitsspeicher hat (durch den die zu speichernden Daten müssen ) benötigt jedes ECC um sich vor Bitflips zu schützen, auch HW mit Snapraid.
Also kein ECC must have. Du müsstest ja schon ECC im Smatphone haben mit dem du die Familienbilder aufnimmst um Bitflip zu vermeiden, dann noch ECC im PC mit dem du die Bilder bearbeitest/auf den ECC gesicherten Server überträgst. Liegen die Daten dann mal korekt geschrieben auf der "Platte" ist Bitflip kein Thema mehr.

Dedub ist eine der Pro Funktionen die viel RAM braucht, privat aber ehr uninteressant ist. 1GB pro 1TB ist eine Regel wo offenbar niemand weiß woher die kommt von den Entwicklern nicht, aus der Praxis auch nicht.  https://github.com/zfsonlinux/zfs/wiki/FAQ#hardware-requirements

ECC ist empfohlen, ja, im Kontext "Enterprise Environments", 8GB+ garantieren beste Performance, für privat reicht mir gute bis sehr gute Performance (habe eh nicht die Netzwerk- und Plattentechnik zu Hause um die i]beste[/i] Performace überhaupt abrufen zu können).

Ich habe 8GB RAM  und die werden nichts ausgelastet, weder durch ZFS, noch durch parallel laufende, andere Serverdienste. ZFS ist halt wie jedes andere Progrämmchen. Es nimmt sich den RAM der Frei ist und von ihm benötigt wird. Wird wieder RAM vom System benötigt gibt es wieder welchen ab ohne das es zu Komplikationen führt oder die Perfomance im Heimeinsatz spürbar einbricht. Der Unterschied ECC non ECC ist übrigens gering, bei aktuellen Preisen würde das bei mit mit 8gb keine 10 € ausmachen. Ich habe übrigens ECC RAM und würde beim nächsten (selbstbau) Server/NAS auch nur darauf setzen wenn der Preisunterschied zu dem Zeitpunkt ebenfalls zu vernachlässigen ist.

Zusammengefasst:
ECC für jeden Pflicht, egal welches Dateisystem/Speichersystem , wenn er Datensicherheit auf Rechenzentrumniveau benötigt.
Viel RAM wenn man ZFS im RZ mit allen Features einsetzen will.
Keines von beiden in privaten Umgebungen notwendig.
Absicherung Bitrot nur durch Backupsa möglich

[rr725]

Hm...ich hab vor kurzem mein NAS entsorgt. Stromfresser ohne Ende. Obwohl green IT und Standby. Gefühlt brauchte es ewig bis es aus dem Standby erwacht war. Beim Streamen von Hd ruckler, obwohl über Gigabit angebunden. Naja.


Mit meiner jetzigen Lösung bin ich einfach nur zufrieden. An der Fritzbox eine SSD Festplatte angeschlossen und am Fernseher einen Firetv Stick mit kodi versehen. Streaming von Musik und Filmen ohne Rückkehr. Zugriff vom Rechner auf Dokumente einwandfrei. Was will man mehr.

[chris1284]

Was will man mehr?

Was will man mehr.

Kommt darauf an für was man es braucht. Als einfachste Datenablage von zb Filmen die keinen Wert haben (also man nicht auf Ausfallsicherheit und Datensicherheit achten muss) sicher eine der einfachsten Lösungen. Wer mehr will ist bein einem Server/NAS System. Wo hast du FHEM laufen, auf einem extra Gerät? Stromfresser ist immer leicht gesagt aber was bedeutet das im Einzelfall? Klar frisst eine Fritte mit USBStick oder (sinnloserweise) SSD am USB weniger als ein NAS/kleiner Stromsparserver - kann aber auch wesentlich weniger. Wer eine Lösung wie du baut hat auch mit NAS/Server ncihts zu schaffen bzw keine Verwendung dafür.

Wozu eine SSD am usb der fritte? Den Aufpreis der SSD gegenüber einer HDD bekommst du durch den geringeren Stromverbauch der SSD sicher nie wieder rein.