[NAS] Hilfe zu NAS-Distributionen - Erfahrungen, Empfehlungen

[chris1284]

Hallo!

Ich habe aktuell eine zbox nano als fhem-server, ein qnap ts-231 als nas und ein zyxel NSA325v2 als backup-nas.
nachdem ich, glücklicherweise nicht bei mir, mit ansehen konnte wie sich die qnap/synology/zyxel bei einem hdd-ausfall verhalten will ich davon weg.

nun hat es sich ergeben das ich hier nun einen hp proliant microserver g8 hier habe. das onboard raid ist io aber nicht das ware (nur raid 0 und 1), somit hat er einen HP Smart Array P410 RAID Controller bekommen und insgesamt 8GB ram.
ziel:
- 1 x 128gb ssd im raid 0 / ahci am onboard hp controller als systemplatte
- 3 x 2tb wdred im raid 5 am HP Smart Array P410 (also 4tb nutzbar, später kommt noch ne 4. als spare oder erweiterung dazu)
- fhem virtuell
- nas viruell (die platten durchzuschleifen und das nas-linux als os kommt nicht in frage)

- esxi 6 update 2  läuft bereits auf ner sdkarte(der server hat intern einen slot und wird auf die ssd umziehen)

nun die qual der wahl zwischen den nas-betriebssystemen...
ich denke am brauchbarsten sind FreeNas, NAS4Free und OpenMediaVault.
Ich habe keine großen anforderungen.
zugriff von windowsund linux auf shares, ftp, vernünftiges rechtemanagement mit gruppen und in unterebenen (nicht selbstverständlich bei zb zyxel).
streaming braucht niemand, ggf gibts dann ne neu vm die den zb lms/plex oder was auch immer hält.
die möglichkeit auf dem nas evtl vernünftig einige datenbanken bereit zu stellen wäre noch gut (dblog, xbmc).
die oberfläche muss funktional aber nicht hübsch sein (was sich syno und qnap sehr teuer bezahlen lassen...., die von zyxel ist optimal)
rsync für backups auf das zyxel wäre gut (fährt 1 mal die woche hoch und synct nur wichtige daten)

bei freenas interessiert mich zfs, dedub könnte interessant sein aber benötigt laut empfehlung 5gb/tb das würden 20gb ram bedeuten 

was habt ihr für nas-os am laufen? was würdet ihr nehmen, wo seht ihr vor und nachteile.

Vielen Dank im voraus,

christian

[chris1284]

debian oder ubuntu als nas-os mit samba und rsync wären natürlich auch eine alternative (ich denke was anderes machen die fertig nas auch nicht).
hier würde dann das webinterfac zur einrichtung fehlen und man müsste sich endlich mehr mit der console beschäfftigen 

[justme1968]

freaanas und jedes andere zfs basierte system solltest du niemals mit einem hardware raid controller laufen lassen. abgesehen von den nacheilen verschenkst du auch jeden vorteil den zfs bietet. das gleiche gilt (wenn auch etwas abgeschwächt) für die virtualisierungs von zfs.

die 20gb bei freenas sind zu wenig wenn vernünftige performance willst.

eine usv ist absolute pflicht.

zfs ist auch beim hotspare handling bei weitem nicht so automatisiert wie der p410 oder eine synology.

auch raid 5 oder 6 sind nicht optimal bei zfs.

ich würde sagen lass zfs aus deiner liste raus. betreibe deine drei platten am hardware raid und such dir ein os das die hp management tools unterstützt und installiere das nativ oder bleib beim esxi.  in die vm kannst du dann alle nas dienste stecken. auch wenn ich nicht weiß was das bringen soll.

auch fhem zu virtualisieren halte ich persönlich für überflüssig. eine per installation und das fhem verzeichnis ist alles was man braucht. auch beim umzug.

gruss
  andre

[chris1284]

nun wie gesagt ein debian/ubuntu zb würde ja bereits reichen. dieses auf die ssd, die daten auf das raid. vm's könnte ich zum spielen und testen auch unter debian/ubuntu laufen lassen.
hätte den vorteil fhem und die "nasfunktionalität" nativ auf dem os laufen zu lassen.
die hp software gibts für beide.

openmediavoult nativ installieren wäre auch möglich, ist ja debian basierend. die frage ist wie weit kann man da im vergleich zu debian nativ machen was man will.

den großen nachteil den ich bei esxi im privaten ohne lizenzen sehe ist das backup. virtuelle platten sichern und wiederherstellen ist umständlicher als die files selbst vom raid-volume.

eine usv ist vorhanden.

[chris1284]

ich denke ich werde
-das raid hardwareseitig erstellen
-debian auf die ssd installieren (wegens des direkten zugriffs auf das raid, erspart das verwalten von vhds (auch was später evtl das vergrößern angeht) und wenn ich mal ne vm brauche lasse ich sie unter debian laufen)
-samba zur freigabe nutzen (da ich beim qnap per ssh die samba-config ziehen konnte kann ich es 1:1 über nehmen wie es war), muss halt nur die user und gruppen in debian und samba neui anlegen
-rsync wieder fürs backup nehmen

-fhem auf dem raid liegend mit dqlite als log-db
-apache webserver als reverseproxy für fhem

über kurz oder lang soll auch die fritte nur noch als switch und router dienen. auf dem server soll ein dns- und dhcp server laufen, wenn ich das richtig sehe kommt da unter linux was dns angeht eigentlich nur bind in frage, richtig?!

was ich noch nicht ganz verstehe ist das rechtekonstrukt auf dem qnap.
die ordner haben alle owner admin und group administratoren, 0777
mein user ist systemseitig nur in der gruppe everyone

die smb conf eines homedrives und einer datenablage sieht so aus

[Christian]
comment = HOmeDrive Christian
path = /share/CACHEDEV1_DATA/Christian
browsable = yes
oplocks = yes
ftp write only = no
recycle bin = yes
recycle bin administrators only = no
qbox = no
public = yes
invalid users = "guest"
read list =
write list = @"administrators","christian"
valid users = "root",@"administrators","christian"
inherit permissions = yes
smb encrypt = disabled
mangled names = yes
strict allocate = yes
[Daten]
comment = Daten Für Alle
path = /share/CACHEDEV1_DATA/Daten
browsable = yes
oplocks = yes
ftp write only = no
recycle bin = yes
recycle bin administrators only = no
qbox = no
public = yes
invalid users = "guest"
read list =
write list = @"administrators",@"Daten_Change"
valid users = "root",@"administrators",@"Daten_Change"
inherit permissions = yes
smb encrypt = disabled
mangled names = yes
admin users =
admin only =
strict allocate = yes

wo ist die brücke wenn ich nur in everyone bin???

[chris1284]

cat /etc/group
administrators:x:0:admin
everyone:x:100:admin
guest:x:65534:guest
Multimedia_Change:x:101:admin,christian,xbmc
Daten_Change:x:102:admin,christian

ich bin in mehreren gruppen, aber die sind nicht auf filesystemebene berechtigt. wie passt das zusammen? unter windows würe ich keine rechte haben wenn ich die nur (wie durch samab) auf shareebene hätte.

[chris1284]

ich hoffe es liest einer mit^^

wenn ich das richtig verstehe setz das qnpa stumpf im dateisystem auf alle dürfen alles
typ eigentümer eigentümer gruppe alle anderen dürfen lesen schreiben ausführen.

d rwx rwx rwx   14 admin    administ      4096 Jan 29  2016 Christian/
d rwx rwx rwx   24 admin    administ      4096 Jun 12 15:00 Daten/
d rwx rwx rwx    3 admin    administ      4096 Nov 15  2015 Download/
d rwx rwx rwx    5 admin    administ      4096 Nov 15  2015 Multimedia/

die eigentlichen freigaberechte gibt dann samba vor mit keiner darf lesen , schreiben dürfen  die gruppe admins und gruppe data_change.
generell zugreifen "root",@"administrators",@"Daten_Change"
guest ist unzulässig

invalid users = "guest"
read list =
write list = @"administrators",@"Daten_Change"
valid users = "root",@"administrators",@"Daten_Change"

richtig?

[Lars]

Bei dem qnap rechte Thema kann ich dir nicht weiterhelfen. Aber: Warum hast du dich gegen den esxi entschieden? Ich habe das jetzt seit ein paar Monaten auf einem kleinen Server laufen und bin sehr zufrieden.
Backup ist in der Tat ein Thema beim kostenlosen hypervisor, funktioniert aber ganz gut mit dem Ghetto VCB Skript.

Gruß
Lars

[chris1284]

ich schwanke noch... ich habe neben dem backupthema ehrlich gesagt keine lust die 4tb als vhd bereitszustellen. wenn ich die vm auf der ssd habe und dden controller direkt in die vm durchreichen kann wäre das eine mögliche lösung. das nachträglich vergr´ßern von zu klein gewählten vhds ist ja unproblematisch aber das verkleiner falls man mal zu groß gewählt hat.
passthrough solltemit dem hp smart array P410 problemlos gehen. was ich noch nicht rausfinden könnte ob man den dann per passthrough an mehrere vms binden kann

ich finde es halt gut das man alle services trennen könnte (nas eine vm, dhcp+dns eine vm, fhem eine vm)
kann ghetto vcb backupslaufender hosts? ich teste gerade an einem anderen esxi thinware vBackup Standard, das soll auch laufende maschinen sichern können. files würde ich eh anderst sichern

[Morgennebel]

Ich habe verschiedene NAS-Lösungen seit 2004 im Einsatz, beginnend mit einem RAID1 auf riesigen 80GB Platten und NSLU2 bis heute hin zu mehreren Synology 12/8/4-Bay-Lösungen.

Bedenke bitte drei Punkte: Deine Daten sind kostbar, Strom ist teuer und Deine Lebenszeit begrenzt.

Daher würde ich von selbstgebauten Lösungen abraten und etwas nehmen, was out-of-the-box funktioniert und sich in weniger als 1 Stunde aufsetzen läßt. Strombedarf sollte minimal sein (also lieber eine 4-Bay-Lösung mit 2 x 6TB als RAID1 zu Beginn und für späteres Wachstum) und nimm nicht die WD RED Platten sondern die ähnlichen Seagate oder HDS (sind auch etwas teurer).

USV ist ein absolutes Muß. Und bei Synology gibt es eine nette kostenlose App, die Dir Deine gesamten Daten in die Amazon Cloud spiegeln kann - AES128Bit verschlüsselt in der Kombination mit Amazon Prime (70 EUR/Jahr). Damit hast Du dann gegen Brand, Blitz, Kurzschluß und Plattenverlust vorgesorgt.

Ciao, -MN

[chris1284]

genau weil meine Daten kostbar sind  setze ich nicht mehr auf synology heimanwender lösungen (die im übrigen auch nicht günstiger sind als ein eigenbau).
Mögen sich andere per softwareraid vorgegaukelte datensicherheit wohl fühlen, ich nicht.

Hintergrund: wir setzen auf syno und co in mobilen officekontainern für nicht ganz wichtige daten. ich habe schon die dollsten sachen mit qnap und syno raid erlebt und weiss daher das die 1h ehr nicht reicht wenns hart auf hart kommt. danach sind deine daten nicht einmal garantiert wieder hergestellt.

ein rückspielen des server os auf linux basis dauert keine 20 minuten! austausch einer defekten platte kann ich im laufendne betrieb machen ohne einen klick zu machen (platte raus, neue rein). ich kann genau bestimmen was der server macht und was nicht, bin nicht auf gutwillen der pluginentwickler angewiesen wenn ich eine bestimmte software brauche.

zu guter letzt: es geht nichts über einen echten raidcontroller den du in den fertig lsungen nicht finden wirst die du anpreist.

und cloud anzuführen .... bäh

[Morgennebel]

Ich kann Deine Erlebnisse nicht nachvollziehen - bin aber mit meinen Synologys hochzufrieden.

Platte defekt, Austausch, ein Klick auf Repair und nach 12h (36 TB RAID6 Array) wieder alles im grünen Bereich. Wunderbar. Ich persönlich würde auch immer Software-RAID gegenüber HW-RAID vorziehen.

Ich weiß nicht, ob Du den hp RAID Controller Bug im Kernel kennst, der 2003 (ja, ja, ist ein wenig her) für zerschossene Dateisysteme sorgte? Und natürlich bekommt man trotz 4h CarePaq keinen neuen 2000EUR Controller geliefert - und Du bist abhängig von diesem einen Controller-Modell und kannst nicht (einfach) Fehler beheben. Und im Hintergrund steht der Kunde und droht mit Pönalen wegen nicht eingehaltener SLAs...

Cloud ist per se auch nicht abzulehnen. Es gibt gute Anwendungen dafür (und viele schlechte , und ein Offsite-Mirror in AES128 für wenig Geld ist definitiv eine interessante Lösung...

Ciao, -MN

[dev0]

Ich weiß nicht, ob Du den hp RAID Controller Bug im Kernel kennst, der 2003 (ja, ja, ist ein wenig her) für zerschossene Dateisysteme sorgte?

Genau in diese Falle bin ich getappt. Mit Mühe und Not gab es keinen Rechtsstreit mit dem betroffenen Krankenhaus nach dem alle aktuellen Daten eines Servers weg waren.

[justme1968]

wer in einem solchen szenario nur auf einen raid controller vertraut um seine daten sicher zu haben hat dem rechtsstreit verdient.

da gehört ein konzept mit netz und doppeltem boden und replikation und mehreren backup ebenen hin.

hardware raid hat gegenüber einem vernünftigen software raid keine vorteile wenn man nicht am falschen ende spart. auch was die recovery oder ein-knopf bedienung angeht nimmt es sich nichts.

aber zurück zum hier angesprochenen system: da gibt es das problem bei nur einem einzigen raid system mit nur zwei oder drei platten auch schon. bei 4, 8 oder 10 tb platten ist die recovery zeit nicht in stunden sondern in tagen zu messen. wenn eine platte ausfällt ist die wahrscheinlichkeit das eine zweite genau dann auch noch ausfällt nicht zu unterschätzen. alles auf nur einem system zu haben macht es dann nicht sicherer.

[dev0]

wer in einem solchen szenario nur auf einen raid controller vertraut um seine daten sicher zu haben hat dem rechtsstreit verdient.

Es gab natürlich Redundanz und auch Backups. Nichtsdestotrotz wurde ich, als Dienstleister, beschuldigt etwas falsch gemacht zu haben, nämlich die falsche Platte gezogen zu haben. Es hat über ein halbes Jahr gedauert, bis HP den Bug schriftlich bestätigt hat.

[Morgennebel]

Ja, ich hab damals als Kunde an hp gemeldet (weder hp Deutschland noch hp USA war der zu dem Zeitpunkt bekannt)...

Nachdem ich diesen aber recht einfach auf beliebigen Servern reproduzieren konnte, glaubten sie mir dann. Aber zu dem Zeitpunkt war Linux und das Internet echt nicht so weit. Zwar standen die Server in Rechenzentren, aber Load-Balancer und Redundanz waren ganz neue, brandheisse Themen. Man vertraute hp Technik wie man einem IBM Z-Server vertraute...

Vielleicht sind Dir auch die hp EVA-Systeme noch bekannt? Die boten volle Redundanz (auch gegen einen Ausfall eines Laufwerkchassis mit 12-Slots, von denen man aber nur 8 nutzen sollte) - sehr sehr selten im Jahr 2004. Der RAID-Controller der EVA arbeitete intern mit einem Modulo-8-Verfahren und verteilte jeweils 7 Datenblöcke plus 1 Paritätsblock auf 8 Platten. Steckten diese aber in einem Chassis oder 4 (und nicht in 8 verschiedenen) führte ein Chassis-Verlust zu einem Totalverlust. Lustigerweise war die Konfiguration 2 Controller + 4 Laufwerkschassis die preisgünstigste und meistverkaufteste... Aber eigentlich mußten die EVA RAID-Stripes immer vertikal über 8 Laufwerkschassis angelegt werden...

Will sagen, Dein hw-RAID-Controller mit 4 Schächten wird wahrscheinlich nicht viel sicherer sein als SW-RAID. Er bietet nur den Vorteil des Battery-Backupcaches, der beim Stromausfall die Daten besser schützt. Du bist aber von spezifscher Hardware abhängig, findest nicht schnell Ersatz und hast evtl. Firmware-Probleme.

Zurück zum Thema. Sowohl SW- als auch HW-RAID schützen nicht vor Bitrot. Das kann nur ZFS, was Du aus Kostengründen abgewählt hast. btrfs ist derzeit buggy und führt bei RAID-5 und RAID-6 zum Datenverlust. ZFS gibts bei FreeNAS (basiert doch auf FreeBSD?), und kann prima ohne DeDup auf kleineren Systemen genutzt werden.

Ciao, -MN

[chris1284]

naja, den raidconroller zu ersetzen oder in einen anderen pc samt platten zu bauen ist nicht schwerer als wenn du dir beim hardwaedefekt nen neues nas kaufen musst (was es dann hoffentlich noch zu kaufen gibt) und erstmal alles neu einrichten musst / das hoffentlich vorhandene konfig backup einspielen. mit dem unterschied das ich nur kosten von 40€ für nen gebrauchten raidcontroller habe der in 24 h geliefert ist.  schaut man mal per ssh auf die synos oder qnaps müsste man doch ehr meinen warum man dafür soviel geld bezahlt (eigentlich nur für die ui)

ich find es ist schon was anderes/besseres mit hw raid:
-fällt nen platte aus -> neu rein rebuild geht autom.
-fällt controller aus -> neuen rein -> raid wird erkannt und es geht weiter
-server defekt -> controller samt platten in einen anderen pc

aber das soll nicht mehr das thema sein. die kaufnas sind eh raus. hier geht es um das serverbasierte nas und um pro und kontras für die vorhandenen lösungen (freenas/nas4free, virtualisieren, debian welches man ja auch einfach um die omv pakete erweitern kann).

zum server selbst mal was:
habe heute mal die ilo eval lizenz eingespielt und das feature ist schon genial. firmwareupdate aller komponenten vom pc per gemountetem iso und ilo remote console aus. installieren, konfigurieren (auch bios) über remote konsole.

habe jetzt die ssd am internen raid als raid 0 (weil nur eine platte). ich installier erstmal debian und den samba service. so habe ich quasi das qnap oder auch syno nas zu 90% ersetzt

[justme1968]

-fällt nen platte aus -> neu rein rebuild geht autom.

das geht auch bei software raid. und eventuell bei einem 08/15 hardware raid controller für 40 euro nicht. der ist eventuell noch nicht mal wirklich hardware sondern eine hardware/software krücke.

-fällt controller aus -> neuen rein -> raid wird erkannt und es geht weiter

nur wenn du den gleichen (noch) bekommst. das kann sehr in die hose gehen. und nicht alle hardware controller unterstützen das. mit software raid geht das sehr viel einfacher.

-server defekt -> controller samt platten in einen anderen pc

das geht sowohl bei software raid (natürlich nur die platten ) als auch bei jeder syno die ich bis jetzt hatte. ein system habe ich von 2 port auf 5 port auf ein anderes 5 port auf ein 8 port system aktualisiert. platten aus einem raus, ins andere rein und danach erweitert. geht problemlos.


ilo ist genial. leider werden alle java basierten ilo funktionen früher oder später probleme machen weil die browser kein java mehr wollen.

[chris1284]

der 40€ contoller ist ein HP Smart Array P410... also nichts billiges. da di edinger ewig halten habe ich mit einen gebrauchten gekauft (und habe noch einen liegn) somit she ich einem ausfall gelassen entgegen

das kann sehr in die hose gehen.

ja wie alles. bei der hardware aber ehr unwahrscheinlicher als bei dem billig heim nas (meine erfahrung).

das geht sowohl bei software raid (natürlich nur die platten )

hab ich nie angezweifelt es hies hier aber dass das alles sooooooo vile komplizierter bei einem echten server ist.

weil die browser kein java mehr wollen.

eine traumvorstelleung aber das wird so schnell nicht passieren.... gutes beispiel die siemens tk anlagen. uralt java, läuft heute auch noch (zwar nicht immer problemlos aber läuft).

[justme1968]

ja. die halten tatsächlich meist ewig. zumindest bis auf die backup batterie. die ist oft im eimer und dann ist auch die performance im keller. die neueren mit kondensator backup sind da weniger anfällig. aber vermutlich noch teurer.

doch. das wird (fast) so schnell passieren. es sind jetzt schon nur noch wenige aktuelle browser bei denen java funktioniert und selbst bei diesen gibt es feste termine was sie endgültige abkündigung angeht.

und was das traumvorstellung angeht: da kann man komplett andere meinung sein. es gibt aktuell für vieles was mit java möglich ist keinen ersatz. und das ist in einigen bereichen sehr problematisch.

[chris1284]

ilo läuft aber auch noch auf .net basis habe ich gesehen.

die debian/ubuntu nativ installatuion ist gescheitert. aktuelle versionen (jessie / ubuntu srv ab14) haben keine vernünftigen treiber für den lan-controller. link up / link down wechseln sich ab  oder garkein link.
ubuntu server 12 lts ist sogar für den server certified aber der support läuft april 2017 aus (quasi kein support mehr). obwohl der controller in Ubuntu 14.04 LTS 64-bit  durchaus zertifiziert ist.

[chris1284]

was auch immer heute vormittag bei den debian-mirrors nicht io war. ein neuer versuch ebend lief problemlos durch, inkl update während des setups. danach läuft das lan einwandfrei, ssh ist performant und update/upgrade funktioniert ohne das irgendwelche sever nicht erreichbar sind.

[Wernieman]

Nur mal so .. hatte vor kurzem ein Hilferuf (Freund eines Freundes) dem seine NAS abgeraucht war. Er brauchte aber dringend Daten. Also mal in einem Linux-System "eine" der Platten gemountet und geguckt .. huch ein SW-Raid. Unter welchem ARM der Softraid lief war irrelevant, jeder Linux-Rechner konnte mounten. Bei HW-Raid ..... nicht so möglich! Also auf sehr schnelle Weise jemanden "glücklich" gemacht ....

Der Vorteil von HW-Raid liegt im Professionellen Bereich, da der Controller auf genau diese Aufgabe optimiert ist. Diese Geräte kosten aber deutlich MEHR als 40Euros ....

[justme1968]

ja. genau das gilt auch für zfs. an jedem beliebigen zfs fähigen system werden die plattten automatisch erkannt.

übrigens: selbst im professionellen bereich ist ein software zfs system weit aus leistungafähiged als ein deutlich teureres hardware basiertes raid system. egal ob nur der controller 4 stellig kostet oder man gleich in netapp oder emc berieche geht. da bezahlst du für zu erlässigkeit, hot standby und failover und einen service vertrag bei dem die ersatz platte schon nach 4 stunden per kurier kommt. geschwindigkeit und glexibilität bekommst du da aber nicht.

aus diesem grund haben wir uns z.b. für das produktiv speicher system auf dem eine drei stellige anzahl an vms und  alle home verzeichnisse und mail server laufen für freenas mir zfs entschieden. die netapp ist nur noch für backups da. für alles andere ist die performance zu unterirdisch. trotz 5 mal höheren preises.

d.h. aber nicht das man bei zfs an der hardware sparen sollte. sondern nur das ein modernes server bord mit multocore intel prozessor und viel hauptspeicher jeden raid controller in die tasche steckt. und selbst das die schnellsten server platten deutlich günstiger und schneller sind als alles was man bezahlbar von den großen bekommt.

für mein heim system verwende ich trotzdem eine synology 1813. die ist stabil und hier schnell genug

[Wernieman]

P.S. Ausfall:
JEDES Sysem kann ausfallen, auch dauerhaft mit Totalverlust. Aber genau dafür hat (sollte) man ein Backup haben!

Mann kann mit viel Euros Sich Asymtotisch zu 100% Ausfallsicherheit ranarbeiten. Die 100% Sind aber nur teoretisch mit unendlich Euros zu erreichen. Es gibt sogar schon Beweise, das durch die Zunahme der Komplexität sie im Endeffekt irgendwann abnimmt, also nicht erreichbar ist.

[justme1968]

das ist einer der gründe warum es bei einem home system nur bedingt sinnvoll ist alles auf einer hardware zu vietualisieren. zwei oder drei unabhängige systeme sind unterm strich besser so lange sie zumindest teilweise autonom arbeiten. ein einziges system mit der gleichen zuverlässigkeit ist deutlich teurer. 

[chris1284]

Die Kombi hp microserver , hw raid und debian ist bisher die beste Wahl. Die Performance des qnap war schon gut, aber jetzt ist sie nochmal besser. Für ein laut offiziellen Anforderungen Performanzen Freeman mit hfs hätte ich in der Theorie noch mehr Geld für he ausgeben müssen und wäre nicht so flexibel.