Fileserver, Datensicherung etc. für wichtige persönliche Erinnerungen

Begonnen von Thorsten Pferdekaemper, 13 Oktober 2016, 16:11:22

Vorheriges Thema - Nächstes Thema

Thorsten Pferdekaemper

Hi,
ich weiß nicht so genau, ob der Titel so richtig gut ist. Schau' mer mal...
Ich habe einiges an alten Fotos, Filmen und anderen Dingen, die ich gerne längere Zeit aufbewahren möchte. Dabei ist noch etliches auf Papier, Dias, VHS-Kassetten, ein paar von den kleinen Kassetten von einer alten digitalen Videokamera, CDs, DVDs, Festplatten in alten Rechnern usw.
Das heißt, da kommen schon ein paar GB zusammen.
Jetzt hätte ich gerne eine Lösung, den ganzen Kram sicher, wieder auffindbar und einigermaßen platzsparend aufzubewahren. Natürlich könnte ich das ganze irgendwie auf eine möglichst große Platte speichern, aber wenn die dann kaputt geht... Klar, backup usw., aber das muss irgendwie automatisiert laufen.
Es handelt sich bei den Sachen nicht um irgendwelche Filme aus Hollywood, sondern vor Allem um persönliche Erinnerungen, die ich auf keinen Fall verlieren will.
Habt Ihr dazu irgendwelche Vorschläge?
Gruß,
   Thorsten

FUIP

gloob

Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

Mitch

Und von dem NAS ein lokales Backup und ein ausgelagertes, z.B. in die Cloud (so mache ich das).
FHEM im Proxmox Container

Thorsten Pferdekaemper

Zitat von: gloob am 13 Oktober 2016, 16:28:03
Ein NAS. Dann darf auch ruhig mal eine Platte ausfallen
Ist das bei jedem NAS automatisch so? Ich glaube ja nicht wirklich. Ich habe daheim ein kleines QNap-NAS stehen, das mit Raid 1 arbeitet. Ich habe jetzt aber immer öfter gelesen, dass das nicht wirklich so das Wahre ist. Erstens ist alles im selben Gehäuse und zweitens ist mir auch nicht so ganz klar, wie das Vorgehen ist, wenn wirklich mal eine Platte stirbt. Ich habe nicht nochmal eine in Reserve und so ganz sicher bin ich mir auch nicht, inwiefern man immer wieder was Kompatibles findet.
Außerdem ist das Ding voll, was auch ein Anlass ist, sich damit zu befassen.
...und die "Firmware" auf dem Ding ist auch irgendwie ein Witz. Gibt's da bessere Systeme?
Gruß,
   Thorsten
FUIP

Morgennebel

#4
Eine Empfehlung hängt massiv davon ab, was Du willst...

Nach Deinem Bericht entnehme ich, daß Du Erinnerungen speichern willst. Wertvolle Erinnerungen, die Du vielleicht nie wieder bekommen kannst. Dann brauchst Du:


  • USV mit USB/Seriell
  • NAS mit RAID6 - minimum (zwei Platten von min. 4 dürfen ausfallen)
  • ZFS als Dateisystem
  • Cloud-Backup

RAID6 schützt Dich vor dem Festplatten-Ausfall (maximal zwei). Die USV schützt Dich vor dem Stromausfall und Datenverlust. ZFS schützt Dich vor Bitrot. Das Cloud-Backup schützt Dich vor einem Feuer zu Hause.

Das ganze gibts nicht "fertig". Schau Dir mal FreeNAS in Verbindung mit der Amazon Prime Cloud (unlimited) an. Das dürfte diese Anforderungen oben recht gut erfüllen.

EXT4, BTRFS, JFS und XFS erfüllen die Anforderungen nicht...

Ciao, -MN

Edit: Satz
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Thorsten Pferdekaemper

Hi,
vielen Dank für die Anregungen soweit.
Das FreeNAS werde ich mir mal genauer betrachten.
Von einer Cloud-Lösung wollte ich eigentlich Abstand nehmen, aber sollte man das wirklich als einen Baustein der Lösung sehen.
Hat jemand Empfehlungen für eine USV?
Danke&Gruß,
   Thorsten
FUIP

Morgennebel

USV = APC.

Klappt super mit dem apcd mit Seriell und USB. Gibt neue Batterien zum Austausch nach einigen Jahren...

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Morgennebel

Die ganze Lösung geht aber nur, wenn Du aus dem Tiefschlaf aufgeweckt die notwendigen Kommandos herbeten kannst, um eine ausgefallene Festplatte mit einer neuen auszutauschen. Übrigens ist eine neue Platte neben das NAS gelegt keine schlechte Idee...

D.h. ein Gehäuse mit 4 x SATA jeweils 3-6 TB, eine Platte daneben, 16 GB ECC-RAM für ZFS und FreeNas plus 750W APC USV. CPU-Leistung ist eher nebensächlich.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

pcbastler

Das ist aber nur die Hardware-Seite. RAID & Co. schützen nicht vor versehentlichen Löschen und anderen Fehlbedienungen. Für die Archivierung von Dokumenten suche ich auch noch ein ordentliches DMS, das soll dann auch vor Nutzerfehlern (und "böser" Software) schützen.

Morgennebel

Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Thorsten Pferdekaemper

Zitat von: Morgennebel am 13 Oktober 2016, 18:47:06
D.h. ein Gehäuse mit 4 x SATA jeweils 3-6 TB, eine Platte daneben, 16 GB ECC-RAM für ZFS und FreeNas plus 750W APC USV.
Kannst Du da mal andeuten, welche Hardware Du hast? Insbesondere würde mich der Rechner interessieren. ...oder alles selbst gebaut?
Eine 750W APC USV habe ich nicht gefunden...

Zum Raid6: Dass zwei Platten ausfallen "dürfen" ist natürlich schon nett. Aber das System erscheint mir dann schon etwas komplex, zumal es immer noch im selben Gehäuse steckt. Ist Dir schonmal eine Platte abgeraucht? Wie kompliziert war es dann tatsächlich, eine neue einzusetzen?

Gruß,
   Thorsten



FUIP

pcbastler

Der HP ProLiant Gen8 MicroServer wird in solchen Fällen gern genommen.

Morgennebel

Ich hatte in den letzten 12 Jahren diverse NAS-Lösungen im Einsatz. Beginnend mit einer NSLU2 und 2 x 200GB an USB (riesig damals), über QNAP hin zu Synology. Im Moment betreibe ich ein Synology 12 Bay mit 36 TB RAW im RAID6, das jedoch schon wieder zu 100% voll ist und ich muß wieder erweitern.

Im Hinblick auf meine Zeit habe ich mich für QNAP/Synology entschieden. Auspacken, hinstellen, eine Woche auf das RAID warten, zwei Wochen kopieren, fertig. Das ist der teurere Weg, der auch keinen Schutz gegen Bitrot enthält (wie ZFS + ECC-RAM) - was ich letzte Woche schmerzlich feststellen konnte, als ich eine 10 TB-Bilder-Partition auflöste. Etwa 10% der Bilder lassen sich nicht mehr anzeigen - nun sind die allerdings auch teilweise von 2000 und mehrfach umkopiert.

Bei QNAP/Synology sind abgerauchte Platten (davon hatte ich 5-8 in den letzten vier Jahren) rausnehmen, Piepsen abschalten, neue stecken, Bestätigen, warten. Bei RAID6 hast Du die Parity-Informationen doppelt gespeichert, d.h. wenig Risiko beim Ausfall einer Platte. Bei RAID5 muß es neu berechnet werden - fällt während dieser intensiven Arbeit das System oder noch eine Platte aus, wird es schmerzhaft.

Mehrere Gehäuse sind noch viel kritischer. Du brauchst redundante Datenwege zwischen den Gehäusen. Fällt dann ein Gehäuse zwischen anderen aus, hast Du massive Probleme. Die hp EVA (damals, 2004-2008) hat deshalb RAID5-Gruppen über 8-Gehäuse aufgezogen...

Beim Selbstbau würde ich bei hp schauen. Dort gibt es schöne Server-Gehäuse, die ECC-RAM unterstützen und viele Plattenslots haben (bis zu 36?). Wichtig sind die 3.5Zoll SATA-Platten - und je nach Datenbedarf reicht dann ein 8-Slot oder 4-Slot-Gehäuse. Wichtig: laß Dir mindestens zwei Plattenslots frei zum skalieren in den nächsten Jahren...

APC-USV: minimal 750W. 1250 oder 1500W tun es auch. Du willst ja nur in Ruhe runterfahren können.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

justme1968

synology kann ich auch empfehlen.  zfs wenn es auf absolute performance ankommt. das ist aber für zuhause übertrieben und noch mal deutlich teurer und aufwändiger.

wenn dir die daten wirklich wichtig sind solltest du sie auf mindestens 3 arten mit unterschiedlichen techniken und systemen aufheben.

5-8 defekte platten in 4 jahren sind aber keine wirklich gute statistik.

ich habe in den letzten 10 jahren etwa 100 seagate constellation es (inszwischen enterprise capacity) in synolology systemen verbaut. anfangs mit 1tb pro stück über 2,3,4 und inzwischen 10tb pro platte. ohne einen einzigen ausfall.

gruss
  andre

ps: hat jemand interesse an 10 2 tb platten die etwa 2-3 jahre monatsweise in betrieb waren :) ?
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Morgennebel

ZFS nicht wegen der Performance. Jedes NAS der > 1000 EUR Klasse rennt jeden PC an die Wand...

ZFS wegen dem Schutz vor Bitrot: https://en.wikipedia.org/wiki/Data_degradation - zusammen mit ECC-RAM die einzige ausgereifte solide Lösung.

Die Alternative wäre btrfs aber ohne die RAID-Funktionen - d.h. ein LVM und darüber ein btrfs. Das unterstützt Synology out of the box.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

justme1968

ZitatZFS nicht wegen der Performance. Jedes NAS der > 1000 EUR Klasse rennt jeden PC an die Wand..
nein :) ganz sicher nicht.

du wirst kein nas von der stange finden das mit unserem zfs system mithalten kann. zumindest nicht für einen auch nur ansatzweise vergleichbaren preis. auch keine netapp oder emc systeme im mittleren 5 stelligen bereich.

der knackpunkt ist aber nicht mehr raid 6 zu verwenden sondern so viele gespiegelt vdevs wie möglich. wenn man das mit 20 high end sas platten macht und das ganze mit 256gb hauptspeicher und 2x10gb netzwerk kombiniert bekommst du ein system das problemlos eine drei stelligen zahl an vms und homverzeichnisse für 50 anwender verkraftet. das macht kein anderes nas zu diesem preis. eine netapp für den dreifachen preis geht ohne all ssd schon bei 3-5 vms komplet in die knie.


die datensicherheit ist ein argument. das gilt aber für den typischen durchschnittlichen heim anwender nur beschränkt. es reicht halt nicht nur eine kiste in die ecke zu stellen und zu denken das reicht. von usv über zweites und dritten backup (auch off line und off site) über tatsächliches restore versuche bis hin zu einem wenigstens halbwegs temperierten zimmer statt den 50 grad unterm dach kommt da einiges zu sammeln über das man sich beim guten alten schuhkarton mit altmodischen papierbildern keine gedanken machen muss.

gruss
  andre
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Morgennebel

Ich folge Dir nicht ganz...

Ein PC mit einer Gigabit-Karte überträgt max 125 MByte/s dauerhaft. Das ist mit einer SSD zu schaffen. Die aktuellen Synology-Geräte liegen bei bis zu 5000MByte/s lesend und 2000 Mbyte/s schreibend. Das sind viele PCs.

Es ist auch nicht zu erwarten, daß ein normales Homeverzeichnis diese Datenmenge für mehrere Minuten benötigt. Oder gar dauerhaft. Das läßt sich also deutlich überbuchen.

Deinem letzten Ansatz stimme ich Dir voll zu - Offsite Backup ist in meinem Vorschlag enthalten, die Übung erforderlich. Aber Dein Schuhkarton mit Papierbildern verbrennt beim Feuer ganz schnell und hätte kein Offsite Backup.

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

justme1968

in der beschreibung oben stehen 2x 10gb  netzwerk :)

die 5000mb gelten aber nur fürs lesen und vermutlich auch nur aus dem cache. ein raid6 lässt sich nicht so schnell beschreiben da die performance nicht wirklich mit der anzahl der platten skaliert. das system ist im prinzip so schnell bzw langsam wie die langsamste platte im raid verbund. das gilt für alle konventionellen raid systeme. auch für raidz und raidz2. auch für netapp wafl.

wenn man das zvol aber aus vielen gespiegelten zdevs mit jeweils 2 oder 3 platten aufbaut skaliert das ganze fürs lesen und schreiben tatsächlich sehr gut mit der anzahl der platten. und wenn es eng wird einfach zwei neue platten dazu.

sobald man in ein multi user szenario kommt ist auch die sequentielle performance nur noch ein kleiner teil des gesamtbildes. da werden ganz schnell die seek times und random zugriffe viel wichtiger. auch hier ist raid6 nicht optimal. bei einem backup system wie hier angesprochen spielt das alles keine rolle. bei einem produktiv system auf dem vms, user, datenbanken, ... läuft sind die beiden synology zahlen nicht mehr realistisch. schon garnicht mit konventionellen platten. mit einem zfs system bin ich auch praktisch über den theoretischen zahlen von oben. sogar mit (fast) konventionellen platten. mit ssd noch mal um den faktor 10 schneller.


ein schuhkarton ja, zumindest von bildern kann genau so einfach gleich mehr als einen abzug machen und an anderen stellen aufbewahren. alles digital aufzubewahren hat viele vorteile. aber eben nicht nur. ganz altmodisch und analog muss man sich in manchen bereichen weniger sogen um die haltbarkeit machen. aber das ist off topic.
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Wernieman

ZFS ist ja schon und gut .. aber auch nicht DAS ware ... schon mal bei defekten versucht, es zu reparieren? (Ich zu meinem Leidwesen :o( )

In der ganzen Auflistung fehlt mir eigentlich auch noch der Bereich: Kosten!

Mit einem "normalen" NAS und einem "ordentlichen automatischen Backup" kann man schon viel reißen. meistens wird zwar ein "ordentlichen NAS" gekauft/gebaut, aber das Backup vergessen! JEDER Raid Level (und auch ZFS) sichert nur die bereitschaft, vor Fehlern z.B. durch user/viren etc. hilft NUR ein Backup.

Entweder in der Cloud (bitte Datenschutz beachten) oder externe Lösung (z.B. bei einem Freund?)
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

justme1968

deshalb:
Zitatzweites und dritten backup (auch off line und off site)

ja. das 'automatisch' im backup ist noch ein argument für synology beim heimanwender. da geht out of the box spiegeln und backup auf andere systeme auf knopfdruck. auch gegenseitig zu einem freund.
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Thorsten Pferdekaemper

Hi,
vielen Dank nochmal für die vielen Anregungen. Ich glaube, dass ich mich so langsam auf eine Art Konzept festlege. Es geht mir momentan vor Allem um die Sicherheit meiner Daten. Wahrscheinlich werde ich mir einen zentralen Backup-Server hinstellen. Für das Ding ist Preformance erstmal zweitrangig. Selbst wenn es mehrere Tage dauern würde, Daten wiederherzustellen, wäre das auch nicht schlimm. Es sollte halt nur sicher sein, dass es geht.
...aber erstmal ein paar Fragen bzw. Kommentare zu Euren Posts.

Zitat von: Morgennebel am 13 Oktober 2016, 16:56:19
EXT4, BTRFS, JFS und XFS erfüllen die Anforderungen nicht...
Was fehlt denn Deiner Meinung nach in Btrfs gegenüber ZFS? (Jetzt mal außer Raid5/6.)
Bei Btrfs gefällt mir, dass es inzwischen sozusagen in Linux zum Standard gehört und dass das Raid sozusagen auf Dateiebene funktioniert.

Zitat
1.USV mit USB/Seriell
Wenn ich mir nur ein reines Backup-System hinstelle, dass ggf. tatsächlich nur zum Backup einmal am Tag hochgefahren wird, brauche ich dann wirklich eine USV? Eigentlich sollte Btrfs oder auch ZFS immer einen sauberen Stand haben. Wenn jetzt tatsächlich ausgerechnet beim Schreiben des Backups der Strom ausfällt, dann ist eben die letzte geschriebene Datei kaputt. Es ist aber immer noch "nur" das Backup und die Wahrscheinlichkeit, dass dieselbe Datei auf dem Originalsystem auch nicht wiederherstellbar ist, ist ziemlich gering. ...oder?

Zitat von: pcbastler am 13 Oktober 2016, 20:52:46
Das ist aber nur die Hardware-Seite. RAID & Co. schützen nicht vor versehentlichen Löschen und anderen Fehlbedienungen. Für die Archivierung von Dokumenten suche ich auch noch ein ordentliches DMS, das soll dann auch vor Nutzerfehlern (und "böser" Software) schützen.
Hierzu ist mein Plan, regelmäßig Snapshots auf dem Backup-System zu machen. Mit Btrfs oder ZFS geht das wohl recht einfach. Also im Prinzip vor jedem Backup-Lauf immer ein Snapshot auf dem Backup-System. (...oder eben inkrementelle Backups mit so etwas wie rdiff-backup.)

Zitat von: pcbastler am 15 Oktober 2016, 10:56:55
Der HP ProLiant Gen8 MicroServer wird in solchen Fällen gern genommen.
Scheint zumindest eine bezahlbare Lösung zu sein. Irgendwas für's 19 Zoll Rack wäre natürlich schöner.
Ich habe bei dem Teil mit Problemen gelesen, wenn man bestimmer Linuxe drauf einsetzt. Es gab da wohl was mit dem Lüfter. Im Prinzip wäre das nicht schlimm, da das Teil sowieso in den Keller kommt. Allerdings überlege ich mir auch gleich, etwas ähnliches als NAS (also nicht Backup) zu machen, da wäre es nett, wenn das Ding ohne Belastung leise wird. 

Zitat von: Morgennebel am 15 Oktober 2016, 11:07:01
habe ich mich für QNAP/Synology entschieden.
Ich habe hier auch was von QNap stehen. Ich bin aber wahrscheinlich für diese dämlichen Weboberflächen zu alt oder zu dumm. Ich blicke bei dem Teil nie wirklich, was ich da mache. Außerdem bin ich mir nicht ganz so sicher, was passiert, wenn das System mal kaputt geht. Keine Ahnung, ob ich dann meine Dateien wieder zusammenfinde. Ich hätte da schon gerne ein System, dass ich einigermaßen durchschaue.

Also momentan sieht meine Planung so aus, dass es einen reinen Backup-Server gibt:

  • HP ProLiant Gen8 MicroServer
  • 2 Platten mit je 4TB (oder so) Dann habe ich noch zwei Slots frei für später.
  • Debian (weil ich's gewohnt bin...)
  • Btrfs mit Raid1
  • Gebootet wird von SD-Karte (ich denke, dass man sogar eine direkt im Gehäuse unterbringen kann) Ich will nur die Daten auf den Platten haben.
  • APC USV (Ist das wirklich notwendig? Eigentlich sollte Btrfs oder auch ZFS immer einen sauberen Stand haben.)
Außerdem habe ich noch eine alte QNap TS-210 mit 1TB Netto im Raid1. Dem Ding will ich dann auch mal größere Platten spendieren. Langfristig soll das Teil auch durch ein ordentliches NAS ersetzt werden.
Der Backup-Plan geht dann in etwa so:
Irgendwann nachts fährt das Teil hoch und mach einen snapshot. Dann werden die sich geänderten Daten (rsync oder so) vom NAS (und FHEM-Server(n)) geholt. Außerdem wird es ein Verzeichnis mit "wirklich wichtigen" Sachen geben, die dann "in die Cloud" gesichert werden.

Es wäre schön, wenn sich jemand tatsächlich die Mühe gemacht hat, bis hier zu lesen. Weitere Kommentare sind willkommen.

Gruß,
   Thorsten

FUIP

justme1968

deine daten bzw. das filesystem sind genau dann am meisten gefärdet wenn sie geschrieben werden. und das ist genau dann der fall wenn das backup läuft.

auch wenn aktuelle journaling filesysteme vorsorge treffen um die daten so sicher wie möglich in mehreren schritten zu schreiben, wenn der stromausfall im falschen augenblick kommt kann alles mögliche schief gehen. bis hin zur platte die in diesem augenblick mist macht. gerade bei zfs wird auch eine usv und ecc ram dringend empfohlen weil sehr viel im ram passiert. es kann mehr kaputt gehen als nur die letzte datei.

eine passende usv ist für 150 euro zu bekommen. das ist im vergleich zum gesamt system durchaus überschaubar. meiner meinung nach wäre da an der falschen stelle gespart. wenn dir deine daten wirklich wichtig sind kauf dir eine usv. auch wenn sie nie zum einsatz kommt.


snapshots auf dem gleichen system sind gut, reichen aber nicht aus. wenn dein filesystem kaputt geht sind auch die snaphosts weg.


auf eine sd karte würde ich nicht unbedingt gehen. sogar usb sticks die speziell als zuverlässige boot medium konzipiert sind vertraue ich nicht mehr. die sind mir auch schon kaputt  gegangen.

gruss
  andre
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Thorsten Pferdekaemper

Hi,
ok, USV ist dann mit dabei. Da kann ich dann ggf. auch gleich den FHEM Server mit dranhängen. ...wobei: geht das überhaupt, wenn man auch das automatische Herunterfahren haben will?

Zur SD-Karte: Wenn die kaputt geht ists ja fast egal. Dann geht halt das Backup einmal nicht, aber Daten gehen deshalb keine verloren. Was wäre denn die Alternative?

Gruß,
Thorsten
FUIP

justme1968

mit den network ups tools kannst du auch mehrere systeme runter fahren lassen. es gibt auch ein fhem modul dafür.

wenn du keine platte/ssd willst wäre usb immer noch  besser als sd.

das system mit auf den daten platten zu haben hätte aber den vorteil das es tatsächlich komplett eigenständig ist und du nur diese ein/zwei platten an einen anderen rechner stecken musst. du hast eine potentielle fehlerquelle weniger und nebenbei hast auch das system per raid1 gesichert.

gruss
  andre
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Thorsten Pferdekaemper

Hi,

ok, das mit der SD-Karte überlege ich mir noch. Anscheinend hat das Ding ja auch einen internen USB-Port. Vielleicht kann man da was mit einer kleinen USB-Disk machen.
Meine Überlegung war halt, dass ich die Platten mit den wertvollen Daten nicht mit anderem Kram belaste. Das Betriebssystem halte ich nicht für wertvoll.
Wahrscheinlich installiere ich sowieso alles dreimal, bis es so läuft, wie ich es will...

Von wegen ECC: Ich gehe mal davon aus, dass die HP ProLiant Gen8 MicroServer alle ECC-Ram haben. Es steht zumindest nichts anderes dabei, aber ich habe auch nirgends eindeutig gesehen, dass es ECC RAM ist.

Gruß,
   Thorsten

FUIP

Wernieman

Bitte berücksichtige, das eine USV den Stromverbrauch hochtreibt. Übrigens ist die Notwendigkeit für ZFS genau der Grund, warum ich im Heimgebrauch ZFS etwas kritischer sehe .. zu häufig kann es zu Stromausfällen kommen ...

Anstatt SnapShots würde ich mich mit Backupkonzepten wie z.B. dirvish und derivate anschauen. Die machen konsistente Backups über Hardlinks.
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Morgennebel

Zitat von: Thorsten Pferdekaemper am 16 Oktober 2016, 13:04:05
Was fehlt denn Deiner Meinung nach in Btrfs gegenüber ZFS? (Jetzt mal außer Raid5/6.)

http://phoronix.com/scan.php?page=news_item&px=Btrfs-RAID-56-Is-Bad

btrfs ist derzeit mit RAID5 oder RAID6 komplett unbrauchbar. Synologys Lösung ist LVM plus btrfs darüber - das geht dann wieder.
Debuggen möchte ich aber weder das noch ZFS - da ist ein Standard EXT4 die einfachste Lösung...

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

Thorsten Pferdekaemper

Zitat von: Wernieman am 16 Oktober 2016, 18:20:36
Bitte berücksichtige, das eine USV den Stromverbrauch hochtreibt. Übrigens ist die Notwendigkeit für ZFS genau der Grund, warum ich im Heimgebrauch ZFS etwas kritischer sehe .. zu häufig kann es zu Stromausfällen kommen ...
Ist da Btrfs Deiner Meinung nach stabiler? Wie sieht's mit ext4 aus? Also wenn man nach "ext4 stromausfall" sucht, dann scheint es da auch Probleme zu geben.

Zitat
Anstatt SnapShots würde ich mich mit Backupkonzepten wie z.B. dirvish und derivate anschauen. Die machen konsistente Backups über Hardlinks.
Das mit den Snapshots sieht halt so richtig elegant aus. Ich habe aber auch sowas wie rdiff-backup noch nicht ganz vergessen. Dirvish sieht meiner Meinung nach ähnlich aus. Da man bei rdfiff-backup auch alte Stände mounten kann hat man ja wieder fast so etwas wie Snapshots.

Zitat von: Morgennebel am 16 Oktober 2016, 18:37:30
btrfs ist derzeit mit RAID5 oder RAID6 komplett unbrauchbar.
Das ist bekannt, aber ich will ja kein Raid5/6.

Zitat
Debuggen möchte ich aber weder das noch ZFS - da ist ein Standard EXT4 die einfachste Lösung...
Das habe ich mir auch gedacht. Einfach ist oft auch sicherer, zumindest kann man dann eher noch was retten.

Danke nochmal!
Hardware ist inzwischen bestellt und über die Software muss ich nochmal schlafen.
Gruß,
   Thorsten
FUIP

Morgennebel

Zitat von: Thorsten Pferdekaemper am 16 Oktober 2016, 19:59:39
Das ist bekannt, aber ich will ja kein Raid5/6.

Bitte denke langfristig.Einen RAID-Level im Betrieb zu ändern ist gruselig (ja, es geht, aber wehe die USV versagt). Ich würde eher mehr in Platten invenstieren und von Anfang an mit dem richtigen RAID-Level starten.

Du hast Dich bei 4-Bays auf 2 x RAID1 festgelegt...

Ciao, -MN
Einziger Spender an FHEM e.V. mit Dauerauftrag seit >= 24 Monaten

FHEM: MacMini/ESXi, 2-3 FHEM Instanzen produktiv
In-Use: STELLMOTOR, VALVES, PWM-PWMR, Xiaomi, Allergy, Proplanta, UWZ, MQTT,  Homematic, Luftsensor.info, ESP8266, ESERA

cjung

Eine Idee zum Überlegen:
Neben den ganzen lokalen Sicherungen (bei mir eine Synology ohne RAID mit täglichem inkrementellem Backup auf die zweite Platte und eine weitere USB Platte für ein wöchentliches Vollbackup) mache ich mein Cloud Backup auf verschiedenen NAS von Freunden und Verwandten und nicht bei einem Cloud Anbieter.
Meine Überlegung dabei:
Das Backup "in der Cloud" muss nur den Fall abdecken, der als Continuity Management die kompletten Vernichtung/Beschädigung meiner ganzen lokalen Hardware absichert.
Dazu reicht eine Wiederherstellungszeit von 1 Wochen (private Nutzung) In einem Unternehmen währe sowas nicht akzeptabel. In dieser Woche hätte ich vermutlich andere Probleme als das Backup wieder herzustellen.

Daher mein Vorschlag für Dich: Wenn Du Dein neues NAS fertig und in Betrieb hast, stell dein altes Qnap zu einem guten Freund, mindestens 20km entfernt von zuhause auf, und spiegle Deine Daten dort hin.

Um die Strom und Aufstellungskosten bei den Freuden abzudecken, spiegeln die Ihre Daten zu mir.

Und: Nein, ich habe mir deren Dateien auf meinem NAS auch nicht angesehen.

Raspberry Pi 2 B
Funk: HM_CFG_USB2, HM-CFG-LAN 8*HM_CC_RT_DN, 3*HM-SEC-SD, 3*HM_TC_IT_WM_W_EU, 1*HM-LC-Dim1TPBU-FM,5*HM-SEC-SC-2, 1*HM-SEC-SCo
Wired: HMW: CFG-LAN, 8*LC_Bl1_DR, LC_Dim1L_DR

Thorsten Pferdekaemper

Zitat von: Morgennebel am 16 Oktober 2016, 20:27:50
Bitte denke langfristig.Einen RAID-Level im Betrieb zu ändern ist gruselig (ja, es geht, aber wehe die USV versagt). Ich würde eher mehr in Platten invenstieren und von Anfang an mit dem richtigen RAID-Level starten.
Ich habe für mich entschieden, dass für mich Raid1 der richtige Level ist. Bei Raid5/6 gefällt mir nicht, dass im Prinzip keine Datei komplett auf einer Platte liegt. Bei Raid1 kann ich zur Not einfach eine der Platten nehmen und an irgend einen Rechner hängen. ...zumindest so lange der das Dateisystem kann.
Sollte ich das Raid-Level tatsächlich in ein paar Jahren mal ändern wollen, dann sieht sowieso wieder alles ganz anders aus. Dann stecke ich da einfach eine quantenverschränkte Doppel-Exabyte-Platte rein und gut ist. ;-)
Im Ernst: Bei meiner momentanen Planung können bis zu drei Platten kaputt gehen und für die ganz wichtigen Sachen gibt's noch ein Cloud Backup. Ich denke mal, dass mir das für die nächsten Jahre reicht.

Zitat von: cjung am 16 Oktober 2016, 21:28:34
mache ich mein Cloud Backup auf verschiedenen NAS von Freunden und Verwandten und nicht bei einem Cloud Anbieter...
Das hat was, aber mein QNap ist sozusagen das Live-System, das kann ich erstmal nicht weggeben.
Im Prinzip gebe ich Dir schon Recht. Allerdings ist die Cloud inzwischen so billig geworden, dass es sich kaum noch lohnt, ein zweites System bei einem Freund hinzustellen. Es gibt natürlich noch andere Gründe als den Preis...
Gruß,
   Thorsten
FUIP

Wernieman

- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

drhirn

Hmm, das Thema gehen einige sehr "high-end" an. RAID5/6 sind dann doch einige Platten, die schon ein bißchen Strom brauchen. Und Lärm machen. Und für jemanden, der sich nicht oft damit beschäftigt, eine ziemliche Herausforderung (Einrichtung, Wartung, etc.).

Ich würde für den Hausgebrauch da eher etwas einfacheres empfehlen. Und v.a. komplett auf RAID od. "exotische" Dateisysteme verzichten. Sofern sich das nicht alles mit klicki-klicki auf einer Weboberfläche administrieren lässt - was ich nicht beurteilen kann.

Ich hab mir irgendwann mal einen kleinen Server zusammengeschraubt. Der ist allerdings mehr auf Stromsparen und geringe Lärmentwicklung getrimmt, als auf Datensicherheit. Da liegen alle Daten drauf und werden mit einer Cloud-Lösung synchronisiert. Aber nur manuell, wenn's Änderungen gibt.
Und dann gibt's noch regelmäßige Backups bei größeren Änderungen auf zwei externe Festplatten. Wobei eine davon außer Haus gelagert ist.

Die Platten im Server und die externen werden alle 2 Jahre mal ausgetauscht.

Meiner Meinung nach reicht das vollkommen und ist ziemlich einfach zu handhaben. Restrisiko hab ich natürlich (unbemerkte Bitfäule z.B.), aber damit kann ich leben.

Thorsten Pferdekaemper

Zitat von: drhirn am 19 Oktober 2016, 20:22:21Ich würde für den Hausgebrauch da eher etwas einfacheres empfehlen. Und v.a. komplett auf RAID od. "exotische" Dateisysteme verzichten.
Naja, zumindest Raid1 ist ziemlich einfach zu verstehen. Sogar meine alte kleine QNap TS-210 kann Raid1.

Zitat
Sofern sich das nicht alles mit klicki-klicki auf einer Weboberfläche administrieren lässt - was ich nicht beurteilen kann.
Gekaufte NASse können das. Nur dass das nicht so ganz das Richtige für mich ist. Man hat zwar eine bunte Oberfläche, aber wenn's mal nicht ganz auf Anhieb klappt, dann wird es schwierig. ...meiner Meinung nach.

Zitat
...Aber nur manuell, wenn's Änderungen gibt.
Und dann gibt's noch regelmäßige Backups bei größeren Änderungen auf zwei externe Festplatten. Wobei eine davon außer Haus gelagert ist.
Das ist ja alles gut, wenn man's dann auch wirklich macht. Das habe ich jetzt ein paar Jahre versucht und die Qualität meiner Backups... Naja. Für mich braucht's da was Automatisches.[/quote]
FUIP

drhirn

ZitatMan hat zwar eine bunte Oberfläche, aber wenn's mal nicht ganz auf Anhieb klappt, dann wird es schwierig. ...meiner Meinung nach.
Ja, mir ist auch lieber, ich weiß, was sich im Hintergrund tut.

ZitatDas ist ja alles gut, wenn man's dann auch wirklich macht. Das habe ich jetzt ein paar Jahre versucht und die Qualität meiner Backups... Naja. Für mich braucht's da was Automatisches.
Korrekt :)
Deswegen hab ich's so gelöst, dass ich nur die externe Festplatte anschalten muss und schon beginnt das Backup. Und die steht in PC-Nähe, ich kann's also gar nicht vergessen.

Beim automatischen Backup ist halt immer die Gefahr, dass einem ein Crypto-Trojaner das Backup verschlüsselt. Oder verschlüsselte Dateien sichert und die "guten" überschreibt.

Wernieman

Dafür ist eine HD "in der Nähe" bei einem Brand auch weg ...

Und einen Automatismus vergisst man nicht.

Übrigens der Hinweis, das Rauid5/6 etc. mehr als eine Platte und damit auch deutlich mehr Stromverbrauch frisst (bei HDWare-Kontrollern erst recht), vergessen die meisten Experten im Hausgebrauch!
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

PeMue

Hallo zusammen,

ich habe jetzt mal die Ganze Zeit mitgelesen, aber ab und zu ein paar Sachen nicht verstanden.

Zitat von: Morgennebel am 13 Oktober 2016, 16:56:19
RAID6 schützt Dich vor dem Festplatten-Ausfall (maximal zwei).
Warum braucht man da unbedingt RAID6? Würde nicht auch RAID1 reichen (ok, das sind nur gespiegelte Platten, aber wenn eine ausfällt, ist die andere immer noch da)?

Zitat von: Morgennebel am 13 Oktober 2016, 16:56:19
Die USV schützt Dich vor dem Stromausfall und Datenverlust.
Was wäre in diesem Fall das "Horror-Szenario"? Stromausfall, wenn ich gerade auf das NAS schreibe und das Dateisystem geht so kaputt, dass beide Platten (ich gehe von RAID1 aus) defekt sind?

Zitat von: Morgennebel am 13 Oktober 2016, 16:56:19
ZFS schützt Dich vor Bitrot.
Was versteht man darunter? Das graduelle "Kaputtgehen" der Festplatten? Kann man das nicht mit SMART oder anderen Tools überwachen?

Meine derzeitig angedachte Konfiguration wäre die folgende:
- DS216j mit 2x2TB in RAID1 (ohne USV)
- externe Festplatte, auf die ich regelmäßige Komplett Backups mache (allerdings stelle ich mir das externe Lagern bei den Eltern, o.ä. schwierig vor)
Wenn ich hier Platten vom selben Hersteller verwende (mit ggf. einem systematischen "Fehler" in der Degradation) würden die doch auch in einer ähnlichen Zeitspanne kaputt gehen, oder (zumindest theoretisch)?

Gruß PeMue
RPi3Bv1.2 rpiaddon 1.66 6.0 1xHM-CC-RT-DN 1.4 1xHM-TC-IT-WM 1.1 2xHB-UW-Sen-THPL-O 0.15 1x-I 0.14OTAU  1xCUNO2 1.67 2xEM1000WZ 2xUniroll 1xASH2200 3xHMS100T(F) 1xRFXtrx 90 1xWT440H 3xTFA30.3150 5xFA21
RPi1Bv2 LCDCSM 1.63 5.8 2xMAX HKT 1xMAX RT V200KW1 Heizung Wasser

justme1968

ZitatWarum braucht man da unbedingt RAID6? Würde nicht auch RAID1 reichen (ok, das sind nur gespiegelte Platten, aber wenn eine ausfällt, ist die andere immer noch da)?

wenn dir der platz den eine platte liefert reicht und geschwindigkeit kein problem ist dann ist raid1 so gut wie raid5. bei beidem kann eine platte ausfallen. mit raid5 bekommst du mehr kapazität und/oder ein schnelleres system durch kleiner und/oder mehr platten. raid5 ist aber durch die prüfsumme etwas besser.

bei raid 6 können zwei platten ausfallen und es können mehr bit fehler erkannt und korrigiert werden.

das sind relevant weil selbst bei den aktuellen enterprise platten die garantierten fehlerraten etwa so gross sind das beim einmal komplette lesen der platte mit einem gekippten bit zu rechnen ist. aktuelle consumer platten haben nur fehlerraten von 2-3 bits pro komplettem lesen.

bei raid1 werden beide platten ziemlich gleich beansprucht. wenn sie aus der gleichen charge sind ist die wahrscheinlichkeit das die zweite genau dann den gleichen fehler zeigt und kaputt geht nicht zu vernachlässigen. das gilt besonders für ssd. ausserdem werden die platten durch das recovery zusätzlich beansprucht. je kürzer das braucht um so besser.

bei vielen kleinen platten ist der ersatz und recovery auch deutlich schneller als bei wenigen grossen.

ZitatWas wäre in diesem Fall das "Horror-Szenario"? Stromausfall, wenn ich gerade auf das NAS schreibe und das Dateisystem geht so kaputt, dass beide Platten (ich gehe von RAID1 aus) defekt sind?
genau. filesystem so kaputt das nichts mehr zu machen ist. bei 'normalen' filesystemen gibt es fsck das meist noch etwas retten kann. journaling filesteme versuchen durch transaktionen das ganze so sicher zu machen das das problem nicht auftritt. ob durch design oder implementierungsfehler oder die verkettung unglücklicher umstände gelingt das nicht zu 100%.

'konventionelle' filessteme kann man im worst case eventuell durch kommerzielle 'retten' lassen. bei zfs wäre das ziemlich aussichtslos.

ZitatWas versteht man darunter? Das graduelle "Kaputtgehen" der Festplatten? Kann man das nicht mit SMART oder anderen Tools überwachen?
zum beispiel die oben erwähnten bitfehler. zfs hat mehrstufige prüfsummen die diese verhindern. dafür erkauft man sich eventuell andere risiken. usv zwingend, ecc ram, kein fsck oder recovery.

smart tools helfen bei diesen fehlern nicht. da sie den daten nicht anzusehen sind. jedenfalls nicht ohne eine prüfsumme an genau dieser stelle.


es gibt professionelle systeme die platten von 3 oder 4 herstellern verwenden und die daten auf zwei redundanten systemen spiegeln die unterschiedliche software/firmware stände haben.

ich denke privat ist man mit drei sicherungen an zwei stellen schon ziemlich gut abgesichert. und man sollte nie vergessen das raid/zfs/... kein backup ist und dieses auch nicht ersetzt.

gruss
  andre

ps: 'nur' extern lagern reicht eigentlich nicht. in dem augenblick in dem du die platte bei dir hast um zu sichern ist alles an einem ort. ausserdem: wenn du da alte backup überschreibst und es dabei probleme gibt ist es futsch. externe daten sollte man über mindestens zwei sätze rotieren. dadurch ist beim überschreiben immer noch eines der beiden da und es sind nie alle am selben ort. ob das für den provatgebrauch wichtig ist muss jeder selber entscheiden. aber man sollte zumindest die stolperfallen kennen.
hue, tradfri, alexa-fhem, homebridge-fhem, LightScene, readingsGroup, ...

https://github.com/sponsors/justme-1968

Wuppi68

solte man nicht durch "geschicktes" syncen eine ziemlich gute Ausfallsicherheit schaffen können?

Daily lokale Sicherung
Freitags Home --> Freund A (via rsync)
Donnerstags --> Freund A nach Freund B (via rsync)

Dann habe ich 3 "Generationen" verfügbar und auch an 3 verschiedenen Orten

lokal kann ich etwas schnelles haben und bei den "Freunden" etwas sparsames mit z.B. 8 oder 10 TB Archive Platten in einem einfachen NAS oder vielleicht auch an einem Raspberry PI :-) Geschwindigkeit brauchen wir ja nicht wirklich für nen Backup ...
Jetzt auf nem I3 und primär Homematic - kein Support für cfg Editierer

Support heißt nicht wenn die Frau zu Ihrem Mann sagt: Geh mal bitte zum Frauenarzt, ich habe Bauchschmerzen

Thorsten Pferdekaemper

Hi,
inzwischen hat sich bei mir einiges getan. Ganz fertig ist das Setup noch nicht, aber möglicherweise interessiert sich ja jemand dafür.

Hardware


  • HP ProLiant Gen8 MicroServer - Celeron G1610T (Das ist der Backup-Server.)
  • Festplatten: 2 6TB WD Red Festplatten
  • Ein 32GB USB-Stick für's Betriebssystem
  • Ein Werbegeschenk-USB-Stick mit 128MB als Installationsmedium
  • Eine alte NAS: QNap TS-210 (Das ist sozusagen das Live-System.)
  • ...mit 2 neuen Platten: 4TB WD Red
  • Eine (auch etwas ältere) 1TB-USB-Platte als "Zwischenlager"

Setup Backup-Server
Diese ProLiant-Teile haben ein so genanntes "Intelligent Provisioning", das einem irgendwie helfen soll, die aktuelle Firmware zu bekommen. Außerdem gibt es andere gaaanz tolle Dinge auf den Teilen, die aber alle nicht richtig funktionieren wollten. Trotz Registrierung mochte das Teil mein Netzwerk nicht. Außerdem haben diese Tools es auch nicht gemocht, dass ich das System erstmal ohne Festplatten eingerichtet habe.
Das einzige, was wirklich funktioniert hat, war das gute alte BIOS-Setup, in dem ich statt dem Hardware-Raid "AHCI" gewählt habe.

Der Server hat im Gehäuse einen USB-Slot und einen SD-Card Slot. Das kam mir gelegen, da ich das Betriebssystem nicht auf den Daten-Platten haben will. Jetzt ist das ganze nicht ganz so einfach wie bei einem RasPi. Man braucht also einen Monitor, eine Tastatur und ein Installationsmedium. Zum Glück lag noch irgendwo ein USB-Stick rum. Naja, 128MB ist nicht gerade viel. Es gibt aber einen aktuellen Debian-Installer, der nur 29MB braucht.
Also wie bei einer RasPi-Installation per Win32DiskImager das Installationsimage auf den Mini-Stick geflasht, den 32GB-Stick innen rein und den 128MB-Stick außen. ...und starten.
Die Installation hat auf Anhieb geklappt, nur dass der nächste Reboot nur eine Fehlermeldung brachte. Das Problem war, dass der Installer nur eine Partition fabriziert, die aber anscheinend für's BIOS beim Booten zu groß ist. Also alles nochmal und beim Installieren eine eigene /boot Partition am Anfang des 32GB-Sticks erstellt.
Jetzt klappt auch der Reboot.

Nächster Schritt: Festplatten einbauen. Das ist einfach...
Das Dateisystem soll ein ext4 auf einem normalem Software-Raid1 sein. Also mit mdadm ein Raid1-Device (/dev/md0) aus /dev/sda und /dev/sdb erstellen. Manche Anleitungen sagen zwar, dass man die Platten erst Partitionieren muss, aber das war zumindest bei mir unnötig.
Das Syncen der Platten kann man mit "cat /proc/mdstat" beobachten. Am Anfang erschien das furchtbar langsam, aber irgendwann lief's dann schneller. Man muss aber nicht darauf warten.
...also gleich mkfs.ext4 und das ganze in die /etc/fstab eingetragen.

"Upgrade" der Qnap TS-210
Blöderweise gibt es bei dem Teil keine Möglichkeit, die Festplattenkapazität zu vergrößern. (Auch nicht, wenn man erstmal eine austauscht, dann Raid-Sync, dann die andere etc.)
Also mit dem QNap "Backup" alles auf eine externe USB-Disk, die alten Platten raus und neue rein.
Beim nächsten Start merkt das Teil, das alles neu ist und lässt sich komplett frisch aufsetzen. Das war sowieso mal fällig... Man darf wohl nur nicht den Fehler machen, den ganze Multimedia-Kram zu aktivieren. Das einzige, was das Teil wirklich schafft ist der Minim-Server.
Jetzt per Qnap-Backup alles wieder zurückspielen. Blöderweise gibt das immer nach etwa 1000 Dateien auf, obwohl das Backup durch genau dieses Tool geschrieben wurde. Na dann eben ssh und cp, das klappt.

Spaßeshalber habe ich ausprobiert, ob QSync jetzt besser klappt als vorher. In der Tat, das tut es. Jetzt werden die Fotos von unseren Smartphones automatisch gespeichert und die Laptops habe sowas wie eine private Dropbox.

...to be continued.
Gruß,
   Thorsten

 

FUIP

Thorsten Pferdekaemper

Hi,
so, jetzt geht's weiter mit der rdiff-backup Installation. Doch zuerst zu meinem Plan: Die Idee ist, die QNap-Kiste per rdiff-backup auf den Backup-Server zu sichern. Um das Zurückholen und Überprüfen der Backups einfach zu gestalten, sollen die Backups per rdiff-backup-fs gemountet und per Samba-Share zur Verfügung gestellt werden.

Installation von rdiff-backup auf QNap TS-210
Damit rdiff-backup richtig funktioiert, muss es auf beiden Systemen installiert sein. Für die QNap-Kisten gibt es dazu Anleitungen, die aber so nicht (mehr) funktionieren. Das liegt daran, dass Optware nicht mehr unterstützt wird. Man findet dann irgendwo Entware, aber das wurde jetzt wohl durch Entware-ng ersetzt. Der Rest geht sinngemäß...
Also rdiff-backup ließ sich mit Entware-ng installieren. Allerdings heißt es bei rdiff-backup, dass die Versionen auf beiden Maschinen gleich sein sollte. Also:

[~] # rdiff-backup -V
rdiff-backup $version

Super... Die Version ist "$version". Zumindest erzeugt der Aufruf keine Fehlermeldung. Es hat sich am Ende herausgestellt, dass das nur eine Warnung erzeugt, aber es scheint alles ganz normal zu funktionieren.

Installation von rdiff-backup und rdiff-backup-fs auf dem Backup-Server
Das ging problemlos mit apt-get. Ich habe auch gleich rdiff-backup-fs mitgenommen.
Von der Kommandozeile aus funktioniert rdiff-backup jetzt. Bei ersten Mal hat es natürlich eine Weile gedauert, danach aber nur noch ein paar Sekunden.
Das ganze mounten per rdiff-backup-fs war erstmal auch kein Problem. Das Ergebnis sieht dann so aus:

thorsten@backupserver:/backup-fs$ ls -ls
insgesamt 0
0 dr-xr-xr-x 12 root root 4096 Okt 23 19:58 2016-10-23-10-05-42
0 dr-xr-xr-x 12 root root 4096 Okt 23 19:58 2016-10-23-14-08-58
0 dr-xr-xr-x 12 root root 4096 Okt 23 19:58 2016-10-23-17-55-00
0 dr-xr-xr-x 12 root root 4096 Okt 23 19:58 2016-10-23-17-57-18
thorsten@backupserver:/backup-fs$

D.h. jeder "Snapshot" wird als eigenes Verzeichnis dargestellt, das die kompletten Daten zu dem entsprechenden Zeitpunkt zu enthalten scheint.

rdiff-backup-fs und Samba
Jetzt wurde es etwas abenteuerlich. Man könnte meinen, dass das ganz einfach wäre. Den Mountpoint vom rdiff-backup-fs in Samba als read-only freigeben und das war's. Tja, alle Versuche enden auf der Windows-Seite immer mit etwas wie "Zugriff verweigert".
Nach einigem Suchen zu rdiff-backup-fs und anderen "fuse"-Dateisystemen habe ich die fuse-Option "allow_other" gefunden, die das Samba-Problem normalerweise löst. Dummerweise kann rdiff-backup-fs aber keine allgemeinen fuse-Optionen. ...zumindest laut man-Page.
Jetzt habe ich aber irgendwo was gefunden, was tatsächlich rdiff-backup-fs mit fuser-Optionen benutzt. Also das ganze bei git gefunden und den Sourcecode betrachtet. Laut Sourcen geht das, aber bis etwa vor 6 Jahren gab es genau da einen Bug. Also Sourcen von git geholt und das ganze mal selbst zusammengebaut (ok, das hat auch etwas gedauert). Damit klappt's dann auch mit Samba, wenn man die Option "-o allow_other" verwendet.
...naja, fast. Die Dateinamen der Verzeichnisse auf den Linux-Seite enthalten ":" (also nicht so wie oben, das ist nach meinen Änderungen). Nach einer kleinen Änderung in den Sourcen klappt jetzt auch das. (Siehe Screenshot.) Wenn sich jemand für die rdiff-backup-fs-Version interessiert, bitte Bescheid sagen.

Blöderweise habe ich gerade gemerkt, dass sich über das Share die Dateien selbst nicht runterladen lassen. ...aber das wird sich auch noch hinbiegen lassen.

Gruß,
   Thorsten
FUIP

Thorsten Pferdekaemper

Hier ist jetzt auch der Patch, der das letzte Problem mit rdiff-backup-fs hinbiegt:
https://github.com/rbrito/rdiff-backup-fs/issues/11
Gruß,
   Thorsten
FUIP

Thorsten Pferdekaemper

Hi,
inzwischen habe ich eine (meiner Meinung nach) ganz gute Lösung gefunden. ...aber nicht mit rdiff-backup. Es sieht so aus, als ob rdiff-backup nicht wirklich weiterentwickelt wird. Es gab damit mehr und mehr Problemchen. Ich hatte dann mal kurz mit dirvish angefangen, aber damit bin ich auch nicht wirklich klargekommen.
Also die Platten wieder platt gemacht und dann doch btrfs drauf. Die Möglichkeit, einfach mal schnell einen Snapshot zu erzeugen oder wegzuwerfen ist für ein Backup-System schon richtig gut. 
Ein Backup geht dann einfach, indem man die Daten per rsync in ein Subvolume schiebt, und davon dann einen Snapshot macht. So ungefähr sehen meine Backup-Skripte aus:   
 
 
#!/bin/sh
COMMAND="rsync --progress --archive --one-file-system --hard-links --inplace --delete --delete-excluded --include-from=/var/backups/rsync/backup-list-kellerassel kellerassel::root /backup/kellerassel/next"
export RSYNC_PASSWORD="<something more or less secret>"
#run rsync
stdbuf -oL $COMMAND
# if this went ok, create a new snapshot and soft-link it to .current
if [ $? -eq 0 ]
then
    NEWNAME="`date +'%Y-%m-%d.%H-%M-%S'`"
    /sbin/btrfs subvolume snapshot /backup/kellerassel/next /backup/kellerassel/$NEWNAME
    rm /backup/kellerassel/current
    ln -s /backup/kellerassel/$NEWNAME /backup/kellerassel/current
else
    echo 'Something went wrong with rsync'
fi

Die Dinger sind über cron automatisiert, so dass ich jeden Morgen ein Protokoll über das nächtliche Backup bekomme.
Über /backup/kellerassel/current kann man dann immer auf das neuste Backup zugreifen. Ältere Backups haben Datum und Zeit im Namen.
Das ganze geht auch mit Windows-Rechnern, wobei die Installation von rsync da etwas komplizierter als normal ist.
Die Backup-Verzeichnisse (also eigentlich nur /backup) ist als read-only Samba-Share freigegeben. So kann man dann ganz gemütlich auf alles zugreifen. Das ganze sieht dann so wie im Screenshot im Anhang aus.

Da das alles nicht wirklich Unterverzeichnisse sind, sondern btrfs-Subvolumes, lassen sie sich auch schnell löschen, wenn dann doch mal der Plattenplatz knapp wird. Das dürfte aber noch eine Weile dauern, dank COW.

Wichtige Sachen werden außerdem noch in die Amazon-Cloud geschoben. Das passiert momentan auch über rsync, wobei die Amazon-Cloud über acd_cli gemountet ist. Allerdings geht das sehr, sehr langsam. Das liegt auch daran, dass das ganze jede Nacht abschmiert. Ich glaube, dass das an der kurzen Verbindungs-Trennung der Fritzbox liegt. Dabei bleibt dann entweder acd_cli oder irgendwas im rsync so übel hängen, dass man einen der rsync-Prozesse nicht einmal mehr mit kill -9 abschießen kann. Man muss dann zuerst den acd_cli-Prozess abschießen, dann mit "umount -rl" die Amazon Cloud trennen. Dann "stirbt" auch der rsync irgendwann und man kann von vorne anfangen.
Hat dazu vielleicht noch jemand eine Lösung parat? Möglicherweise ist es aber auch gar nicht so wild. Wenn der initiale Lauf mal durch ist, dann sollte das ja auch nicht immer so lange dauern, dass die Zwangstrennung dazwischenkommt.

Gruß,
   Thorsten



FUIP

Wernieman

Hast Du denn wirklich noch "Zwangstrennung"? Wenn das Telefon auch darüber leuft, macht die TELEKOM die Zwangstrennung nicht mehr ...

Ansonsten knnst Du nur Probieren, die Zwangstrennung nicht in der FritzBox, sondern von Deinem Backupsystem auszulösen:
Zitatrsync-stoppen
AWS unmounten
Trennung und Wiederverbindung auslösen
AWS mounten
rsync wieder starten
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Thorsten Pferdekaemper

Zitat von: Wernieman am 14 November 2016, 09:20:36
Hast Du denn wirklich noch "Zwangstrennung"? Wenn das Telefon auch darüber leuft, macht die TELEKOM die Zwangstrennung nicht mehr ...
Tja, zumindest sagt meine Fritzbox das hier:

14.11.16 03:56:44 Die Internetverbindung wird kurz unterbrochen, um der Zwangstrennung durch den Anbieter zuvorzukommen.

Danke aber für Deinen Hinweis, ich habe das jetzt in der Fritzbox abgeschaltet. Mal sehen, ob die Telekom tatsächlich die Verbindung "ewig" hält.
Auch wenn das jetzt klappt, dann ist es trotzdem ärgerlich, dass acd_cli oder rsync of diese Art und Weise abschmiert. Es kann ja immer mal sein, dass die Verbindung kurzzeitig aussetzt. Eigentlich würde man erwarten, dass das System dann eine Weile wartet und dann normal weitermacht oder aber mit einem Timeout die entsprechenden Prozesse gestoppt werden.

Gruß,
   Thorsten
FUIP

Wernieman

Zitat14.11.16 03:56:44 Die Internetverbindung wird kurz unterbrochen, um der Zwangstrennung durch den Anbieter zuvorzukommen.
Das sagt die FritzBox immer, wenn diese Option angestellt ist.

Hatte "früher" dieses auch bei mir drin, bi ich mal bei heise gelesen habe, das die TELEKOM eigentlich gar nicht mehr Zwangstrennen kann. Wenn in der Zeit ein Gespräch geführt wird, oder ein Anruf läuft ..... seit mehr als ?2? Jahren läuft es jetzt bei mir so ohne Probleme.

Wegen AWS:
Der große Nachteil von Unix ist, das es sehr empfindlich auf "Filesystem-Problemen" reagiert. Wenn eben ein solches "weg" ist .... aber eigentlich haben die "meistn" Treiber mitlerweile dafür "Lösungen" implementiert. z.B. läuft NFS mitlerweile relativ Problemlos. Hier scheint acd_cli nicht sauber genug zu sein. Habe jetzt auf die Schnelle auch keine Lösung finden können ....

Edit:
Da Du dieses nicht immer brauchst, hast Du einen automounter gedacht?
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Thorsten Pferdekaemper

Zitat von: Wernieman am 14 November 2016, 10:25:27Hier scheint acd_cli nicht sauber genug zu sein. Habe jetzt auf die Schnelle auch keine Lösung finden können ....
Da muss ich wohl noch etwas forschen. Da das ganze als FUSE in Python implementiert ist dürfte das auch nicht sooo schwierig sein. Die Frage ist nur, ob mich das noch wirklich interessiert, wenn mal der initiale Upload fertig ist.

Zitat
Da Du dieses nicht immer brauchst, hast Du einen automounter gedacht?
Gedacht schon, aber was würde das momentan bringen? Ich habe ja dauernd Zugriffe und der Mountpoint wird auch als gemountet angezeigt. Unmount geht auch nicht, da rsync darauf zugreift. Da wüsste ich nicht so Recht, was ein Automounter bringen sollte. Später vielleicht mal, wenn nur noch kleine Inkrements hochgeladen werden, könnte so etwas nützlich werden.

Momentan bin ich auch noch am überlegen, ob ich überhaupt bei Amazon Cloud bleibe. Sowas hier finde ich nicht ganz so toll:
"The new Amazon Drive API and SDKs are available by invitation only" (https://developer.amazon.com/amazon-drive).
Das sieht ja fast schon so aus, als ob Amazon das nach und nach "dicht" machen will für freie Entwicklungen. Das sieht bei Dropbox und Google etwas offener aus. Dafür ist die Preisgestaltung bei Amazon wahrscheinlich momentan unschlagbar.

Gruß,
   Thorsten


FUIP