Richtiges Backup und vor allem richtiges Restore

[Ajuba]

Ups. Das ist peinlich, dass ich beim Analysieren der Rechte den Unterschied fhem->pi nicht gesehen hatte. Hab nur auf die rwx geschaut und vor lauter Bäumen den Wald nicht mehr gesehen. 
Weiters , FTP wegen der Sicherheit bleiben zu lassen ist auch kein Problem solange ich über Samba die FTUI HTML fertig entwickeln kann.

Kann/soll man FTP am Raspberry komplett abdrehen? Hab dazu im Internet noch nichts gefunden sondern immer nur über die Rechte Vergabe.

Samba hat dann aber wohl auch ein Gefahrenpotential. Oder  sehe ich das falsch?
Und dann müsste man wohl SSH auch abdrehen, oder?
Aber solange ich mein Fhem entwickle brauche ich doch irgendwas!? Wenn ich ganz paranoid bin müsste ich am Raspi  Fernseher und Tastatur anhängen und mir die geänderten htmls immer so vom Notebook holen.
Meine Frau würde sich freuen wenn für die nächsten Wochen der Fernseher abends immer blockiert wäre. 

Also ich plane nun das Projekt mittels Samba und ziemlich langem, sicheren Passwort fertig stellen.
Kann mir noch jemand sagen wie ich ftp komplett abdrehe?



Gesendet von meinem SM-G920F mit Tapatalk

[Otto123]

Hi,

also bei mir ist per default nur ssh aktiv und das nicht mal mehr im neuesten Raspbian Image.
FTP müsstest Du also aktiviert haben.

Samba und ssh sind ne andere Nummer als ftp -> authorisierung ist anders!
Und solange Dein Pi nicht per Portfreigabe im Internet steht ist erstmal die direkte Gefahr nicht so groß.

Gruß Otto

[Wernieman]

also .. wenn ssh Unischer wäre, würden definitiv praktisch alle Unix Server und damit praktsiche alle Internetserver im Weltweitem Netz unsicher sein ... hoffen wir mal, das dieses nicht der Fall ist ;o)

Was natürlich nicht heißt, das man bei der Konfiguration nicht etwas aufpassen muß. z.B. kein root login etc.

samba dagegen ... es ist eher ein "Leistungsproblem". Ich würde an Deiner Stelle samba nach dem Entwickeln abschalten.

Wegen ftp ... weist Du, welchem FTP-Deamon Du installiert hast? Wenn nein .. gib uns doch mal ein:

Code Auswählen Erweitern

ls -lha | grep -i ftp

[pcbastler]

Mein debian (ok, ist kein Raspi) ist von aussen nur per SSH (auf anderem Port und Authentifizierung per Zertifikat) erreichbar, darüber klappt dann auch SFTP. Wenn das öffentlich nicht erreichbar ist (und in der Familie keine kleinen Hacker unterwegs sind ) würde ich Samba und FTP nicht so eng sehen.
Kurz zum Hintergrund:
- FTP überträgt Nutzer und Passwort unverschlüsselt
- SMB überträgt je nach Version Nutzer und Passwort unverschlüsselt oder verschlüsselt
- SSH verschlüsselt alles

[Ajuba]

Ich hab meine ganze dokumentierte Raspi Installationshistorie durchgesehen und wäre mir nicht bewusst, FTP installiert oder aktiviert zu haben.
Aber ich habe bei Filezilla gesehen, dass ich mich gar nicht über FTP (Port 21) sondern SFTP (Port 22) verbunden habe weil die Verbindung über Port 21 verweigert wurde.
Habe nun nachgelesen, dass SFTP für SSH FTP steht. (Wusste gar nicht, dass es das auch gibt)
Heißt das nun, dass es über SSH läuft und somit genau so sicher wie SSH ist?
Übrigens

Code Auswählen Erweitern

ls -lha | grep -i ftp
ergibt rein gar nichts. Keine Ausgabe. Es kommt einfach wieder die Eingabeaufforderung.

[Wernieman]

Wenn Du kein FTP-Server laufen hast, dann ist diese Ausgabe so O.K.

sftp geht über ssh. ist analog wie scp .. bzw. für Windowsuser winscp.

Aber jetzt verlassen wir den "Thread Titel" Backup und Restore

[Ajuba]

1. Nachdem nun geklärt ist, dass es kein FTP sondern sicheres SFTP ist, habe ich entsprechend abc2006

Code Auswählen Erweitern

chmod g+w /opt/fhem/
bzw. weil die Rechte nicht reichten

Code Auswählen Erweitern

sudo chmod g+w /opt/fhem/
ausgeführt um Schreibrechte für dialout (pi) zu bekommen.
Das Ergebnis ist, dass der Raspi so langsam reagierte, dass ich wegen timeout mit Filezilla nicht verbinden konnte und auch mit putty komm ich nicht mehr ran. Der erste Einsatzfall für mein erstelltes Image - gut, dass ich es gemacht habe.
Was kann da falsch gelaufen sein?


2. Ich habe mich für die von Otto favorisierte Sicherungs-Variante mit SD-Karte raus / Image schreiben entschieden
Das dauert aber bei meiner 32GB SD-Karte ca. 45 Minuten und verbraucht nebenbei sinnlos viel Platz
Darum möchte ich nochmal fragen, warum ich das nicht in 2 Partitions (System / Daten) aufteilen soll:
Eine Partition mit ca. 4GB für Linux inkl. Fhem
Eine zweite Partition mit dem restlichen Platz (ca. 28 GB) wohin ich dann auch gleich die Fhem-Logfiles und Fhem-Backups speichere .
Idealerweise sollen die Fhem Logfiles und Backups automatisch regelmäßig aufs NAS kopiert werden.
Wenn es nur ein Fhem Problem gibt kopiere ich das Backup von der Daten-Partition zurück. Wenn es richtig gekracht hat, spiele ich in wenigen Minuten das Letzte Image zurück. Idealerweise überschreibe ich nur die System Partition (Keine Ahnung, ob das mit Win32Diskmanager geht). Falls nicht, überschreibe ich halt alles und muss mir nachher dir Daten Partition wieder erstellen - auch nicht schlimm.
So kenne ich es von der DOS/Windows Welt und bin bisher gut damit gefahren.
Ist das denkbar, unmöglich, zu kompliziert?


Das Expand bei der Erstinstallation verhindern funktioniert wie Otto weiter oben beschrieben hat.
Aber nun stehe ich an: welches Partition Tool, wie vergrößert man die System Partition, wie erstellt man die Daten Partition, wie definiert man in Fhem die Speicherorte auf der anderen Partition?


Was meint ihr dazu?

[budy]

Moin,

ich mache das etwas anders. Ich habe einmal ein Image der SD-Karte mittels dd erzeugt und habe die auf einen NFS share geladen. Wenn ich ein Backup machen möchte, dann mounte ich die root-Partition aus dem  Image über das loop-Device und fahre einen rsync zwischen dem aktuellen System und dem gemounteten Image. Anschließend unmounte ich das Image wieder und gut ist. Das dauert nur ein paar Minuten...

Sollte meine SD-Karte mal den Geist aufgeben, dann nehme ich mir das Image und schreibe es zurück auf eine entsprechend große SD-Karte...
Das ganze geht über ein kleines Skript, welches bei mir so aussieht...

Code Auswählen Erweitern

root@pi2:~/Software/skripte# cat piBackup.sh
#!/bin/bash
. /etc/profile
DATE=$(date +%Y.%m.%d)

# pi2 imaga mounten
losetup -o 939524096 /dev/loop0 /var/lib/owncloud/pi2.img
# fsck auf imaga
fsck -fvy /dev/loop0
# mounten nach /mnt
mount -t ext4 /dev/loop0 /mnt
# rsync ausfuehren
rsync -av --progress --one-file-system --delete --exclude -/var/swap --exclude -/dev --exclude -/proc --exclude -/sys --exclude -/tmp / /mnt
# mysql-Dateabanken komplett dumpen
mysqldump --lock-tables -uroot -P --all-databases --add-drop-database  --allow-keywords --complete-insert --quote-names > /mnt/root/backup/mysql_$DATE.sql
mysqldump --lock-tables -uroot -P --databases configDB fhemPowermeter fhemSensors fhemThermostate fhemWeather netatmo --add-drop-database  --allow-keywords --complete-insert --quote-names > /mnt/root/backup/fhem_$DATE.sql
# image unmounten und deaktivieren
umount /mnt
losetup -d /dev/loop0

...nebenbei werden auch noch zur Sicherheit die Tabellen der MySQL-DB exportiert. Der einzige Knackpunkt ist es herauszufinden, wo im Image die root-Partition liegt, das hängt von der Größe ab und muss einmal ermittelt werden. Dazu gibt es aber im Web einige Tuts, die das sehr schön erklären.

Gruß,
Stephan

[Otto123]

Hi,

dann nehme ich mir das Image und schreibe es zurück auf eine entsprechend große SD-Karte...

Dafür ist es eine gute Idee das Volume etwas kleiner als die SD zu machen. 32 GB SD sind nicht immer gleich 32 GB SD
Sonst muss man jedesmal die nächste Größe kaufen 

Gruß Otto

[budy]

Ja, das gilt eigentlich ja immer, wenn man mit Partitionen arbeitet... Dumm nur, wenn man dann irgendwann das Setup die Partition selbständig auf den restlichen Platz erweitert... Ich meine bei meinem Setup war das so, dass nach dem initialen Boot und der Installation, beim nächsten Boot die root Partition automatisch erweitert wurde - so ganz kann ich mich aber nicht mehr dran erinnern.

...und zum Glück ist meine ja nur 15G...

[Otto123]

Dumm nur, wenn man dann irgendwann das Setup die Partition selbständig auf den restlichen Platz erweitert... Ich meine bei meinem Setup war das so, dass nach dem initialen Boot und der Installation, beim nächsten Boot die root Partition automatisch erweitert wurde - so ganz kann ich mich aber nicht mehr dran erinnern.

Ist so!
Habe ich überprüft ->

Die aktuelle Raspbian Version erweitert allerdings das SD Card Image automatisch.
Dafür ist der Eintrag init=/usr/lib/raspi-config/init_resize.sh in der /boot/cmdline.txt verantwortlich. Wenn man den löscht wird das Volume nicht automatisch erweitert.

Gruß Otto

[Brice]

Eine Frage: warum nutzt ihr SD-Karten > 8GB?

Ich nutze für meine Installationen Karten von 2GB bis 8GB. Die letzte 4 GB-Karte hatte ich vor ca. 6 Wochen für einen Pi 2B gekauft. Ok, ist zwar nur Class 4, aber funktioniert auch. Logfiles werden auf alte USB-Sticks geschrieben (1GB oder 2GB) und am Ende des Monats auf die NAS-Platte verschoben.

Images von z.B. 4GB-SD-Karten können doch bei Bedarf auf z.B. 32GB-SD-Karten geschrieben werden, danach per raspi-config ein "Expand Filesystem" und alles ist paletti.

Hatte ich vor ca. 2 Wochen so gemacht. Oder übersehe ich etwas?

Stefan

edit: 2GB und nicht 1GB

[Ajuba]

Fassen wir mal zusammen:
Offensichtlich haben nicht alle SD Karten die gleiche Größe und sind manchmal zu klein für früher erstellte Images.
Da bleibt dann nur umsteigen auf die nächste Größe, egal ob man es braucht oder nicht. 4->8->16->32->64 Aber irgendwann ist dann Schluss.

Das von Otto beschriebene Verhindern des automatischen Vergrößerns funktioniert. Hab ich gestern so gemacht.

Die aktuelle Raspbian Version erweitert allerdings das SD Card Image automatisch. Dafür ist der Eintrag init=/usr/lib/raspi-config/init_resize.sh in der /boot/cmdline.txt verantwortlich. Wenn man den löscht wird das Volume nicht automatisch erweitert.

Um diesem Problem zu entgehen hat Otto mE nach ein gutes Verfahren beschrieben
http://heinz-otto.blogspot.co.at/2015/03/angepasstes-raspberrypi-image.html?m=1]http://heinz-otto.blogspot.co.at/2015/03/angepasstes-raspberrypi-image.html?m=1[/color]

Das Verfahren ist super um ein Schnellstart Image inklusive Fhem zu haben. Wenn es aber um laufende Sicherungs Images geht darf man meiner Meinung nach die GRÖßE NIE ERWEITERN . Weil sonst habe ich beim nächsten Versuch diesen Status als Image zu sichern das selbe Problem wieder.

Warum ich eine 32GB Karte benutze? Weil ich als Neueinsteiger bei http://www.meintechblog.de/2016/05/fhem-server-auf-dem-raspberry-pi-in-weniger-als-einer-stunde-einrichten/ gelesen habe, dass das so am Besten ist um genug Platz für Logfiles zu haben.

Natürlich könnte ich eine kleinere kaufen und Logfiles auf USB Stick speichern.
ABER ich frage aber noch einmal :
Kann man am restlichen SD Karten Platz nicht eine weitere Partitionen nutzen für die Daten?
Ich habe mit meinen Linux Null-Kenntnissen mal folgendes zusammengebracht.
Mit "parted" habe ich die Raspian Partion auf ca. 4GB vergrößert und auf den restlichen 28GB noch eine Partition erzeugt.
Entsprechend dieser Anleitung http://www.netzmafia.de/skripten/hardware/RasPi/RasPi_Install.html konnte ich sie dann noch formatieren und als Home mounten.

Meine SD-Karte sieht nun so aus

Code Auswählen Erweitern


pi@raspberrypi:/$ fdisk -l
Device         Boot   Start      End  Sectors  Size Id Type
/dev/mmcblk0p1         8192   137215   129024   63M  c W95 FAT32 (LBA)
/dev/mmcblk0p2       137216  8000000  7862785  3.8G 83 Linux
/dev/mmcblk0p3      8388608 62332927 53944320 25.7G 83 Linux


pi@raspberrypi:/$ sudo lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
mmcblk0     179:0    0 29.7G  0 disk
├─mmcblk0p1 179:1    0   63M  0 part /boot
├─mmcblk0p2 179:2    0  3.8G  0 part /
└─mmcblk0p3 179:3    0 25.7G  0 part /home

Bevor ich Ahnungsloser nun weiter kämpfe frage ich die Experten, ob das so gehen kann.
Wenn ja, würde ich dann Fhem installieren und gerne Backups und Logfiles auf mmcblk0p3 179:3    0 25.7G  0 part /home ablegen.
Von dort natürlich regelmäßig alles aufs NAS kopieren. Was muss ich dabei beachten?

[Otto123]

Also wenn man die Gefahr mit der Größe des Images sieht, muss man sie lediglich nicht komplett sondern per Hand bis fast komplett erweitern.
Ich persönlich finde die laufende Image Sicherung nicht sinnvoll. Sie bringt mir keinerlei Vorteile.
Ich habe
- ein Image von dem Raspbian Stand meiner ursprünglichen Installation.
- das aktuelle Image Raspbian aus dem Internet.
- ein Script mit meiner Raspbian Grundinstallation.
- ein Script zur Installation von FHEM.
- ein aktuelles Backup.
Ich weiß wie Restore geht.

Getrennte Partitionen machen alles komplizierter und bringen rein technisch keinen Vorteil.

Aber das ist meine Meinung 

Gruß Otto

[abc2006]

Ich persönlich finde die laufende Image Sicherung nicht sinnvoll. Sie bringt mir keinerlei Vorteile.
Ich habe
- ein Image von dem Raspbian Stand meiner ursprünglichen Installation.
- das aktuelle Image Raspbian aus dem Internet.
- ein Script mit meiner Raspbian Grundinstallation.
- ein Script zur Installation von FHEM.
- ein aktuelles Backup.
Ich weiß wie Restore geht.

Getrennte Partitionen machen alles komplizierter und bringen rein technisch keinen Vorteil.

Aber das ist meine Meinung 

100% Zustimmung von meiner Seite aus.
Allerdings kann ich tatsächlich keine Argumente dagegen anführen.

Das einzige, was mir durch den Kopf geht, ist die "Abnutzung" der SD-Karte. Früher gabs mal Probleme mit Flash-Speicher, weil die einzelnen Zellen nur endlich oft beschrieben werden können(ist immer noch so). Wenn du eine 32-GB karte hast, und 32-mal 1GB schreibst, kann der Controller das so verteilen, dass hinterher jede Zelle ein mal beschrieben wurde. Wenn du jetzt eine 1-GB karte hast, und 32-mal 1 GB schreibst, kommst du auf 32-mal schreiben pro Zelle.
Muss allerdings zugeben, dass a) ich nicht sicher bin, ob das unterhalb oder oberhalb der Partitionslogik durchgeführt wird, und b) ich nicht weiss, ob diese Problematik mittlerweile keine mehr ist (weil zb die Anzahl der Schreibzyklen so hoch ist, dass man die nicht mehr erreicht).

Ich habe nen Server mit 1 TB Festplatte auf 1 Partition, davon sind 10 GB belegt, und ich würde im Leben nicht auf die Idee kommen, die 1TB-Partition zu sichern, um ein Backup zu haben. Nur, um mal andere Größenordnungen zum Vergleich zu bringen.

Grüße

Stephan

PS: wobei ich die Lösung mit "Image mounten und rsync" persönlich auch SEHR interessant finde. Ist halt nur nicht inkrementell.