[Gelöst]16GB SD-Card für Raspi3 neu aufsetzen - expand Filesystem

[Rewe2000]

Hallo,

ich möchte nun zum wiederholten Mal eine neue SD-Card für meinen Raspi3, neu mit Buster aufsetzen und möchte nicht wie in der Vergangenheit die gleichen Fehler machen.

Bei der Konfiguration sollte ich ja das Filesystem mit "expand Filesystem" auf die größe der SD-Card erweitern, dabei wird aber dann der gesamte zur Verfügung stehende Platz verwendet. Dies führt dann aber wieder zu Problemen, wenn ich diese Karte über ein image Backup auf eine etwas kleinere Karte (auch 16 GB aber nur wenige Bit kleiner) umziehen will.
Da ich außer dem Raspi keinen Linux Rechner mehr besitze, ist das Verkleinern einer Linux Partition für mich daher immer sehr mühselig.

Da ich mit diesem Problem in der Vergangenheit schon eimal konfrontiert war, möchte ich den gleichen Fehler nicht nochmals begehen, deshalb vorab einige Fragen hierzu.

• Gibt es eine Möglichkeit das Filesystem und somit das Image sofort bei der Neuanlage so einzurichten, dass am Ende z.B. eine leere Partition liegt, welche ggf. dann nur teilweise auf die neue SD-Card kopiert werden kann, sollte diese minimal kleiner sein?
• Sind euch Linux oder Windows Utilitys bekannt, mit welcher ich die Partition einer SD-Card einfach verkleinern kann?
• Es gibt auch die Möglichkeit Linux von einem USB-Stick am Windows Rechner zu booten, hab ich auch mal versucht, aber als meine WIN Festplatten am Rechner gefunden wurden, habe ich es mit der Angst bekommen und abgebrochen.

Wahrscheinlich für Linux Profis eine leichte Übung, aber als User einer anderen Galaxie mit vielen Schwierigkeiten verbunden.

Gruß Reinhard

[MadMax-FHEM]

ich möchte nun zum wiederholten Mal eine neue SD-Card für meinen Raspi3, neu mit Buster aufsetzen und möchte nicht wie in der Vergangenheit die gleichen Fehler machen.

Bei der Konfiguration sollte ich ja das Filesystem mit "expand Filesystem" auf die größe der SD-Card erweitern, dabei wird aber dann der gesamte zur Verfügung stehende Platz verwendet.

Soll brauchst du gar nicht mehr, meines Wissens macht das Raspbian selbst automatisch (ungefragt) beim ersten Booten
EDIT: außer man deaktiviert es (siehe hier: https://forum.fhem.de/index.php/topic,113668.msg1079298.html#msg1079298)

Dies führt dann aber wieder zu Problemen, wenn ich diese Karte über ein image Backup auf eine etwas kleinere Karte (auch 16 GB aber nur wenige Bit kleiner) umziehen will.
Da ich außer dem Raspi keinen Linux Rechner mehr besitze, ist das Verkleinern einer Linux Partition für mich daher immer sehr mühselig.

Tja ohne Linux Rechner ist der Umgang mit Linux-Filesystemen eben nicht einfach

Ich sichere mittels tar (ist halt auch wieder Linux   ).
Da wird nur weggesichert was benutzt ist...

Und ich kann das System auf jedes Speichermedium zurückspielen, sofern genug Platz vorhanden...

ALLERDINGS: ich mache Komplett Backups eigentlich kaum bzw. nur von Systemen die sich nicht/nie/lange nicht ändern...

Da ich mit diesem Problem in der Vergangenheit schon eimal konfrontiert war, möchte ich den gleichen Fehler nicht nochmals begehen, deshalb vorab einige Fragen hierzu.

• Gibt es eine Möglichkeit das Filesystem und somit das Image sofort bei der Neuanlage so einzurichten, dass am Ende z.B. eine leere Partition liegt, welche ggf. dann nur teilweise auf die neue SD-Card kopiert werden kann, sollte diese minimal kleiner sein?

Ja. Image eines frischen Raspbian mittels tar sichern und dann eben auf eine entsprechend vorbereitete SD/USB/SSD/HDD/... zurück spielen
EDIT: oder siehe hier https://forum.fhem.de/index.php/topic,113668.msg1079298.html#msg1079298

Da ich mit diesem Problem in der Vergangenheit schon eimal konfrontiert war, möchte ich den gleichen Fehler nicht nochmals begehen, deshalb vorab einige Fragen hierzu.

• Sind euch Linux oder Windows Utilitys bekannt, mit welcher ich die Partition einer SD-Card einfach verkleinern kann?

Linux: gParted

Da ich mit diesem Problem in der Vergangenheit schon eimal konfrontiert war, möchte ich den gleichen Fehler nicht nochmals begehen, deshalb vorab einige Fragen hierzu.

• Es gibt auch die Möglichkeit Linux von einem USB-Stick am Windows Rechner zu booten, hab ich auch mal versucht, aber als meine WIN Festplatten am Rechner gefunden wurden, habe ich es mit der Angst bekommen und abgebrochen.

Sollte kein Problem sein, wenn du eine Linux Live nimmst.
Du solltest halt vermeiden auf den "Installationsknopf" zu drücken

Und normalerweise frägt (jede halbwegs "bunte" Linux Distro) einige Male nach bevor wirklich etwas passiert


Aber wenn du soviel Angst hast: dann ist dein Backup/Restore Konzept "in Summe" etwas fragwürdig!
Passieren kann doch immer was und das muss kein "versehentliches" Ausprobieren eines Linux (mit schlechtem "Ausgang") sein


Bei fhem reicht mir das fhem Backup und meine Notizen!
Da bin ich unter einer Stunde von Null (leere SD bzw. eher SSD) auf 100...

UND: ich kann "alten Mist" loswerden UND: ich kann gleich auf ein neues OS (falls verfügbar) wechseln OHNE "Altlasten"...

Nur meine Meinung hierzu...

Und: ja eine Sicherung mittels tar ist OHNE Linux-Rechner (Live-Boot ginge nat. auch) und OHNE etwas Linux-Wissen bzw. eher Raspberry-Wissen (also wie/wo werden die "Bootmedien" eingetragen: weil die "ändern" sich nat. beim "selber Partitionieren" ) nicht ganz einfach...

ABER: wenn man Linux Büxen betreibt kommt man über kurz oder lang nicht um Linux-Wissen drumrum...

Again: auch nur meine Meinung dazu...

Gruß, Joachim

[Otto123]

Hallo Reinhard,

zum abschalten des expand File System siehe mein alter und nicht mehr insgesamt aktueller Artikel: https://heinz-otto.blogspot.com/2016/09/fhem-in-wenigen-schritten.html
weiter unten im Abschnitt Feintuning

Mit fdisk und resize2fs kannst Du online leicht selbst expandieren - zu einer Größe die Dir genehm ist. Prinzipiell kannst Du verkleinern

Gruß Otto

[MadMax-FHEM]

Hallo Reinhard,

zum abschalten des expand File System siehe mein alter und nicht mehr insgesamt aktueller Artikel: https://heinz-otto.blogspot.com/2016/09/fhem-in-wenigen-schritten.html
weiter unten im Abschnitt Feintuning

Mit fdisk und resize2fs kannst Du online leicht selbst expandieren - zu einer Größe die Dir genehm ist. Prinzipiell kannst Du verkleinern

Gruß Otto

@Rewe2000: dazu aber (auch) die SD an einem (Linux) Rechner mounten...
EDIT: oder auch nicht (zwingend   )...

Gruß, Joachim

[Otto123]

Joachim: Jein
Das Boot System kann man beim Erstellen der SD Card editieren, das ist ja FAT32
Das Vergrößern kann man anstatt automatisch oder raspi-config auch im Pi System nach dem ersten Start machen. Da ist sie ja im Linux System gemountet.

Man bräuchte, für das was ich anmerken wollte, kein Extra System.

Aber: Ich mache nie komplette (Image) System Backups, ich verwende das Original Image, ein Setup Script und das Original FHEM Backup (weggesichert auf ein extra System).

[MadMax-FHEM]

Aber: Ich mache nie komplette (Image) System Backups, ich verwende das Original Image, ein Setup Script und das Original FHEM Backup (weggesichert auf ein extra System).

Bis auf das Setup-Script mache ich das genau so...
...ich hab nicht viel zu tun und habe Notizen...

(die gelten auch, wenn mal ein neues OS an der einen oder anderen Stelle etwas anders ist: ich schaue nach dem Lesen der Notiz, ob das bei dem aktuellen OS auch noch so ist   )

Gruß, Joachim

[Rewe2000]

Hallo,

vielen Dank für die zahlreichen Tipps.

Ich denke, ich werde mir einen alten Raspi besorgen, darauf die benötigte Software (unter Linux) installieren, damit ich hier das Image bei Gelegenheit, jederzeit und schnell verkleinern kann.

Wahrscheinlich will ich bei dieser Gelegenheit auch meine Hardware erneuern (Raspi3 auf Raspi4 oder ganz was anderes?
Bisher wurde meine SD-Card durch eine gleichzeitige MySQL Datenbank, welche auf der gleichen Karte istalliert war, schon stark strapaziert.

Als Erstes will ich eventuell die MySQL Datenbank ausgliedern. SSD wäre da wahrscheinlich die erste Wahl. Ob ein NAS in Frage kommt, da bin ich noch am Überlegen.

Ich sammel derzeit noch die besten Möglichkeiten, welche für mich in Frage kommen. Ich bin gerne bereit mich mit Neuem zu beschäftigen, aber ohne vernüftige Deutsche Anleitung (ausführliche Artikel, Youtube Video) stosse ich schnell an meine Grenzen.

Wenn ihr noch irgendwelche Tipps, bezüglich einer (nicht überzogenen) Hardwarezusammenstellung habt, nur her damit.

Gruß Reinhard

[MadMax-FHEM]

Installieren wirst du nichts müssen

Was hier genannt wurde (mal abgesehen von gParted vielleicht) ist alles schon in den (meisten) Distros drin...


Also mein fhem läuft seit über 5 Jahren auf einem PI.
Zunächst ein PI2 jetzt ein PI3 mit SSD und das wird auch noch lange/länger so bleiben (denke ich).

Das System bei meiner Freundin läuft immer noch auf einem PI2...
...gut ohne SSD (noch)...

Und: ohne DB...

Und ich habe nicht so wenig Devices (Auswahl siehe Signatur)...
...wobei ich halt hauptsächlich "automatisiere" (also möglichst viel ablaufen, ohne, dass ich was machen muss, heißt ja schließlich: Haus/Heim AUTOMATISIERUNG   ) und nicht wirklich viel logge und noch viel weniger Grafen anschaue

EDIT: und ich versuche möglichst wenig Last zu haben, also schränke Events ein wo es geht (ohne die Automatisierung "lahm" zu legen   oder die dann doch "benötigten"/gewünschten Grafen nicht zu elend aussehen zu lassen   )

Aber muss nat. jeder selber wissen

Gruß, Joachim

[Rewe2000]

Hallo Joachim,

bei mir übernimmt der Raspi3 schon eine zentrale Rolle auch als "Webserver" und stellt eine Bedienoberfläche mit vielen Trends zur Verfügung, um die Funktionen der angeschlossenen Teilnehmer zu überwachen und ggf. zu steuern. Deshalb benötige ich auch eine SQL Datenbank, um hier meine gesammelten Daten abzulegen, aktuelle Trends der letzten Tage zu haben und daraus mit DbRep Durchschnittswerte (Tag, Monat, Jahr, etc.) zu berechnen, welche ich länger in der Datenbank behalte.
Darüberhinaus nimmt dieser auch noch viele "Komfort" Steuerungsaufgaben meiner Homematic Komponenten wahr, diese steuere ich über eine Raspimatic (ohne jegliche eigene Programmierung) an, alles worauf reagiert werden muss, findet entweder über Direktverknüpfungen oder in Fhem statt. Zusätzlich habe ich auch noch einige Modbus Teilnehmer im System.

Ich achte auch immer darauf, meine Geräte und Device möglichst im "Reden" zu begrenzen und achte immer penibel darauf, was im Event Monitor so abläuft und speichere nur die absolut notwendigen Readings in der SQL-Datenbank.

Der Raspi3 wird bei mir schon noch einige Zeit ausreichen, aber über ein anderes Speichermedium wie eine SD-Card muss ich unbedingt nachdenken. Obwohl ich SanDisk Marken Speicherkarten verwende, stelle ich im jährlichen Abstand immer unerklärliche Fehler fest, welche nach einer Erneuerung der Speicherkarte dann wieder verschwunden sind.

Wie betreibst du deine SSD am Raspi?
Hast du überhaupt keine SD mehr im Raspi, geht das schon im Raspi3? Oder verwendest die SD noch als Bootmedium und "lenkst" dann um auf die SSD.
Sollte man für den "Notfall" eine SSD in Reserve haben (wie bei SD-Cards) oder geht man einfach davon aus, dass diese nahezu nicht kaputt gehen?

@Otto:
Ich denke deinen Vorschlag werde ich auch anwenden.
Ich erstelle mir ein naktes Buster lite, mit leerem Fhem, allen Perl Modulen und einer leeren MariaDB auf einer neuen Speicherkarte.
Im Fehlerfall mache ich darauf ein aktuelles Fhem Restore, spiele meine alten SQL Daten aus einer Sicherung mit DbRep im laufenden Betrieb wieder ein und bring dann Linux noch auf den aktuellen Stand. Somit erspare ich mir die Problematik mit dem unterschiedlichen Größen der Speicherkarten komplett. Wichtig ist mir immer eine schnelle Fehlerbehebung, damit nicht allzuviele Daten verloren gehen.

Irgendwann werde ich ev. meine Datenbank auch auf ein NAS umziehen, aber aktuell will ich eine SSD verwenden.

Nochmals vielen Dank für eure hilfreichen Tipps.
Gruß Reinhard

[Otto123]

Moin Reinhard,

Irgendwann werde ich ev. meine Datenbank auch auf ein NAS umziehen, aber aktuell will ich eine SSD verwenden.

Immer wenn ich nachfrage, wenn eine SD Card kaputt ist, waren Datenbanken im Spiel - also meine Schlussfolgerung: wenn Datenbank nimm unbedingt dafür eine SSD! Ok aktuell habe ich den raspi von einem Kumpel zur Reparatur: SD kaputt und es war keine Datenbank drauf 

Wenn Du Infos brauchst wie ich das mit dem Setup und backup mache, kannst Du alles in meinem Blog nachlesen.

Gruß Otto

[Wernieman]

Wenn Du wirklich vorhast SDs zu clonen mach es Dir doch einfach:

SD wie Anleitung einrichten
Wie Otto geschrieben hat, das automatische "expand" deaktivieren
Nach dem ersten Start des Pis manuell expandieren, z.B. auf 15G, Anleitungen wurden auch verlinkt

Jetzt benutzen ... das Image ist mit 15G Größe jetzt auf JEDER 16G SD Clonebar.

[MadMax-FHEM]

Hallo Joachim,

...

Der Raspi3 wird bei mir schon noch einige Zeit ausreichen, aber über ein anderes Speichermedium wie eine SD-Card muss ich unbedingt nachdenken. Obwohl ich SanDisk Marken Speicherkarten verwende, stelle ich im jährlichen Abstand immer unerklärliche Fehler fest, welche nach einer Erneuerung der Speicherkarte dann wieder verschwunden sind.

Wie betreibst du deine SSD am Raspi?
Hast du überhaupt keine SD mehr im Raspi, geht das schon im Raspi3? Oder verwendest die SD noch als Bootmedium und "lenkst" dann um auf die SSD.
Sollte man für den "Notfall" eine SSD in Reserve haben (wie bei SD-Cards) oder geht man einfach davon aus, dass diese nahezu nicht kaputt gehen?

Hallo Reinhard,

"früher" bin ich auch beim Umstieg auf die nächste OS-Release (wenn ich diese als "stabil" empfunden habe) immer auf eine neue SD Karte gewechselt.

Einen Totalausfall hatte ich nur einmal (bzw. meine Vermutung, dass es "sowas" war   )...
Gut total nicht, fhem Backup hatte ich ja noch...
...mehr brauche ich auch nicht.

Jetzt habe ich in meinen "wichtigen" PIs nur noch SSD!
(tvheadend, fhem)

EDIT: wobei bei meinem tvheadend habe ich auch noch eine SD drin, dort läuft das System. Ich mounte dann die SSD auf /home Dadurch kann ich einfach auf eine neue Installation von tvheadend oder OS oder beidem "umsteigen": neue Installation auf die SD und dann wieder die SSD auf /home mounten (damit sind die Filme und Konfig-Dateien wieder da   ) und gut is... (sofern die neue Installation mit der "alten Konfig" zurecht kommt...)

In meinem PI4 "NAS" habe ich noch eine 4GB boot-Partition auf SD, ansonsten eine SSD und eine HDD (extra versorgt).
Werde aber (wenn mal Zeit ist) die boot-SD auch rauswerfen...
(wobei das ja nicht schlimm ist: sollte ja nicht abrauchen, wird ja nicht/kaum beschrieben und ist ja schnell wieder "erzeugt")

Ich habe m2-SSD mit USB-Aufsteckmodul für den PI.
Da eine 32GB (kleiner gibt's ja nicht   ) SSD drin und gut.

Wie geschrieben: kaum Daten und nix DB...

Backup dann autom. auf den NAS-PI und da jede Woche eine autom Sicherung auf eine USB-Platte...


Ansonsten habe ich eben tar-Sicherungen, damit wird nur "verbraten" was genutzt wird und ich kann auf jedes Medium "klonen", sofern es genug Platz hat...
(gut ein wenig PARTUUID-Gebastel aber das ist auch schnell getan   )

Hauptsächlich von Systemen die sich nicht wirklich groß ändern (und da dann noch SD): Testsysteme (Buster / Stretch), MagicMirror, RaspBee/deCONZ


Gruß, Joachim

P.S.: Anleitungen bzgl. USB-Boot beim PI gibt es genug. Eigentlich ja nur 1x im EEPROM aktivieren (zumindest PI3 und PI2 [manche, Otto weiß welche   ]) durch Eintrag von "program_usb_boot_mode=1" in /boot/config.txt
https://www.raspberrypi.org/documentation/hardware/raspberrypi/bootmodes/msd.md

[Otto123]

[manche, Otto weiß welche   ] ....
https://www.raspberrypi.org/documentation/hardware/raspberrypi/bootmodes/msd.md

Der weiß auch bloß wo es steht: in deinem Link

[Rewe2000]

Hallo Joachim,

man lernt echt täglich dazu.

Bisher kannte ich nur Adapter für SATA SSD Platten mit USB-Kabel, diese sind aber meist sperrig und die SATA SSD haben große Kapazitäten, was ich eigentlich nicht brauche.
Du verwendest, wenn ich dich richtig verstanden habe, USB Festplattengehäuse in welche du interne 32GB m2-SSD Module einsteckst.
Das sieht ja dann aus, wie ein etwas größerer USB-Stick und ist deutlich billiger als eine "große" SSD.
Nimmst du da nur renomierte Hersteller oder einfach 0815 SSD Module, bei SD-Karten habe ich immer versucht gute Qualität zu bekommen.

Wenn ich das bei mir einrichte wird die eine oder andere Frage dazu noch auftauchen, ich hoffe nur ich fall euch nicht auf die Nerven.
Ich beschaffe mir dann in Kürze die Hardware und gehe die Einrichtung auf meinem Test-Raspi3 an.

Danke, Gruß Reinhard

[MadMax-FHEM]

Der weiß auch bloß wo es steht: in deinem Link

Ja, hab ich dann auch gemerkt...
...bzw.: der Link kam erst später dazu...

Und da hatte ich keine Lust mehr den "Querverweis" zu dir rauszunehmen

Gruß, Joachim