FHEM Forum

FHEM - Hardware => Einplatinencomputer => Thema gestartet von: ArianeHRO am 01 April 2015, 10:35:40

Titel: PI - FHEM Log auf USB Stick
Beitrag von: ArianeHRO am 01 April 2015, 10:35:40
Hallo zusammen,

ich habe auf meinem Raspberry Pi mit Raspbian ein seltsames Problem und weiß als Linux Noob leider nicht wo hier das Problem liegen könnte.

Ich habe meine Logs alle auf einen gemounteten USB Stick verschoben, das funktioniert auch mehrere Monate ohne Probleme.
Aber seit Ende Februar ist es so, das die Logfiles nicht weitergeschrieben werden, bzw die Einträge nach einem Reboot verschwinden. Die Daten bis Ende Februar sind aber weiterhin vorhanden.
Das tägliche Logfile enthält auch nur Daten bis zum Reboot.

Der Stick ist im exFat Format und mein tägliches Backup schreibt er dort ohne Probleme auf den Stick.
Hat vielleicht jemand eine Idee hier zu?

Danke & Grüße
Ariane
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: Dr. Boris Neubert am 01 April 2015, 13:03:44
Hallo Ariane,

das Problem hatte ich auch mehrfach. Es besteht darin, dass USB-Sticks das viele Schreiben nicht aushalten und kaputt gehen. Ich habe in den letzten Jahren immer wieder versucht, auf kleinen Systemen oder auf sparsamen Systemen (um die Platten nicht aufzuwecken) Log-Dateien auf USB-Sticks zu speichern. Das Ganze geht eine Weile gut (je nach Größe und Qualität des Sticks ein bis mehrere Monate) und dann ist der Stick im Eimer. Zwischendurch kommt es auch schon zu Problemen, dass der Stick sich nicht mehr ansprechen lässt. Dann hilft  ab- und anstöpseln und ein Filesystemcheck noch als verlängerte Maßnahme.Verlässlich geht anders.

Fazit: vergiss den USB-Stick und nutze entweder die SD-Karte oder eine externe USB-Festplatte.

Ach so: die SD-Karte hin und wieder sichern (dd if=/dev/sda1 of=dev-sda-backup-YYYYMMDD bs=4M)., weil die auch irgendwann kaputtgeht. Tipp dazu: etwas weniger als die volle SD-Karte partionieren, weil nicht alle Karten bei gleicher Angabe der nominalen Speichergröße in GB wirklich dieselbe Anzahl Sektoren anbieten, und dann schlägt das Wiederherstellen ggf. fehl, wenn das neue Medium zu klein ist.

Viele Grüße
Boris
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: PeMue am 01 April 2015, 13:12:30
Zitat von: Dr. Boris Neubert am 01 April 2015, 13:03:44
Das Ganze geht eine Weile gut (je nach Größe und Qualität des Sticks ein bis mehrere Monate) und dann ist der Stick im Eimer.
Hallo Boris,

bei mir war das gerade anders herum:
- die SD Karte im Raspberry Pi hatte einen Fehler (könnte aber auch ein defektes Filesystem durch falschen shutdown gewesein sein)
- mein USB Stick (Tevion 8GB) läuft an der Fritz Box 7170 schon seit fast 2 Jahren

@Ariane:
Hast Du schon einmal das Dateisystem auf Fehler geprüft?

Gruß PeMue
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: ArianeHRO am 01 April 2015, 14:14:26
@PeMue,
nein, das werde ich direkt mal machen.

Der "Stick" ist übrigens eine kleine USB Festplatte, ich hatte nicht darüber nachgedacht das das ja Speichertechnisch ein ziemlicher Unterschied ist.
Einen kaputten Stick hatte ich nämlich schon und deshalb inzwischen eine 1,8" Festplatte (keine SSD, sondern noch die guten Alten ;-)). Entschuldigt die Fehlinformation.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: ArianeHRO am 01 April 2015, 14:47:19
fsck und smarttools haben leider nichts zu beanstanden.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: PeMue am 03 April 2015, 17:41:59
Zitat von: PeMue am 01 April 2015, 13:12:30
- mein USB Stick (Tevion 8GB) läuft an der Fritz Box 7170 schon seit fast 2 Jahren
Naja, heute morgen habe ich den USB Stick mal abgezogen und getestet -> defekt. Aber von 09/2013 bis 03/2015 ist aus meiner Sicht ok  ;)
Präventiver Ersatz jedes Jahr ist m.E. nicht verkehrt. War übrigens ein 8 GB Tevion USB Stick mit 100 mA Stromaufnahme.

Gruß PeMue
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 04 April 2015, 13:19:41
Ich nutze RPI_2 mit Edimax WiFi,Logilink Funktastatur und Maus ID 0104, Logilink USB-Hub Ua0124, USB-Festplatte 80 GB,Intenso USB Stick 16 u. 32 GB und Edimax WiFi.
Nachdem ich Rasbian (2015-02-16), Noobs und Berryboot erfolglos herumexperimentiert habe, bin ich zum Rasbian zurückgekehrt.
Berryboot hat zwar die USB-Sticks als Speicherort akzeptiert, die Festplatte jedoch nicht erkannt. Mit Rasbian ist es mir ebenfalls gelungen, die /root audf den Stick zu transportieren.
Anleitung:http://www.netzmafia.de/skripten/hardware/RasPi/RasPi_Laufwerke.html (http://www.netzmafia.de/skripten/hardware/RasPi/RasPi_Laufwerke.html)
Nachdem ich innerhalb weniger Tage die beiden 16GB-Sticks ins Jenseits geschickt habe, habe ich diese beiden Lösungen verworfen, einmal, weil ich den Sticks nicht traue, zum anderen, weil bei der Rasbian Lösung weder der Edimax, noch die Tastatur erkannt wurden.
Bei der Rasbian Lösung wird die Festplatte erkannt, wenn man sie einsteckt und wir automatisch gemountet, ebenfalls beim Neustart.
Meine Idee ist, alle Logs und andere Vorgänge mit häufigen Schreibzugriffen auf die Festplatte auszulagern.
Die Festplatte habe ich allerdings mit Minitools als ext4 formatiert, da sie dann schneller sein soll als als FAT 32. Auf NTFS kann man nur lesend zugreifen.
http://www.partitionwizard.com/help/about-partition-wizard.html (http://www.partitionwizard.com/help/about-partition-wizard.html)
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 05 April 2015, 11:42:28
Nachdem jetzt das Einbinden der Festplatte beim RPI 2 geklappt hat, überlege ich,ob man Programmpakete statt im Ordner /opt auf der Festplatte installieren kann. Leider finde ich dazu nichts im Netz. Vielleicht hat jemand eine Idee?
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: PeMue am 05 April 2015, 11:46:17
Hallo fermoll,

mounte doch einfach Deine Festplatte auf /opt. Vorher vielleicht die schon installierten Dateien auf die Festplatte kopieren.

Gruß PeMue
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 05 April 2015, 13:55:18
Hallo PeMue

Das war eine sehr gute Idee. Man kann das Ganze auch dauerhaft gestalten, wenn man /etc/fstab bearbeitet.
proc            /proc           proc    defaults          0       0
/dev/mmcblk0p1  /boot           vfat    defaults          0       2
/dev/mmcblk0p2  /               ext4    defaults,noatime  0       1
/dev/sda1 /opt ext4 defaults,noatime  0       1
# a swapfile is not a swap partition, so no using swapon|off from here on, use  dphys-swapfile swap[on|off]  for that

Dann wird die Änderung auch bei einem Neustart berücksichtigt.ich gehe davon aus, dass es dann auch nicht mehr nötig sein wird, die Log-Dateien von FHEM zu verschieben.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: PeMue am 05 April 2015, 14:11:10
Zitat von: fermoll am 05 April 2015, 13:55:18
... dass es dann auch nicht mehr nötig sein wird, die Log-Dateien von FHEM zu verschieben.
Das war der Grundgedanke dahinter, ja. Als Windows Anwender vergißt man leicht, dass unter Unix einfach Platten irgendwohin gemountet werden können, ohne eigentlich zu wissen (doch root sollte es schon wissen, aber dem Anwender ist es egal) wohin.

Gruß PeMue
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 06 April 2015, 09:30:37
Ich habe jetzt fhem auf der Festplatte installiert. Vorschrift:
www.fhemwiki.de/wiki/FHEM_auf_Raspberry_PI_mit_COC_betreibenapt-get (http://www.fhemwiki.de/wiki/FHEM_auf_Raspberry_PI_mit_COC_betreibenapt-get)
Was ich als Windows-Nutzer vergessen habe, war die Anpassung der Nutzerrechte .
Bei MySQL habe ich aber Probleme. Linux installiert das an ganz anderer Stelle. Es wäre aber sinnvoll, zumindest die Datenbanken auf der Festplatte zu speichern, um die SD zu entlasten.
Ds gibt es im Wiki bei der Installation auf Synology einen Vorschlag:
http://www.fhemwiki.de/wiki/Synology_Diskstation (http://www.fhemwiki.de/wiki/Synology_Diskstation)

mv /usr/local/FHEM/var/log /volumeUSB1/usbshare/fhem

ln -s /volumeUSB1/usbshare/fhem/log /usr/local/FHEM/var/log


Das muss man natürlich für die Datenbanken anpassen.
Die SD werde ich dann regelmäßig mit Win32Imager sichern. Die Sicherung im laufenden Betrieb des RPI ist auch irgendwo beschrieben, auch auf NAS. Da blicke ich als Linux-Novize jedoch noch nicht durch.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: topfi am 07 April 2015, 15:20:18
Schiebt doch einfach die gesamte Installation auf die Festplatte. Dann muss auf der SD-Karte nur noch das reine Boot-Image sein, das auf sda1 zeigt. Dort liegt dann das gesamte Linux. Ich habe das bei meinem BananaPi nach dieser Anleitung 

http://www.meinduino.de/bananapi/2014/10/09/rootfstossd.html (http://www.meinduino.de/bananapi/2014/10/09/rootfstossd.html)

gemacht. Ihr habt zwar keine SATA-Schnittstelle, doch dürfte eure Festplatte auch sda1 sein. Der Rest ist 1:1 Raspi. Damit liegt alles immer auf der Festplatte, anderen Massenspeicher gibt es erstmal gar nicht.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 07 April 2015, 18:01:32
Ich glaube, Lubuntu ist ein wenig anders als Rasbian. Ich habe es versucht , es hat jedoch nicht geklappt.

PS: Mit einigem Nachdenken und Probieren hat es geklappt. Es unterscheidet sich in einigen Dingen von topfis Lösung. Ich werde die Unterschiede noch genauer erklären. Auf jeden Fall läuft jetzt auf meinem Raspi 2 nur noch der Boot-Teil auf SD, /root auf der Festplatte. Ich werde weiter berichten.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 08 April 2015, 08:28:21
Mein Vorgehen beim Einbinden einer Festplatte in Rpi 2
Zum Teil habe ich mich an die Vorlage von Nettzmafia gehalten:http://www.netzmafia.de/skripten/hardware/RasPi/RasPi_Laufwerke.html (http://www.netzmafia.de/skripten/hardware/RasPi/RasPi_Laufwerke.html), meist aber an die Vorlage von topfi.

Formatieren der Festplatte mit MiniToolPartition Wizard auf ext4.
Einstecken der Festplatte in den USB-Hub. Im Moment betreibe ich den Rpi als root und mit Startx. Der Diskmanager fragt dann, ob er die Platte mounten soll. Das würde dann unter /media geschehen. Dshalb ablehnen. Außerdem ist es sinnvoll, die Platte zu labeln, da der DM sonst die UUID verwendet.
Die Übertragung des /root habe ich nach topfi's Vorgabe vorgenommen. Es ist sinnvoll mit fdisk -l zu überprüfen, ob die Platte als sda1 erkannt worden ist.
Nun müssen zwei Dateien verändert werden.
Zuerst cmdline.txt auf /boot. Dort wird mmcblk0p2 durch sda1 ersetzt. dwc_otg.lpm_enable=0 console=ttyAMA0,115200 console=tty1 root=/dev/sda1 rootfstype=ext4 elevator=deadline rootwait

Dasselbe wird mit /etc/fstab gemacht:proc            /proc           proc    defaults          0       0
/dev/mmcblk0p1  /boot           vfat    defaults          0       2
/dev/sda1 /               ext4    defaults,noatime  0       1
# a swapfile is not a swap partition, so no using swapon|off from here on, use  dphys-swapfile swap[on|off]  for that

Aber unbedingt darauf achten, dass die Datei auf der Platte verändert wird und nicht die auf der SD.
Dann müsste das Ganze funktionieren. Daskann man daran erkennen, dass die gelbe LED auf dem Rpi nur noch selten blinkt.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 09 April 2015, 09:50:05
Meine nächste Überlegung ist, die Daten der Festplatte regelmäßig zu sichern. Den RPi in meine Netzwerk Workgroup einzubinden, habe ich gestern nicht geschafft. Ich musste alles neu installieren. Ich habe jedoch noch eine 2. USB Platte mit ähnlicher Größe. Wenn ich diese in den USB-Hub einstecke, fragt der Dateimanager, ob er sie mounten soll. Fdisk -l zeigt sie als sdb1. Die Überlegung ist, die Daten mit dem tar Befehl aus topfi's Anleitung auf die 2. Platte zu schreiben. Wahrscheinlich ist es sinnvoll, solange Prozesse mit vielen Schreibvorgängen, z.B. fhem Logs anzuhalten - sudo /etc/init.d/fhem stop-. Ob die Sicherung auch auf eien Stick erfolge kann, habe ich noch nicht ausprobiert.  Der tar- Befehl transportiert im Gegensatz zu dd einzelne Dateien. Das müsste gehen. Es kommt darauf an, dass RPi den Stick nich als sda1 einbindet, da /root sonst nicht mehr gefunden wird. Auf jeden Fall muss der Stick im laufenden Betrieb eingesteckt und vor den rebbot entfernt werden.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: topfi am 09 April 2015, 11:17:01
Ich nutze zum gelegentlichen Full-Backup eine zweite SD-Karte mit einem Rettungssystem. Da wird die SSD gar nicht gemountet und das Image übers Netzwerk auf meine Synology gespielt.

Die FHEM-Logs sichere ich im laufenden Betrieb täglich über cron-scripte sowie das fhem-Verzeichnis einmal wöchentlich. Das Script läßt davon immer immer die letzten 9 Versionen stehen.
Titel: Antw:PI - FHEM Log auf USB Stick
Beitrag von: fermoll am 09 April 2015, 11:55:36
Das werde ich auch versuchen, doch im Moment halte ich die Möglichkeit, die Platte zu klonen für besser, da ich sie nur umstecken und Rpi neu starten muss, um mit dem System nach der Sicherung weiter zu arbeiten.