Disk I/O Error beim bereinigen der fhem.db

[dev0]

*lolololol* YMMD 

Kommt noch besser: Habe ich tatsächlich in einem internationalem Bankenumfeld schon erlebt...
... davon aber ganz abgesehen, finde ich es toll, dass Du so engagierst unterstutzt!

[Wernieman]

Habe selber schon Hilfe benötigt ...

War mal im Gentoo-Umfeld im Deutschen Forum sehr aktiv. Und da kommen solche "screen-Session" häufiger vor ...

[Wernieman]

Also ... wir haben jetzt den Rechner gestresst.

Wir haben mit "cat x1 x1 x1 >x2" eine große Datei erzeugt und als die 15GByte groß war ... schmierte der Rechner ab. Interessanterweise OHNE irgendwelche Info in den Logfiles. Es liegt also nicht an sqllight, sondern am System.

Werde die Tage meinen zotac genau auf die gleiche Art "stressen". Wenn es auch dort Auftritt ist es ein HW-Problem, sonst liegt es am Kernel. Da mein Ubuntu neuer ist ....

Kann jetzt nicht sagen, wann es bei mir so weit sein wird.

[franky08]

Hallo Wernieman, nach unserem ausgiebigen Test werde ich morgen versuchen die Daten mittels rsync zu kopieren. Eine/Zwei Fragen hätte ich dazu:

mit: sudo rsync -a -P --bwlimit=300 /opt/fhem /media/usb0 kann ich auf eine externe USB Platte kopieren.

Wäre das so OK?
Da fhem weiter läuft, wird die fhem.db auch weiter beschrieben, läuft rsync dann ewig?

UUUPS Bandbreite mit 300 kB/s ist seeehr sicher  Er kopiert aber das kann dauern

P.S. für die fhem.db ca. 11h 

Code Auswählen Erweitern

frank1@zotac:~$ sudo rsync -a -P --bwlimit=300 /opt/fhem /media/usb0
sending incremental file list
fhem/
fhem/Batterie_Level-2016-05.log
       61483 100%   27.38MB/s    0:00:00 (xfer#1, to-check=1063/1073)
fhem/Zotac_ram-2016-05.log
      275007 100%  278.30kB/s    0:00:00 (xfer#2, to-check=1039/1073)
fhem/fhem.db
   697434112   5%  299.56kB/s   10:57:31 



P.S. 2 Und fhem ist nicht mehr erreichbar

Code Auswählen Erweitern

frank1@zotac:~$ top
-bash: /usr/bin/top: Eingabe-/Ausgabefehler
frank1@zotac:~$
sudo: unable to open /var/lib/sudo/frank1/1: Das Dateisystem ist nur lesbar
sudo: unable to execute /sbin/shutdown: Input/output error
frank1@zotac:~$




VG
Frank

[Wernieman]

da sql-light nicht multiprocess fähig ist, darf fhem in der Zeit nicht laufen.

Sag mal .. hast Du eigentlich nur SanDisk SSD-Platten?

rsync sieht erstmal gut aus, würde persönlich nur folgende 2 Parameter dazunehmen:

Code Auswählen Erweitern

--inplace -S --partial

Edit:
Habe jetzt das, womit wir gestern Deinen ZOTAC abschießen konnten bei meinem ZOTAC getestet, lief ohne Probleme. Habe allerdings ab einer Dateigröße von 90GByte aufgehört ... ;o)

Es sind mir nur 2 Sachen aufgefallen:
1. Meiner kopiert schneller
2. Ist habe überhaupt keine i/o-Probleme im syslog, auch nicht in der Vergangenheit.

Jetzt unterscheiden sich unsere beiden Systeme in 2 Wichtigen Punkten:
1. Kernel: Du hast ein 3.3??, ich dagegen einen 4.4
2. SDD: Deine ist eine SanDisk, ich habe dagegen eine Crucial

An einem dieser Punkte dürfte es liegen.

[franky08]

1. Kernel: Du hast ein 3.3??, ich dagegen einen 4.4

Wenn ich die Hinweise aus dem Netz richtig interpretiere gibt es ab Kernel > 3.9 wohl keine Probleme mehr. Ist im Netz einiges darüber zu finden. In dem "Problem" Zotac ist eine SanDisk in meinem Testsystem ist eine Samsung, da hab ich aber keine Datenbank drauf und z.Zt. ist die Samsung ausgebaut und eine herkömmliche hdd drin. Probiere das heute Nachmittag noch einmal, wenn fhem beendet ist.

VG
Frank

[Wernieman]

ab Kernel > 3.9 wohl keine Probleme mehr. Ist im Netz einiges darüber zu finden.

Hättest Du Link?

[franky08]

Müsste ich wieder raussuchen, mit rsync: --sparse cannot be used with --inplace bekomme ich diesen Fehler.

Code Auswählen Erweitern

frank1@zotac:~$ sudo rsync -a -P --bwlimit=800 --inplace -S --partial /opt/fhem /media/usb0
[sudo] password for frank1:
rsync: --sparse cannot be used with --inplace
rsync error: syntax or usage error (code 1) at main.c(1453) [client=3.0.9]


Habe rsync jetzt noch einmal gestartet mit:

Code Auswählen Erweitern

sudo rsync -a -P --bwlimit=800 -S --partial /opt/fhem /media/usb0

[franky08]

Nach ca. 5% der zu kopierenden Daten ist Schluss und der Host geht mit IO Error ins Nirvana, hilft nur noch der Power Button. Seltsam ist das die Fortschrittsanzeige in rsync trotzdem fleißig weiter hochzählt, obwohl nichts mehr kopiert wird. Da ich die fhem.db nun doch nicht kopiert bekomme, warte ich bis zum Jahreswechsel und tausche die ssd dann gegen eine herkömmliche hdd.

Noch einen schönen Feiertag
VG
Frank

P.S. Den Artikel der sich auf ssd und kernel version bezieht habe ich auf die schnelle nicht wiedergefunden

[Wernieman]

Wobei .. ein Minirechner und eine Klassische HD ... bekommst Du da nicht Temperaturprobleme? Vor allem da der ZOTAC keinen Lüfter besitzt ...

Würde jetzt eher versuchen einen neueren Kernel in System zu kriegen ..

Versuche mal mit rsync übers Netz zu kopieren, d.h. auf ein anderes Zielsystem.

Und ... vergiss lieber das -S als das --inplace

[franky08]

Habe die Zielplatte nach /media/usb0 gemountet (auf dem Zielrechner 192.168.2.49). Wie wäre, für das kopieren über das Netzwerk, der Befehl mit rsync?

Code Auswählen Erweitern

sudo rsync --numeric-ids -avze ssh /opt/fhem frank1@192.168.2.49:/

Da fehlen die Berechtigungen:

Code Auswählen Erweitern

frank1@zotac:~$ sudo rsync --numeric-ids -avze ssh /opt/fhem/fhem.cfg frank1@192.168.2.49:/
frank1@192.168.2.49's password:
sending incremental file list
fhem.cfg
rsync: mkstemp "/.fhem.cfg.uY2pXo" failed: Permission denied (13)

sent 46980 bytes  received 31 bytes  6268.13 bytes/sec
total size is 260413  speedup is 5.54
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1070) [sender=3.0.9]
frank1@zotac:~$


Habe zur Probe versucht die fhem.cfg zu sichern

Als root funktioniert es dann:

Code Auswählen Erweitern

sudo rsync --numeric-ids -avze ssh /opt/fhem/fhem.cfg root@192.168.2.49:/media/usb0

[franky08]

Es passiert wie immer: IO Error, also auch beim kopieren über das Netzwerk der gleiche Fehler.

Code Auswählen Erweitern

.......
configDB.pm
db.conf
fb_phonebook.xml
fhem.cfg
fhem.cfg.demo
fhem.db
rsync: read errors mapping "/opt/fhem/fhem.db": Input/output error (5)
fhem.pl
fhemesa2000.db
rsync: read errors mapping "/opt/fhem/fhemesa2000.db": Input/output error (5)
fhemesa2000db.conf
logo.cfg
rsync: read errors mapping "/opt/fhem/logo.cfg": Input/output error (5)
ltc1257.classdef
rsync: read errors mapping "/opt/fhem/ltc1257.classdef": Input/output error (5)
ltc1257_mit_adc.classdef
rsync: read errors mapping "/opt/fhem/ltc1257_mit_adc.classdef": Input/output error (5)
ltc1257_neu.classdef
ltc1257_neu2.classdef
rsync: read errors mapping "/opt/fhem/ltc1257_neu2.classdef": Input/output error (5)
netioadc.classdef
rsync: read errors mapping "/opt/fhem/netioadc.classdef": Input/output error (5)
onewire.classdef
rsync: read errors mapping "/opt/fhem/onewire.classdef": Input/output error (5)
regSave.cfg
.....


Code Auswählen Erweitern

Last login: Thu May  5 18:34:29 2016 from frankdonathsmbp.fritz.box
frank1@zotac:~$ sudo shutdown -r now
[sudo] password for frank1:
sudo: unable to open /var/lib/sudo/frank1/0: Das Dateisystem ist nur lesbar
sudo: unable to execute /sbin/shutdown: Input/output error
frank1@zotac:~$


Und auch mit geringerer Bandbreite

Code Auswählen Erweitern

sudo rsync --numeric-ids --bwlimit=500 -P -avze ssh /opt/fhem/ root@192.168.2.49:/media/usb0/backup/opt/fhem
steigt der Host ebenfalls aus.

Das war es dann ...

P.S. Ich könnte noch in der fstab die Option "errors=remount-ro" auf rw setzen, dann würde er wahrscheinlich weiter kopieren.

VG
Frank

[franky08]

Ich habe jetzt in den Jessie Backports einen neueren Kernel und Header gefunden, nun bin ich mir nur nicht sicher ob der Kernel mi Wheezy funktioniert oder ob das zu Problemen führen kann.

Code Auswählen Erweitern

linux-image-4.5.0-0.bpo.1-amd64 - Linux 4.5 for 64-bit PCs
linux-headers-4.5.0-0.bpo.1-amd64 - Header files for Linux 4.5.0-0.bpo.1-amd64

http://taste-of-it.de/debian-jessie-kernel-4-2-aus-backports-installieren/

VG
Frank

[Wernieman]

Das wies ich auch nicht ... da hilft leider nur "Testen".

Es wundert mich, das auch ein Gebremster rsync übers Netzwerk nicht will ..

Alternative:
Kannst Du Dir einen USB-Stick mit Ubuntu-Server bauen? Der hat aktuell einen definitiv neueren Kernel (siehe bei mir) und sollte es kopieren können!

[franky08]

Stimmt, habe mir gerade eine ubuntu iso gezogen, da ich iMo keinen freien Stick habe. Werde ich probieren.

VG
Frank