Guten Tag,
Ich habe seit ich ein Backup eingespielt habe das Problem das die Backup Datei ca. 2GB groß ist, vorher hatte sie ca. 30MB. Ich habe Datenbanken auf USB ausgelagert um die Zugriffe auf die SD Karte zu minimieren, diese sind ca 200MB groß.
Anscheinend wird aber der komplette USB Stick miteinbezogen ins Backup... Kann ich irgendwo einsehen/ändern was alles mitgesichert wird oder die Backup Funktion neu installieren?
Gruß
Scherheinz
Normalerweise findet sich im log von FHEM der gesamte Backup Befehl, vielleicht findest Du da die Erklärung, oder kannst den Inhalt hier einstellen?
So nun können wir weiter machen.
Schau mal bitte ob nicht eventuell der Backup Ordner mit gesichert wird.
Mach bitte ein list vom Device global.
In der Log steht folgendes:
Zitat2019.06.16 18:17:34 2: backup include:
2019.06.16 18:17:34 2: backup include: /media/pi/daten/fhem.save
2019.06.16 18:17:34 2: Backup with command: tar czf /media/pi/daten/backup/FHEM-20190616_181734.tar.gz "/media/pi/daten" "./db.conf" "./media" "./log" "./restoreDir" "./db.conf3_server" "./FHEM" "./configDB.pm" "./backup" "./fhem.cfg.demo" "./www" "./fhem.cfg" "./temp" "./db.conf3" "./db.conf2" "./docs" "/media/pi/daten/fhem.save" "./README_DEMO.txt" "./fhem.pl" "./demolog" "./unused" "./MAINTAINER.txt" "./CHANGED" "./contrib"
tar: Entferne führende ,,/" von Elementnamen
wobei /media/pi/daten mein USB Stick ist.
ZitatInternals:
DEF no definition
FD 3
NAME global
NR 1
STATE no definition
TYPE Global
currentlogfile /media/pi/daten/fhem-2019-06.log
logfile /media/pi/daten/fhem-%Y-%m.log
Attributes:
autoload_undefined_devices 1
autosave 0
backupdir /media/pi/daten/backup
configfile fhem.cfg
icon system_fhem@yellow
logfile /media/pi/daten/fhem-%Y-%m.log
modpath .
motd Messages collected while initializing FHEM:
configfile: CGI_RAWMSG already defined, delete it first
Autosave deactivated
statefile /media/pi/daten/fhem.save
title FHEM
updateInBackground 1
userattr DbLogExclude DbLogInclude cmdIcon devStateIcon devStateIcon:textField-long devStateStyle fp_hausplan icon sortby webCmd webCmdLabel:textField-long widgetOverride
verbose 3
version fhem.pl:19485/2019-05-29
Die Verlegung mit backupdir auf den Stick war nur ein Test und kommt zum gleichen Ergebnis wie der Standart Ordner. Die Backup Ordner habe ich auch vorher geleert, also wird kein alten Backup mitverpackt.
"./backup"
Steht mit drin. Wo ist der Install Path von FHEM? Ist es
/media/pi/daten oder ein anderer Ort?
"/opt/fhem"
Das hab ich alles original gelassen
Kannst du bitte einmal schauen wie groß beide Backup Ordner sind?
Also sowohl unter /opt/fhem/backup als auch unter /media/pi/daten/backup
Die sind beide leer. Hatte ich leer gemacht, da ich vermutete das alte Dateien wieder mitverpackt werden.
Zitat von: CoolTux am 16 Juni 2019, 18:32:47
"./backup"
Steht mit drin.
Kann man das irgendwo anpassen?
Du kannst es löschen da Du es ja eh nicht verwendest. Da dürfte ja auch nie was rein kommen.
ok, blöde Frage...wo mache ich das?
Wie wo?
Unter /opt/fhem/
Löschst Du mit
rm backup
den Ordner backup
Achso, entschuldige, ich dachte ich müsste in FHEM einen Eintrag löschen
Zitat2019.06.25 12:02:34 2: Backup with command: tar czf ./backup/FHEM-20190625_120234.tar.gz "./media" "./db.conf" "./MAINTAINER.txt" "./restoreDir" "./configDB.pm" "./fhem.cfg.demo" "./fhem.cfg" "./docs" "./log" "./db.conf2" "./www" "./CHANGED" "./unused" "/media/pi/daten" "./db.conf3" "./FHEM" "/media/pi/daten/fhem.save" "./temp" "./db.conf3_server" "./fhem.pl" "./demolog" "./contrib" "./README_DEMO.txt"
2019.06.25 12:02:34 3: backup : Started the backup in the background, watch the log for details
Kann ich den Eintrag "/media/pi/daten" irgendwo aus der Backup Funktion entfernen?
Gruß
Mir nicht bekannt. Du kannst aber einen eigenen BackupCmd mit an geben.
Du hast doch einen eigenen backup Befehl gemacht?
Zitattar czf ./backup/FHEM-20190625_12 .....
Sieht bei mir anders aus:
Zitattar -cf - ......
Gruß Otto
Schade. Das Problem ist das ich alles vom Stick entfernt hatte das nichts mit FHEM zutun hat. Nun sucht er beim Backup aber diese Dateien und bricht schließlich das Backup ab, auch ein Rückgängig machen hat nichs gebracht, ist jetzt wohl alles zerschossen :-[
@Otto: Wenn das so ist war das unbewußt, das Backup war schon älter das ich eingespielt hatte. Kann man das korrigieren?
Hast Du symlinks im fhem Pfad angelegt? Was erhältst Du mit dem Befehl?
sudo find /opt/fhem -type l -exec ls -l {} \;
Wenn ich mir dein global so anschaue, da steht doch alles auf /media/pi/daten ... nix mit /opt/fhem
Kannst Du bitte noch erklären was ganz am Anfang: Nachdem ich ein Backup eingespielt habe bedeutet? Also was hast Du gemacht? Wo hast Du ein backup eingespielt?
Nein, weiß auch nicht was symlinks ist. Wenn ich dein Befehl ausführe bekomme ich keine Ausgabe.
was bekommst Du bei sudo ls -lha /opt/fhem
Was bekommst Du wenn du das hier in der FHEM Kommandozeile einwirfst:
{qx(pwd)}
pi@rpi:~ $ sudo ls -lha /opt/fhem
insgesamt 676K
drwxrwxrwx 13 777 pi 4,0K Jun 16 22:29 .
drwxr-xr-x 9 root root 4,0K Feb 11 2018 ..
drwxr-xr-x 2 pi pi 4,0K Jun 25 12:10 backup
-rw-r--r-- 1 pi pi 292K Jun 25 11:50 CHANGED
-rw-r--r-- 1 pi pi 39K Jun 4 20:23 configDB.pm
drwxr-xr-x 39 pi pi 4,0K Mär 2 2017 contrib
-rwxr--r-- 1 pi pi 911 Dez 31 2017 db.conf
-rwxr-xr-x 1 pi pi 910 Dez 30 2017 db.conf2
-rwxr--r-- 1 pi pi 916 Jan 13 16:51 db.conf3
-rwxr--r-- 1 pi pi 936 Jan 26 2018 db.conf3_server
drwxr-xr-x 3 pi pi 4,0K Mär 2 2017 demolog
drwxr-xr-x 4 pi pi 4,0K Nov 26 2017 docs
drwxr-xr-x 6 pi pi 20K Jun 16 19:43 FHEM
-rwxr--r-- 1 pi pi 26K Jun 17 19:53 fhem.cfg
-rw-r--r-- 1 pi pi 25K Jun 25 11:50 fhem.cfg.demo
-rwxr-xr-x 1 pi pi 155K Jun 25 11:50 fhem.pl
drwxr-xr-x 2 pi pi 4,0K Okt 22 2017 log
-rw-r--r-- 1 pi pi 41K Jun 25 11:50 MAINTAINER.txt
drwxr-xr-x 3 pi pi 4,0K Nov 5 2017 media
-rw-r--r-- 1 pi pi 935 Nov 15 2015 README_DEMO.txt
drwxr-xr-x 7 pi pi 4,0K Mai 20 2018 restoreDir
drwxr-xr-x 2 pi pi 4,0K Nov 3 2018 temp
drwxr-xr-x 2 pi pi 4,0K Mär 2 2017 unused
drwxr-xr-x 8 pi pi 4,0K Dez 23 2018 www
naja zumindest die Rechte sehen Sch ... aus.
Ich hatte beide Beiträge noch nach editiert, ev. hast Du vor deiner Antwort nicht alles gelesen. Kannst Du bitte nochmal schauen und die Fragen beantworten?
FHEM lief nicht mehr also wollte ich ein altes FHEM Backup entpacken aber leider war meine USB Festplatte mit den "aktuellen" Backups auch defekt und ich musste ein Backup nehmen das schon ca ein Jahr alt war. FHEM läuft wieder und wollte wieder ein neues Backup machen aber seitdem habe ich diese Probleme.
{qx(pwd)} bring ein /opt/fhem
Ich hab halt die Datenbanken und Log Dateien auch auf dem Stick da ich die Zugriffe auf die SD Karte minimieren wollte, da hatte allerdings noch nie Probleme gemacht.
Nochmal die Frage was genau hast Du getan bei FHEM Backup entpacken? Es war auf alle Fälle nicht so ganz richtig :-X
Ich mach das immer so (https://heinz-otto.blogspot.com/2015/12/backup-und-restore-von-fhem.html) ;)
Ein USB Stick ist nicht besser als eine SD Card, und da der Pi so seine USB Probleme hat, ist die SD die besser Wahl von Beiden - sagt Werner immer. ;)
in deinem list global steht doch überall media ... drin ?
Was sagt denn {qx(mount)}
Da gibt es doch einen media Pfad in deinem /opt/fhem ? Dahin ist der Stick gemountet?
Ich habe das FHEM Verzeichnis gelöscht sowie die Dateien auf dem Stick. Danach wie in deinem Block, den ich auch kenne ;-), die Datei entpackt und wieder FHEM gestartet.
Ein weiterer Grund auf Stick zu loggen war auch das ich Angst hatte das der PI evtl abschmiert wenn ich ein Fehler mache und die SD Karte deshalb voll ist.
{qx(mount)}
Zitat
/dev/mmcblk0p2 on / type ext4 (rw,noatime,data=ordered) devtmpfs on /dev type devtmpfs (rw,relatime,size=468148k,nr_inodes=117037,mode=755) sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime) proc on /proc type proc (rw,relatime) tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev) devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000) tmpfs on /run type tmpfs (rw,nosuid,nodev,mode=755) tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k) tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755) cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd) cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct) cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio) cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory) cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices) cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer) cgroup on /sys/fs/cgroup/net_cls type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls) systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=22,pgrp=1,timeout=300,minproto=5,maxproto=5,direct) debugfs on /sys/kernel/debug type debugfs (rw,relatime) mqueue on /dev/mqueue type mqueue (rw,relatime) configfs on /sys/kernel/config type configfs (rw,relatime) fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime) /dev/mmcblk0p1 on /boot type vfat (rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=ascii,shortname=mixed,errors=remount-ro) tmpfs on /run/user/1000 type tmpfs (rw,nosuid,nodev,relatime,size=94552k,mode=700,uid=1000,gid=1000) gvfsd-fuse on /run/user/1000/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000) /dev/sda1 on /media/pi/daten type fuseblk (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other,blksize=4096,uhelper=udisks2)
Ja das ist mein Stick, /media/pi/daten/ ist der Pfad
Aber nach meiner Anleitung werden die Berechtigungen wieder hergestellt. Gut eventuell waren die bei Dir vorher schon hinüber.
Aber dein eigentliches Problem, da bin ich jetzt ratlos. :o
Ich fasse einfach mal zusammen was mir auffällt:
Meiner Kenntnis nach, sichert fhem backup den Pfad /opt/fhem und klammert dabei /opt/fhem/backup aus. Wenn man diesen Pfad woanders hin mounted (was gerne getan wird) dann besteht die Gefahr er wird in Loop mitgesichert.
Ziemlich viel von deinem FHEM läuft auf dem Stick:
currentlogfile /media/pi/daten/fhem-2019-06.log
logfile /media/pi/daten/fhem-%Y-%m.log
backupdir /media/pi/daten/backup
logfile /media/pi/daten/fhem-%Y-%m.log
statefile /media/pi/daten/fhem.save
Das mit dem statefile finde ich sogar kritisch. Statefile gehört zu aktuellen Config, die würde ich nicht woanders hinlegen.
Dein /opt/fhem/ Pfad enthält einen Pfad media also /opt/fhem/media - das ist mir irgendwie suspect. Kann sein, das hat nichts zu bedeuten.
drwxr-xr-x 3 pi pi 4,0K Nov 5 2017 media
Die Berechtigungen von deinem Pfad /opt/fhem stimmen nicht, alle Dateien sollten dem User fhem und dessen Gruppe dialout gehören.
BTW: Egal welches Laufwerk voll ist, der Pi kann dabei "abschmieren". Aber eigentlich tut er das nicht. Ich hatte das erst vor zwei Tagen. Ich bin ganz normal drauf gekommen und konnte das Problem durch löschen von Dateien beheben. Es gab nur keine Logs für den Zeitraum :) FHEM lief ansonsten relativ normal.
Vielleicht haben die anderen eine Idee. Ich würde irgendwie ein neues System bauen und nur die Config übernehmen. Logfiles und Datenbanken übernehmen sollte auch kein Problem sein.
Gruß Otto
Ich danke dir für deine Mühe, das war auch jeden Fall schon hilfreich! :)
Wenn ich mir ein neues System aufbauen will, den Gedanken hatte ich auch schonmal, welche Dateien müsste ich dann übernehmen? fhem.save, fhem.cfg,....?
naja primär brauchst Du die fhem.cfg.
Keine Ahnung wie groß Dein System ist, ganz sicher würdest Du gehen, wenn Du Device für Device aus der alten cfg mit der Raw Definition die neue wieder aufbaust.
Wenn das System jetzt passabel läuft (bis auf Backup) kannst Du parallel ein neues bauen? Es gibt seit Montag den Pi4 :)
Ist denk ich mal nicht so groß..
Das ist eine gute Idee! :) Baue wirklich am besten was neues parallel auf und stelle dann um.
Den P4?? ich bin noch mit dem P2 unterwegs, gilt das schon als retro?! ;D
Besten Dank euch beiden!!
das lohnt sich ja dann :)
Ich zeige Dir dann mal noch ein paar Ideen. Bin gerade am testen und aufschreiben :) Morgen oder übermorgen bin ich fertig.
Gruß Otto
Oh dann bin ich mal gespannt! :) 8)
Aber ich glaube das ich wieder einen P2 nehme, dann hab ich die identische Hardware und könnte die SD Karten zur Not hin und her tauschen.
würde ich nicht machen. Die Karten sind doch gleich. Und der Performance Gewinn vom P2 zum Pi3+ ist schon enorm.
Also wenn, würde ich wenigstens einen Pi3+ nehmen.
Ich schreibe mal eine erste Fassung auf:
Kopieren von Definitionen von FHEM Instanz1 auf FHEM Instanz2
Vorbereitung:
FHEM auf Instanz2 ist installiert
Wir arbeiten im Terminal auf Instanz2, normaler User Pi, wir stehen im /home/pi
Um über die HTTP Schnittstelle von FHEM zu arbeiten brauchen wir meinen HTTP Client (https://heinz-otto.blogspot.com/2019/02/fhem-http-client.html)
wget -O fhemcl.sh https://raw.githubusercontent.com/heinz-otto/fhemcl/master/fhemcl.sh
Prinzipiell geht das was ich jetzt zeige auch über Telnet, aber wir müssen ja kein extra Tor aufmachen. ;)
Aufgabe zum üben: Kopieren von einem FileLog samt Inhalt und einem dazugehörigen Plot.
Ich mache es über einen lokalen Zwischenschritt, dazu brauch ich einen temporärer Pfad:
mkdir -p fhem/www/ #erzeugt den Ordner fhem/ und den Ordner fhem/www/
Ich hole mal vorsorglich alle Log und gplot Dateien lokal in den temporäreren Pfad:
scp -r pi@instanz1:/opt/fhem/log/ fhem/ #kopiert den Remote Pfad log/ nach fhem/log/
scp -r pi@instanz1:/opt/fhem/www/gplot/ fhem/www/#kopiert den Remote Pfad gplot/ nach fhem/gplot/
Als kleinen Test will ich den FileLog und den Plot vom robbi wiederherstellen. Also kopiere ich zuerst beide Dateien an Ort und Stelle von FHEM. Ich mache das mit FHEM, dann stimmen die Orte und Berechtigungen ohne weiteres Nachdenken.
bash fhemcl.sh 8083 "{qx(cp /home/pi/fhem/log/*robbi*.log ./log/)}"
bash fhemcl.sh 8083 "{qx(cp /home/pi/fhem/www/gplot/*robbi*.gplot ./www/gplot/)}"
Jetzt kommt noch die Kopie/Anlage der "Geräte" in FHEM
bash fhemcl.sh instanz1:8083 "list -r FileLog_robbi" |bash fhemcl.sh 8083
bash fhemcl.sh instanz1:8083 "list -r SVG_FileLog_robbi_1"|bash fhemcl.sh 8083
Fertig: man kann sich das Ergebnis in instanz2 im Browser ansehen. :D
Will man nach diesem kleinen Test einfach alle Log und gplot Definitionen übernehmen, geht das mit leichter Modifikation mit genau den letzten modifizierten 4 Befehlen:
bash fhemcl.sh 8083 "\"cp -n /home/pi/fhem/log/*.log ./log/\""
bash fhemcl.sh 8083 "{qx(cp -n /home/pi/fhem/www/gplot/*.gplot ./www/gplot/)}"
bash fhemcl.sh instanz1:8083 "list -r TYPE=FileLog" |bash fhemcl.sh 8083
bash fhemcl.sh instanz1:8083 "list -r TYPE=SVG"|bash fhemcl.sh 8083
In gleicher Art und Weise kann man mittels DevSpec oder regExp beliebige Geräte oder Gruppen übernehmen.
Der Mechanismus, den ich verwende, funktioniert quasi analog der Verwendung Raw Def mit zwei Browsern, nur ohne klicken, Auswahl und Copy&Paste :D
Viel Spaß
Otto
Hallo Otto!
Das ist ja super wie du das machst! Es wird noch ein wenig Dauern bis ich einen weiteren Pi sowie ein Zeitfenster habe aber dann werde ich deine Anleitung gerne testen! :)
Vielen Dank für deine Bemühungen
Gruß
Frank
ich lege mal noch eine Variante nach, die die zu kopierenden Dateien aus den Definitionen ermittelt:
datei=$(bash fhemcl.sh instanz1:8083 "list -r TYPE=FileLog"|grep -o ./log.*\\s|sed 's/%./*/g;s/.\/log/\/home\/pi\/fhem\/log/'|tr -d '\n')
bash fhemcl.sh 8083 "\"cp -n $datei ./log/\""
datei=$(bash fhemcl.sh instanz1:8083 "list -r TYPE=SVG"|grep -o " SVG .*"|sed 's/:CURRENT//;s/.*:/\/home\/pi\/fhem\/www\/gplot\//;s/.*/&.gplot /'|tr -d '\n')
bash fhemcl.sh 8083 "{qx(cp -n $datei ./www/gplot/)}"
Damit wird wirklich nur das kopiert, was auch verwendet wird.
Die Logdateien im großen Umfang muss man nonblocking kopieren, oder direkt über die Shell und anschließend noch chown ausführen. Deswegen sieht der cp Befehl bei den Log Dateien anders aus. Die gplot Dateien sind klein, da spielt das keine Rolle.
Das ist wirklich nur ein getesteter Ansatz zum Vorgehen und kein Copy&Paste Code ohne Nachzudenken!
Und wie ich gestern Abend bei unserem FHEM Stammtisch gelernt habe, wäre das bez. der Logs mit DbLog sicher viel einfacher. ;D
Gruß Otto
Hallo Otto,
leider blieben meine Versuche bis jetzt erfolglos. Ich hab mir eine zweite SD Karte als Backup angelegt die regelmäßig getauscht wird und wenn wieder mehr Zeit habe versuche ich mich wieder an deiner Anleitung.
Danke und Gruß
Frank
Hallo Frank,
ich habe das Thema mal noch etwas weiter aufgearbeitet:
https://heinz-otto.blogspot.com/2019/07/definitionen-in-fhem-komplett-umziehen.html
Gruß Otto