Hallo, blondi hat wieder ein komische Frage!
Gibt es eine Möglichkeit, Log-Dateien z.B. auf einer Festplatte die an der Fritz Box hängt zu kopieren oder auf eine FTP Server im Netz?
Oder kann man den Raspberry irgendwie als Netzlaufwerk anlegen?
LG
Marlen
Beide Fragen kann man ganz klar mit ja beantworten.
Auf meiner Webseite habe ich mein Vorgehen beschrieben, statt USB-Stick geht natürlich sinngemäß jeder andere Speicherort auch:
...
Am einfachsten ist ein zusätzlicher Speicher neben der SD mit einem kleinen USB-Stick zu realisieren. Mit ein paar wenigen Kommandos kann man dem Raspberry beibringen, einen USB-Stick zu erkennen.
sudo apt-get install usbmount
sudo vi /etc/usbmount/usbmount.conf
# dann nach der Zeile FS_MOUNTOPTIONS="" suchen und ändern in
# FS_MOUNTOPTIONS="-fstype=vfat,gid=users,dmask=0007,fmask=0117" und abspeichern
sudo reboot
Nun wird ein USB-Stick automatisch dem Anwender nutzbar gemacht, wenn man ihn steckt. Am besten ist, man nimmt einen ganz kleinen (Nano-)USB-Stick, den man für Linux (ext4) formatiert hat, denn die Dateirechte sollen mitgenommen werden.
Dieser kann die ganze Zeit gesteckt bleiben. Praktischerweise richtet man noch 2 Verzeichnisse ein:
•sync – hier kann der gesamte Pfad /opt/fhem der SD regelmäßig synchronisiert werden (siehe weiter unten)
•log – hier sollen die Logdateien auch schon standardmäßig ablegt werden
Die Logdateien werden in ein Standardverzeichnis geschrieben. Nun gibt es Gründe, dass man das ändern möchte: der wichtigste ist wohl, dass man die permanenten Schreibzugriffe auf die microSD des Raspberry verhindern sollte, weil ein Defekt der SD das gesamte System lahm legt. Deshalb ist es besser , wenn man diese auf einer separaten Hardware, z.B. USB-Speicher, ablegt. Man erreicht das wie folgt:
attr global logdir /media/usb0/log
attr global logfile /media/usb0/log/fhem-%Y-%m.log
attr global statefile /media/usb0//log/fhem.save
attr global archivedir /media/usb0/log
attr global narchive 4
attr autocreate filelog /media/usb0/log/%NAME-%Y.log
Nun werden alle Logdateien dort abgelegt, die Zieladresse muss ggf. angepasst werden. Die Anzahl der Logdateien im Archiv habe ich durch das letzte Attribut narchive begrenzt.
...
ZitatBeide Fragen kann man ganz klar mit ja beantworten.
Echt??? Und wie geht das?
ZitatAuf meiner Webseite habe ich mein Vorgehen beschrieben
Wie ist denn die URL?
Ich möchte die Daten aber auf einen Speicher ablegen, der nicht direkt am Raspberry hängt und einfach über das Intranet oder besser Internet erreichbar ist!
Lg
Marlen
Zitat von: Marlen am 01 Februar 2017, 12:23:16
Echt???
Ja.
Zitat von: Marlen am 01 Februar 2017, 12:23:16
Und wie geht das?
Entferntes Filesystem auf Betriebssystemebene mounten und dann kopieren.
Wenn Du exakte Fragen stellst, dann wirst Du auch exakte Antworten bekommen.
Hey,
ich misch mich hier mal kurz ein ???
Wie genau ist das denn eigentlich mit dem vielen schreiben auf einer SD-Karte? Wird diese dadurch wirklich extremer belastet, sprich sie geht schneller kaputt?
Falls ja, wie kann man das am geschicktesten umgehen.
Mir persönlich fallen da 2 Varianten ein, gibt es noch mehr?:
- Einmal die Logs extern zu speichern, d.h. USB usw...
- Oder auf DbLog umsteigen? Da dadurch nur noch eine Datei geschrieben wird, schont das auch die SD-Karte, oder nicht?
Würdet ihr das umstellen der Logs auf DBLog oder externen Speicher empfehlen?
Bin schon des längeren am überlegen umzustellen, traue mir diesen großen Schritt ohne Schritt für Schritt Anleitung nicht zu :-[
Gibt es gut beschriebene Anleitungen zur DBLog Einrichtung? Könnte es Problemen bei oder nach der Umstellung von DBLog geben?
Gruß Fixel
ZitatWie genau ist das denn eigentlich mit dem vielen schreiben auf einer SD-Karte? Wird diese dadurch wirklich extremer belastet, sprich sie geht schneller kaputt?
Ach so, so hab ich das noch gar nicht gesehen!
Mein Ziel war es, z.B. einfach schnell die Daten abzugreifen um sie vielleicht in Excel zu analysieren.
LG
Marlen
Mit der Ausnahme LogDB kann FHEM nur auf Filesystem schreiben. ( Einen Syslog-Adapter wünsch ich mir auch)
Daher wirst du alles andere als Filesystem einbinden müssen.
Für ssh gibt es zum Beispiel ein sshfs .. wie genau das geht musst du dir anlesen ... bzw googeln.
Wahrscheinlich gibts auch ein ftpfs.
Alternativ funktioniert WebDav ganz gut .... allerdings sind die Latenzen grottig.
Aber eventuell macht es ja Sinn die Logs periodisch mittels rsync zu kopieren
Danke daran das wenn dein Cloud-Speicher ausfällt oder nicht erreichbar ist ... steht dein komplettes FHEM .... unter Umständen sogar das ganze Betriebssytem.
Zitat von: Marlen am 01 Februar 2017, 13:03:30
Mein Ziel war es, z.B. einfach schnell die Daten abzugreifen um sie vielleicht in Excel zu analysieren.
Wenn es dir um einen Zugriff nur auf das Zahlenmaterial geht ... für Auswertungen .... dann nimm LogDB und schreiben die Zahlen in eine MySQL-Datenbank
Das kann dann auch eine DB im I-Net sein.
Aber Vorsicht: Wenn die Verbindung weg ist steht auch hier das gesamte FHEM.
Deswegen lieber eine lokale Master-DB installieren und eine Replik ins I-Net ... wenns den unbedingt im I-Net stehen muss ( Sicherheit)
Zitat von: dev0 am 01 Februar 2017, 12:41:24
Ja.
Entferntes Filesystem auf Betriebssystemebene mounten und dann kopieren.
Wenn Du exakte Fragen stellst, dann wirst Du auch exakte Antworten bekommen.
Wie macht man das?
LG Marlen
Moin,
Zitat von: Fixel2012 am 01 Februar 2017, 12:54:52
Wird diese dadurch wirklich extremer belastet, sprich sie geht schneller kaputt?
Im Zweifel ist das richtig. Obwohl "vernünftige" Karten einiges an Lese/Schreibzyklen aushalten.
Zitat von: Fixel2012 am 01 Februar 2017, 12:54:52
Falls ja, wie kann man das am geschicktesten umgehen.
Mir persönlich fallen da 2 Varianten ein, gibt es noch mehr?:
- Einmal die Logs extern zu speichern, d.h. USB usw...
- Oder auf DbLog umsteigen? Da dadurch nur noch eine Datei geschrieben wird, schont das auch die SD-Karte, oder nicht?
Beides gangbare Wege! Wenn du die DB auf der SD Karten laufen läßt, auf der auch deine Logs auflaufen, gewinnst du quasi nix. Also wenn Umstellung auf DB, dann sollte die DB auf einem externen Host laufen.
Bei Auslagerung auf ein USB-Drive gewinnst du im Zweifel auch nichts, da ein USB-Drive quasi nix anderes als ne SD Karte mit Verpackung drum rum ist :)
Einziger Vorteil wäre, dass wenn durch das Logging der USB über den Jordan geht, deine restliche Installation ungefährdet bleibt.
Ich nutze Variante 3: FHEM läuft auf nem RasPi, Logging erfolgt per gemountetem Netzlauflaufwerk auf meine NAS (da sind Magnetlaufwerke drin :) ), zusätzlich beginne ich grad auf DBLog umzustellen, zwecks höherer Geschwindigkeit bei Analyse, ggf. sogar über ein eigenes WebFrontend zur Analyse.
Kommt also ganz auf den Aufwand an, dem man betreiben mag und was man eigentlich erzielen möchte.
Grüße
kroemmel
PS: Lese grad die Antwort von AxelSchweiss - steht FHEM echt komplett, wenn kein Logging erfolgen kann? Ist mir bisher noch nicht so untergekommen / wahrgenommen.
Zitat von: kroemmel am 01 Februar 2017, 13:14:59
Moin,
Im Zweifel ist das richtig. Obwohl "vernünftige" Karten einiges an Lese/Schreibzyklen aushalten.
Beides gangbare Wege! Wenn du die DB auf der SD Karten laufen läßt, auf der auch deine Logs auflaufen, gewinnst du quasi nix. Also wenn Umstellung auf DB, dann sollte die DB auf einem externen Host laufen.
Bei Auslagerung auf ein USB-Drive gewinnst du im Zweifel auch nichts, da ein USB-Drive quasi nix anderes als ne SD Karte mit Verpackung drum rum ist :)
Einziger Vorteil wäre, dass wenn durch das Logging der USB über den Jordan geht, deine restliche Installation ungefährdet bleibt.
Ich nutze Variante 3: FHEM läuft auf nem RasPi, Logging erfolgt per gemountetem Netzlauflaufwerk auf meine NAS (da sind Magnetlaufwerke drin :) ), zusätzlich beginne ich grad auf DBLog umzustellen, zwecks höherer Geschwindigkeit bei Analyse, ggf. sogar über ein eigenes WebFrontend zur Analyse.
Kommt also ganz auf den Aufwand an, dem man betreiben mag und was man eigentlich erzielen möchte.
Grüße
kroemmel
PS: Lese grad die Antwort von AxelSchweiss - steht FHEM echt komplett, wenn kein Logging erfolgen kann? Ist mir bisher noch nicht so untergekommen / wahrgenommen.
Danke,
möglichkeit 3 hätte ich auch zur Auswahl. Aber was wenn mein NAS durch verschiedene Gründe für ein Paar Minuten nicht erreichbar ist? Kriegt Fhem das mit? Wie reagiert Fhem dabei?
ZitatWenn du die DB auf der SD Karten laufen läßt, auf der auch deine Logs auflaufen, gewinnst du quasi nix.
Warum? :o DBLog ist eine Datei? meine Log Dateien sind mehrere, somit minimiere ich den Schreib Aufwand zumindest. Oder nicht?
Zitat von: Marlen am 01 Februar 2017, 13:12:49
Wie macht man das?
LG Marlen
Wenn du ein vorhandenes Netzwerklaufwerk hast, kannst du dieses mit dem Befehl Mount in dein Dateisystem einbinden. Und somit dann auf deinem Netzwerklaufwerk lesen und schreiben.
Frag mal Google, Google weiß da mehr als ich ;D ;)
Zitat von: Fixel2012 am 01 Februar 2017, 13:20:22
Aber was wenn mein NAS durch verschiedene Gründe für ein Paar Minuten nicht erreichbar ist? Kriegt Fhem das mit? Wie reagiert Fhem dabei?
Wenn ich das bisher richtig beobachtet habe, wird in dem Zeitraum einfach kein Log (bzw.
keine Logs) geschrieben. Du hast dann also eine "Lücke" in den Daten.
Zitat von: Fixel2012 am 01 Februar 2017, 13:20:22
Warum? :o DBLog ist eine Datei? meine Log Dateien sind mehrere, somit minimiere ich den Schreib Aufwand zumindest. Oder nicht?
Dafür steigerst du die Zugriffe auf diese 1 Datei deutlich. Du sparst dir natürlich ne ganze Menge Meta-Zugriff (Datei öffen, schreiben, schließen), etc. Aber ob ich "BLA" in drei Dateien schreibe, oder 3x "BLA" sequentiell in eine Datei, dürfte sich nicht viel geben. Ich mag aber auf dem Holzweg sein, an dieser Stelle.
Grüße,
kroemmel
Zitat von: kroemmel am 01 Februar 2017, 13:33:02
Wenn ich das bisher richtig beobachtet habe, wird in dem Zeitraum einfach kein Log (bzw. keine Logs) geschrieben. Du hast dann also eine "Lücke" in den Daten.
Dafür steigerst du die Zugriffe auf diese 1 Datei deutlich. Du sparst dir natürlich ne ganze Menge Meta-Zugriff (Datei öffen, schreiben, schließen), etc. Aber ob ich "BLA" in drei Dateien schreibe, oder 3x "BLA" sequentiell in eine Datei, dürfte sich nicht viel geben. Ich mag aber auf dem Holzweg sein, an dieser Stelle.
Grüße,
kroemmel
Super, Danke dir! :D
Also ich hatte mir damals auf dem Raspi eine SD Karte "kaputt geschrieben".
Mittlerweile habe ich aber so viel wie möglich auf mein NAS ausgelagert.
Dort läuft MongoDB für DBLog (Fhem läuft übrigens schon weiter, wenn der DB Server nicht verfügbar ist, es wird halt nur nichts mehr gelogt) und auch die Logs landen da. Dazu hab ich einfach ein "Laufwerk" über NFS an den NUC gemounted und die Pfade in FHEM entsprechend angepasst.
Ich logge auch die meisten Systemlogs vom System selber dorthin.
Gibt es btw eine möglichkeit die komplette SD Karte im laufenden Betrieb zu sichern? Ich denke nicht? Ich sichere ungefähr jede 2 Wochen die SD-Karte per Hand, ist denke ich nicht die beste Lösung.
Mit einer "ordentlichen" Backupsoftware geht das natürlich...ich mache jeden tag in der Nacht ein Backup online
Zitat von: Mitch am 01 Februar 2017, 14:16:03
Mit einer "ordentlichen" Backupsoftware geht das natürlich...ich mache jeden tag in der Nacht ein Backup online
Ich mache jede nacht ein Backup, allerdings nur von dem Ordner /opt/fhem
Ich hätte aber gerne eine .IMG Datei, falls die SD Karte abrauchen sollte. Somit kann ich mir eine andere Schnappen und einfach das letze Backup drauf spielen ;) :D
Geht sowas, falls ja hat wer einen Tipp wie?
Hat außerdem jemand einen Tipp wie ich qualitativ hochwertige SD-Karten erkenne, bzw hat jemand eine Kaufempfehlung für mich?
Zitat von: Mitch am 01 Februar 2017, 14:16:03
Mit einer "ordentlichen" Backupsoftware geht das natürlich...ich mache jeden tag in der Nacht ein Backup online
Welche wäre das dann ? Bin neugierig :)
Ich benutze Acronis Backup Cloud
Kann auch übrigens mein backup als IMG sichern, oder mein backup als VM starten
Zitat von: Mitch am 01 Februar 2017, 14:28:56
Ich benutze Acronis Backup Cloud
Kann auch übrigens mein backup als IMG sichern, oder mein backup als VM starten
Ist die Sofware auf dem Rapsi oder auf dem Nas :o
Zitat von: Mitch am 01 Februar 2017, 13:51:00
Also ich hatte mir damals auf dem Raspi eine SD Karte "kaputt geschrieben".
Mittlerweile habe ich aber so viel wie möglich auf mein NAS ausgelagert.
Dort läuft MongoDB für DBLog (Fhem läuft übrigens schon weiter, wenn der DB Server nicht verfügbar ist, es wird halt nur nichts mehr gelogt) und auch die Logs landen da. Dazu hab ich einfach ein "Laufwerk" über NFS an den NUC gemounted und die Pfade in FHEM entsprechend angepasst.
Ich logge auch die meisten Systemlogs vom System selber dorthin.
Das hört sich gut an, auf einen NAS auslagern! Würde da auch eine FP an einer Fritzbox gehen?
Oder wie muß ich mir einen DB Server vorstellen?
Was brauch ich dazu?
...hab leider noch keine Ahnung von DB!
LG
Marlen
Habe das hier gefunden, es ist also machbar ;D
https://raspiprojekt.de/forum/software/101-backup-der-sd-karte-im-laufenden-betrieb.html
Werde mich denke ich mal bei zeit an die Sache ran machen!
@Fixel2012: die Software selber läuft in der Cloud, auf meinem Server nur ein Agent
DD geht nicht im laufenden Betrieb. Also es geht, aber es ist unter Umständen nicht konsistent und damit dein Image nutzlos.
@Marlen: klar kannst Du auch die NAS Freigaben von der Fritte mounten und nutzen
Wie löst das Acronis? :o Würde ungern Geld für so eine Software zahlen...
Hast sonst Ideen oder Vorschläge, wie man eine gescheite Backup lösung herzaubern kann? :P
Zitat von: Mitch am 01 Februar 2017, 14:36:05
@Marlen: klar kannst Du auch die NAS Freigaben von der Fritte mounten und nutzen
Gut, aber wie mach ich das mit der DB???
@ Fixel: So lange es um eine gute Lösung geht, die eine Online-Sicherung durchführen kann geht, kommst Du wohl nicht um ein kommerzielles Tool rum.
Eine SW, die Volume Shadow und Snapshotting kann und die Möglichkeit gibt, auch Bootimages für ein bare metal Restor zu erstllen und Du hast was Du suchtst.
Acronis kann das alles (ich will hier aber nicht zu viel Werbung machen, ich arbeite da ;D)
@Marlen: leg halt mySQL auf deinem Pi an und die Datenbank Datei auf dem NAS
Zitat von: Mitch am 01 Februar 2017, 14:46:06
@ Fixel: So lange es um eine gute Lösung geht, die eine Online-Sicherung durchführen kann geht, kommst Du wohl nicht um ein kommerzielles Tool rum.
Eine SW, die Volume Shadow und Snapshotting kann und die Möglichkeit gibt, auch Bootimages für ein bare metal Restor zu erstllen und Du hast was Du suchtst.
Acronis kann das alles (ich will hier aber nicht zu viel Werbung machen, ich arbeite da ;D)
Argh, das erklärt warum man sich sowas leisten kann ;D
Ich danke dir erstmal, werde mich da mal näher erkunden :-\
Zitat von: Marlen am 01 Februar 2017, 14:41:48
Gut, aber wie mach ich das mit der DB???
Bitte verwende doch mal das Wiki und lasse Dir nicht alles vorkauen bzw. aus der Nase ziehen! Dafür ist es schließlich da!
Siehe hier: https://wiki.fhem.de/wiki/DbLog
Zitat von: Fixel2012 am 01 Februar 2017, 14:48:43
Argh, das erklärt warum man sich sowas leisten kann ;D
Okay, ich zahle nichts dafür, aber es ist auch für Kunden nicht teuer.
Wir verkaufen die Lösung ja an Service Provider und diese bieten dann Ihren Kunden (Dir z.B.) das ganze als BaaS (Backup as a Service) für kleines Geld an.
Du kannst ja mal nach Acronis Backup Cloud suchen, da findest Du bestimmt ein paar Service Provider und ihre Preise.
Definiere kleines Geld ;) Das ganze nur für meinen Raspi lohnt sich so oder so nicht :-X
Die Prese machen die ServiceProvider ;)
Ich würde es nicht vom Rechner abhängig machen, sondern von den Daten.
Mein FHEM ist so groß und wichtig, dass ich früher auch für ein vernünftiges Backup bezahlt hatte (bei Strato und dann AWS). Jetzt habe ich halt einen kleinen Vorteil ;D
Schaut euch mal Bacula bzw. Bareos an.
Ich mach damit seit Jahren meine Backups auf eine LTO-Library.
Das Kann auch auf Files und ist (zumindest Bareos) für Lau.
Den Datenbankkatalog schreibe ich dann täglich via WebDAV auf ein verschlüsseltes CoudDrive bei einem Provider.
Aber nur für FHEM Backup ist das natürlich mit Nukes auf Ameisen geschossen :-). Gebe ich zu.
Was würdet ihr mir für eine Datenbank empfehlen?
Sqlite
MySQL
PostGreSql
Und wie lege ich eine Datenbank auf dem NAS an?
Wie schaut sowas aus? Ist das nur eine Datei?
LG
Marlen
Bezüglich Sicherung wäre mir Acronis ne Nummer zu groß, wobei ich im Beruf die Software liebe! :D
Ich persönlich habe von einer frischen Raspberry-FHEM Installation ein Image der gesamten SD-Karte erstellt.
Das kann ich jederzeit im Fall der Fälle auf eine Austauschkarte ziehen und habe direkt ein lauffähiges FHEM. Dahin verbinde ich mich, fahre ein Update auf die neuste Version und kann dann ohne groß Aufhebens ein Backup wieder zurückspielen, da die ja sowieso auf die NAS gesichert sind.
Das Restore geht ja easy mit Boardmitteln oder per Shell. Dauert in Summe (frische SD vorrausgesetzt) rund 30 Minuten und kostet nix :)
Grüße,
kroemmel
PS: @Marlen: check mal FHEMWiki (https://wiki.fhem.de/wiki/DbLog#Datenbank)
SQLite.
Der Rest steht im Wiki.
Und hier: http://lmgtfy.com/?q=fritzbox+sqlite
Und hier: https://de.wikipedia.org/wiki/SQLite
Guten Abend :(
ich hab wohl beim Mounten einen Fehler beim eintragen in der
/etc/fstab
gemacht, jetzt fährt mein System nicht mehr hoch!
Was mach ich denn jetzt? Ich komm nicht mehr ran, Putty etc.... nix geht mehr!
Bitte helft mir!
Gruß
Marlen
+ Hab jetzt mal meinen alten Beamer angeschlossen, schaut jetzt so aus....wo bin ich da?
Auf dem Foto ist nichts gescheit zu erkennen.
Denke aber zu erkennen, dass Du eine emergency shell hast.
Wenn ja: Wie schaut /etc/fstab aus? => cat /etc/fstab
Backup gemacht vor so tiefgreifenden Änderungen? Wenn ja: Wieder einspielen.
Wenn nicht: Ein besseres Foto machen, auf dem man auch was erkennt.