Filelog oder DBLog

[AHA1805]

Hallo,

ich habe fhem auf einer FB7390 laufen.
Da ich SQLite relativ oft in Scripten verwende,
habe ich mir die Frage gestellt ob es nicht auch bei FHEM einsetzen soll.

Nun hier ein paar Fragen.

1. Funktioniert DBLog auf einer Fritzbox
2. Ist es Performance mäßig ein Gewinn auf DBLog umzusteigen.
3. Sollte man dann alle Logeinträge auf DBLog umstellen?
4. Ist es empfehlenswert alle Daten in einer Datenbank zu speichern?



Schönen Abend
Hannes


Gruß Hannes

[rudolfkoenig]

1. Das ist was fuer Experten.
2. Ich vermute nein, ein faires Vergleich wuerde mich aber interessieren.
3. Darueber herrschen bestimmt unterschiedliche Ansichten, jenachdem was man fuer die Auswertung verwenden will.
4. Das wird langsam philosophisch: mAn ist ein Filesystem auch eine Datenbank, geschrieben von den OS-Leuten.

[justme1968]

der vorteil einer db ist alle werte aller devices zu allen zeitpunkten zur verfügung zu haben und im nachinein beliebig in plots zu kombinieren. um genau diesen vorteil zu nutzen braucht es aber auch die nötigen resourcen an cpu, speicher sowie platten platz und performance.

der vorteil von log files alles in kleinen häpchen recht resourcen schonend zu speichern erkauft man sich damit das es nicht (einfach) möglich ist beliebige devices in einem einzigen plot über beliebige zeiträume darzustellen.

ich vermute mal mit der kombination aus fritzbox und dblog wirst du nicht wirklich glücklich.

gruss
  andre

[AHA1805]

Hallo Rudi, Hallo Andre,

danke für diese ausführliche Antwort.
Jetzt hat sich für mich so einiges geklärt, hätte ich mir eigentlich auch selber denken können, manchmal brauche ich halt einen kleinen Anstoß .

Wenn ich die Daten in einer Datenbank habe und die Vorteile dieser ausnutzen möchte, ist das nur sinnvoll wenn man auch genügend "Resourcen" zur Verfügung hat.

Ab welcher Hardware ist an eine DB empfehlenswert
-Rassbery (eher nicht)
-Beaglebone,
-Wandboard oder gar
-PC Hardware
Hier gibt es wahrscheinlich auch keine allgemein gültige Antwort, sondern hängt von der Menge der auszuwertenden Daten ab.
Habe in meiner langfristigen Planung vor, mal auf Beaglebone zu wechseln, da mir diese Plattform, vom Preis Leistungsverhältnis (Anschaffung/Betriebskosten) am sinnvollsten erscheint

Verwendet ihr DBLog ?
Wenn ja, mit welcher DB engine
  SQLite
  MySQL

@Rudi: Zu Punkt 4 hast Du Recht, da könnte man jetzt eine Grundsatz Diskussion vom Zaun brechen, was ist eigentlich eine Datenbank.

Wünsche allen einen schönen Arbeitstag
Gruß Hannes



Gesendet von Unterwegs mit Tapatalk 4

[Puschel74]

Hallo,

Ab welcher Hardware ist an eine DB empfehlenswert
-Rassbery (eher nicht)

Ich verwende DBLog seit ca. 6 Monaten auf meinem RasPi mit sqlite3 und sehe keinen Grund auf "potentere" Hardware zu wechseln.
Die Plots werden einwandfrei und flott dargestellt.
Die Datenbank habe ich aber nicht auf der SD-Karte sondern auf einer USB-HDD.

Ob die Plots flott dargestellt werden können hat aber auch mit der Datenmenge zu tun die man wegschreiben bzw. anzeigen lässt.
Bei einem Tagesplot der Aussentemperatur zum Beispiel lasse ich jeden Datenpunkt anzeigen.
Bei einem Wochenplot interessiert mich nur noch die Tageshöchst- und Tiefstemperatur.
Hier könnte man ggf. auch die Durchschnittstemperatur noch anzeigen aber mMn hat ein Wochenplot (oder längerer Zeitraum) mit Minutenwerten (oder was der Sensor liefert) sowieso keinen Sinn da man diese Werte eh nicht mehr erkennen kann.
Bei einem Monatsplot lasse ich mir dann eben nur noch die Wochenwerte anzeigen.
Dank dem Average-Modul klappt das für alle Werte die ich loggen lasse einwandfrei.

Grüße

[AHA1805]

Danke für die Info

Gesendet von Unterwegs mit Tapatalk 4

[Puschel74]

Hallo,

sorry das ich meinen obigen Beitrag nicht editiere sondern nochmal poste.

Ich muss oben was korrigieren.

Ob die Plots flott dargestellt werden können hat aber auch mit der Datenmenge zu tun die man wegschreiben bzw. anzeigen lässt.

Die Anzeigegeschwindigkeit der Plots hat natürlich nichts mit der Datenmenge zu tun die man in die DB schreiben lässt.
Das ist natürlich Blödsinn gewesen von mir.

Die Anzeigegeschwindigkeit hat natürlich nur mit der Datenmenge zu tun die man sich anzeigen lassen möchte.

Auf die SD-Karte würde ich die DB nicht legen weil das einfach viel zu viele Schreib- Lesezugriffe werden (können).
Meine DB hat mittlerweile lt.

Code Auswählen Erweitern

ls -l knapp 1,2 GB und ich zeichne seit 06.09.2013 ~19:15 Uhr auf (davor hatte ich die DB auf der SD - ich liebe die Abkürzungen  ).
Diese SD hat sich dann auch verabschiedet 

Ich weiß nicht ob das mit Logfile besser ist/wäre da ich Logfile nur auf der FB (Anfangszeit fhem) und am Anfang meiner RPi-Zeit verwendet habe aber dazu kann sicher Rudi mehr sagen (oder der jeweilige Maintainer).

Aber wie andre schon geschrieben hat:

der vorteil einer db ist alle werte aller devices zu allen zeitpunkten zur verfügung zu haben

Und zwar in einem File, eben der Datenbank, und nicht in einem File für jedes Device.

Dazu

um genau diesen vorteil zu nutzen braucht es aber auch die nötigen resourcen an cpu, speicher sowie platten platz und performance.

CPU -- der RasPi schafft das locker. Es kommt nur drauf an was er sonst noch machen soll (XBMC ... )
Speicher -- kommt auf die SD-Karte an
Wichtig sind die beiden letzten Punkte Plattenplatz und Performance.

Ok. Ich könnte hochgerechnet auf meiner 500 GB-USB-Platte erstmal die nächsten knapp 70 Jahre die Daten loggen lassen.
Sinn oder Unsinn ist hier mal nicht das Thema.
Ich kann mir ja immer noch was einfallen lassen was ich noch drauf speichern lasse 
Aber 320GB im Vergleich zu 500GB (2 Euro Unterschied, ok ich hab jetzt nicht genauer gesucht) lassen mich! schnell entscheiden.
Und USB 2.0 - da kann ich am RasPi nichts nachteiliges sagen.
Ich hab aber auch nur die Festplatte dran - und der Netzwerkchip ist glaub ich über den USB-Kontroller angebunden.
Flutscht einwandfrei.

Aber das sind nur meine Erfahrungen.
Andere machen andere Erfahrungen und du wirst deine machen 

Grüße

[AHA1805]

Danke nochmals für die ausführliche Info.
Wow da kommen doch ziemlich Daten zusammen 1,2GB in 2 Monat, machst du regelmäßig ein vaccum der SQLite DB?
Wieviel Sensoren hast du eingebunden, welche in die DB schreiben nur um so ein Gefühl für die anfallenden Daten zu bekommen?

Diese Daten Menge kommt mir jetzt schon sehr hoch vor.
Das sind ~13,5kb/min bei 80Byte pro LogZeile wären das etwa 173 Einträge pro Minute.
Ich hab auf meiner Fritz Box noch 400MB frei und dachte mir das reicht schon eine Weile.

Aber wenn ich mir das so anschaue, werde ich früher wechseln müssen als mir lieb ist.

Gute Nacht
Gruß
Hannes

Gesendet von Unterwegs mit Tapatalk 4

[Puschel74]

Moin,

dadurch das ich DBLog auf einer USB-HDD verwende lasse ich natürlich alles wegschreiben was so anfällt.
Einige wenige Sensoren haben event-on-change-reading als attr bekommen aber der Rest wandert in die DB.

Grüße

[AHA1805]

Guten Morgen,

ja dann versteh ich das.
Diese Datenaufkommen, passt natürlich zu Deiner Konfig.

Gruß und einen schönen Arbeitstag
Hannes

Gesendet von Unterwegs mit Tapatalk 4