Umstellung auf MySQL sinnvoll

[Otto]

Hi,

ich überlege wegen der vielen log Daten auf MySQL umzusteigen, weiss aber nicht ob ich mir damit Probleme einhandle.

Zur Zeit verschiebe ich alte log Dateien im Format Steckdose0-%Y-%m.log auf mein NAS und lasse nur 3 Monate auf dem raspberry pi 3

Nun will ich aber eine log Auswertung bzw Charts über mehre Jahre auswerten und da kam mir MySQL in den Sinn.
Schön finde ich https://wiki.fhem.de/wiki/Neues_Charting_Frontend aber mit MySQL kann man sicher noch viel mehr machen.


Wie sind die Erfahrungen mit MySQL auf einem raspberry pi?
Was passiert wenn die Datenbank zu groß wird?
Leidet die Zugriffszeit bzw Performance des fhem durch MySQL

[betateilchen]

Bevor in MySQL eine Datenbank "zu groß" wird und dadurch Performanceprobleme verursacht, bekommst Du auf einem raspi definitiv andere Probleme.

[Amenophis86]

Habe auch eine DB mit dblog angelegt und keine Probleme damit. Ganz im Gegenteil.

[CoolTux]

Bevor in MySQL eine Datenbank "zu groß" wird und dadurch Performanceprobleme verursacht, bekommst Du auf einem raspi definitiv andere Probleme.

Zum Beispiel Hauptspeicher.

[Otto]

Zum Beispiel Hauptspeicher.

ok. So sieht es zur Zeit aus:

Code Auswählen Erweitern

root@raspberrypi3:~# df -h
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root       7,3G    2,5G  4,6G   35% /
devtmpfs        459M       0  459M    0% /dev
tmpfs           463M       0  463M    0% /dev/shm
tmpfs           463M     47M  416M   11% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
tmpfs           463M       0  463M    0% /sys/fs/cgroup
/dev/mmcblk0p1   63M     21M   43M   33% /boot
root@raspberrypi3:~# free
             total       used       free     shared    buffers     cached
Mem:        947748     890720      57028      47956      46756     663292
-/+ buffers/cache:     180672     767076
Swap:       102396          0     102396
root@raspberrypi3:~#



Auf welcher Hardware läuft bei euch Fhem?

Nutzt Ihr (betateilchen, CoolTux) MySQL?

[CoolTux]

Hallo Otto,

Mach Dir keine Gedanken. Die paar Datensätze die geloggt werden sind ein Witz. Da kommt weder der Pie geschweige denn mariaDB (mysql) ins schwitzen.
mariaDB wird in großen Unternehmen eingesetzt mit aber Millionen von Datensätzen und hunderten von Tabellen in Clusterverbunden.

Also, mach Dir lieber Gedanken darum was für Dich Sinnvoll und Relevant an geloggten Daten ist und stelle dann logDb entsprechend ein. Ich habe zum Beispiel 2 logDb Instanzen. Eine für kurzzeitiges Logging so 20 Tage und eine für langzeitiges Logging für mehrere Jahre. Ich logge auch nicht alles. Eher relativ wenig.



Grüße

[DS_Starter]

Bin ebenfalls bekennender MySQL-Fan.
Mit Erfahrungen bzgl. Pi kann ich nicht dienen, aber ich betreibe die MariaDB von FHEM getrennt auf dem NAS (Synology). Die Daten werden also remote von den FHEM-Servern an die DB übertragen.
Funktioniert prima mit mehreren MySQL-DB's.

viele Grüße

[Amenophis86]

Gleiches Prinzip bei mir, wie bei DS_Starter. Funktioniert super und logge eigentlich auch in erster Linie nur Fenster / Türen / Heizung / Temp / Feuchte. Sollten wir irgendwann mal Schimmel in der Mietwohnung haben kann ich nachweisen, dass ich ordentlich gelüftet habe. Ansonsten logge ich recht wenig.

[chris1284]

Das wichtigste ist wirklich sich eine Konzept zum Erfasssen der Daten ausdenkt. Was soll in welchem Umfang gelogged werden und wie lange vorgehalten werden?
ich habe zb noch sehr wenig in der Richtung gemacht und alles excluded, dann die devices die ich loggen will included (ohne Filter der Readings oder der Zeitabstände).
Das bewirkt viel verschwendeten Platz was bei einer SDcard sicher schenll problematisch wird und durhc die vielen schreibzugriffe sicher auch nicht deren Langlebigkeit fördert.

kann ich nachweisen, dass ich ordentlich gelüftet habe.

Wobei ich mir denken könnte das selbsterfasste Daten von Homematic Sensoren (bezogen auf evtl. Eichung, Tolleranzen usw)  nicht wirklich ein aussagekräftiges / zulässiges Beweismittel im Rechtsstreit wären... ist aber ehr offtopic

[Amenophis86]

Wobei ich mir denken könnte das selbsterfasste Daten von Homematic Sensoren (bezogen auf evtl. Eichung, Tolleranzen usw)  nicht wirklich ein aussagekräftiges / zulässiges Beweismittel im Rechtsstreit wären... ist aber ehr offtopic

Die Beweiskraft dürfte nicht die stärkste sein, aber es besser, als gar nichts zu haben Aber über die Beweiskraft müssen wir nicht reden, dass ist richtig

[FranzB94]

Hi DS_Starter!

.. ich betreibe die MariaDB von FHEM getrennt auf dem NAS (Synology). Die Daten werden also remote von den FHEM-Servern an die DB übertragen.
Funktioniert prima mit mehreren MySQL-DB's.

Ich sezte seit kurzem auch ein DS216j ein. Nun habe ich auch MariaDB und phpMyAdmin installiert und am laufen. FHEM läuft auf einem RasPi3. Kannst du mir Hinweise darauf geben, wie man das Logging unter meinen Bedingungen installiert.

Vielen Dank

Franz
 

[Amenophis86]

In der Config Datei die Daten deiner NAS und DB eingeben. Vor noch die DB richtig auf der NAS Anlegen. Details findest du im Wiki. Ist zwar nicht direkt eine Anleitung für dich, aber alles wichtige steht dort

[Otto]

Wenn MySQL auf dem NAS läuft, was hat das für Vorteile?

Oder läufen da dann noch andere DB's für andere Anwendungen

[Amenophis86]

Ja auch noch für andere Anwendungen, wie zB meine zwei PIs mit OSMC (Kodi), die sich eine DB teilen. Aber es hat auch den Vorteil, dass die Daten nicht auf der SD Karte liegen und ich sie immer noch habe, wenn die SD Karte abschmiert. Auf die NAS werden auch die Backups von FHEM und so weiter geschoben.

[FranzB94]

Hi!

Vielen Dank für Deine Hinweise.


Gruß Franz