FHEM Forum

FHEM => Sonstiges => Thema gestartet von: ChrisW am 27 Dezember 2016, 10:48:35

Titel: Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: ChrisW am 27 Dezember 2016, 10:48:35
Hallo,
ich habe nun immer wieder die Probleme auf meinem PI3 das wegen logdb ( mysql ) mein Fhem total lahm wird...
Ladezeiten von 5 Minuten bis etwas passiert ...

Einträge werden weiter in mysql geschrieben.
Befehle usw. werden weiter ausgeführt.
Log nichts auffälliges es läuft einfach weiter.

Telnet Web usw. sind jedoch nicht nutzbar Wartezeit ca 5 Minuten !
Der PI scheint auch nichts ausgelastet siehe Anhang.

Lokaler Mysql Server hatte damals das selbe gemacht. Habe SQL dann extern auf meine Diskstation gepackt. Das lief auch lange bis die 400MB Datenbank wohl mein FHEM ausgebremst hat ..
Hab es zum Test wieder Lokal gestellt und es läuft SEHR SCHNELL... 2 Tage lang
Datenbank ist nun um die 70MB das ist wohl nicht der Grund.


MYSQL STOP = FHEM wieder Okay
MYSQL START = FHEM ist kaum noch zu erreichen ..

Ich bin kurz davor wieder auf meine filelogs als Text Datei zu wechseln :(
Hoffe jemand hat noch eine idee :(


NOTLÖSUNG habe ich hierher:
https://forum.fhem.de/index.php/topic,32601.0.html

Habe nun mein ALLES loggen eingegrenzt:

Aus : define logdb DbLog ./contrib/dblog/db.conf .*:.*
habe ich :
define logdb DbLog ./contrib/dblog/db.conf .*:(humidity|temperature|state|measured-temp|desired-temp|batteryLevel|actuator).*

gemacht... löst aber auch nciht mein Problem da ich schon einige Geräte habe und das auch loggen möchte.
Ich habe imme rlive per phpmyadmin reingeschaut. Alles super schnell und die log einträge wirklich nicht viel .. am Tag vielleicht 20 MB.

Das sollte doch kein Problem machen ??
Nur FHEM schafft da irgendwas nicht


Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: DS_Starter am 27 Dezember 2016, 11:22:33
Hallo,

schau mal hier -> https://forum.fhem.de/index.php/topic,62998.msg545816.html#msg545816.
Vielleicht hilft es bei dir auch etwas die Situation zu entspannen.
Ich/wir sind aber noch am weiter entwickeln (nach den Feiertagen). Also möglich dass nicht alles problemlos funktioniert.
Aber ich habe diese DbLog-Version bei mir schon einige Tage erfolgreich laufen.

EDIT: mit dieser Entwicklungsversion solltest du die zu loggenden Geräte angeben, also in der Art:

(Device|Device1|Device2|....):.*

und die zu loggenden Events per Event-on-Update/change oder über Dblogexclude einschränken. Denke das könnte helfen.


Grüße
Heiko
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: ChrisW am 27 Dezember 2016, 11:29:02
Cool danke das werde ich gleich mal testen.
Wobei ich dann auch alle geräte quasi reinschreiben muss .. ich will ja alles loggen :/ Kann man nicht sehen welches Gerät Probleme macht ? Ich gucke ja live die letzten Einträge da ist nichts was mega Krass zumüllt .. es lief ja auch Tagelang...

Hier ein Mytop screen load 2.42 scheint auch normal zu sein.
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: DS_Starter am 27 Dezember 2016, 11:42:17
Wenn du Zweifel an deinen MySQl-Parametern hast kannst du es mit diesem Tool versuchen besser einzustellen:

http://mysqltuner.com (http://mysqltuner.com)

Ist ein Perl-Script. Es gibt dir Einstellungsempfehlungen. Vielleicht auch ganz nützlich. Ich benutze es auf meiner Synology für die MariaDB.
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: ChrisW am 27 Dezember 2016, 11:50:49
hmm jetzt wird es lustig .. die neue DBlog version reingeladen und
define logdb DbLog ./contrib/dblog/db.conf .*:.*
Aktiv .. es läuft alles schnell...

Nun die frage nach wieviel Stunden / tagen es wieder zu diesen Problem kommt.

Ich habe 1-2 Geräte die ich nicht Loggen möchte. Wie kann ich nur diese ausschließen ?
Readings okay aber wie ganze Geräte vom logging ausschließen? Ohne nur die Geräte anzugeben welche geloggt werden *G*
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: DS_Starter am 27 Dezember 2016, 12:31:47
Hallo ChrisW,

bei dieser in Entwicklung befindlichen Version ist das Internal NOTIFYDEV eingeführt (lies mal den Thread).
Das bedeutet dass NUR die Gerätevents an DbLog weitergeleitet werden die auch im Define angegeben wurden (oder alle wenn .*).
Es soll dazu dienen die Belastung des Dblog durch nicht benötigte (weil nicht zu loggende) Geräte schon an der Quelle zu reduzieren.
Andererseits müsstest du dir also die Arbeit machen und alle zu loggenden Geräte in dem Define eintragen. Wenn du nur 1-2 Geräte nicht loggen willst ist es natürlich fraglich ob es Vorteile bringt. Probiere es aus ...
Wenn du magst kannst du in dem anderen Thread deine Erfahrungen mit dem weiterentwickelten DbLog mit uns teilen.
Aber immer daran denken ... kann auch mal was schiefgehen... doch je mehr testen um so besser für alle und hoffentlich kann die Abeit ins offizielle DbLog übernommen werden.

Grüße
Heiko
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: ChrisW am 27 Dezember 2016, 12:51:42
Hi,
ja ich teste es jetzt mal und gebe Rückmeldung.
Aber schon komisch das ich ja ALLES Logge nun wie vorher auch nur mit der neuen Version von DBlog...

Wieso gibt es nicht einfach die Möglichkeit per attr einzelne Geräte auszuschließen ?
Das Problem mit execlude log oder wie es heißt kann ich ja nur Readings ausschließen. Leider hat das Gerät 20-30 Readings o_O Von diesem Geräte benötige ich aber gar keine Logs
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: DS_Starter am 27 Dezember 2016, 12:57:27
ZitatWieso gibt es nicht einfach die Möglichkeit per attr einzelne Geräte auszuschließen ?

Im Prinzip kein Problem.  Wir sind halt in Entwicklung  ;)
Mal schauen. Aber es muß gut handhabbar bleiben.... nicht zu viele Stellen wo irgendwetwas ein- oder ausgeschlossen wird.

Aber in der V2.4 wurde auch noch mehr geändert, insbesondere die Art und Weise wie in die DB geschrieben wird. Auch das bringt Vorteile in vielen Fällen, so hoffe ich.
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: stromer-12 am 27 Dezember 2016, 13:06:08
Ich habe auch .*:.* und logge die Werte per DbLogInclude/DbLogExclude.
Die neue DbLog Version hat hier auch einiges entspannt.
Titel: Antw:Fhem WEB/TELNET Lahm wegen logdb ... 5 min Wartezeit !
Beitrag von: ChrisW am 27 Dezember 2016, 13:16:01
Der Langzeittest wird es nun zeigen ;)

Könnte man im Ger#t was NICHT bzw dann nurnoch jede Stunde mal geloggt wird per
attr event on change ? Oder event min interval etwas machen ?

event on chnage reading .* bringt schonmal etwas entspannung.
Verbose 0 hat ja leider nichts mit dme dblog zu tun.