Performanceprobleme in fhem Webdiensten

Begonnen von betateilchen, 26 Oktober 2014, 14:10:52

Vorheriges Thema - Nächstes Thema

betateilchen

Ich habe keinen Verdacht, das ist ja gerade das Beunruhigende
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

Dr. Boris Neubert

Ich konnte das Anschwellen des Speichers bei meinem FHEM-Server heute morgen definitiv auf das RSS-Modul zurückführen und ich vermute ein Speicherleck/fehlende Garbage Collection. Wie sieht die Resident Set Size für Deinen fhem-Prozess aus?

Grüße
Boris
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!

betateilchen

fhem     29616 18.3  6.4 144048 132076 ?       R    09:41  13:47 /usr/bin/perl fhem.pl configDB
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

rudolfkoenig

Und hier meins ohne RSS (d.h. RSS-Modul)
rudi      1620  0.1  1.4  89332 29300 ?        S    Nov12   6:34 perl fhem.pl fhem.cfg

@betateilchen: wieso benoetigt dein FHEM 18.3% CPU?

betateilchen

keine Ahnung, das schwankt immer zwischen 0,3% und 95%, die meiste Zeit liegt der Wert aber unter 2%

-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

Dr. Boris Neubert

CPU-Auslastung ist bei mir ähnlich.

Wird bei mir periodisch immer dann hochgejubelt, wenn ECMD die Daten von meinem NetMon entgegennimmt. Dasselbe passiert auch bei der Entgegennahme von Daten vom OWSERVER und bei Auslieferung von Daten via FHEMWEB/RSS (beide Module derzeit jedoch inaktiv).

Ich mache mich auf die Suche nach dem Speicherleck. Darüber berichte ich in dem ENOMEM-Thread im Developer-Board.

Grüße
Boris
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!

betateilchen

Heute funktioniert der Webzugriff auf fhem wieder exakt fünf Minuten, bevor der automatische Refresh komplett ausfällt...
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

betateilchen

Zitat von: herrmannj am 15 November 2014, 23:22:46
Wen hast Du im Verdacht ?

Inzwischen HABE ich tatsächlich einen Verdacht:  Die Fritzbox hier im Netzwerk, zu der ich derzeit keine Alternative habe und die sich vor zwei oder drei TAgen automatisch ein Firmwareupdate gezogen hat. Dadurch habe ich hier noch ein paar ganz andere Probleme: Ich kann z.B. nicht mehr per SMB auf mein HiDrive bei Strato zugreifen, weil NETBIOS jetzt komplett gefiltert wird und alle im Internet zu findenden Tricks keine Abhilfe (mehr) schaffen.

Seit heute abend kann ich überhaupt nicht mehr auf mein fhem zugreifen, weder per Frontend noch per RSS, also alles was Webservices angeht. Telnet geht, aber das hilft mir nicht wirklich weiter.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

herrmannj

komisch aber es gibt ja alles. Du und 'ne fb ?  ;)

Von innen oder von außen? Telnet geht, http nicht ? Das die fb die Kommunikation zwischen WLAN Teilnehmern unterbinden kann brauch ich Dir vermutlich nicht zu sagen .
Sicher das Du nicht doch das delete FHEMWEB.* mal testen möchtest ?

vg
 

betateilchen

Zitat von: herrmannj am 19 November 2014, 20:12:55
komisch aber es gibt ja alles. Du und 'ne fb ?

Als Unitymedia Kunde hast Du keine andere Wahl, Du kriegst das Ding einfach aufgezwungen.

Zitat von: herrmannj am 19 November 2014, 20:12:55
Von innen oder von außen? Telnet geht, http nicht

Nur im lokalen Netz.

Zitat von: herrmannj am 19 November 2014, 20:12:55
Das die fb die Kommunikation zwischen WLAN Teilnehmern unterbinden kann brauch ich Dir vermutlich nicht zu sagen .

Die Fritzbox wird von mir ausschließlich als Kabelmodem genutzt, alles andere (WLAN, DHCP etc) ist abgeschaltet.



Zitat von: herrmannj am 19 November 2014, 20:12:55
Sicher das Du nicht doch das delete FHEMWEB.* mal testen möchtest ?

Es gibt nur zwei FHEMWEB.* Instanzen, und die sind beide vom Laptop und nicht vom betroffenen Tablet.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

betateilchen

Ich habe nun temporär die vorherige Version von 02_RSS.pm in mein fhem kopiert. Nun ist zumindest das Frontend wieder erreichbar. Auf dem Tablet läuft der automatische refresh nun auch wieder seit 15 Minuten durch.

Als ich die RSS Seite mit der aktuellen Modulversion testweise im Laptop Browser aufgerufen hatte, musste ich erkennen, dass


  • das Image in der Seite nicht vollständig geladen wurde (die Webseite selbst aber schon)
  • das Laden der Webseite niemals endete - erkennbar am rotierenden Kringel im Browsertab, das einen Ladevorgang signalisiert.

Mit der alten Modulversion sind bisher beide beschriebenen Effekte verschwunden. Es scheint so zu sein, dass aus irgendwelchen Gründen die Auslieferung der Image-Daten aus dem RSS Modul scheitert. Und eine Seite, die nicht vollständig geladen ist, wird vom Browser offenbar nicht automatisch neu geladen.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

betateilchen

#26
zu früh gefreut :(

Ein "list TYPE=FHEMWEB" liefert:


FHEMWEB:192.168.123.161:58608
FHEMWEB:192.168.123.161:58609
FHEMWEB:192.168.123.161:58610
FHEMWEB:192.168.123.161:58611
FHEMWEB:192.168.123.161:58612
FHEMWEB:192.168.123.161:58613
FHEMWEB:192.168.123.241:45654
FHEMWEB:192.168.123.241:45655
FHEMWEB:192.168.123.241:45675
FHEMWEB:192.168.123.241:45700
FHEMWEB:192.168.123.241:45725
FHEMWEB:192.168.123.241:45752
WEB


.161 = Laptop
.241 = der cubietruck, auf dem fhem läuft.

Ich vermute fast, dass das Laden der rss-HTML Datei irgendwann daran scheitert, dass für das Laden der URL des eingebundenen RSS-Bildes eine http-Verbindung aufgebaut wird, die aus irgendwelchen Gründen nicht wieder geschlossen wird. Ansonsten wüßte ich nicht, warum der cubietruck zu sich selbst eine Webverbindung aufbauen sollte.




Nachtrag:

Das gleiche Problem (Verbindung wird nicht geschlossen) tritt auch auf, wenn man rss-Images per wget aus fhem abholen möchte.

-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

herrmannj

ja, das es so ist kann ich definitiv bestätigen. Gerade wenn ich am webif was stricke und oft reloade seh ich das andauernd. Löschen und weiter gehts.Ich wollte Dich auch vorhin schon fragen wieso Du nur zwei hast obwohl ja mehr clients dranhängen. Normal müsste man den eof des clients abfangen.


betateilchen

Es geht eben nach dem Löschen NICHT zuverlässig/dauerhaft weiter. Und das manuelle Löschen der fhemweb Instanzen kann ja auch keine Lösung sein.

Ausserdem ist das Fehlverhalten neu. Ich nutze ja mein Tablet und mein RSS nicht erst seit ein paar Tagen. Und es hat die vergangenen Monate (meistens) durchgängig funktioniert.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

herrmannj

ja, hast recht. Vmtl zwei getrennte Erscheinungen.