longpoll@floorplan killt CPU

[hobbyprovider]

Hallo,
wenn ich in WEB

Code Auswählen Erweitern

attr WEB longpoll 1
setze und auf den Floorplan zugreife habe ich auf dem RPi 100% CPU-Last und entsprechende Performance.

wenn ich die Zeile auskommentiere ist die CPU-Last bei typischen 5% - leider werden die Icons im FP nicht mehr automatisch aktualisiert.

hat Jemand 'nen Tipp ?

[rudolfkoenig]

Ich wuerde mit einem "attr global verbose 5" pruefen, woher das Problem kommt.

[hobbyprovider]

Hm - so richtig sehe ich da nichts.
Ich habe einen leeren (keine Geräte zugeordnet) Floorplan erstellt.

Code Auswählen Erweitern

define FPconsole02 FLOORPLAN
attr FPconsole02 stylesheet floorplanstyle.css
attr FPconsole02 fp_arrange 0
attr FPconsole02 fp_noMenu 0
attr FPconsole02 room Test


Mein WEB sieht so aus:

Code Auswählen Erweitern

define WEB FHEMWEB 8083 global
attr WEB basicAuth dzY6ZmhlbQ==
attr WEB defaultRoom Haus
attr WEB hiddenroom DashboardRoom
attr WEB longpoll 1
attr WEB menuEntries reread,cmd=reread
attr WEB sortRooms Haus Alarmanlage Urlaub Test
attr WEB stylesheetPrefix ios7

Test:
- Floorplan im Browser aufrufen
- 2 Min warten
- CPU-Last permanent auf 100%
- Floorplan verlassen (mit "zurück"-Funktion des Browswers)
- CPU-Last wieder normal

Dazu der Log@Verbose 5:

2014.12.14 11:47:50 4: Connection accepted from FHEMWEB:192.168.68.128:50434
2014.12.14 11:47:50 4: HTTP FHEMWEB:192.168.68.128:50434 GET /fhem/floorplan/FPconsole02
2014.12.14 11:47:51 4: /fhem/floorplan/FPconsole02 / RL:674 / text/html; charset=UTF-8 / Content-Encoding: gzip
/
2014.12.14 11:47:51 4: Connection accepted from FHEMWEB:192.168.68.128:50435
2014.12.14 11:47:51 4: Connection accepted from FHEMWEB:192.168.68.128:50436
2014.12.14 11:47:51 4: Connection accepted from FHEMWEB:192.168.68.128:50437
2014.12.14 11:47:51 4: Connection accepted from FHEMWEB:192.168.68.128:50438
2014.12.14 11:47:51 4: Connection accepted from FHEMWEB:192.168.68.128:50439
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50434 GET /fhem/css/floorplanstyle.css
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50435 GET /fhem/pgm2/svg.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50436 GET /fhem/pgm2/fhemweb.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50434 GET /fhem/pgm2/fhemweb_readingsHistory.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50438 GET /fhem/pgm2/fhemweb_multiple.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50439 GET /fhem/pgm2/fhemweb_noArg.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50437 GET /fhem/pgm2/fhemweb_colorpicker.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50436 GET /fhem/pgm2/fhemweb_svg.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50434 GET /fhem/pgm2/fhemweb_textField.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50438 GET /fhem/pgm2/fhemweb_time.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50439 GET /fhem/js/cordova-2.3.0.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50435 GET /fhem/pgm2/fhemweb_slider.js
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50436 GET /fhem/js//pgm2/jquery.min.js
2014.12.14 11:47:51 4: /fhem/js//pgm2/jquery.min.js / RL:13840 / text/html; charset=UTF-8 / Content-Encoding: gzip
/
2014.12.14 11:47:51 4: HTTP FHEMWEB:192.168.68.128:50434 GET /fhem/js//pgm2/jquery-ui.min.js
2014.12.14 11:47:52 4: /fhem/js//pgm2/jquery-ui.min.js / RL:13840 / text/html; charset=UTF-8 / Content-Encoding: gzip
/
2014.12.14 11:47:52 4: HTTP FHEMWEB:192.168.68.128:50438 GET /fhem/js//pgm2/dashboard.js
2014.12.14 11:47:52 4: /fhem/js//pgm2/dashboard.js / RL:13840 / text/html; charset=UTF-8 / Content-Encoding: gzip
/
2014.12.14 11:47:52 4: HTTP FHEMWEB:192.168.68.128:50437 GET /fhem/js/webviewcontrol.js
2014.12.14 11:47:52 4: HTTP FHEMWEB:192.168.68.128:50435 GET /fhem/images/default/icoHaus.png
2014.12.14 11:47:52 4: HTTP FHEMWEB:192.168.68.128:50438 GET /favicon.ico
2014.12.14 11:47:52 4: WEB: redirecting /favicon.ico to /fhem
2014.12.14 11:47:52 4: HTTP FHEMWEB:192.168.68.128:50438 GET /fhem
2014.12.14 11:47:53 4: /fhem / RL:13840 / text/html; charset=UTF-8 / Content-Encoding: gzip
/
2014.12.14 11:47:53 4: HTTP FHEMWEB:192.168.68.128:50434 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554073021
2014.12.14 11:47:58 4: Connection closed for FHEMWEB:192.168.68.128:50434
2014.12.14 11:47:58 4: HTTP FHEMWEB:192.168.68.128:50438 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554078356
2014.12.14 11:48:03 4: Connection closed for FHEMWEB:192.168.68.128:50438
2014.12.14 11:48:03 4: HTTP FHEMWEB:192.168.68.128:50435 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554083254
2014.12.14 11:48:08 4: Connection closed for FHEMWEB:192.168.68.128:50435
2014.12.14 11:48:08 4: HTTP FHEMWEB:192.168.68.128:50436 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554088235
2014.12.14 11:48:12 4: Connection closed for FHEMWEB:192.168.68.128:50436
2014.12.14 11:48:12 4: HTTP FHEMWEB:192.168.68.128:50437 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554093133
2014.12.14 11:48:17 4: Connection closed for FHEMWEB:192.168.68.128:50437
2014.12.14 11:48:17 4: HTTP FHEMWEB:192.168.68.128:50439 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554097876
2014.12.14 11:48:22 4: Connection closed for FHEMWEB:192.168.68.128:50439
2014.12.14 11:48:22 4: Connection accepted from FHEMWEB:192.168.68.128:50440
2014.12.14 11:48:22 4: HTTP FHEMWEB:192.168.68.128:50440 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554102681
2014.12.14 11:48:27 4: Connection closed for FHEMWEB:192.168.68.128:50440
2014.12.14 11:48:27 4: Connection accepted from FHEMWEB:192.168.68.128:50441
2014.12.14 11:48:27 4: HTTP FHEMWEB:192.168.68.128:50441 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554107548
2014.12.14 11:48:32 4: Connection closed for FHEMWEB:192.168.68.128:50441
2014.12.14 11:48:32 4: Connection accepted from FHEMWEB:192.168.68.128:50442
2014.12.14 11:48:32 4: HTTP FHEMWEB:192.168.68.128:50442 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554112415
2014.12.14 11:48:37 4: Connection closed for FHEMWEB:192.168.68.128:50442
2014.12.14 11:48:37 4: Connection accepted from FHEMWEB:192.168.68.128:50443
2014.12.14 11:48:37 4: HTTP FHEMWEB:192.168.68.128:50443 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554117251
2014.12.14 11:48:41 4: Connection closed for FHEMWEB:192.168.68.128:50443
2014.12.14 11:48:41 4: Connection accepted from FHEMWEB:192.168.68.128:50444
2014.12.14 11:48:41 4: HTTP FHEMWEB:192.168.68.128:50444 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554122056
2014.12.14 11:48:46 4: Connection closed for FHEMWEB:192.168.68.128:50444
2014.12.14 11:48:46 4: Connection accepted from FHEMWEB:192.168.68.128:50445
2014.12.14 11:48:46 4: HTTP FHEMWEB:192.168.68.128:50445 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554126892
2014.12.14 11:48:51 4: Connection closed for FHEMWEB:192.168.68.128:50445
2014.12.14 11:48:51 4: Connection accepted from FHEMWEB:192.168.68.128:50446
2014.12.14 11:48:51 4: HTTP FHEMWEB:192.168.68.128:50446 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554131827
2014.12.14 11:48:56 4: Connection closed for FHEMWEB:192.168.68.128:50446
2014.12.14 11:48:56 4: Connection accepted from FHEMWEB:192.168.68.128:50447
2014.12.14 11:48:56 4: HTTP FHEMWEB:192.168.68.128:50447 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554136678
2014.12.14 11:49:01 4: Connection closed for FHEMWEB:192.168.68.128:50447
2014.12.14 11:49:01 4: Connection accepted from FHEMWEB:192.168.68.128:50448
2014.12.14 11:49:01 4: HTTP FHEMWEB:192.168.68.128:50448 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554141483
2014.12.14 11:49:06 4: Connection closed for FHEMWEB:192.168.68.128:50448
2014.12.14 11:49:06 4: Connection accepted from FHEMWEB:192.168.68.128:50449
2014.12.14 11:49:06 4: HTTP FHEMWEB:192.168.68.128:50449 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554146224
2014.12.14 11:49:10 4: Connection closed for FHEMWEB:192.168.68.128:50449
2014.12.14 11:49:10 4: Connection accepted from FHEMWEB:192.168.68.128:50450
2014.12.14 11:49:10 4: HTTP FHEMWEB:192.168.68.128:50450 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554151075
2014.12.14 11:49:15 4: Connection closed for FHEMWEB:192.168.68.128:50450
2014.12.14 11:49:15 4: Connection accepted from FHEMWEB:192.168.68.128:50451
2014.12.14 11:49:15 4: HTTP FHEMWEB:192.168.68.128:50451 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554155963
2014.12.14 11:49:20 4: Connection closed for FHEMWEB:192.168.68.128:50451
2014.12.14 11:49:20 4: Connection accepted from FHEMWEB:192.168.68.128:50452
2014.12.14 11:49:20 4: HTTP FHEMWEB:192.168.68.128:50452 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554160925
2014.12.14 11:49:25 4: Connection closed for FHEMWEB:192.168.68.128:50452
2014.12.14 11:49:25 4: Connection accepted from FHEMWEB:192.168.68.128:50453
2014.12.14 11:49:25 4: HTTP FHEMWEB:192.168.68.128:50453 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554165670
2014.12.14 11:49:30 4: Connection closed for FHEMWEB:192.168.68.128:50453
2014.12.14 11:49:30 4: Connection accepted from FHEMWEB:192.168.68.128:50454
2014.12.14 11:49:30 4: HTTP FHEMWEB:192.168.68.128:50454 GET /fhem/floorplan/FPconsole02?XHR=1&inform=type=status;filter=.*;iconPath=FPconsole02&timestamp=1418554170505
2014.12.14 11:49:35 4: Connection accepted from FHEMWEB:192.168.68.128:50455
2014.12.14 11:49:35 4: Connection closed for FHEMWEB:192.168.68.128:50454
2014.12.14 11:49:35 4: HTTP FHEMWEB:192.168.68.128:50455 GET /favicon.ico
2014.12.14 11:49:35 4: WEB: redirecting /favicon.ico to /fhem
2014.12.14 11:49:35 4: Connection accepted from FHEMWEB:192.168.68.128:50456
2014.12.14 11:49:35 4: Connection accepted from FHEMWEB:192.168.68.128:50457
2014.12.14 11:49:35 4: HTTP FHEMWEB:192.168.68.128:50455 GET /fhem
2014.12.14 11:49:35 4: /fhem / RL:13840 / text/html; charset=UTF-8 / Content-Encoding: gzip
/
2014.12.14 11:49:35 4: Connection accepted from FHEMWEB:192.168.68.128:50458
2014.12.14 11:49:35 4: Connection accepted from FHEMWEB:192.168.68.128:50459
pi@FHEM-CUL /opt/fhem/log $

ohne "Longpoll" sieht der Log ähnlich aus, allerdings ohne alle 5 Sek "Connection closed" / "Connection accepted"

[rudolfkoenig]

Ich sehe im Log leider auch nichts besonderes, und habe erstmal keine Idee.

[joergi]

Hallo,
ich habe meine Devices in 14 Floorplänen arrangiert.
Bei der Darstellung jedes Floorplans habe ich eine extrem hohe CPU-Last festgestellt. Andere FHEMWEB Instanzen sind extrem verlangsamt, praktisch nicht bedienbar.

In der Debug-Konsole von Firefox habe ich gesehen das über longpoll nicht nur die Devices des aktuell dargestellten Floorplans aktualisiert werden, sondern auch alle Devices aller anderen Floorpläne. In meiner Installation sind das ca. 700 Devices. Hiermit läßt sich die hohe Last wohl erklären.

Wird hingegen ein Raum in FHEMWEB dargestellt werden über longpoll nur die dort vorhandenen Devices aktualisiert.

[rudolfkoenig]

FHEMWEB bestellt per longpoll nur die Daten der gezeigten Raeume (vergleichbar mit list room=XXX)
Das ist fuer FLOORPLAN mWn nicht moeglich, da FHEM nicht weiss, welche Geraete im FLOORPLAN angezeigt werden.

Und: vermutlich hat das Problem von joergi (erklaerbar) nichts mit dem von hobbyprovider (Ursache unbekannt)  zu tun.

[schka17]

Hallo,

kann jetzt zwar nichts zur Fehlerbehebung beitragen aber ich habe leider genau das selbe nachvollziehbare Problem wie hobbyprovider. Sobald ich in der Webinstanz longpoll aktiviere steigt die CPU-Last und NW-Last massiv und FHEM wird ziemlich zäh zu bedienen. Mit firebug habe ich auch festestellen können dass vom Client alle 2-3s einen XHR get request abgesetzt wird, das ist beim webfrontend nicht der Fall.

hier mal ein Screenshot:

wenn ich hier etwas debuggen oder ausprobieren soll dann amch das gerne denn ich würde Flootplan gernen verwenden, geht aber leider nicht.

Gruß

Karl

[schka17]

Nachtrag,

so sieht die Systembelastung beim aufrufen eines leeren Floorplans aus (12:30-14:00)

[hobbyprovider]

So - ich habe mich mal wieder an das Problem gesetzt.
Der Tipp mit der Web-Konsole war gut !!!
Da konnte ich sehen, dass der "Longpoll" ca jede Sekunde, für alle Geräte abgerufen wurden.
Da dort einige Hinweise auf Logs zu sehen waren, die ich nicht einordnen konnte, habe ich die Logs gelöscht. Aber ohne Erfolg.
Dann noch mal ins blaue geschossen und die "fhem.save" gelöscht - Treffer.

Die Longpolls werden nur einmal beim Starten des FP aufgerufen und ab dann sindnu r noch die Änderungen zu sehen - So wie es soll.

Ich habe dann alle Aktoren 1x bedient um einen eindeutigen Status zu haben. Im Moment scheint alles OK.

Wäre interssant ob das bei schka17 auch funktioniert.

[schka17]

Hallo hobbyprovider,

leider nicht, keine Änderung. Ich habe aber fhem.save nur umbenannt, löschen mag ich das beim produktivsystem nicht. Ich kann auch nicht wirklich nachvollziehen wie die fhem.save hier eine Rolle spielt, auf die wird doch gar nicht zugegriffen, das habe ich mit lsof überprüft. Oder hast du dazwischen noch etwas gemacht also z.b. restart von fhem?

Gruß
Karl

[hobbyprovider]

meine Idee war, dass irgend ein dubioser Zustand für irgend ein Gerät dort hinterlegt ist.
Ich habe ein Image von meinem RPi bevor ich den Fehler behoben habe. Am WE kann ich mal testen ob sich die wundersame Heilung wiederholen lässt. Dann kann ich mir die fhem.save mal genau anschauen, bzw posten.

Diverse Restarts und Reboots habe ich natürlich vorher schon probiert.

Ach ja - zum löschen habe ich den FHEM mit "shutdown" gestoppt, dann fhem.save gelöscht und dann den RPi neu gestartet.
Wenn Du löschst und dann neu startest wird sie ja gleich wieder geschrieben und Du startest nicht mit einer leeren Datei.

Du kannst auch nichts kaputt machen. Nach dem Start stehen dann alle Geräte in einem undefinierten Zustand im Webinterface. Nach einmaligem Benutzen der Geräte passt das dann wieder

[schka17]

hallo hobbyprovider,

Ach ja - zum löschen habe ich den FHEM mit "shutdown" gestoppt, dann fhem.save gelöscht und dann den RPi neu gestartet.
Wenn Du löschst und dann neu startest wird sie ja gleich wieder geschrieben und Du startest nicht mit einer leeren Datei.

Du kannst auch nichts kaputt machen. Nach dem Start stehen dann alle Geräte in einem undefinierten Zustand im Webinterface. Nach einmaligem Benutzen der Geräte passt das dann wieder

das ist genau mein Problem, ich habe über 800 devices und automatisiere mit FHEM über Heizung, Alarmanlage und Anwesenheitserkennung so ziemlich alles, und das dauert dann mind. 24h bis wieder alles synchron und upgedated ist, und bis dahin gibt es zuviele undefinierte Zustände, das kann ich nur WE machen wenn ich zuhause bin und auch manuell eingreifen kann. Ich kann FP schon so lange nicht nutzen, da wird es bis zum WE warten können.

Gruß
Karl

[hobbyprovider]

ich habe über 800 devices ....

schon mal eine gute Argumentationshilfe gegenüber meiner Frau   

[geek]

hi,

bei vielen devcies (... und vielen SVG devStateIcons) macht fhemweb.js vorzeitig die connection zu (bei floorplan, dashboard oder longpollSVG - oder evtl auch Räumen mit seehr vielen devices).
Siehe auch longpollSVG thread: http://forum.fhem.de/index.php/topic,30515.0.html

Das lässt sich umgehen, wenn du in www/pgm2/fhemweb.js das Limit in Zeile 117 hochdrehst:

Code Auswählen Erweitern


  // reset the connection to avoid memory problems
  if(FW_pollConn.responseText.length > 300*1024)


Danach die Seite neu laden ... und schauen obs besser wird. Die wiederholten XHR requests im Log und das EOF (EOF wird ab SVN id 7212 geloggt) vom client sind ein Zeichen dafür.

Wie der Kommentar schon sagt ist das aber nicht ohne Probleme für den Client.

Rainer

[schka17]

Hallo Geek,

DANKE, das war es, habe das jetzt auf 800x1024 hochgesetzt. Werde es jetzt nochmal ein bischen testen welchen impact das auf die Clients hat, aber die letzte Stunde kein Problem.



Gruß
Karl