Hauptmenü

System wird langsam

Begonnen von stobor, 05 Mai 2019, 09:31:41

Vorheriges Thema - Nächstes Thema

CoolTux

Sagt mir das er sich langweilt  ;D
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

netsrac4th

Zitat von: CoolTux am 05 Mai 2019, 20:02:57
Sagt mir das er sich langweilt  ;D

So ziemlich  :D

load average: 0,02, 0,03, 0,05

Otto123

Zitatoder ist 4 dauerhaft sinnvoll?
Nein.
Viele Grüße aus Leipzig  ⇉  nächster Stammtisch an der Lindennaundorfer Mühle
RaspberryPi B B+ B2 B3 B3+ ZeroW,HMLAN,HMUART,Homematic,Fritz!Box 7590,WRT3200ACS-OpenWrt,Sonos,VU+,Arduino nano,ESP8266,MQTT,Zigbee,deconz

frober

Soweit ich das sehe, läuft zum Zeitpunkt der top-Ausgabe kein Fhem.
Raspi 3b mit Raspbian Bullseye und relativ aktuellem Fhem,  FS20, LGW, PCA301, Zigbee, MQTT, MySensors mit RS485(CAN-Receiver) und RFM69, etc.,
einiges umgesetzt, vieles in Planung, smile

********************************************
...man wächst mit der Herausforderung...

CoolTux

Zitat von: frober am 06 Mai 2019, 08:12:36
Soweit ich das sehe, läuft zum Zeitpunkt der top-Ausgabe kein Fhem.

Das kann man so pauschal nicht sagen. FHEM taucht nur in der Momentaufnahme nicht in der Top Liste auf. Heißt aber nicht das FHEM nicht läuft.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

Homalix99

Ich hatte damals auf der Suche nach delays (1) 99_perfmon.pm aktiviert und mit (2) apptime eingegrenzt.
1. Modul 99_perfmon.pm in den Unterordner FHEM kopieren und fhem restarten => Logeinträge, wenn Verzögerungen > 1 Sek. auftreten
2. In Fhem-Befehlszeile apptime eingeben => Damit wird es aktiv. Nochmaliger Aufruf zeigt die Module und deren Zeitverhalten.
- RPI 4 fhem in Docker, 2 x Arduino Uno, HM-GW, HM-Dev. (Fensterkontakte, HK-Thermostate, div. Aktoren), JeeLink,
- GPIOs, HM-LAN, ESPs (MQTT2)
-Überwachung Fenster/Türen/Licht, HK-Thermostatregelung, Rollosteuerung, Überw. Betriebstemperaturen Heizung, Erfassung Gas/Wasser, PV-Anl., Wetter (WS1600)

stobor

Jetzt habe ich gerade wieder das Phänomen, dass FHEM langsamer zu werden scheint.
fhem "set Arduino_Pin6_Summer on-for-timer 0.25";;\
lässt den Summer deutlich länger summen.

TOP liefert:
top - 10:03:52 up 9 days, 11:46,  1 user,  load average: 1,00, 1,02, 1,05
Tasks:  85 gesamt,   2 laufend,  83 schlafend,   0 gestoppt,   0 Zombie
%CPU(s): 50,1 be,  0,0 sy,  0,0 ni, 49,9 un,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem:   3934368 total,  2041920 used,  1892448 free,   175248 buffers
KiB Swap:  4079612 total,        0 used,  4079612 free.  1582076 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     ZEIT+ BEFEHL
1056 fhem      20   0  212492 134732   3548 R  99,8  3,4 697:13.50 perl
    1 root      20   0   33480   2760   1448 S   0,0  0,1   0:01.91 init
    2 root      20   0       0      0      0 S   0,0  0,0   0:00.04 kthreadd
    3 root      20   0       0      0      0 S   0,0  0,0   0:13.04 ksoftirqd/0
    5 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kworker/0:0H
    7 root      20   0       0      0      0 S   0,0  0,0   5:13.87 rcu_sched
    8 root      20   0       0      0      0 S   0,0  0,0   3:14.69 rcuos/0
    9 root      20   0       0      0      0 S   0,0  0,0   2:40.53 rcuos/1
   10 root      20   0       0      0      0 S   0,0  0,0   0:00.00 rcu_bh
   11 root      20   0       0      0      0 S   0,0  0,0   0:00.00 rcuob/0
   12 root      20   0       0      0      0 S   0,0  0,0   0:00.00 rcuob/1
   13 root      rt   0       0      0      0 S   0,0  0,0   0:25.92 migration/0
   14 root      rt   0       0      0      0 S   0,0  0,0   0:06.22 watchdog/0
   15 root      rt   0       0      0      0 S   0,0  0,0   0:06.12 watchdog/1
   16 root      rt   0       0      0      0 S   0,0  0,0   0:19.16 migration/1
   17 root      20   0       0      0      0 S   0,0  0,0   0:00.18 ksoftirqd/1
   19 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kworker/1:0H
   20 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 khelper
   21 root      20   0       0      0      0 S   0,0  0,0   0:00.00 kdevtmpfs
   22 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 netns
   23 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 writeback
   24 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kintegrityd
   25 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 bioset
   27 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kblockd
   28 root      20   0       0      0      0 S   0,0  0,0   3:58.99 kworker/0:1
   29 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 ata_sff
   30 root      20   0       0      0      0 S   0,0  0,0   0:00.14 khubd
   31 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 md
   32 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 devfreq_wq
   33 root      20   0       0      0      0 S   0,0  0,0   3:32.13 kworker/1:1
   35 root      20   0       0      0      0 S   0,0  0,0   0:00.31 khungtaskd
   36 root      20   0       0      0      0 S   0,0  0,0   0:00.00 kswapd0
   37 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 vmstat
   38 root      25   5       0      0      0 S   0,0  0,0   0:00.00 ksmd
   39 root      39  19       0      0      0 S   0,0  0,0   0:03.64 khugepaged
   40 root      20   0       0      0      0 S   0,0  0,0   0:00.00 fsnotify_mark
   41 root      20   0       0      0      0 S   0,0  0,0   0:00.00 ecryptfs-kthrea
   42 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 crypto
   54 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kthrotld
   74 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 deferwq
   75 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 charger_manager
   76 root      20   0       0      0      0 S   0,0  0,0   0:00.00 kworker/0:2


nachdem ich in FHEM
shutdown restart gesendet habe, reagirt der Befehl (on-for-timer) wieder normal, und TOP liefert:
top - 10:17:24 up 9 days, 11:59,  1 user,  load average: 0,07, 0,14, 0,54
Tasks:  85 gesamt,   1 laufend,  84 schlafend,   0 gestoppt,   0 Zombie
%CPU(s):  0,2 be,  0,2 sy,  0,0 ni, 99,7 un,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem:   3934368 total,  1974348 used,  1960020 free,   175264 buffers
KiB Swap:  4079612 total,        0 used,  4079612 free.  1583972 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     ZEIT+ BEFEHL
30375 jay       20   0   26532   1676   1188 R   0,3  0,0   0:02.90 top
    1 root      20   0   33480   2760   1448 S   0,0  0,1   0:01.93 init
    2 root      20   0       0      0      0 S   0,0  0,0   0:00.04 kthreadd
    3 root      20   0       0      0      0 S   0,0  0,0   0:13.05 ksoftirqd/0
    5 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kworker/0:0H
    7 root      20   0       0      0      0 S   0,0  0,0   5:14.23 rcu_sched
    8 root      20   0       0      0      0 S   0,0  0,0   3:14.91 rcuos/0
    9 root      20   0       0      0      0 S   0,0  0,0   2:40.71 rcuos/1
   10 root      20   0       0      0      0 S   0,0  0,0   0:00.00 rcu_bh
   11 root      20   0       0      0      0 S   0,0  0,0   0:00.00 rcuob/0
   12 root      20   0       0      0      0 S   0,0  0,0   0:00.00 rcuob/1
   13 root      rt   0       0      0      0 S   0,0  0,0   0:25.94 migration/0
   14 root      rt   0       0      0      0 S   0,0  0,0   0:06.23 watchdog/0
   15 root      rt   0       0      0      0 S   0,0  0,0   0:06.13 watchdog/1
   16 root      rt   0       0      0      0 S   0,0  0,0   0:19.17 migration/1
   17 root      20   0       0      0      0 S   0,0  0,0   0:00.18 ksoftirqd/1
   19 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kworker/1:0H
   20 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 khelper
   21 root      20   0       0      0      0 S   0,0  0,0   0:00.00 kdevtmpfs
   22 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 netns
   23 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 writeback
   24 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kintegrityd
   25 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 bioset
   27 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kblockd
   28 root      20   0       0      0      0 S   0,0  0,0   3:59.31 kworker/0:1
   29 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 ata_sff
   30 root      20   0       0      0      0 S   0,0  0,0   0:00.14 khubd
   31 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 md
   32 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 devfreq_wq
   33 root      20   0       0      0      0 S   0,0  0,0   3:32.56 kworker/1:1
   35 root      20   0       0      0      0 S   0,0  0,0   0:00.31 khungtaskd
   36 root      20   0       0      0      0 S   0,0  0,0   0:00.00 kswapd0
   37 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 vmstat
   38 root      25   5       0      0      0 S   0,0  0,0   0:00.00 ksmd
   39 root      39  19       0      0      0 S   0,0  0,0   0:03.71 khugepaged
   40 root      20   0       0      0      0 S   0,0  0,0   0:00.00 fsnotify_mark
   41 root      20   0       0      0      0 S   0,0  0,0   0:00.00 ecryptfs-kthrea
   42 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 crypto
   54 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kthrotld
   74 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 deferwq
   75 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 charger_manager
   76 root      20   0       0      0      0 S   0,0  0,0   0:00.00 kworker/0:2


fhem bewegt sich auch immer mal aus der ersten Zeile weg. Das war vor dem restart nicht so.

Idee?
Intel NUC (Ubuntu 22.04.2 LTS (GNU/Linux 5.15.0-113-generic x86_64))  mit CUL V3.2 (FW 1.57 CUL868) für FS20 und CCU3 für HM(IP) + Arduino Mega (Firmata) - FHEM Revision: 29534 - FS20, HM(IP), MQTT, Philips HUE, ModBus

KölnSolar

Vor dem restart hat er sich also nicht mehr gelangweilt.  ;)  :'(
FHEM zickt da eindeutig. Ich habe zur Analyse freezemon und nicht perfmon laufen.
Du könntest auch einfach nur den event monitor nutzen. Dort siehst Du vielleicht, ob ein device FHEM mit events überflutet. Passend zu meiner Ausdrucksweise: bei mir habe ich meinen Überflutungssensor so als Übeltäter identifizieren können, der bei hoher Luftfeuchtigkeit permanent "meldet" und FHEM deutlich spürbar bremst.
Grüße Markus
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

stobor

Ok, heißt dass, beim nächsten Auftreten einfach in der Web-Maske "Event monitor" anklciken, und schauen, was da einläuft?
Intel NUC (Ubuntu 22.04.2 LTS (GNU/Linux 5.15.0-113-generic x86_64))  mit CUL V3.2 (FW 1.57 CUL868) für FS20 und CCU3 für HM(IP) + Arduino Mega (Firmata) - FHEM Revision: 29534 - FS20, HM(IP), MQTT, Philips HUE, ModBus

CoolTux

1056 fhem      20   0  212492 134732   3548 R  99,8  3,4 697:13.50 perl


fhem versetzt die CPU da ziemlich an den Anschlag
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

KölnSolar

ZitatOk, heißt dass, beim nächsten Auftreten einfach in der Web-Maske "Event monitor" anklciken, und schauen, was da einläuft?
Kannst Du so probieren. Aber kann natürlich auch eine ganz andere Ursache sein, z.B. ein blockierendes device(wobei ich dann eine geringe CPU-Auslastung erwarten würde).
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

Eistee

Mein System hat eine ähnliche Macke. Irgendwann nach 3-4 Tagen steigt plötzlich der Raumverbrauch bis dann der ganze Pi nach 30min nicht mehr reagiert. Das sehe ich auch nur im Plot das der RAM Verbrauch ansteigt. Nach einem Power Off läuft das System dann wieder 4 Tage stabil bis das gleiche passiert.

stobor

Es ist mal wieder soweit. FHEM ist wieder extrem langsam. Alle Vorgänge dauern extrem lange oder werden sehr verzögert ausgeführt (Lampe für 3sec einschalten startet zunächst verzögert un dann bleibt die Lampe auch länger an).:

top - 13:59:52 up 12 days,  4:04,  1 user,  load average: 1,00, 1,01, 1,05
Tasks:  85 gesamt,   2 laufend,  83 schlafend,   0 gestoppt,   0 Zombie
%CPU(s): 50,2 be,  0,0 sy,  0,0 ni, 49,8 un,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem:   3934368 total,  2069576 used,  1864792 free,   178220 buffers
KiB Swap:  4079612 total,        0 used,  4079612 free.  1587836 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     ZEIT+ BEFEHL
1050 fhem      20   0  211080 133476   3604 R 100,0  3,4   1235:08 perl
    1 root      20   0   33484   2772   1448 S   0,0  0,1   0:01.93 init
    2 root      20   0       0      0      0 S   0,0  0,0   0:00.05 kthreadd
    3 root      20   0       0      0      0 S   0,0  0,0   0:23.22 ksoftirqd/0
    5 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kworker/0:+
    7 root      20   0       0      0      0 S   0,0  0,0   9:25.22 rcu_sched
    8 root      20   0       0      0      0 S   0,0  0,0   5:48.76 rcuos/0
    9 root      20   0       0      0      0 S   0,0  0,0   4:52.87 rcuos/1


Der Aufruf der FHEM WebGUI dauert ebenfalls ewig.
Der Event-Monitor ist entsprechend langsam, liefert aber nur die üblichen Ereignisse/Meldungen.

Ein shutdown restart in der FHEM WebGUI entspannt die Situation und ales läuft wieder normal:
top - 14:11:45 up 12 days,  4:16,  1 user,  load average: 0,07, 0,59, 0,87
Tasks:  84 gesamt,   1 laufend,  83 schlafend,   0 gestoppt,   0 Zombie
%CPU(s):  0,7 be,  0,2 sy,  0,0 ni, 99,2 un,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem:   3934368 total,  2003916 used,  1930452 free,   178220 buffers
KiB Swap:  4079612 total,        0 used,  4079612 free.  1589988 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     ZEIT+ BEFEHL
5169 fhem      20   0  126536  63948   2456 S   1,0  1,6   0:08.46 perl
3464 jay       20   0   26560   1624   1188 R   0,3  0,0   0:01.70 top
    1 root      20   0   33484   2772   1448 S   0,0  0,1   0:01.94 init
    2 root      20   0       0      0      0 S   0,0  0,0   0:00.05 kthreadd
    3 root      20   0       0      0      0 S   0,0  0,0   0:23.24 ksoftirqd/0
    5 root       0 -20       0      0      0 S   0,0  0,0   0:00.00 kworker/0:+
    7 root      20   0       0      0      0 S   0,0  0,0   9:25.51 rcu_sched
    8 root      20   0       0      0      0 S   0,0  0,0   5:48.87 rcuos/0


Hat jemand eine Idee?

fheminfo liefert:

System Info
ConfigType: configFile
SVN rev: 19330
OS: linux
Perl: 5.18.2
uniqueId: de3...


Ob ein update stable hilft?
Intel NUC (Ubuntu 22.04.2 LTS (GNU/Linux 5.15.0-113-generic x86_64))  mit CUL V3.2 (FW 1.57 CUL868) für FS20 und CCU3 für HM(IP) + Arduino Mega (Firmata) - FHEM Revision: 29534 - FS20, HM(IP), MQTT, Philips HUE, ModBus

Otto123

Zitat von: stobor am 28 Juli 2019, 14:18:57
Ob ein update stable hilft?
Hi,

was genau meinst Du damit? Mir ist ein solcher Befehl nicht bekannt.

Du musst versuchen herauszubekommen was FHEM offenbar in die hohe Last bringt.
Mit Apptime z.B. https://wiki.fhem.de/wiki/Apptime
Oder freezemon.

Gruß Otto
Viele Grüße aus Leipzig  ⇉  nächster Stammtisch an der Lindennaundorfer Mühle
RaspberryPi B B+ B2 B3 B3+ ZeroW,HMLAN,HMUART,Homematic,Fritz!Box 7590,WRT3200ACS-OpenWrt,Sonos,VU+,Arduino nano,ESP8266,MQTT,Zigbee,deconz

stobor

Wann genau muss ich denn Apptime verwenden? Wenn das System wieder langsam ist? Oder kann ich das jetzt starten und bei denProblemen erneut aufrufen?
Intel NUC (Ubuntu 22.04.2 LTS (GNU/Linux 5.15.0-113-generic x86_64))  mit CUL V3.2 (FW 1.57 CUL868) für FS20 und CCU3 für HM(IP) + Arduino Mega (Firmata) - FHEM Revision: 29534 - FS20, HM(IP), MQTT, Philips HUE, ModBus