FHEM Forum

FHEM => Sonstiges => Thema gestartet von: FhemPiUser am 14 Februar 2021, 18:34:12

Titel: Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 18:34:12
Bei mir steigt langsam Load und insbesondere RAM von fhem über die Zeit (mehrere Wochen). Nach einem Neustart ("shutdown restart") von fhem kann man deutlich eine Reduzierung erkennen.

Anbei ein Screenshot von Load und RAM nach einem Neustart um 17 Uhr nachdem fhem ca. 2 Monate lief.

Der Screenshot der RAM-Nutzung über mehrere Wochen zeigt einen scheinbar langsamen, aber stetigen Anstieg.

Hat jemand eine Idee, wie man die Ursache herausfinden kann?
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: CoolTux am 14 Februar 2021, 18:42:51
Die Werte sind völlig in Ordnung und plausibel.

https://wiki.debianforum.de/Linux_Speichermanagement
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 18:46:57
ok, wenn das normal ist kann ich mich ja wieder hinlegen.
Aber gefühlt reagiert fhem auch wieder schneller nach einem Neustart.
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: Wernieman am 14 Februar 2021, 19:04:26
Das der Load Steigt, kann ich nicht sehen. Eher wäre die Frage, wie sieht es mit der CPU-Auslastung aus?
der "load" bedeutet nur, die Anzahl der auf IO Wartenden Prozesse https://de.wikipedia.org/wiki/Load (https://de.wikipedia.org/wiki/Load)
Damit sagt die Load nichts über die Belastung eines Systemes aus.

Wegen Speichermanagment hat CoolTux schon etwas geschrieben, habe nichts weiter zuzufügen

Zitatgefühlt reagiert fhem auch wieder schneller
Da solltest Du lieber Messen. Schon das man etwas Tut, kann ein positives Feedback bei einem hervorrufen.

Was Du leider nicht schreibst, was ist es denn für ein System und was läuft da alles drauf?
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 19:15:42
Das ist ein Raspberry 3B+, auf dem fhem mit 1160 entities läuft.
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: Wernieman am 14 Februar 2021, 20:04:54
Und sonst nichts?
Und auch kein betriebsystem?

Bitte um Input für Output
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 20:17:02
nein, nur fhem (aber eben mit >1000 devices inkl ca 15 presence/ping devices, mailcheck/sendmail, viele httpmods, doifs, frm, hmuartlgw/hmlan etc), sonst nichts. Das OS ist raspian.
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: Wernieman am 14 Februar 2021, 20:40:53
Und welche Version?
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 20:48:50
raspian 10 (buster)

cpu auslastung geht nach dem neustart auch etwas runter, aber die reduzierung des loads ist noch deutlicher (siehe screenshots).

den peak um kurz vor 19 uhr bitte ignorieren, da habe ich fhem stark belastet durch rauszoomen in graphen.
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: Wernieman am 14 Februar 2021, 21:26:00
Das hört sich nach einem anderen Problem an ... hast Du DNS-Server in Deinem FHEM gesetzt?
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 21:46:49
ja, in dhcpcd.conf steht:

static domain_name_servers=212.82.226.212 194.150.168.168

ersteren zeigt auch nslookup auf dem raspberry als aktuelle dns server an

ansonsten wird ein pihole als dns server über dhcp vom router im netz verteilt, aber ich wollte fhem nicht vom pihole abhängig machen...

inwiefern kann das provlem mit dns zusammenhängen?
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: MadMax-FHEM am 14 Februar 2021, 21:58:03
Wernieman sprach vom Attribut dnsServer bei global in fhem...
https://wiki.fhem.de/wiki/Global

Nicht von Einstellungen auf OS-Ebene... ;)

Gruß, Joachim
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 14 Februar 2021, 22:21:36
ahh, ok.

Ja, das attr dnsServer in global ist auch gesetzt auf die Adresse meines Openwrt-Routers.

Hatte ich mal gesetzt, um blocking Aufrufe zu vermeiden.
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: Wernieman am 15 Februar 2021, 06:56:12
Du könntest nmal gucken, wie viele Prozesse auf Deinem Server laufen ...
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: FhemPiUser am 15 Februar 2021, 15:00:53
Die Anzahl fhem-Prozesse schwankt zwischen 1 bis 10 und scheinen ursächlich hauptsächlich die ping-Prozesse von den presence / lan-ping devices zu sein.

Ansonsten liefert ein

ps ax | wc -l

Werte zwischen ca. 100 und 115

PID TTY      STAT   TIME COMMAND
    1 ?        Ss     2:27 /lib/systemd/systemd --system --deserialize 18
    2 ?        S      0:09 [kthreadd]
    3 ?        I<     0:00 [rcu_gp]
    4 ?        I<     0:00 [rcu_par_gp]
    8 ?        I<     0:00 [mm_percpu_wq]
    9 ?        S     11:46 [ksoftirqd/0]
   10 ?        I     52:50 [rcu_sched]
   11 ?        I      0:00 [rcu_bh]
   12 ?        S      3:13 [migration/0]
   13 ?        S      0:00 [cpuhp/0]
   14 ?        S      0:00 [cpuhp/1]
   15 ?        S      3:02 [migration/1]
   16 ?        S      1:55 [ksoftirqd/1]
   19 ?        S      0:00 [cpuhp/2]
   20 ?        S      2:51 [migration/2]
   21 ?        S      2:05 [ksoftirqd/2]
   24 ?        S      0:00 [cpuhp/3]
   25 ?        S      2:42 [migration/3]
   26 ?        S      3:33 [ksoftirqd/3]
   29 ?        S      0:00 [kdevtmpfs]
   30 ?        I<     0:00 [netns]
   34 ?        S      0:05 [khungtaskd]
   35 ?        S      0:00 [oom_reaper]
   36 ?        I<     0:00 [writeback]
   37 ?        S      0:33 [kcompactd0]
   38 ?        I<     0:00 [crypto]
   39 ?        I<     0:00 [kblockd]
   40 ?        S      0:00 [watchdogd]
   41 ?        I<     0:00 [rpciod]
   42 ?        I<     0:00 [kworker/u9:0]
   43 ?        I<     0:00 [xprtiod]
   46 ?        S      3:25 [kswapd0]
   47 ?        I<     0:00 [nfsiod]
   58 ?        I<     0:00 [kthrotld]
   60 ?        I<     0:00 [iscsi_eh]
   61 ?        I<     0:00 [dwc_otg]
   62 ?        I<     0:00 [DWC Notificatio]
   63 ?        S<     0:00 [vchiq-slot/0]
   64 ?        S<     0:00 [vchiq-recy/0]
   65 ?        S<     0:00 [vchiq-sync/0]
   66 ?        S      0:00 [vchiq-keep/0]
   68 ?        S      0:00 [irq/86-mmc1]
   70 ?        I<     0:00 [mmc_complete]
   75 ?        S      2:44 [jbd2/mmcblk0p2-]
   76 ?        I<     0:00 [ext4-rsv-conver]
   78 ?        I<     0:00 [ipv6_addrconf]
  125 ?        S      0:00 [irq/166-usb-001]
  302 ?        Ssl    0:19 /usr/sbin/rsyslogd -n -iNONE
  304 ?        Ss     0:46 /usr/sbin/thd --triggers /etc/triggerhappy/triggers.d/ --socket /run/thd.socket --user nobody --deviceglob /dev/input/event*
  308 ?        SNs    0:01 /usr/sbin/alsactl -E HOME=/run/alsa -s -n 19 -c rdaemon
  309 ?        Ss     0:18 /lib/systemd/systemd-logind
  310 ?        Ss    10:41 avahi-daemon: running [rasp3fhem.local]
  314 ?        Ss     1:34 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
  332 ?        S      0:00 avahi-daemon: chroot helper
  335 ?        I<     0:00 [cfg80211]
  342 ?        I      0:00 [kworker/3:0-events_freezable]
  361 ?        Ss     8:57 /sbin/dhcpcd -q -w
  377 ?        I<     0:00 [cifsiod]
  378 ?        I<     0:00 [cifsoplockd]
  400 ?        Ss     0:00 /usr/sbin/sshd -D
  441 ?        Ss     0:24 /usr/sbin/cron -f
  443 ?        SLsl 116:46 /usr/sbin/rngd -r /dev/hwrng
  466 tty1     Ss+    0:00 /sbin/agetty -o -p -- \u --noclear tty1 linux
  581 ?        I<     0:00 [kworker/0:0H]
  697 ?        I      0:00 [kworker/2:1-mm_percpu_wq]
  701 ?        Ss     5:30 sendmail: MTA: accepting connections
  808 ?        Ss     0:00 sshd: ... [priv]
  818 ?        I      0:00 [kworker/0:0-events]
  819 ?        Ss     0:00 /lib/systemd/systemd --user
  822 ?        S      0:00 (sd-pam)
  838 ?        R      0:00 sshd: ...@pts/0
  841 pts/0    Ss     0:00 -bash
  893 ?        I<     0:00 [kworker/1:2H]
1234 ?        I      0:00 [kworker/1:0-mm_percpu_wq]
1374 ?        I<     0:00 [kworker/2:2H]
1379 ?        I      0:00 [kworker/3:1-mm_percpu_wq]
1565 ?        I      0:00 [kworker/2:0-events]
1631 ?        I<     0:00 [kworker/3:0H]
1740 ?        I      0:00 [kworker/0:1-events_power_efficient]
1817 ?        I<     0:00 [kworker/0:1H]
1825 ?        I<     0:00 [kworker/1:0H]
1850 ?        S      0:00 /usr/bin/perl fhem.pl fhem.cfg
1851 ?        S      0:00 ping -c 4 192.168....
1852 ?        S      0:00 /usr/bin/perl fhem.pl fhem.cfg
1853 ?        S      0:00 ping -c 4 8.8.8.8
1854 pts/0    R+     0:00 ps ax
6145 ?        I<     0:00 [kworker/3:2H-kblockd]
9196 ?        I<     0:01 [kworker/1:1H-kblockd]
13658 ?        Ssl    0:00 /lib/systemd/systemd-timesyncd
13662 ?        Ss     0:04 /lib/systemd/systemd-journald
13956 ?        Ss     0:00 /lib/systemd/systemd-udevd
15984 ?        I<     0:00 [kworker/2:0H-kblockd]
16196 ?        I<     0:00 [kworker/0:2H-mmc_complete]
21658 ?        I      0:00 [kworker/u8:2-events_unbound]
22360 ?        S    207:16 /usr/bin/perl fhem.pl fhem.cfg
28466 ?        S      1:01 [cifsd]
29624 ?        I      0:00 [kworker/0:2-events_power_efficient]
29718 ?        I      0:02 [kworker/u8:1-events_unbound]
31076 ?        I      0:00 [kworker/3:2-mm_percpu_wq]
31240 ?        I      0:00 [kworker/1:2-mm_percpu_wq]
31351 ?        I<     0:00 [kworker/3:1H]
31804 ?        I      0:00 [kworker/2:3-mm_percpu_wq]
32469 ?        I<     0:00 [kworker/2:1H]
32602 ?        I      0:00 [kworker/1:1-events]
Titel: Antw:Load & RAM steigt mit der Zeit, nach Neustart fhem deutlich niedriger
Beitrag von: Wernieman am 15 Februar 2021, 16:54:34
Wenn Du mal wieder mehr Speicher verbrauchst, dann solltest Du die Werte gegenprüfen ..