Cannot fork: Cannot allocate memory | BlockingInformParent

[ESP_Fan]

Mich hat es auch erwischt. Da ich monatelang viele Sachen getestet und installiert habe und entsprechend oft Neustarts hatte, habe ich das erst im Urlaub bemerkt, als FHEM nach einer knappen Woche die Arbeit eingestellt hat und dann auch gleich den ganzen Pi lahmgelegt hatte. Ich habe Stretch drauf und will auch aktuell noch nicht upgraden, also habe ich erst mal Perlbrew installiert und damit auf Perl 5.30.0 hochgezogen. Das läuft jetzt seit gestern Abend und es scheint gut zu sein. Vorher ist der genutzte Speicher je Stunde um ca. 4 MB gestiegen, seit gestern abend ist Ruhe, es sind sogar 20 MB weniger geworden seit dem Start von FHEM.

[CoolTux]

Ich habe meine produktive Instanz in einen Container. Damit kann ich relativ Problemlos testen. Habe schon diverse Geräte raus geworfen. Heute aktuell Homematic.

[CoolTux]

Kleiner aktueller Stand. Ich habe für die Nacht entfernt
HMinfo
HOMBOT
EQ3BT
Pushover
DbLog

Der Speicherverbrauch stieg dennoch an.

Ich habe heute morgen entfernt
gassistant
VCCU CUL_HM
HMUARTLGW
FHEM2FHEM

Auch da ist der Speicher wieder gestiegen.

Nun habe ich alle meine FHEMWEB Instanzen entfernt. Es waren 3. Und dadurch bedingt sind alle Residents und Co Devices geflogen. Also Roommate Guest und so. Und nun wird es interessant. Bis her (10min) konnte ich keine Veränderung feststellen. Speicherverbrauch konstant 133MB und FHEM benötigt davon 10.9%

[CoolTux]

Ich habe etwas recherchiert. Zeitlich könnte eine Anpassung an FHEMWEB passen. Sollte also in den nächsten 60 min der Speicherverbrauch nicht weiter ansteigen werde ich in diese Richtung weiter schauen. Natürlich wird dies nun kein Problem von FHEMWEB alleine. Ich habe da meine 3 Jahre alte TabletUI Installation im Auge. Eventuell hat die Probleme mit dem neuen FHEMWEB. Aber das muss ich mir genauer anschauen.
Aktuell kann ich lediglich meine Beobachtungen kund tun.

[CoolTux]

Immer noch 133MB Ram Verbrauch. Das sieht gut aus.

Mir ist doch tatsächlich eben noch eine Veränderung an meiner Umgebung auf gefallen. Ich habe ja noch HA Proxy installiert und greife darüber auf die Webinstanzen von FHEM zu. Könnte also auch ein Ansatz sein.
Das es Residents sein kann mag ich erstmal nicht so ganz glauben. Obwohl es natürlich im engeren Kreis der Täter steht.

[CoolTux]

Wir kommen der Sache immer Näher. Und wie so oft kommt es anders wie gedacht.
Es bleiben nun noch 2 Täter übrig. Mein HAProxy oder mein Check_MK Plugin für HTTP Connection

[rudolfkoenig]

Traurig. Das sind naemlich keine "Volksmodule", will sagen, deine Loesug wird den Anderen hier kaum helfen.

[CoolTux]

Traurig. Das sind naemlich keine "Volksmodule", will sagen, deine Loesug wird den Anderen hier kaum helfen.

Das denke ich auch. Sind aber auch keine Module sondern das eine ist mein Firewall auf der ein HAProxy lauft und das andere ist mein CheckMK Server. Beide bauen eine Verbindung zum FHEMWEB auf.

Davon aber mal ganz ab, wenn ich mir hier so die letzten Seiten durchlese so haben bei 2-3 Leuten jeweils eine andere Lösung zum Ziel geführt. Bei einem war es ein Modul beim anderen eine andere Perlversion welche beim dritten aber nicht geholfen hat sondern etwas anderes. Ist ist also alles andere als ein ein deutig.
Was es nun genau bei mir ist werde ich sicherlich in den nächsten Stunden noch raus finden.

[nuccleon]

Ich klinke mich hier mal zu mitlesen ein, da mein fhem process (läuft auf PI4) auch ziemlich heftig leakt.
Speicherverbrauch steigt von 6.5% nach dem booten kontinuierlich an (hat nach 6h ca 10% erreicht).

Auch ich habe mehrere FHEMWEB Instanzen aktiv (3 Stück)

Eine FHEMWEB Instanz wird dazu verwendet um von einer S7 SPS über HTTP, Dummy Devices zu "füttern" (set, setreading). Das sind z.B. Schalteraktion von Tastern / Schaltern die an der SPS verdrahtet sind oder eben auch zyklische Daten wie z.B. Temperaturmesswerte von der SPS etc...

Der Vollständigkeit halber häng ich mal noch ein list an.

Code Auswählen Erweitern


Type list  for detailed info.

Global:
  global               (no definition)

HMUARTLGW:
  hm_uart_lgw          (opened)

MQTT2_CLIENT:
  mqtt2                (opened)

FHEMWEB:
  PLCWEB               (Initialized)
  WEB                  (Initialized)
  WEBFLEX              (Initialized)
  WEBFLEX_192.168.178.51_55744 (Connected)
  WEBFLEX_192.168.178.51_55748 (Connected)

CUL_HM:
  ActionDetector       (alive:10 dead:0 unkn:0 off:0)
  HM_Sirene            (CMDs_done)
  HM_Sirene_Arm        (0)
  HM_Sirene_Panic      (off)
  HM_Sirene_Sen_01     (off)
  HM_Sirene_Sen_02     (off)
  dts_aussen           (Info_Cleared)
  dts_aussen_event     (???)
  dts_aussen_t1        (T: 54.0)
  dts_aussen_t1_t2     (T: 20.1)
  dts_aussen_t2        (T: 33.9)
  dts_aussen_t2_t1     (T: -20.1)
  ftk_eg0_wohnzimmer   (open 2019-08-12 08:27:30)
  ftk_eg1_wohnzimmer   (open 2019-08-13 19:39:37)
  ftk_eg2_haustuere    (open 2019-08-30 14:42:16)
  ftk_eg3_wc           (open 2019-08-13 11:50:13)
  ftk_eg4_kueche       (open 2019-08-30 14:18:20)
  ftk_eg5_kueche       (open 2019-08-30 14:43:46)
  ftk_kg0_hobbyraum    (open 2019-08-13 21:50:46)
  ftk_kg1_technikraum  (open 2019-08-13 22:01:37)
  ftk_og0_bad          (open 2019-08-30 14:20:28)
  hm_vccu              (hm_uart_lgw:ok)
  hm_vccu_Btn1         (???)

MQTT2_DEVICE:
  MQTT2_ebusd          (running | ready)
  MQTT2_espeasy_dht_aussen (30.4 °C | 44.6 % | 192.168.178.28 disconnected)
  MQTT2_espeasy_dht_bad (26.0 °C | 61.9 % | 192.168.178.21 disconnected)
  MQTT2_espeasy_dht_k1 (21.5 °C | 72.1 % | 192.168.178.3 disconnected)
  MQTT2_espeasy_dht_k3 (22.7 °C | 67.1 % | 192.168.178.17 disconnected)
  MQTT2_espeasy_dht_lunos (25.9 °C | 58.0 % | 192.168.178.35 connected)
  MQTT2_espeasy_dht_studio (25.9 °C | 60.5 % | 192.168.178.27 sleeping)
  MQTT2_espeasy_dht_sz (25.3 °C | 59.2 % | 192.168.178.25 disconnected)
  MQTT2_espeasy_dht_wz (24.3 °C | 69.8 % | 192.168.178.29 disconnected)
  MQTT2_espeasy_io_dg  (192.168.178.30 sleeping)
  MQTT2_espeasy_io_eg  (192.168.178.4 sleeping)
  MQTT2_espeasy_io_og  (192.168.178.20 disconnected)
  MQTT2_general_bridge (closed)
  MQTT2_heizkreise     (0)
  MQTT2_shelly_luefter_bad (off 192.168.178.46 Online)
  MQTT2_shelly_luefter_wc (off 192.168.178.45 Online)
  MQTT2_shelly_wz_hifi (on 192.168.178.32 Online)
  MQTT2_shelly_wz_rgbww (off 192.168.178.32 Online)

MQTT_GENERIC_BRIDGE:
  MQTT2_generic_bridge (dev: 14 in: 40629 out: 218)

EspLedController:
  rgbww_kueche         (192.168.178.200 opened)
  rgbww_markise        (192.168.178.203 opened)
  rgbww_steinwand      (192.168.178.202 opened)

SYSSTAT:
  sys_stat             (0.04 0.07 0.08)

S7:
  CPU015               (connected to PLC)

S7_AWrite:
  blind0_CTRL_POS      (39)
  blind0_DAY_POS       (255)
  blind0_DBL_DN_POS    (35)
  blind0_DBL_UP_POS    (76)
  blind0_EARLIEST_LATE_UP (28800000)
  blind0_EARLIEST_UP   (25200000)
  blind0_NIGHT_POS     (35)
  blind0_SHADE_HORZ1   (160)
  blind0_SHADE_HORZ2   (295)
  blind0_SHADE_POS     (76)
  blind0_SHADE_VERT    (10)
  blind0_T_DN          (23500)
  blind0_T_MAX         (28500)
  blind0_T_UP          (26500)
  blind1_CTRL_POS      (255)
  blind1_DAY_POS       (255)
  blind1_DBL_DN_POS    (32)
  blind1_DBL_UP_POS    (76)
  blind1_EARLIEST_LATE_UP (28800000)
  blind1_EARLIEST_UP   (25200000)
  blind1_NIGHT_POS     (32)
  blind1_SHADE_HORZ1   (148)
  blind1_SHADE_HORZ2   (295)
  blind1_SHADE_POS     (76)
  blind1_SHADE_VERT    (10)
  blind1_T_DN          (23000)
  blind1_T_MAX         (27000)
  blind1_T_UP          (25000)
  blind2_CTRL_POS      (255)
  blind2_DAY_POS       (255)
  blind2_DBL_DN_POS    (28)
  blind2_DBL_UP_POS    (112)
  blind2_EARLIEST_LATE_UP (27000000)
  blind2_EARLIEST_UP   (23400000)
  blind2_NIGHT_POS     (28)
  blind2_SHADE_HORZ1   (238)
  blind2_SHADE_HORZ2   (279)
  blind2_SHADE_POS     (28)
  blind2_SHADE_VERT    (15)
  blind2_T_DN          (16000)
  blind2_T_MAX         (20000)
  blind2_T_UP          (18000)
  blind3_CTRL_POS      (255)
  blind3_DAY_POS       (255)
  blind3_DBL_DN_POS    (35)
  blind3_DBL_UP_POS    (112)
  blind3_EARLIEST_LATE_UP (27000000)
  blind3_EARLIEST_UP   (23400000)
  blind3_NIGHT_POS     (35)
  blind3_SHADE_HORZ1   (55)
  blind3_SHADE_HORZ2   (115)
  blind3_SHADE_POS     (112)
  blind3_SHADE_VERT    (10)
  blind3_T_DN          (14000)
  blind3_T_MAX         (17000)
  blind3_T_UP          (15000)
  blind4_CTRL_POS      (255)
  blind4_DAY_POS       (255)
  blind4_DBL_DN_POS    (37)
  blind4_DBL_UP_POS    (112)
  blind4_EARLIEST_LATE_UP (27000000)
  blind4_EARLIEST_UP   (23400000)
  blind4_NIGHT_POS     (37)
  blind4_SHADE_HORZ1   (55)
  blind4_SHADE_HORZ2   (125)
  blind4_SHADE_POS     (112)
  blind4_SHADE_VERT    (10)
  blind4_T_DN          (24000)
  blind4_T_MAX         (27000)
  blind4_T_UP          (25000)

S7_DWrite:
  alarm_events_ALARM   (off)
  alarm_events_FIRE    (off)
  blind0_CTRL_DOOR     (off)
  blind0_CTRL_FETCH    (off)
  blind0_EN_AUTO_ALERT_POS (on)
  blind0_EN_AUTO_DAY_POS (on)
  blind0_EN_AUTO_DOOR_POS (on)
  blind0_EN_AUTO_NIGHT_POS (on)
  blind0_EN_AUTO_SHADE_POS (on)
  blind0_MAINTANANCE   (off)
  blind1_CTRL_DOOR     (off)
  blind1_CTRL_FETCH    (off)
  blind1_EN_AUTO_ALERT_POS (on)
  blind1_EN_AUTO_DAY_POS (on)
  blind1_EN_AUTO_DOOR_POS (off)
  blind1_EN_AUTO_NIGHT_POS (on)
  blind1_EN_AUTO_SHADE_POS (on)
  blind1_MAINTANANCE   (off)
  blind2_CTRL_DOOR     (off)
  blind2_CTRL_FETCH    (off)
  blind2_EN_AUTO_ALERT_POS (on)
  blind2_EN_AUTO_DAY_POS (on)
  blind2_EN_AUTO_DOOR_POS (off)
  blind2_EN_AUTO_NIGHT_POS (on)
  blind2_EN_AUTO_SHADE_POS (on)
  blind2_MAINTANANCE   (off)
  blind3_CTRL_DOOR     (on)
  blind3_CTRL_FETCH    (off)
  blind3_EN_AUTO_ALERT_POS (on)
  blind3_EN_AUTO_DAY_POS (on)
  blind3_EN_AUTO_DOOR_POS (off)
  blind3_EN_AUTO_NIGHT_POS (on)
  blind3_EN_AUTO_SHADE_POS (on)
  blind3_MAINTANANCE   (off)
  blind4_CTRL_DOOR     (on)
  blind4_CTRL_FETCH    (off)
  blind4_EN_AUTO_ALERT_POS (on)
  blind4_EN_AUTO_DAY_POS (on)
  blind4_EN_AUTO_DOOR_POS (on)
  blind4_EN_AUTO_NIGHT_POS (on)
  blind4_EN_AUTO_SHADE_POS (on)
  blind4_MAINTANANCE   (off)
  light_staircase_LIGHT (off)
  rgbww_kitchen_STATE_LED (off)
  rgbww_marquee_STATE_LED (off)
  weather_events_RAIN  (off)
  weather_events_SUN   (on)
  weather_events_WIND  (off)

IPCAM:
  vivotek              (Defined)

Pushover:
  pushmsg              (connected)

at:
  at_5min_periodic     (Next: 14:50:44)
  at_T_sun_shadow_changed (Next: 14:48:00)

eventTypes:
  eventTypes           (active)

notify:
  initialUsbCheck      (disabled)
  notify_015_CEFPR00_advertise (active)
  notify_MQTT2_espeasy_connected (2019-08-30 14:47:37)
  notify_MQTT2_shelly_wz_rgbww_POWER1 (active)
  notify_bell_or_buzzer (active)
  notify_ftk_open_closed (2019-08-30 14:43:46)
  notify_ftk_sabotage  (active)
  notify_rgbww_stateLight (2019-08-30 08:20:57)
  notify_sirene_alarm_sen_01 (2019-08-30 14:43:46)
  notify_sirene_arm    (active)
  notify_sirene_panic  (active)
  notify_sirene_sabotage (active)
  notify_sun_sensor_T_sun_shadow (2019-08-30 14:46:25)
  notify_switch_rgbww  (active)
  notify_temperature_aussen (2019-08-30 14:46:25)
  sys_backup_run       (active)

watchdog:
  wd_luefter_bad       (defined)
  wd_luefter_wc        (defined)

FileLog:
  Logfile              (active)

DbLog:
  logdb                (connected)

DbRep:
  repdb                (connected)

Astro:
  astro                (Updated)

HMinfo:
  hm_info              (updated:2019-08-30 14:20:46)

THRESHOLD:
  th_sun_sensor        (external 10.0)

autocreate:
  autocreate           (active)

cmdalias:
  c_dellog             (defined)
  c_grep               (defined)
  c_lastloglines       (defined)

dewpoint:
  dew_all              (active)

dummy:
  015_CEFPR00          (advertise)
  015_CEFPR00_blind_control (29% | 29% | 35% | 100% | 100%)
  015_CEFPR00_calendar (day)
  015_CEFPR00_health   (ok)
  ftk_garden_gate      (open 2019-08-30 14:42:34)
  sun_sensor           (on 22.48 °C)
  switch_bell_door     (released)
  switch_bell_mb       (released)
  switch_blind0_dn     (released)
  switch_blind0_up     (released)
  switch_blind1_dn     (released)
  switch_blind1_up     (released)
  switch_blind2_dn     (released)
  switch_blind2_up     (released)
  switch_blind3_dn     (released)
  switch_blind3_up     (released)
  switch_blind4_dn     (released)
  switch_blind4_up     (released)
  switch_buzzer_door   (released)
  switch_buzzer_mb     (released)
  switch_light_staircase (released)
  switch_rgbww_kitchen (released)
  switch_rgbww_marquee (released)
  sys_backup           (Ausführen)
  vaillant_temp        (threshold)

expandJSON:
  015_CEFPR00_expand_json (2019-08-30 14:43:46)

telnet:
  telnetPort           (Initialized)


Hier noch fhemdebug memusage

Code Auswählen Erweitern


   1. defs                            1447130
   2. modules                          624926
   3. modules::eventTypes              266175
   4. attr                             265686
   5. modules::eventTypes::ldata       265113
   6. defs::HM_Sirene_Sen_01           149510
   7. defs::HM_Sirene_Sen_01::READINGS   146142
   8. modules::MQTT2_DEVICE             79051
   9. modules::MQTT2_DEVICE::defptr     77188
  10. modules::MQTT2_DEVICE::defptr::re    72848
  11. defs::astro                       44921
  12. defs::astro::READINGS             43171
  13. defs::rgbww_kueche                40570
  14. defs::rgbww_markise               40272
  15. defs::rgbww_steinwand             39547
  16. defs::MQTT2_ebusd                 37593
  17. POSIX::                           37284
  18. UConv::                           34917
  19. defs::MQTT2_ebusd::READINGS       34823
  20. defs::rgbww_kueche::READINGS      34088
  21. defs::rgbww_steinwand::READINGS    34087
  22. defs::rgbww_markise::READINGS     33896
  23. FW_cmdret                         30593
  24. defs::MQTT2_shelly_luefter_bad    28110
  25. modules::CUL_HM                   26975
  26. defs::MQTT2_shelly_luefter_bad::READINGS    26304
  27. defs::HM_Sirene_Sen_02            25760
  28. attr::WEBFLEX                     25336
  29. defs::ftk_eg1_wohnzimmer          24892
  30. defs::ftk_eg2_haustuere           24821
  31. defs::ftk_eg5_kueche              24785
  32. defs::MQTT2_generic_bridge        24379
  33. defs::ftk_eg4_kueche              24368
  34. attr::WEBFLEX::styleData          24180
  35. defs::ftk_eg0_wohnzimmer          24044
  36. defs::ftk_kg1_technikraum         24043
  37. defs::ftk_kg0_hobbyraum           24041
  38. defs::ftk_eg3_wc                  24028
  39. defs::HM_Sirene_Sen_02::READINGS    22914
  40. defs::ftk_og0_bad                 22198
  41. modules::eventTypes::ldata::pushmsg    21993
  42. defs::MQTT2_shelly_wz_rgbww       21325
  43. defs::MQTT2_shelly_wz_hifi        20933
  44. defs::MQTT2_shelly_wz_rgbww::READINGS    19527
  45. defs::MQTT2_shelly_wz_hifi::READINGS    19137
  46. modules::eventTypes::ldata::HM_Sirene_Sen_01    19082
  47. modules::eventTypes::ldata::repdb    18227
  48. defs::HM_Sirene                   18148
  49. modules::eventTypes::ldata::MQTT2_shelly_wz_hifi    17069
  50. modules::eventTypes::ldata::MQTT2_shelly_wz_rgbww    17012


[CoolTux]

Also das würde ich noch als normal bezeichnen. Wie sieht es denn nach 48 Stunden aus?

[nuccleon]

Also das würde ich noch als normal bezeichnen. Wie sieht es denn nach 48 Stunden aus?

Naja, das kann ich übermorgen quantifizieren.

Was ich aber jetzt schon - ohne genaue Zahlen - sagen kann ist, dass der Speicherverbrauch so lange anwächst bis Cannot fork: Cannot allocate memory im Log zu finden ist.
Gefühlt ist das typischerweise nach wenigen Tagen. Meistens in dem Moment in dem ich einen update Versuch starte.

Ich wurde eben hellhörig, als in diesem Thread der Bezug zu FHEMWEB aufgekommen ist. Da ich ja auch einen sehr speziellen Anwendungsfall für FHEMWEB gefunden habe (SPS -> HTTP -> FHEMWEB -> DUMMY) dachte ich, ich klinke mich hier mal ein.

Im Moment konnte ich den Täter noch nicht näher eingrenzen :-/

[gloob]

Ich selbst bin ja auch heftig betroffen und habe mitlerweile fast alle Module von einem Proxmox Container in einen anderen mit FHEM Installation geklont. Im neuen Container habe ich keinen Anstieg.
An der "Hauptinstallation" hängt allerdings ein Tablet mit TabletUI und dort frisst es den Speicher extrem schnell, ca 10MB pro Stunde.

Ich werde jetzt mal versuchen das Tablet auszuschalten und den Speicher beobachten.

[HomeAuto_User]

Da ich den Faden auch sehr verfolge, so würde mich interessieren wie man dem ganzen am besten auf die Schliche kommt.

Ja, es gibt kein eindeutiges Verfahren oder eine einheitliche Beschreibung aber womit und wie, könnte man das Phänomen verfolgen. Ich stelle fest, wenn der httpMod mit 95 Einträgen läuft, so kommt es dazu. Ist er aus, so geht es. Alles läuft ,,nur" auf einem Pi3.


Gesendet von iPhone mit Tapatalk Pro

[CoolTux]

Ich selbst bin ja auch heftig betroffen und habe mitlerweile fast alle Module von einem Proxmox Container in einen anderen mit FHEM Installation geklont. Im neuen Container habe ich keinen Anstieg.
An der "Hauptinstallation" hängt allerdings ein Tablet mit TabletUI und dort frisst es den Speicher extrem schnell, ca 10MB pro Stunde.

Ich werde jetzt mal versuchen das Tablet auszuschalten und den Speicher beobachten.

Wie greift tabletui bei Dir zu? Ich habe nginx dafür genommen. Hast du httpsrv?

[CoolTux]

Da ich den Faden auch sehr verfolge, so würde mich interessieren wie man dem ganzen am besten auf die Schliche kommt.

Ja, es gibt kein eindeutiges Verfahren oder eine einheitliche Beschreibung aber womit und wie, könnte man das Phänomen verfolgen. Ich stelle fest, wenn der httpMod mit 95 Einträgen läuft, so kommt es dazu. Ist er aus, so geht es. Alles läuft ,,nur" auf einem Pi3.


Gesendet von iPhone mit Tapatalk Pro

Ich bin extra schneller in ein Linux Container umgezogen und Arbeit mit configdb. Da kann man schnell viele Devices löschen, testen und wieder zurück drehen. Ich sichere vorher die Device Config zusätzlich als RAW Export.