Auslastung / Kontrolle - Netzwerkfehler ?

[frank]

Wenn es NUR die S7 wäre, die diese Fehler ausspuckt, wäre diese schon längst rausgeflogen. Aber es sind eben auch mal hier und da andere Geräte die Fehler ausspucken.

das umstecken der s7 an den externen switch hat ja schon gezeigt, dass die fritzbox "entlastet" wurde, da der drucker nun wieder richtig angezeigt wird.
zu den 12000 anfragen gibt es ja auch mindestens so viele antworten, die über das netzwerk rauschen.

auf fhem seite wird ja sicherlich nicht nur die funktion aufgerufen. die antworten müssen ja auch verarbeitet und weitergereicht werden.
wieviele events werden denn dabei erzeugt? die belasten fhem ja noch zusätzlich.
kannst du noch alle events auf dem eventmonitor in ruhe lesen?


sortier mal apptime nach count.

[flummy1978]

Hallo Frank,

vielen Dank auch Dir noch mal für Deine Zeit und Mühe mir helfen zu wollen. Bin Dir (und wernieman und allen anderen die bisher geantwortet haben) da wirklich sehr sehr sehr dankbar weil man in solchen Fällen sicherlich schnell aufgeben könnte, wenn es einen selbst nicht betrifft   

On Topic ... alle Fragen / Bemerkungen der Reihe nach:

Umstecken der S7: Sicherlich richtig, dass es jetzt (bis jetzt) funktioniert. Was mich dabei einfach total wundert, ist dass es ja schon immer funktioniert hat..... und ich bin ja nun schon sehr lange am Suchen, was dazu geführt hat, dass ich auch sehr sehr oft in mich hinein gehorcht hab um mich zu erinnern, ob ich was bestimmtes geändert habe. Die Frage war dann doch immerwieder - Nein 

12 Anfragen Bin mir nicht sicher ob ich das richtig zuordne, aber 12000 Kommunikationen innerhalb von ca 3 Std, bei denen jeweils genau 1 BIT abgefragt wird sind grob gesehen pro sekunde eine Abfrage. Ich würde jetzt schätzen (wirklich geschätzt) dass bei einem Stream oder ähnlichem mehr übers Netzwerk geht , oder ? Aus den oberen 12000 Anfragen wurden zu dem Zeitpunkt insg. 0 Events erzeugt, weil sich nichts geändert hatte. Er hat ja nur den aktuellen Zustand abgefragt und dieser war gleich.
Unabhängig davon habe ich jetzt mal testweise die Abfragezeit von 0,5 auf 4 Sek gesetzt. Bedienung VON Fhem ist die gleiche Anzeige ZU Fhem kann sich um bis zu 4 Sek verzögern. Das ist mir momentan aber erstmal egal.

Eventverarbeitung: Ich habe mir angewöhnt, alle paar Tage / Wochen je nachdem wie oft ich an Fhem was geändert habe, regelmäßg in den Eventmonitor zu schauen. D.h. eigentlich läuft der IMMER sobald ich was ändere und ich versuche schon sehr sehr drauf zu achten kaum mehr als nötige Events zu erzeugen. Das klappt sicher nicht immer........

Ich führe bei jedem Device immer erstmal ein event-on-change .* ein und DANN schränke ich diese beim Einrichten je nach Bedarf ein. Das bedeutet nicht, dass ich auch ein paar total unsinnige Events drin hab. Aber es wird ganz sicher nicht von jedem Gerät alles mit verfolgt.

Sicherlich ist das ein oder andere unnötige Event drin, aber wenn ich Eventmonitor mit .* laufen habe ist die unterste Zeile nach (gestoppten) ca 60 Sek erst oben angekommen (je nach Zustand - Wenn Zähler und Wetter grad ein Event erzeugen, könnten es auch schon mal 15-20 sek sein - ohne beide dauert es auch schnell mal 2 min). Also um Deine Frage zu beantworten: zu 99% kann ich alle Events mitlesen.

sortier mal apptime nach count:

Code Auswählen Erweitern

name                                     function                               max    count      total  average   maxDly   avgDly TS Max call     param Max call
allowedMqtt                              allowed_Authorize                        1    41467    1338.46     0.03     0.00     0.00 02.11. 23:48:52 HASH(allowedMqtt); HASH(telnetForBlockingFn_1604328169_127.0.0.1_34636); cmd; perl; (undef)
allowedTelnet                            allowed_Authorize                        1    41467     816.68     0.02     0.00     0.00 02.11. 21:03:32 HASH(allowedTelnet); HASH(telnetForBlockingFn_1604328169_127.0.0.1_55912); cmd; perl; (undef)
DBLogging                                DbLog_Log                              121    40237   80255.41     1.99     0.00     0.00 02.11. 17:54:20 HASH(DBLogging); HASH(Wetterstation)
FileLog_Logfile                          FileLog_Log                              2    40237    9996.60     0.25     0.00     0.00 03.11. 01:56:13 HASH(FileLog_Logfile); HASH(virtual_BAD_OG_Temperatur)
Freezmonitor                             freezemon_Notify                         1    40237    1960.29     0.05     0.00     0.00 02.11. 23:14:34 HASH(Freezmonitor); HASH(EG_KUE_HM_kuehl_back_Pwr)
KG_haupt_zaehler                         HourCounter_Notify                      56    40237   18662.15     0.46     0.00     0.00 02.11. 17:14:42 HASH(KG_haupt_zaehler); HASH(KG_SYS_haupt_zaehler_S0)
Nebenzaehler                             ElectricityCalculator_Notify           196    40237   57970.89     1.44     0.00     0.00 03.11. 02:13:37 HASH(Nebenzaehler); HASH(wemoszaehler_EG)
RG_test                                  readingsGroup_Notify                     5    40237    4861.00     0.12     0.00     0.00 03.11. 11:00:55 HASH(RG_test); HASH(global)
SYS_START_FB_Kalender_noty               notify_Exec                              0    40237    1175.90     0.03     0.00     0.00 02.11. 23:57:41 HASH(SYS_START_FB_Kalender_noty); HASH(Hauptzaehler)
TestWemos_LOG                            FileLog_Log                              2    40237    8502.60     0.21     0.00     0.00 02.11. 18:11:21 HASH(TestWemos_LOG); HASH(virtual_BAD_OG_Temperatur)
WEB                                      FW_Notify                                0    40237     632.42     0.02     0.00     0.00 03.11. 05:48:22 HASH(WEB); HASH(dev_Garten_shelly25)
WEB2                                     FW_Notify                                0    40237     330.84     0.01     0.00     0.00 03.11. 02:14:15 HASH(WEB2); HASH(dev_Garten_shelly25)
WEB3                                     FW_Notify                                0    40237     319.10     0.01     0.00     0.00 03.11. 07:44:26 HASH(WEB3); HASH(dev_OG_BAD_Temp_Sensor)
WEBphone                                 FW_Notify                                0    40237     317.33     0.01     0.00     0.00 03.11. 02:50:03 HASH(WEBphone); HASH(OG_SZ_SD_02Bett_LI)
WEBtablet                                FW_Notify                                1    40237     313.73     0.01     0.00     0.00 02.11. 22:26:30 HASH(WEBtablet); HASH(wemoszaehler)
WEBweatherstation                        FW_Notify                                0    40237     313.07     0.01     0.00     0.00 02.11. 16:27:54 HASH(WEBweatherstation); HASH(MQTT_wemoszaehler)
eventTypes                               eventTypes_Notify                        2    40237    7636.78     0.19     0.00     0.00 03.11. 10:41:20 HASH(eventTypes); HASH(EG_KUE_HM_kuehl_back_Pwr)
heatingInfo                              readingsGroup_Notify                    19    40237    4069.66     0.10     0.00     0.00 02.11. 16:45:31 HASH(heatingInfo); HASH(HEAT_OG_SZ_HZ_Clima)
hminfo                                   HMinfo_Notify                            0    40237     785.35     0.02     0.00     0.00 02.11. 17:19:30 HASH(hminfo); HASH(wemoszaehler)
noti_OG_SZ_conditions                    notify_Exec                            500    40237  749549.43    18.63     0.00     0.00 03.11. 10:56:55 HASH(noti_OG_SZ_conditions); HASH(MQTT2_shellydimmer_D3E457)
noti_POW_aktivity                        notify_Exec                              2    40237   12875.81     0.32     0.00     0.00 02.11. 23:41:29 HASH(noti_POW_aktivity); HASH(virtual_SZ)
noti_onfortimer                          notify_Exec                              6    40237   27752.58     0.69     0.00     0.00 02.11. 19:02:26 HASH(noti_onfortimer); HASH(Licht_EG_FL_abstell)
noti_rollotaster                         notify_Exec                              2    40237    8695.18     0.22     0.00     0.00 02.11. 18:44:50 HASH(noti_rollotaster); HASH(HEAT_OG_BAD_HZ_Clima)
rg_SYS_ALL_Licht                         readingsGroup_Notify                    10    40237    4596.11     0.11     0.00     0.00 03.11. 11:00:55 HASH(rg_SYS_ALL_Licht); HASH(global)
rg_SYS_ALL_rollo_level                   readingsGroup_Notify                    10    40237    3025.18     0.08     0.00     0.00 03.11. 11:00:55 HASH(rg_SYS_ALL_rollo_level); HASH(global)
rg_SYS_ALL_rollo_shades                  readingsGroup_Notify                    11    40237    2920.54     0.07     0.00     0.00 03.11. 11:00:55 HASH(rg_SYS_ALL_rollo_shades); HASH(global)
rg_SYS_ALL_rollo_times                   readingsGroup_Notify                    10    40237    2844.80     0.07     0.00     0.00 03.11. 11:00:55 HASH(rg_SYS_ALL_rollo_times); HASH(global)
rg_SYS_ALL_wifi_battery_status           readingsGroup_Notify                    55    40237   17473.11     0.43     0.00     0.00 02.11. 16:34:32 HASH(rg_SYS_ALL_wifi_battery_status); HASH(RESIDENT_ALL)
rg_SZ_Fenster                            readingsGroup_Notify                     1    40237    3085.63     0.08     0.00     0.00 03.11. 01:48:11 HASH(rg_SZ_Fenster); HASH(dev_Robby_Garage_taster)
rg_WZ_Fenster                            readingsGroup_Notify                     0    40237    2851.40     0.07     0.00     0.00 03.11. 00:00:19 HASH(rg_WZ_Fenster); HASH(dev_OG_BUE_decke)
testlog                                  FileLog_Log                              4    40237   13478.13     0.33     0.00     0.00 03.11. 10:56:55 HASH(testlog); HASH(MQTT2_shellydimmer_D3E457)
wemoszaehler                             HourCounter_Notify                     305    40237   96669.58     2.40     0.00     0.00 03.11. 00:00:59 HASH(wemoszaehler); HASH(MQTT_wemoszaehler)
wemoszaehler_EG                          HourCounter_Notify                     217    40237    3801.32     0.09     0.00     0.00 03.11. 02:13:37 HASH(wemoszaehler_EG); HASH(MQTT_wemoszaehler)
wemoszaehler_KG                          HourCounter_Notify                     170    40237   22097.97     0.55     0.00     0.00 03.11. 08:23:01 HASH(wemoszaehler_KG); HASH(MQTT_wemoszaehler)
wemoszaehler_OG                          HourCounter_Notify                     164    40237   12157.84     0.30     0.00     0.00 03.11. 00:01:51 HASH(wemoszaehler_OG); HASH(MQTT_wemoszaehler)
allowedMqtt                              allowed_Authenticate                     1    35405    5601.95     0.16     0.00     0.00 02.11. 19:46:46 HASH(allowedMqtt); HASH(WEBweatherstation_192.168.0.99_8488); HASH(0xffb758)
allowedTelnet                            allowed_Authenticate                     1    35364    2010.98     0.06     0.00     0.00 02.11. 22:59:22 HASH(allowedTelnet); HASH(WEBweatherstation_192.168.0.99_49987); HASH(0xffb758)
tmr-S7_GetUpdate                         HASH(0x145a330)                        160    31090 1127948.88    36.28  2261.32   114.88 02.11. 17:33:48 HASH(dev_KG_S7_SPS)
tmr-freezemon_ProcessTimer               HASH(0x4987aa8)                        137    27720  116665.59     4.21  2400.87   130.77 02.11. 21:22:17 HASH(Freezmonitor)
tmr-__ANON__                             HASH(0x4baa818)                        109    26952 1279966.44    47.49     0.00     0.00 02.11. 22:02:12
Ist allerdings der Appmonitor seit gestern Nachmittag. Hatte ihne jetzt noch nicht resettet. Das wollte ich gegen 15 Uhr machen, wenn nicht jemand von den Helfenden noch einen Einwand hat, wonach ich schauen sollte 

Viele Grüße
Andreas

[flummy1978]

Auch wenn es möglicherweise niemanden mehr so richtig interessiert, kleine Rückmeldung von meiner Seite:

Ich habe, nachdem ich noch ein wenig rumprobiert hab, urplötzlich von jetzt auf gleich das Fork Speicherproblem "... Cannot fork: Cannot allocate memory....." bekommen, ohne dass ich groß was geändert hab, also war klar. JETZT ist die Chance vielleicht nicht für den totale (dafür ist da doch zu viel drin um es auf einmal zu machen) aber für einen ziemlichen Kahlschlag. Also gab es:

• Buster auf den Raspi
• Neue Zigbee2MQTT Installation
• Einige alte Teile sind aus der Config geflogen, bevor sie eingefügt wurde
• die SPS hat eine 4 sek Überwachungszeit behalten


• Das Netzwerk wird jetzt von einem Unifi USG geregelt (hatte ich hier, wollte ich schon lange einsetzen, nun "musste" ich)
• Ich hab parallel vieles an der Diskstation / Docker getestet und n neues Problem entwickelt (USB Zigbee2mqtt wird nicht mehr erkannt)
• Einige Notifys / Geräte angepasst

Ich bin ehrlich: Die Fritzbox ist mittlerweile zu einem reinen Modem - Gerät degradiert und leitet eigentlich nur noch das Inet an den WAN Port des Unifi USG aber sie hängt halt immernoch mit im Netz.
Freezmon zeigt immernoch ab und zu (WESENTLICH seltener als früher, aber immernoch) nen Freeze der dann vom nem MQTT Gerät kommt, oder eben von der SPS. Daher kann ich nicht abschließend sagen, dass der Fehler endgültig weg ist, aber es läuft soweit, dass ich sagen kann SO lief es immer und ich war damit zufrieden.
Ob Freezmon früher die Freezes gezeigt hätte und ich sie nur nicht gemerkt habe, weiss ich ja nicht, weil ich Freezmon nicht immer drin hatte

Der Vorteil ist, dass ich mich jetzt endlich dazu durchraffen (MUSSTE) konnte, die gemanaged Switches richtig zu konfigurieren (noch zum Teil in Arbeit) Meine Netzwerkstruktur etwas um zu bauen. VLAN einzupflegen, das USG einzusetzen und VPN über die Diskstation bzw das USG einzurichten. Vieles davon läuft schon sehr sehr zufriedenstellend, muss aber noch zum Teil angepasst werden.

Auch wenn wir keinen direkten Einzelverursacher finden konnte, GLAUBE ich dass das Problem überwiegend gelöst ist. Endgültig werde ich das wohl erst bei einem Umzug auf andere Hardware merken und wenn die Fritzbox und SPS eben raus sind. Daher noch mal VIELEN VIELEN VIELEN DANK an alle die mich hier im Beitrag unterstützt haben und mir versucht haben mit jedem noch so kleinem Tipp weiter zu helfen.

Natürlich hab ich dabei auch wieder vieles gelernt

Viele Grüße
Andreas

[Wernieman]

Danke fürs Feedback .. auch wenn es etwas "unbefriedigend" ist ...

Aber lernen .. sollte man doch immer ;o)