fheminfo - FHEM statistik

Begonnen von erwin, 22 März 2023, 13:46:31

Vorheriges Thema - Nächstes Thema

erwin

Mir ist aufgefallen, das in letzter Zeit die FHEM-users in der statistik rapide abnehmen.
Ende Feb. waren es ca. 3800+ ... Stand heute < 2700 !!!
Dasselbe gilt auch für einzelne Module, ca.30% "schwund"....

Ich nehme nicht an, dass die User FHEM fluchtartig verlassen, ich hoffe, das es ein Problem mit fheminfo, db, statistik, ... gibt.
Evtl. gibts einen zeitlichen Zusammenhang mit der Servermigration?
Interessant ist auch, dass die updatezahlen < 1monat immer kleiner werden, alle > 1monat werden mehr! (relativ). Sieht fast so aus, als ob keine neuen entries dazukommen...
l.g.erwin
FHEM aktuell auf RaspberryPI Mdl 1-4
Maintainer: 00_KNXIO.pm 10_KNX.pm
User: CUNO2 (868 SLOWRF) - HMS100xx, FS20, FHT, 1-Wire  - 2401(iButton), 18x20, 2406, 2413 (AVR), 2450,..,MQTT2, KNX, SONOFF, mySENSORS,....
Hardware:  Busware ROT, Weinzierl IP731, 1-Wire GW,...

rudolfkoenig

Ich habe mal probehalber von meiner Testinstallation ein "fheminfo send" ausgeloest, ich hatte keinen Fehler gesehen und die Datenbank wurde auch aktualisiert. Im Log finde ich uploads heute von 67 Installationen.

Da ich weder das Sammeln der Daten, noch die Auswertung selbst gebaut habe, kann ich nicht auf die schnelle sagen, ob alles ok ist.

betateilchen

Zitat von: rudolfkoenig am 22 März 2023, 15:36:53Da ich weder das Sammeln der Daten, noch die Auswertung selbst gebaut habe, kann ich nicht auf die schnelle sagen, ob alles ok ist.

Ich kenne sowohl das Sammeln der Daten als auch deren Auswertung. Aber seit dem Tod von Markus habe ich bis jetzt keinen neuen Ansprechpartner genannt bekommen, mit dem ich mich zu diesem Thema auf der Serverseite austauschen könnte, da ich selbst keinen Zugriff auf den Teil der Serverseite habe.

Grundsätzlich liegt es an jedem User selbst, ob er die Daten aus seiner FHEM Installation überhaupt an den Statistikserver meldet oder nicht. Eine "Automatik" dazu gibt es seitens FHEM nicht.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

betateilchen

Hallo Rudi,

in einer meiner FHEM Installationen bekomme ich bei "fheminfo send" folgende Fehlermeldung

2023.03.24 08:00:00 1: fheminfo send: Server ERROR: https://fhem.de/stats/statistics2.cgi:
Can't connect(2) to https://fhem.de:443: 
SSL connect attempt failed error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Da der Fehler nicht in allen meinen Installationen auftritt, könnte ich mir vorstellen, dass auch andere User diesen Fehler bekommen und deshalb nicht alle Statistikdaten wie vorgesehen auf dem Server ankommen.
Das könnte die schwindenden Zahlen in der Statistik erklären, weil darin ja immer nur die Daten der letzten 12 Monate berücksichtigt werden.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

Adimarantis

Die Anzahl der gewerteten Statistiken ist weiter fallend
number of submissions (last 12 months, used for statistics): 2487Ich würde ja gerne bei der Fehleranalyse helfen, aber "leider" kann ich bei allen meinen 4 FHEM Instanzen den Fehler nicht reproduzieren.
Wenn ich nach der Fehlermeldung von betateilchen suche, dann finde ich Tipps bzgl. einer veralteten openssl version.
Insbesondere die Umstellung von tls1.0 auf tls1.2

Möglicherweise forciert der Server jetzt tls1.2, was viele clients (noch) nicht liefern.
@betateilchen: Wenn du deinen ssl Stack auf den Installationen die Probleme haben updatest könnte man das als Ursache eingrenzen.
@Rudi: In dem Fall wäre zu schauen, ob es bei Server nicht eine Option gibt TLS1.0 zu erlauben, da viele FHEM Nutzer eher nicht regelmässig updaten
Raspberry 4 + HM-MOD-RPI-PCB (pivCCU) + RfxTrx433XL + 2xRaspberry 1
Module: 50_Signalbot, 52_I2C_ADS1x1x , 58_RPI_1Wire, (50_SPI_MAX31865)

elektron-bbs

Die Zahlen nehmen auf jeden Fall rapide ab, das kann ich bestätigen.

Hier ein Logauszug was von meinem System gesendet wurde:
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 POST /fhem&fw_id=1679944152.90823&fwcsrf=csrf_273941615813943&cmd=fheminfo+send; BUFLEN:0
2023.03.27 21:13:45 4: fheminfo send (nonblocking): {"CUL_TX":{"noModel":4},"CUL_WS":{"AS2000":1,"AS3":3,"ASH2000":7,"S2000ID":2,"S2500H":6,"noModel":7},"DbLog":{"SQLITE":1},"DbRep":{"Client":3},"FHEMWEB":{"noModel":1},"FHT":{"noModel":1},"FS10":{"FS10_MS":3,"FS10_ST":9,"noModel":5},"FileLog":{"noModel":103},"Hideki":{"noModel":1},"IT":{"yet100":1},"LaCrosse":{"noModel":6},"LaCrosseGateway":{"":1},"MQTT2_DEVICE":{"tasmota_ir":1},"MQTT2_SERVER":{"noModel":1},"SD_AS":{"noModel":3},"SD_BELL":{"Heidemann_|_Heidemann_HX_|_VTX-BELL":11},"SD_Keeloq":{"Waeco_MA650_TX":2},"SD_TX":{"noModel":2},"SD_UT":{"FB_FNK_Powerboat":1,"Momento":1,"SA_434_1_mini":1},"SD_WS":{"Bresser 5in1, Fody_E43 outdoor sensor":1,"Bresser_6in1, new Bresser_5in1, Bresser_3in1 outdoor":2,"Fody E42 thermo-/hygro sensor":3,"S522":7,"SD_WS37_TH":2,"SD_WS_116":1,"SD_WS_117":1,"SD_WS_123_T":1,"SD_WS_51_TH":1,"SD_WS_84_TH":1,"SD_WS_WH2":1},"SD_WS07":{"noModel":4},"SIGNALduino":{"noModel":8},"SIGNALduino_TOOL":{"noModel":1},"SVG":{"noModel":150},"SYSMON":{"noModel":1},"Timer":{"noModel":1},"VdS2465_SERVER":{"noModel":3},"at":{"noModel":3},"autocreate":{"noModel":1},"dewpoint":{"noModel":1},"dummy":{"noModel":2},"eventTypes":{"noModel":1},"notify":{"noModel":2},"readingsGroup":{"noModel":13},"remotecontrol":{"noModel":2},"system":{"configType":"configFile","os":"linux","perl":"5.32.1","revision":"27356","uniqueID":"ee52a1e501494d935d0a34187cc99025"},"weblink":{"noModel":1}}
2023.03.27 21:13:45 4: IP: fhem.de -> 188.40.131.57
2023.03.27 21:13:45 4: WEB: /fhem&fw_id=1679944152.90823&fwcsrf=csrf_273941615813943&cmd=fheminfo+send / RL:2810 / text/html; charset=UTF-8 / Content-Encoding: gzip
 / Cache-Control: no-cache, no-store, must-revalidate

2023.03.27 21:13:45 4: Connection closed for WEB_192.168.178.41_54793: EOF
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 GET /fhem/pgm2/jquery-ui.min.css; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 GET /fhem/pgm2/jquery-ui.min.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 GET /fhem/pgm2/jquery.min.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 GET /fhem/pgm2/fhemweb.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 GET /fhem/pgm2/fhemweb_readingsGroup.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 GET /fhem/pgm2/defaultCommon.css; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 GET /fhem/images/default/icoEverything.png; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 GET /fhem/pgm2/dashboard_style.css; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:46 4: WEB_192.168.178.41_54796 GET /fhem/images/default/fhemicon.png; BUFLEN:0
2023.03.27 21:13:46 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:46 4: https://fhem.de/stats/statistics2.cgi: HTTP response code 200
2023.03.27 21:13:46 4: fheminfo send: Server RESPONSE: ==> ok
2023.03.27 21:13:46 4: WEB_192.168.178.41_54796 GET /fhem?XHR=1&inform=type%3Dstatus%3Bfilter%3D%3Bsince%3D1679944424.91244%3Bfmt%3DJSON&fw_id=1679944152.90823×tamp=1679944426026; BUFLEN:0
2023.03.27 21:13:46 4: Connection accepted from WEB_192.168.178.41_54799

Z.B. weiß ich von einem Sensor "S522" das er definitiv auf zwei Systemen empfangen wird. Bei mir hier wurden 7 Stück von diesem Sensor gemeldet und von dem anderen weiß ich, das dort ein Sensor dieses Typs existiert.

In der Statistik tauuchen aber aktuell nur 6 Stück diese Models auf:
Intel(R) Atom(TM) CPU N270 mit 2 SIGNALduino nanoCC1101 + ESPEasy 2x serial server SIGNALduino nanoCC1101, Raspberry Pi 2 mit 2 CUL Stackable CC1101, Raspberry Pi 3 mit SIGNALduino radino + nano328 + 2 x SIGNAL-ESP CC1101 + LaCrosseGateway

betateilchen

2023.03.27 21:13:45 4: fheminfo send (nonblocking):
2023.03.27 21:13:45 4: IP: fhem.de -> 188.40.131.57
2023.03.27 21:13:46 4: https://fhem.de/stats/statistics2.cgi: HTTP response code 200
2023.03.27 21:13:46 4: fheminfo send: Server RESPONSE: ==> ok

Die Daten werden auf jeden Fall an den richtigen Server geschickt.

Die Fragen, die ich mir stelle:
  • landen die Daten in der richtigen Datenbank?
  • wenn ja: erfolgt die Generierung der Statistik mit den Daten aus der korrekten Datenbank? (aka: greifen die Skripte auf den richtigen Server zu?)

Offenbar ist das "Problem" für die Verantwortlichen aus dem Verein, die mit dem Serverumzug beschäftigt waren/sind, nicht wichtig genug, sonst hätte sich ja schonmal jemand melden können, um der Ursache für das Verhalten tatsächlich auf den Grund zu gehen.

An die Problemvariante "SSL" glaube ich inzwischen eher weniger.
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

Otto123

#7
Zitat von: betateilchen am 29 März 2023, 18:22:54Die Fragen, die ich mir stelle:
    • landen die Daten in der richtigen Datenbank?
    • wenn ja: erfolgt die Generierung der Statistik mit den Daten aus der korrekten Datenbank? (aka: greifen die Skripte auf den richtigen Server zu?)
    [/list]

    Offenbar ist das "Problem" für die Verantwortlichen aus dem Verein, die mit dem Serverumzug beschäftigt waren/sind,
    Soweit ich das sehe, hat sich an der Datei Struktur nichts geändert. Die Datenbank ist sqlite. Die Scripte greifen auf relative Pfade zu.
    Die letzte submission hier https://fhem.de/stats/statistics.html stimmt überein mit dem Zeitpunkt der sqlite Datei.
    Wenn ich fheminfo send mache ist der Zeitpunkt und die Anzahl aktualisiert.

    Was könnte ich noch untersuchen?
    Viele Grüße aus Leipzig  ⇉  nächster Stammtisch an der Lindennaundorfer Mühle
    RaspberryPi B B+ B2 B3 B3+ ZeroW,HMLAN,HMUART,Homematic,Fritz!Box 7590,WRT3200ACS-OpenWrt,Sonos,VU+,Arduino nano,ESP8266,MQTT,Zigbee,deconz

    betateilchen

    Zitat von: Otto123 am 29 März 2023, 19:24:09Was könnte ich noch untersuchen?

    Wenn Du am Wochenende Zeit hast, lass uns mal eine halbe Stunde per Skype quatschen.
    Wir hatten das Problem mit den verschwindenden Einträgen im Rahmen des Statistik-Umbaus 2017 schonmal während der Testphase. Das hatte Markus dann geradegezogen, was es genau war, weiß ich aber nicht.
    -----------------------
    Formuliere die Aufgabe möglichst einfach und
    setze die Lösung richtig um - dann wird es auch funktionieren.
    -----------------------
    Lesen gefährdet die Unwissenheit!

    tomcat.x

    Gerade habe ich folgenden Fehler bei "fheminfo send" bekommen:

    fheminfo send: Server ERROR: start_SSL https://fhem.de:443 timed out
    Ich habe dann einfach wiederholt und es hat wohl funktioniert, zumindest kam kein Fehler. Insgesamt hatte ich bei 4 Versuchen 2 Fehlermeldungen.

    Das als Info, falls es hilft. Hoffe nicht, dass es ein Problem bei mir ist.
    FHEM: 6.1 auf Raspi 3, Raspbian (Buster), Perl v5.28.1
    Sender/Empfänger: 2 x CULv3, Duofern Stick, HM-MOD-RPI-PCB
    Gateways: FRITZ!Box 6591 (OS: 7.57), Trädfri, ConBee 2,  piVCCU, OpenMQTTGateway
    Sensoren/Aktoren: FRITZ!DECT, FS20, FHT, HMS, HomeMatic, Trädfri, DuoFern, NetAtmo

    Otto123

    Zitat von: betateilchen am 30 März 2023, 06:59:09
    Zitat von: Otto123 am 29 März 2023, 19:24:09Was könnte ich noch untersuchen?

    Wenn Du am Wochenende Zeit hast, lass uns mal eine halbe Stunde per Skype quatschen.
    Wir hatten das Problem mit den verschwindenden Einträgen im Rahmen des Statistik-Umbaus 2017 schonmal während der Testphase. Das hatte Markus dann geradegezogen, was es genau war, weiß ich aber nicht.
    Rudi hat doch noch einen Fehler in den Einstellungen gefunden, ich habe ihn beim Durchsehen übersehen  :'( . Vielleicht geht es jetzt wieder aufwärts mit der Statistik.  :)
    Viele Grüße aus Leipzig  ⇉  nächster Stammtisch an der Lindennaundorfer Mühle
    RaspberryPi B B+ B2 B3 B3+ ZeroW,HMLAN,HMUART,Homematic,Fritz!Box 7590,WRT3200ACS-OpenWrt,Sonos,VU+,Arduino nano,ESP8266,MQTT,Zigbee,deconz

    elektron-bbs

    Sieht gut aus, meine S522 und FS10 erscheinen wieder :-)
    Intel(R) Atom(TM) CPU N270 mit 2 SIGNALduino nanoCC1101 + ESPEasy 2x serial server SIGNALduino nanoCC1101, Raspberry Pi 2 mit 2 CUL Stackable CC1101, Raspberry Pi 3 mit SIGNALduino radino + nano328 + 2 x SIGNAL-ESP CC1101 + LaCrosseGateway

    betateilchen

    Zitat von: Otto123 am 03 April 2023, 10:32:50Rudi hat doch noch einen Fehler in den Einstellungen gefunden, ich habe ihn beim Durchsehen übersehen  :'( . Vielleicht geht es jetzt wieder aufwärts mit der Statistik.  :)

    Diesen Fehler

    2023.04.03 19:17:23 1: fheminfo send: Server ERROR:  SSL connect attempt failed error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure
    habe ich immer noch.

    @Otto: wenn Du mir das nächste Mal eine Nachricht schreibst, dann bitte per email. Die erreicht mich auch, wenn ich nicht im Forum angemeldet bin, außerdem habe ich PN bei mir generell abgeschaltet und rechne deshalb nicht mit eingehenden PN. Dass Du Dich als Administrator darüber hinwegsetzen kannst, ist zwar logisch, aber nicht wirklich zielführend ;D
    -----------------------
    Formuliere die Aufgabe möglichst einfach und
    setze die Lösung richtig um - dann wird es auch funktionieren.
    -----------------------
    Lesen gefährdet die Unwissenheit!

    Otto123

    Ich habe mal gerade alle Instanzen durchprobiert, sogar mein altes wheezy System hat kein Problem. Kannst Du mal mit verbose 4 schauen, ob Du richtig ankommst:
    2023.04.03 19:33:25 4: DNS result for fhem.de: 188.40.131.57, ttl:280
    2023.04.03 19:33:25 4: IP: fhem.de -> 188.40.131.57
    2023.04.03 19:33:26 4: Connection accepted from WEB_192.168.56.106_60294
     
    Viele Grüße aus Leipzig  ⇉  nächster Stammtisch an der Lindennaundorfer Mühle
    RaspberryPi B B+ B2 B3 B3+ ZeroW,HMLAN,HMUART,Homematic,Fritz!Box 7590,WRT3200ACS-OpenWrt,Sonos,VU+,Arduino nano,ESP8266,MQTT,Zigbee,deconz

    betateilchen

    Zitat von: Otto123 am 03 April 2023, 19:36:56Kannst Du mal mit verbose 4 schauen, ob Du richtig ankommst:

    klar kann ich...

    2023.04.03 19:41:48 4: fheminfo send (nonblocking): {"system":{"configType":"configDB","os":"linux","perl":"5.20.2","revision":"27346","uniqueID":"922...7f"}}
    2023.04.03 19:41:48 4: IP: fhem.de -> 188.40.131.57
    2023.04.03 19:41:49 1: fheminfo send: Server ERROR:  SSL connect attempt failed error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure
    2

    Es ist für mich jetzt aber auch nicht so sehr dramatisch.
    -----------------------
    Formuliere die Aufgabe möglichst einfach und
    setze die Lösung richtig um - dann wird es auch funktionieren.
    -----------------------
    Lesen gefährdet die Unwissenheit!