Mir ist aufgefallen, das in letzter Zeit die FHEM-users in der statistik rapide abnehmen.
Ende Feb. waren es ca. 3800+ ... Stand heute < 2700 !!!
Dasselbe gilt auch für einzelne Module, ca.30% "schwund"....
Ich nehme nicht an, dass die User FHEM fluchtartig verlassen, ich hoffe, das es ein Problem mit fheminfo, db, statistik, ... gibt.
Evtl. gibts einen zeitlichen Zusammenhang mit der Servermigration?
Interessant ist auch, dass die updatezahlen < 1monat immer kleiner werden, alle > 1monat werden mehr! (relativ). Sieht fast so aus, als ob keine neuen entries dazukommen...
l.g.erwin
Ich habe mal probehalber von meiner Testinstallation ein "fheminfo send" ausgeloest, ich hatte keinen Fehler gesehen und die Datenbank wurde auch aktualisiert. Im Log finde ich uploads heute von 67 Installationen.
Da ich weder das Sammeln der Daten, noch die Auswertung selbst gebaut habe, kann ich nicht auf die schnelle sagen, ob alles ok ist.
Zitat von: rudolfkoenig am 22 März 2023, 15:36:53Da ich weder das Sammeln der Daten, noch die Auswertung selbst gebaut habe, kann ich nicht auf die schnelle sagen, ob alles ok ist.
Ich kenne sowohl das Sammeln der Daten als auch deren Auswertung. Aber seit dem Tod von Markus habe ich bis jetzt keinen neuen Ansprechpartner genannt bekommen, mit dem ich mich zu diesem Thema auf der Serverseite austauschen könnte, da ich selbst keinen Zugriff auf den Teil der Serverseite habe.
Grundsätzlich liegt es an jedem User selbst, ob er die Daten aus seiner FHEM Installation überhaupt an den Statistikserver meldet oder nicht. Eine "Automatik" dazu gibt es seitens FHEM nicht.
Hallo Rudi,
in einer meiner FHEM Installationen bekomme ich bei "fheminfo send" folgende Fehlermeldung
2023.03.24 08:00:00 1: fheminfo send: Server ERROR: https://fhem.de/stats/statistics2.cgi:
Can't connect(2) to https://fhem.de:443:
SSL connect attempt failed error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure
Da der Fehler nicht in allen meinen Installationen auftritt, könnte ich mir vorstellen, dass auch andere User diesen Fehler bekommen und deshalb nicht alle Statistikdaten wie vorgesehen auf dem Server ankommen.
Das könnte die schwindenden Zahlen in der Statistik erklären, weil darin ja immer nur die Daten der letzten 12 Monate berücksichtigt werden.
Die Anzahl der gewerteten Statistiken ist weiter fallend
number of submissions (last 12 months, used for statistics): 2487Ich würde ja gerne bei der Fehleranalyse helfen, aber "leider" kann ich bei allen meinen 4 FHEM Instanzen den Fehler nicht reproduzieren.
Wenn ich nach der Fehlermeldung von betateilchen suche, dann finde ich Tipps bzgl. einer veralteten openssl version.
Insbesondere die Umstellung von tls1.0 auf tls1.2
Möglicherweise forciert der Server jetzt tls1.2, was viele clients (noch) nicht liefern.
@betateilchen: Wenn du deinen ssl Stack auf den Installationen die Probleme haben updatest könnte man das als Ursache eingrenzen.
@Rudi: In dem Fall wäre zu schauen, ob es bei Server nicht eine Option gibt TLS1.0 zu erlauben, da viele FHEM Nutzer eher nicht regelmässig updaten
Die Zahlen nehmen auf jeden Fall rapide ab, das kann ich bestätigen.
Hier ein Logauszug was von meinem System gesendet wurde:
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 POST /fhem&fw_id=1679944152.90823&fwcsrf=csrf_273941615813943&cmd=fheminfo+send; BUFLEN:0
2023.03.27 21:13:45 4: fheminfo send (nonblocking): {"CUL_TX":{"noModel":4},"CUL_WS":{"AS2000":1,"AS3":3,"ASH2000":7,"S2000ID":2,"S2500H":6,"noModel":7},"DbLog":{"SQLITE":1},"DbRep":{"Client":3},"FHEMWEB":{"noModel":1},"FHT":{"noModel":1},"FS10":{"FS10_MS":3,"FS10_ST":9,"noModel":5},"FileLog":{"noModel":103},"Hideki":{"noModel":1},"IT":{"yet100":1},"LaCrosse":{"noModel":6},"LaCrosseGateway":{"":1},"MQTT2_DEVICE":{"tasmota_ir":1},"MQTT2_SERVER":{"noModel":1},"SD_AS":{"noModel":3},"SD_BELL":{"Heidemann_|_Heidemann_HX_|_VTX-BELL":11},"SD_Keeloq":{"Waeco_MA650_TX":2},"SD_TX":{"noModel":2},"SD_UT":{"FB_FNK_Powerboat":1,"Momento":1,"SA_434_1_mini":1},"SD_WS":{"Bresser 5in1, Fody_E43 outdoor sensor":1,"Bresser_6in1, new Bresser_5in1, Bresser_3in1 outdoor":2,"Fody E42 thermo-/hygro sensor":3,"S522":7,"SD_WS37_TH":2,"SD_WS_116":1,"SD_WS_117":1,"SD_WS_123_T":1,"SD_WS_51_TH":1,"SD_WS_84_TH":1,"SD_WS_WH2":1},"SD_WS07":{"noModel":4},"SIGNALduino":{"noModel":8},"SIGNALduino_TOOL":{"noModel":1},"SVG":{"noModel":150},"SYSMON":{"noModel":1},"Timer":{"noModel":1},"VdS2465_SERVER":{"noModel":3},"at":{"noModel":3},"autocreate":{"noModel":1},"dewpoint":{"noModel":1},"dummy":{"noModel":2},"eventTypes":{"noModel":1},"notify":{"noModel":2},"readingsGroup":{"noModel":13},"remotecontrol":{"noModel":2},"system":{"configType":"configFile","os":"linux","perl":"5.32.1","revision":"27356","uniqueID":"ee52a1e501494d935d0a34187cc99025"},"weblink":{"noModel":1}}
2023.03.27 21:13:45 4: IP: fhem.de -> 188.40.131.57
2023.03.27 21:13:45 4: WEB: /fhem&fw_id=1679944152.90823&fwcsrf=csrf_273941615813943&cmd=fheminfo+send / RL:2810 / text/html; charset=UTF-8 / Content-Encoding: gzip
/ Cache-Control: no-cache, no-store, must-revalidate
2023.03.27 21:13:45 4: Connection closed for WEB_192.168.178.41_54793: EOF
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 GET /fhem/pgm2/jquery-ui.min.css; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 GET /fhem/pgm2/jquery-ui.min.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 GET /fhem/pgm2/jquery.min.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 GET /fhem/pgm2/fhemweb.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54792 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 GET /fhem/pgm2/fhemweb_readingsGroup.js; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 GET /fhem/pgm2/defaultCommon.css; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 GET /fhem/images/default/icoEverything.png; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54794 => 304 Not Modified
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 GET /fhem/pgm2/dashboard_style.css; BUFLEN:0
2023.03.27 21:13:45 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:46 4: WEB_192.168.178.41_54796 GET /fhem/images/default/fhemicon.png; BUFLEN:0
2023.03.27 21:13:46 4: WEB_192.168.178.41_54796 => 304 Not Modified
2023.03.27 21:13:46 4: https://fhem.de/stats/statistics2.cgi: HTTP response code 200
2023.03.27 21:13:46 4: fheminfo send: Server RESPONSE: ==> ok
2023.03.27 21:13:46 4: WEB_192.168.178.41_54796 GET /fhem?XHR=1&inform=type%3Dstatus%3Bfilter%3D%3Bsince%3D1679944424.91244%3Bfmt%3DJSON&fw_id=1679944152.90823×tamp=1679944426026; BUFLEN:0
2023.03.27 21:13:46 4: Connection accepted from WEB_192.168.178.41_54799
Z.B. weiß ich von einem Sensor "S522" das er definitiv auf zwei Systemen empfangen wird. Bei mir hier wurden 7 Stück von diesem Sensor gemeldet und von dem anderen weiß ich, das dort ein Sensor dieses Typs existiert.
In der Statistik tauuchen aber aktuell nur 6 Stück diese Models auf:
2023.03.27 21:13:45 4: fheminfo send (nonblocking):
2023.03.27 21:13:45 4: IP: fhem.de -> 188.40.131.57
2023.03.27 21:13:46 4: https://fhem.de/stats/statistics2.cgi: HTTP response code 200
2023.03.27 21:13:46 4: fheminfo send: Server RESPONSE: ==> ok
Die Daten werden auf jeden Fall an den richtigen Server geschickt.
Die Fragen, die ich mir stelle:
- landen die Daten in der richtigen Datenbank?
- wenn ja: erfolgt die Generierung der Statistik mit den Daten aus der korrekten Datenbank? (aka: greifen die Skripte auf den richtigen Server zu?)
Offenbar ist das "Problem" für die Verantwortlichen aus dem Verein, die mit dem Serverumzug beschäftigt waren/sind, nicht wichtig genug, sonst hätte sich ja schonmal jemand melden können, um der Ursache für das Verhalten tatsächlich auf den Grund zu gehen.
An die Problemvariante "SSL" glaube ich inzwischen eher weniger.
Zitat von: betateilchen am 29 März 2023, 18:22:54Die Fragen, die ich mir stelle:
- landen die Daten in der richtigen Datenbank?
- wenn ja: erfolgt die Generierung der Statistik mit den Daten aus der korrekten Datenbank? (aka: greifen die Skripte auf den richtigen Server zu?)
Offenbar ist das "Problem" für die Verantwortlichen aus dem Verein, die mit dem Serverumzug beschäftigt waren/sind,
Soweit ich das sehe, hat sich an der Datei Struktur nichts geändert. Die Datenbank ist sqlite. Die Scripte greifen auf relative Pfade zu.
Die letzte submission hier https://fhem.de/stats/statistics.html stimmt überein mit dem Zeitpunkt der sqlite Datei.
Wenn ich fheminfo send mache ist der Zeitpunkt und die Anzahl aktualisiert.
Was könnte ich noch untersuchen?
Zitat von: Otto123 am 29 März 2023, 19:24:09Was könnte ich noch untersuchen?
Wenn Du am Wochenende Zeit hast, lass uns mal eine halbe Stunde per Skype quatschen.
Wir hatten das Problem mit den verschwindenden Einträgen im Rahmen des Statistik-Umbaus 2017 schonmal während der Testphase. Das hatte Markus dann geradegezogen, was es genau war, weiß ich aber nicht.
Gerade habe ich folgenden Fehler bei "fheminfo send" bekommen:
fheminfo send: Server ERROR: start_SSL https://fhem.de:443 timed out
Ich habe dann einfach wiederholt und es hat wohl funktioniert, zumindest kam kein Fehler. Insgesamt hatte ich bei 4 Versuchen 2 Fehlermeldungen.
Das als Info, falls es hilft. Hoffe nicht, dass es ein Problem bei mir ist.
Zitat von: betateilchen am 30 März 2023, 06:59:09Zitat von: Otto123 am 29 März 2023, 19:24:09Was könnte ich noch untersuchen?
Wenn Du am Wochenende Zeit hast, lass uns mal eine halbe Stunde per Skype quatschen.
Wir hatten das Problem mit den verschwindenden Einträgen im Rahmen des Statistik-Umbaus 2017 schonmal während der Testphase. Das hatte Markus dann geradegezogen, was es genau war, weiß ich aber nicht.
Rudi hat doch noch einen Fehler in den Einstellungen gefunden, ich habe ihn beim Durchsehen übersehen :'( . Vielleicht geht es jetzt wieder aufwärts mit der Statistik. :)
Sieht gut aus, meine S522 und FS10 erscheinen wieder :-)
Zitat von: Otto123 am 03 April 2023, 10:32:50Rudi hat doch noch einen Fehler in den Einstellungen gefunden, ich habe ihn beim Durchsehen übersehen :'( . Vielleicht geht es jetzt wieder aufwärts mit der Statistik. :)
Diesen Fehler
2023.04.03 19:17:23 1: fheminfo send: Server ERROR: SSL connect attempt failed error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failurehabe ich immer noch.
@Otto: wenn Du mir das nächste Mal eine Nachricht schreibst, dann bitte per email. Die erreicht mich auch, wenn ich nicht im Forum angemeldet bin, außerdem habe ich PN bei mir generell abgeschaltet und rechne deshalb nicht mit eingehenden PN. Dass Du Dich als Administrator darüber hinwegsetzen kannst, ist zwar logisch, aber nicht wirklich zielführend ;D
Ich habe mal gerade alle Instanzen durchprobiert, sogar mein altes wheezy System hat kein Problem. Kannst Du mal mit verbose 4 schauen, ob Du richtig ankommst:
2023.04.03 19:33:25 4: DNS result for fhem.de: 188.40.131.57, ttl:280
2023.04.03 19:33:25 4: IP: fhem.de -> 188.40.131.57
2023.04.03 19:33:26 4: Connection accepted from WEB_192.168.56.106_60294
Zitat von: Otto123 am 03 April 2023, 19:36:56Kannst Du mal mit verbose 4 schauen, ob Du richtig ankommst:
klar kann ich...
2023.04.03 19:41:48 4: fheminfo send (nonblocking): {"system":{"configType":"configDB","os":"linux","perl":"5.20.2","revision":"27346","uniqueID":"922...7f"}}
2023.04.03 19:41:48 4: IP: fhem.de -> 188.40.131.57
2023.04.03 19:41:49 1: fheminfo send: Server ERROR: SSL connect attempt failed error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure
2
Es ist für mich jetzt aber auch nicht so sehr dramatisch.
Ich kann in den Serverlogs nichts finden. Entweder weil ich es nicht kann, oder es nicht geloggt wird, oder weil Du wirklich gleich gar nicht reinkommst.
Naja, wenn der ssl-handshake fehlschlägt, komme ich halt erst gar nicht bis zum Server.