Im Zusammenhang mit dem SVN Thema (die redirects und durchgeführte Maßnahmen) eine Zusatzfrage:
Gibt es aktuell ein generelles Problem beim Zugriff auf FHEM Server?
Seit ein paar Tagen stelle ich beispielsweise merklich erhöhte Antwortzeiten im Forum fest, insbesondere beim Schreiben/Absenden von Beiträgen.
Edit: das Phänomen tritt bei mir sowohl auf macOS, ipadOS und Chromebook auf, deshalb schließe ich ein lokales Problem weitgehend aus.
Wir haben in der letzten Zeit immer wieder hohen Last auf der subversion VM, was laut Log-Analyse fuer mich nach einem DDOS Angriff ausschaut: vorgestern 30k unterschiedliche trac Seiten geladen von 27k unterschiedlichen IP Adressen in 30 Minuten. Heute: 500k Dateien von 95k unterschiedlichen IP Adressen geladen, 94% hat nur eine Datei geladen, und ein "Held" 268k Dateien, mit SVN Client.
Auf dem Forums-VM laeuft es zivilisierter, gestern 500k Seitenaufrufe von 10k IP-Adressen, GPTbot fuehrt mit 37k Downloads.
Gerade eben musste ich auch mehrere Sekunden warten, bis die Forum-Seite geladen hat, obwohl laut top auf dem VM-Host nichts los war. Anmelden per SSH ging auch sofort.
Ich vermute, dass Hetzner irgendwelche Massnahmen getroffen hat.
Ich hatte irgendwie gedacht das der Hypervisor immer etwas braucht um die Last der CPUs umzuverteilen. Zeitweise liefen die virtuellen CPUs vom SVN und die vom Forum auf der gleichen physischen CPU. Ich habe das gestern per vcpupin versucht umzuverteilen, aber entweder habe ich es nicht verstanden, oder es ist nicht wirklich die Ursache, oder es geht so nicht zu beeinflussen.
Parallel dazu gibt es Hänger im Vereinsconnector zu Alexa - was die User auch nervt.
Eigentlich döst der gesamte Host in Summe vor sich hin. Die CPU Load liegt im Schnitt der letzten 2 Jahre bei 2 die letzten Tage bei ca. 3 aber die einzelnen Lastspitzen auf 2 CPUs vom SVN schlagen irgendwie durch.
Aber vielleicht hat Rudi recht und es hat damit gar nichts zu tun.
Kann mein "Gefühl", dass es seit heute 14:00 nicht mehr merklich erhöhten Antwortzeiten im Forum kommt, irgendwer bestätigen?
Schnell wieder, wie sonst immer.
Heute morgen kommt mir das Forum gewohnt flüssig vor.
Ich hatte vorgestern Abend auch lange Antwortzeiten und im Netzwerk-Tab geschaut, dass zwar die index.php schon geladen war, es dann aber an anderen eingebundenen Dateien hing. Etwas später hat es sich normalisiert.
Heute morgen bemerke ich wieder deutlich längere Antwortzeiten im Forum.
Und auf svn.fhem.de noch länger als im Forum.
ZitatUnd auf svn.fhem.de noch länger als im Forum.
Kannst du bitte in so einem Fall auch pruefen, ob svn ueber ssh auch langsam ist?
Ich habe noch eine Hypothese, die weitere Indizien benoetigt.
Kann ich gerne machen, wenn ich wieder zuhause bin.
Meine Aussage von vorhin bezog sich auf den webbasierten Zugriff über Trac. (falls diese Info relevant ist)
Der Bot fährt jetzt im Abstand von knapp 4h seine Downloadwellen.
Allerdings sehe ich an keiner Stelle wirklich eine Überlastung. :(
Hat jemand eine Anleitung wie ich einen Monitor für die Reaktionszeiten des Forums bauen kann? Die apache Überwachung von checkmk funktioniert irgendwie nicht oder ich verstehe es nicht. Wobei das dann auch bloß die Auswirkungen dokumentiert, aber ich würde wenigsten sehen, ob eine Maßnahme eine Auswirkung zeigt.
Edit: Ok gerade ist der Bot wieder aktiv. Mit dieser Zeile:{qx(curl -w 'Return code: %{http_code};; Bytes Received: %{size_download};; Response Time: %{time_total}\n' https://forum.fhem.de -m 2 -o /dev/null -s;; )}sehe ich, dass die Antwortzeit von 0,2-0,3 sekunden hoch geht auf etwa 2 sec. Kann mir das bitte jemand in httputils abbilden? ;)
Ich habe gestern mit einem kurzen bash Script mal die Antwortzeiten von:
- https://forum.fhem.de
- https://svn.fhem.de
- ssh 192.168.124.4 'exit' ( also über internes vpn )
- svnbench null-info
in fhem mitgeschrieben.
Dazu gab es dies Meldung:
Zitat von: heikoh81 am 15 Februar 2025, 23:37:0415.02.2025, ziemlich lange Aussetzer von ca. 23:25 bis 23:35.
Alexa und Forum.
In diesem Zeitraum zwischendrin haben Sprachbefehle aber auch kurz funktioniert.
So sehen die Antwortzeiten in diesem Zeitraum aus:
Screenshot 2025-02-16 103316.pngDie ssh Antwortzeiten sind ziemlich stabil, die http Antworten steigen im Lastfall von 200 ms auf etwa 2 sec.
Die Alexa Anbindung ist doch am Ende ein Apache Service oder?
ZitatDie Alexa Anbindung ist doch am Ende ein Apache Service oder?
Soweit ich sehe, laeuft es ueber apache @ vmhost an das Java-Programm @ fhem2-va.
Es scheint so, als ob der Proxy (vmhost) die Verzögerung fürs forum verursacht.
Screenshot 2025-02-16 150427.png
Ich habe noch die Reaktionszeiten der einzlnen Server über vpn ermittelt.
Die schwarze Linie ist die Reaktionszeit vom Forum Server direkt, die ist unverändert. Beim svn Server steigt die Reaktionszeit intern (braun) und extern (blau) im gleichen Maße.
Gruß Otto
ZitatEs scheint so, als ob der Proxy (vmhost) die Verzögerung fürs forum verursacht.
Ich bleibe bei meiner Hypothese, dass Hetzner (nur) HTTPS verzoegert, um uns zu schuetzen.
Die Hypothese kann ich wahrscheinlich untermauern. :-\
Da es gerade wieder "klemmt" - sieht man die roten Werte per https, der grüne Wert per http vpn intern.
client_svn 1151 2025-02-16 18:40:30
http_forum 2.002652 2025-02-16 18:40:33
http_forumi 0.074330 2025-02-16 18:40:32
http_hosti 0.142248 2025-02-16 18:40:32
http_svn 2.001113 2025-02-16 18:40:33
http_svni 0.142248 2025-02-16 18:40:32
ssh_svn 695 2025-02-16 18:40:33
Das heisst: wir können eigentlich gar nichts tun?
Zitatssh_svn 695 2025-02-16 18:40:33
Was war das fuer ein Test?
Und sind es wirklich 11.5 Minuten?
ZitatDas heisst: wir können eigentlich gar nichts tun?
Wir koennten Hetzner fragen, ob sie was machen, und wenn ja, was.
Ich finde es eigentlich gut, dass jemand auf uns aufpasst :)
Zitat von: rudolfkoenig am 16 Februar 2025, 22:35:31Was war das fuer ein Test?
Und sind es wirklich 11.5 Minuten?
wie oben geschrieben, einfach ssh okl@192.168.124.4 exit
nein es sind 695 millisec, mein Script ist Q&D :-X die eine Zeile ermittelt ms die andere sec ;)
Zitat von: rudolfkoenig am 16 Februar 2025, 22:35:31Ich finde es eigentlich gut, dass jemand auf uns aufpasst :)
Ja keine Frage, aber ich würde gern mit unsere Infrastruktur nicht irgendwelchen Chaoten ausgeliefert sein. Jeglicher https Verkehr wird um Faktor 10 ausgebremst.
Ich bin allerdings der Meinung, meine Aktion am 14.2. (das svn mit mehr CPU auszustatten) hat bei mir dazu geführt, dass die Verbindung zum VA stabil steht und keine Unterbrechung zeigt. Obwohl an andere Stelle hier Abbrüche gemeldet wurden. Letzte Meldung in meinem Log:
Zitat[2/14/2025, 12:16:12 AM] *** SSH: proxy connection established
Davor gab es zu den Lastspitzen Zeiten Verbindungsabbruch und -aufbau im 10 sec Takt.
Wenn wirklich der gesamte HTTPS Verkehr von außen verzögert wird, warum verzögert sich auch intern der http Verkehr zum svn in gleicher Größenordnung? Der http Verkehr intern zum Forum ist nicht verzögert.
Screenshot 2025-02-17 141513.png
httpSvnDei http zum svn intern
httpSvnDe https zum svn extern via Proxy
httpFhemDei http zum forum intern
httpFhemDe https zum forum extern via proxy
Das ist wohl ein Gegenindiz fuer meine Hypothese. :|
Die Antwortzeiten sind heute so unterirdisch, dass ich hier im Forum regelmäßig in Timeouts laufe, nicht nur beim Schreiben, sondern auch beim Lesen im Forum, selbst wenn ich nicht angemeldet bin...
Die Website ist nicht erreichbar
Die Antwort von forum.fhem.de hat zu lange gedauert.
Versuche Folgendes:
Im Moment ist's wieder schlimm für Forum, svn und Alexa.
Ja "sie" toben seit etwa 10 nach sieben. :o
Zitat von: Otto123 am 28 Februar 2025, 09:02:57Ja "sie" toben seit etwa 10 nach sieben. :o
wenn ich diesen thread so verfolge, habe ich den eindruck, dass die bots gewerkschaftlich organisiert sind. ;)
40 std woche, am wochenende frei, ...
könnte es eventuell sein, dass die bots immer nur zusammen über "verseuchte user" ins forum gelangen?
Zitat von: frank am 28 Februar 2025, 10:47:5440 std woche, am wochenende frei, ...
Du sagst es und seit Freitag 13:00 Uhr ist erstmal Ruhe ;D
Meine letzte Vermutung war, dass durch viele tausend gleichzeitige Anfragen ans SVN der Proxy ein Performance Problem mit der Weiterleitung hat.
Seit fast 24 h läuft das SVN über einen anderen Proxy (andere IPv4) und scheinbar anscheinend war meine Vermutung richtig: obwohl die Last auf dem SVN (gleiche VM wie vorher) sogar höher als vorher ist, ist der Zugriff auf Forum und wiki unverzögert.
Und bisher wollen die bots "nur" das svn durchforsten. Die Welle "der zehn Amerikaner von Microsoft" ist irgendwie vorüber, heute kommen sie "zu tausenden aus China von Ali".
Könnte es sein, dass der Alexa-Connector auch davon betroffen war?
Zitat von: Damian am 06 März 2025, 09:32:14Könnte es sein, dass der Alexa-Connector auch davon betroffen war?
Hatte ich so verstanden.
https://forum.fhem.de/index.php?msg=1333503 (https://forum.fhem.de/index.php?msg=1333503)
Zur Entschuldigung - ich konnte nicht anders:
"Seit fast 24 h läuft das SVN über einen anderen Proxy (andere IPv4) und scheinbar war meine Vermutung richtig"
Wenn etwas scheinbar ist, dann hat es nur den Anschein - tatsächlich ist es anders. Wenn etwas anscheinend ist, dann ist die Vermutung richtig.
:-X versprochen
@Gisbert habs korrigiert ;)
Und ich bin jetzt sicher, dass es so ist. ;D
Heute morgen gab es in der Zeit um 7 Uhr einen extremen Angriff und das Forum war gut erreichbar, es gab keine Meldungen bisher.