Keine commits mehr unter FHEM Code changes

[betateilchen]

Inzwischen hatte es auch hier schon wieder funktioniert.

[Otto123]

Leider nein, wir schrauben nicht - aber irgendwie "andere".
Ich kann nachvollziehen, dass svn.fhem.de zeitweise nicht antwortet. Er ist einfach überlastet, irgendwelche Crawler brauchen tausende Kopien um unseren Code zu verstehen

Und ich kann auch nachvollziehen, dass der neue Proxy seinen Job gut macht: die restlichen Server sind, während der svn "aufgibt", ziemlich unbeeindruckt.

[Otto123]

hab ich gestern was böses geschrieben?    - "irgendwelche Crawler" ist doch keine Beleidigung, oder?    

Seit ca. 16:00 Uhr gestern nachmittag steht das svn unter Dauerstress. Ich muss mal schauen ob ich da was machen kann.
Zumindest im Browser geht derzeit nix. svn und ssh scheint zu gehen.

[betateilchen]

Und im Gegensatz zu gestern bekomme ich heute nichtmal mehr eine Fehlermeldung zurück.

Zumindest im Browser geht derzeit nix. svn und ssh scheint zu gehen.

'svn update' auf der CLI geht auch nicht. Aber Du meinst, wenn ich es mit meinem Developer-Account probiere, könnte es klappen? Werde ich gleich testen...

[betateilchen]

Aber Du meinst, wenn ich es mit meinem Developer-Account probiere, könnte es klappen? Werde ich gleich testen...

Funktioniert perfekt, danke für den Tipp.

[Otto123]

Die Verfügbarkeit der svn http Schnittstelle geht derzeit quasi gegen null

[CoolTux]

Können wir die IP Adressen oder den Bereich der Crawler blockieren?

[Otto123]

365 IP Adressen, 450.000 Besucher, 2.000.000 hits - heute bis jetzt

Wir können jemanden suchen der uns die "klicks" bezahlt 

[rudolfkoenig]

Können wir die IP Adressen oder den Bereich der Crawler blockieren?

Beim letzten (vor paar Monaten) Mal waren es ca 100k an unterschiedlichen IP Adressen, die jeweils eine Datei abgeholt haben.

Angeblich bietet CloudFlare einen kostenlosen DDOS Schutz an.
Bin (aus unterschiedlichen Gruenden) noch unsicher, ob wir uns das antun sollten.

[Otto123]

Angeblich bietet CloudFlare einen kostenlosen DDOS Schutz an.

Das ist mir momentan zu diffus.
Ich würde erstmal gern verstehen was eigentlich passiert und schauen ob ich das durch Servereinstellungen verhindern kann.
Falls einer zu dem Report im Anhang eine Idee hat

[CoolTux]

Wir haben ja Apache. Könnten wir da nicht mit .htaccess arbeiten?

[Otto123]

Ja sag was ich tun kann

[CoolTux]

Code Auswählen Erweitern

<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow"
</IfModule>

In das Dokumentenverzeichnis für die gewünschte Domäne oberen Inhalt in eine .htaccess- Datei schreiben.

Diese Methode sollte das Crawling vollständig blockieren.