Neues Modul - Mobile Blitzer Anzeigen

[Gisbert]

Du kannst alternativ auch über ein

Code Auswählen Erweitern

defmod myBlitzer Blitzer 0 das update nur manuell, = disable machen und dann mit

Code Auswählen Erweitern

set myBlitzer Update den Update dann mit einem periodischen "at" nach deinen Vorgaben anstossen.
Oder über

Code Auswählen Erweitern

defmod myBlitzer Blitzer 10 dann das Interval ändern.

Ich mache das nur manuell (e.g. wenn ich das Haus verlasse / beim losfahren).

Hallo Jamo,

diese Vorgehensweise ist mir schon klar.
Ich dachte halt, dass man dies angepasst an sein Verhalten (zuhause: ja/nein) automatisiert ablaufen lassen könnte.
Ich warte dann mal ab, was sich noch entwickelt.

Viele Grüße Gisbert

[bismosa]

Hallo!

Dann möchte ich mich auch nochmal wieder melden...

Im Moment habe ich wenig Zeit mich um das Modul zu kümmern und Änderungen einzupflegen. Die Idee

Du kannst alternativ auch über ein

Code Auswählen Erweitern

defmod myBlitzer Blitzer 0 das update nur manuell, = disable machen und dann mit

Code Auswählen Erweitern

set myBlitzer Update den Update dann mit einem periodischen "at" nach deinen Vorgaben anstossen.

finde ich hier sehr passend.

Oder einfach den Code anpassen und bei Github die Änderung vorschlagen. Dann Pflege ich das auch gerne nach.

Zu den IP-Problemen:

Ihr könnt ja einfach mal mit anderen Headern testen...wenn es dann einen besseren gibt, baue ich den gerne ein.

Hat das denn schon mal jemand mit den Problemen versucht?
Hat sich schon mal jemand die Nutzungsbedingungen von OSM durchgelesen? Ich denke nicht, das es unerwünscht ist, was wir hier machen. Bis ins Detail habe ich mir das aber auch nicht durchgelesen.
Mir kommt das komplette Blocking immer noch seltsam vor. Läuft der Tor-Browser vielleicht über einen anderen DNS? VPN? o.ä.? Stört ein anderes Gerät? PiHole etc.?
Wie viele Blitzer werden bei dir bei einer Abfrage abgerufen? Sind das vielleicht zu viele für OSM?
Den Ursachen würde  ich erstmal auf den Grund gehen. Ich glaube nicht an ein vollständiges IP-Blocking. Selbst bei meinen Tests wo ich in sehr kurzen Abständen die Abfragen durchgeführt habe wurde ich nicht geblockt...dann bestimmt auch nicht in einem Rhythmus von 15Min....

Gruß
Bismosa

[Gisbert]

Hallo Bismosa,

ich bin mehr und mehr davon überzeugt, dass zu häufige Abfragen zum Blockieren führen.

Meine Argumente:

Wenn ich zuhause bin, wird das Modul abgeschaltet, ansonsten unterwegs frage ich alle 30 Minuten ab. Damit bekomme ich alle Adressen aufgelöst rein.

Wenn ich jedoch alle 15 Minuten abfrage - und das wird vermutlich der Hauptfehler sein - zu hastig, drei- oder viermal direkt hintereinander update, weil der Kartenaufbau hinterhinkt, oder was weiß ich, dann kommt es wahrscheinlich in der Folge, möglicherweise zeitverzögert zum Blockieren.

Nachdem ich mir das verkneife, werden die Ortsangaben aufgelöst.

Nochmals vielen Dank für deine Hilfe und deine Geduld.
Viele​ Grüße​ Gisbert​

Ich versuche einen Request bei Github einzustellen, ein set Device interval xxx wäre echt cool.

[bismosa]

Hallo!

Also...ich habe es jetzt nochmal ausprobiert. Mit den Demo-Werten (bei uns sind keine Blitzer in der Nähe)
Habe ich weniger als 5 Blitzer -> Alles gut. Auch nach mehrmaligem Refresh, vergrößere ich den Radius auf z.B. 30km und bekomme 16 Blitzer und führe mehrere Abfragen durch bekomme ich die Fehlermeldung:

Code Auswählen Erweitern

error while requesting https://nominatim.openstreetmap.org/reverse?format=json&lat=52.446420&lon=13.621619 - nominatim.openstreetmap.org: Verbindungsaufbau abgelehnt (111)
Das sind vermutlich zu viele auf einmal...daher das Blocking.
Eine Abfrage im Browser auch mit sekündlichem Refresh bringt nach einiger Zeit die Fehlermedung:

Code Auswählen Erweitern

Bandwidth limit exceeded
You have been temporarily blocked because you have been overusing OSM's geocoding service or because you have not provided sufficient identification of your application. This block will be automatically lifted after a while. Please take the time and adapt your scripts to reduce the number of requests and make sure that you send a valid UserAgent or Referer.

For more information, consult the usage policy for the OSM Nominatim server.
Nach ner Minute geht es dann schon wieder.

So sieht also ein Blocking aus...Verbindungsaufbau abgelehnt ist meiner Ansicht nach immer noch was anderes.

Ich denke man müsste die Abfragen bei OSM verändern. Nicht zu viele Anfragen auf einmal (wenn es mehrere Blitzer gibt) sondern entweder eine Abfrage für alle (weiß ich nciht ob das geht) oder das mit Zeitlichem Verzug zu machen. Das wäre aber ein kompletter Umbau der bisherigen Logik...ich will ja jetzt Updaten und eine Antwort schnellstmöglich erhalten...

Gruß
Bismosa

[my-engel]

Hallo,

also bei mir funktioniert es mal und auch mal nicht.
Dies scheint auch unabhängig von der Anzahl der Blitzer zu liegen, selbst bei nur 3en ist dies so.
Heute dann dieses Resultat:

Aktuelle Blitzer:
00 Marienthal West Max. 50 km/h ( 6.4 km ) !!
01 Max. 70 km/h ( 9.3 km ) !!
02 Seiferitz Max. 50 km/h ( 16.5 km ) !!
03 Max. 30 km/h ( 18.6 km ) !!
04 Max. 30 km/h ( 19.2 km ) !!
05 Hohenstein-Ernstthal Max. 80 km/h ( 19.2 km ) !!
06 Max. 50 km/h ( 20.8 km ) !!
07 Max. 50 km/h ( 28.7 km ) !!
08 Max. 50 km/h ( 29.6 km ) !!

MfG
Uwe

[Gisbert]

Hallo my-engel,

das geschilderte Verhalten kenne ich; gerade sieht es bei mir so aus:

Aktuelle Blitzer:
00 max. 30 km/h
01 max. 50 km/h
02 max. 50 km/h
03 max. 30 km/h
04 max. 50 km/h
05 max. 30 km/h
06 max. 30 km/h
07 max. 30 km/h

Viele​ Grüße​ Gisbert​

[my-engel]

Hallo,

ich glaube es hat etwas mit der Häufigkeit der Abfrage und zusätzlich mit der Anzahl der Standorte pro Abfrage zu tun.
Kann es sein, dass wenn mehrere Blitzer vorhanden sind, alle Standortabfragen gleichzeitig abgesetzt werden und somit innerhalb einer Sekunde liegen.
Vielleicht könnte man nach jeder Standortabfrage eine Pause von mind. 1 Sekunde einfügen....

https://translate.googleusercontent.com/translate_c?depth=1&hl=de&prev=search&rurl=translate.google.com&sl=en&sp=nmt4&u=https://operations.osmfoundation.org/policies/nominatim/&usg=ALkJrhg0VIokw-LWxTW-zFZFT1Csg_PnWg
oder Original
https://operations.osmfoundation.org/policies/nominatim/

MfG
Uwe

[bismosa]

Hallo!

@my-engel
Danke für die Bestätigung.

Wie viele Blitzer werden bei dir bei einer Abfrage abgerufen? Sind das vielleicht zu viele für OSM?

...
Irgendwo hatten wir auch schon das Thema, das bei zu vielen Blitzern auf einmal die Abfrage geblockt wurde...
...

Das Modul ist so aufgebaut, das tatsächlich alle Abfragen direkt nacheinander abgesetzt werden. Bei einem Update möchte man ja auch "sofort" bzw. schnellstmöglich eine Info haben, wo denn die Blitzer sind.
Richtig wäre es hier eine Pause von 1-2 sek. einzubauen. Dann muss man aber bei 10 Blitzern schon 20sek. warten...finde ich nicht so gut.
Ich vermute man müsste dazu das Modul komplett umbauen 

Ich habe diese Zeit im Moment nicht. Ich kann gerade nur noch das nötigste....

Gruß
Bismosa

P.S.: Ich verfolge den Thread hier weiterhin. Muss aber ehrlich sagen, das ich ein wenig angefressen bin. Hier wurden jetzt viele Vermutungen angestellt. Infos bzw. meine Tipps/Fragen/Aufforderungen wurden dabei einfach ignoriert. Schade...aber so ist es einfach manchmal.

[Gisbert]

Ich verfolge den Thread hier weiterhin. Muss aber ehrlich sagen, das ich ein wenig angefressen bin. Hier wurden jetzt viele Vermutungen angestellt. Infos bzw. meine Tipps/Fragen/Aufforderungen wurden dabei einfach ignoriert. Schade...aber so ist es einfach manchmal.

Ich hoffe, dass ich nicht der Hauptverursacher bin , wenn doch Asche auf mein Haupt , und beim nächsten Mal rechtzeitig einschreiten (es fehlt anscheinend noch ein bad Smiley für einen virtuellen Schienbeintritt ). Ich schätze die Leistungen der Entwickler, aller Entwickler, und deine sehr hoch, ohne die so ein Projekt wie Fhem nicht funktionieren könnte. Alle machen das freiwillig, aus Interesse, ohne Bezahlung, auch ich bin durch Fhem angefixt, aber mangels IT-Hintergrund nicht (mehr) in der Lage so etwas wie eine Programmiersprache zu lernen, ganz zu schweigen von den Vorstellungen, die RichardCZ verbreitet. Der Austausch im Forum, Hilfestellungen, Anregungen sind ebenfalls oft eine sehr gute Quelle für Lösungen. Die meiste Zeit profitiere ich durch Anregungen und Lösungen anderer, manchmal kann ich auch meinen Senf zu einem Beitrag geben und anderen, die noch weniger wissen als ich, auf die Sprünge helfen. Wenn dann ein Entwickler einspringt, umso besser. Ich hab jedoch meistens nur morgens und abends Zeit, denn auf meinem Arbeitsplatzrechner möchte ich keine privaten Dinge machen, deshalb sind meine Antworten zeitlich nicht ganz so flüssig, wie ich das gerne hätte.

Viele Grüße Gisbert

[bismosa]

Hallo!

@Gisbert
Nein...da bist Du nicht der Hauptverursacher. Alles gut 

Liegt wohl eher an meinem Stress zur Zeit, das ich so empfindlich reagiere. Kommen bestimmt wieder bessere Zeiten.

Wir sollten uns lieber auf eine Lösung des Problems konzentrieren. Mein Vorschlag wäre hier:

- Mit einem anderen Header testen
- Die API überprüfen, ob es eine Möglichkeit gibt, mit einer Abfrage mehrere Standorte zu bekommen
- Die Nutzungsbedingungen richtig zu verstehen
- Überlegen, wie man eine Umsetzung generell machen könnte um das Abfrageintervall pro Blitzer auf z.B. 2sek. zu bekommen

Mit fehlt da echt gerade die Zeit...sorry.

Gruß
Bismosa

[Gisbert]

Wir sollten uns lieber auf eine Lösung des Problems konzentrieren. Mein Vorschlag wäre hier:

- Mit einem anderen Header testen
- Die API überprüfen, ob es eine Möglichkeit gibt, mit einer Abfrage mehrere Standorte zu bekommen
- Die Nutzungsbedingungen richtig zu verstehen
- Überlegen, wie man eine Umsetzung generell machen könnte um das Abfrageintervall pro Blitzer auf z.B. 2sek. zu bekommen

Hallo Bismosa,

heute gibt es aktuell 2 Blitzer in meinem abgefragten Gebiet. Die kann ich anscheinend beliebig oft abfragen - 10mal hab ich's hintereinander versucht -, und die Adressen werden jeweils vollständig wiedergegeben.

Demnach sind 2 Abfragen gleichzeitig nicht grundsätzlich schädlich, hab das aber aus der Erinnerung heraus auch schon anders gesehen, meine ich mich zu erinnern.

Eine Abfragefrequenz von einem Blitzer pro Sekunde könnte funktionieren. Sag Bescheid, falls ich etwas zur Verbesserung beitragen kann.

Viele​ Grüße​ Gisbert​

[bismosa]

Hallo,

es bleibt schwierig. Ich habe das Modul jetzt mal umgestrickt und habe einen Intervall von einer Sekunde festgelegt. Beim testen mit mehr als 10 blitzern wird nun der Vindungsaufbau bei mir abgelehnt. Also scheint dies nicht die Hauptursache zu sein?
Die Version des Moduls im Anhang. Kannst ja mal testen. Der Intervall lässt sich durch das neue Attribut "OSMWaitTime" (Standard=1) anpassen.
Ich kann nun nicht testen, wie das Modul insgesamt auf die Verzögerung reagiert....mir fehlt da auch etwas die Zeit dafür.

Außerdem gibt es dann das zusätzliche Problem, das ein aktualisieren bei z.B. 10 Blitzern auch mind. 10sek. benötigt. Bei einem regelmäßigem Intervall wohl kein Problem...wenn man aber auf "Zuruf" abfragt, wird es sehr nervig.

Gruß
Bismosa

[Gisbert]

Hallo Bismosa,

ich hab dein Modul Update geladen. Mit 6 Blitzern im abgefragten Bereich funktioniert es auch bei mehrmaligem Abfragen ohne Probleme. Die paar Gedenksekunden sind nicht optimal, aber erträglich, sofern das Ergebnis befriedigt.
Ich mit der OSMWaitTime etwas rumprobiert und in deinem Code gesehen, dass dieser Wert nicht zwingend ganzahlig sein muss. Mit 0.5 Sekunden gibt es erste Aussetzer, mit 0.75 Sekunden kommen 6 Blitzer sauber rein.

Viele​n Dank und viele Grüße​
Gisbert​

[Gisbert]

Hallo Bismosa,

bei 12 Blitzern im Gebiet gab es das folgende Verhalten:

• 10 Standorte wurden angezeigt, 2 nicht
• beim dritten Update wurde keine Standorte mehr angezeigt
• anschließend hab ich auf 2 Sekunden Wartezeit gestellt, aber es wurden keine Adressen angezeigt

Bis 10 Adressen scheint es zu funktionieren, darüber hinaus ist die Seite *pikiert* und mag dann gar nicht mehr.

Ich versuche meinen Abfragebereich zu verkleinern, um das Problem damit zu reduzieren.

Viele​ Grüße​ Gisbert​

[my-engel]

Hallo Bismosa,
bei mir funktioniert es mit deinem Testmodul fehlerfrei.
Habe mit 0.75 und bis zu 8 Blitzern keine Probleme.
Danke dir...

MfG Uwe