Autor Thema: Neues Modul - Mobile Blitzer Anzeigen  (Gelesen 26003 mal)

Offline Gisbert

  • Hero Member
  • *****
  • Beiträge: 1865
  • Das Ziel ist das Ziel !
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #210 am: 13 Mai 2020, 22:56:06 »
Du kannst alternativ auch über ein defmod myBlitzer Blitzer 0 das update nur manuell, = disable machen und dann mit set myBlitzer Update den Update dann mit einem periodischen "at" nach deinen Vorgaben anstossen.
Oder über defmod myBlitzer Blitzer 10 dann das Interval ändern.

Ich mache das nur manuell (e.g. wenn ich das Haus verlasse / beim losfahren).

Hallo Jamo,

diese Vorgehensweise ist mir schon klar.
Ich dachte halt, dass man dies angepasst an sein Verhalten (zuhause: ja/nein) automatisiert ablaufen lassen könnte.
Ich warte dann mal ab, was sich noch entwickelt.

Viele Grüße Gisbert
Aktuelles Fhem auf HP ThinClient T610 | Debian10 | UniFi-Controller | Homematic, VCCU, HMUART | ESP8266, Platinen von Papa Romeo | Sonoff | 1-Wire-Temperatursensoren | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21RF

Offline bismosa

  • Developer
  • Full Member
  • ****
  • Beiträge: 377
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #211 am: 14 Mai 2020, 11:24:39 »
Hallo!

Dann möchte ich mich auch nochmal wieder melden...

Im Moment habe ich wenig Zeit mich um das Modul zu kümmern und Änderungen einzupflegen. Die Idee
Du kannst alternativ auch über ein defmod myBlitzer Blitzer 0 das update nur manuell, = disable machen und dann mit set myBlitzer Update den Update dann mit einem periodischen "at" nach deinen Vorgaben anstossen.
finde ich hier sehr passend.

Oder einfach den Code anpassen und bei Github die Änderung vorschlagen. Dann Pflege ich das auch gerne nach.

Zu den IP-Problemen:
Ihr könnt ja einfach mal mit anderen Headern testen...wenn es dann einen besseren gibt, baue ich den gerne ein.
Hat das denn schon mal jemand mit den Problemen versucht?
Hat sich schon mal jemand die Nutzungsbedingungen von OSM durchgelesen? Ich denke nicht, das es unerwünscht ist, was wir hier machen. Bis ins Detail habe ich mir das aber auch nicht durchgelesen.
Mir kommt das komplette Blocking immer noch seltsam vor. Läuft der Tor-Browser vielleicht über einen anderen DNS? VPN? o.ä.? Stört ein anderes Gerät? PiHole etc.?
Wie viele Blitzer werden bei dir bei einer Abfrage abgerufen? Sind das vielleicht zu viele für OSM?
Den Ursachen würde  ich erstmal auf den Grund gehen. Ich glaube nicht an ein vollständiges IP-Blocking. Selbst bei meinen Tests wo ich in sehr kurzen Abständen die Abfragen durchgeführt habe wurde ich nicht geblockt...dann bestimmt auch nicht in einem Rhythmus von 15Min....

Gruß
Bismosa
FHEM 14873 auf einem Raspberry PI 2 (B) Wheezy
1x nanoCUL 433MHz (SlowRF Intertechno) für Fenstersensoren
1x nanoCUL 868Mhz für MAX (9x HT 1xWT)
1x 433MHz Sender an ESP (Jarolift Rolläden)
Weiteres: Squeezebox server, Kindle Display, ESP8266, Löterfahrung, ...

Offline Gisbert

  • Hero Member
  • *****
  • Beiträge: 1865
  • Das Ziel ist das Ziel !
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #212 am: 14 Mai 2020, 18:59:51 »
Hallo Bismosa,

ich bin mehr und mehr davon überzeugt, dass zu häufige Abfragen zum Blockieren führen.

Meine Argumente:

Wenn ich zuhause bin, wird das Modul abgeschaltet, ansonsten unterwegs frage ich alle 30 Minuten ab. Damit bekomme ich alle Adressen aufgelöst rein.

Wenn ich jedoch alle 15 Minuten abfrage - und das wird vermutlich der Hauptfehler sein - zu hastig, drei- oder viermal direkt hintereinander update, weil der Kartenaufbau hinterhinkt, oder was weiß ich, dann kommt es wahrscheinlich in der Folge, möglicherweise zeitverzögert zum Blockieren.

Nachdem ich mir das verkneife, werden die Ortsangaben aufgelöst.

Nochmals vielen Dank für deine Hilfe und deine Geduld.
Viele​ Grüße​ Gisbert​

Ich versuche einen Request bei Github einzustellen, ein set Device interval xxx wäre echt cool.
Aktuelles Fhem auf HP ThinClient T610 | Debian10 | UniFi-Controller | Homematic, VCCU, HMUART | ESP8266, Platinen von Papa Romeo | Sonoff | 1-Wire-Temperatursensoren | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21RF

Offline bismosa

  • Developer
  • Full Member
  • ****
  • Beiträge: 377
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #213 am: 14 Mai 2020, 19:36:36 »
Hallo!

Also...ich habe es jetzt nochmal ausprobiert. Mit den Demo-Werten (bei uns sind keine Blitzer in der Nähe)
Habe ich weniger als 5 Blitzer -> Alles gut. Auch nach mehrmaligem Refresh, vergrößere ich den Radius auf z.B. 30km und bekomme 16 Blitzer und führe mehrere Abfragen durch bekomme ich die Fehlermeldung:
error while requesting https://nominatim.openstreetmap.org/reverse?format=json&lat=52.446420&lon=13.621619 - nominatim.openstreetmap.org: Verbindungsaufbau abgelehnt (111)Das sind vermutlich zu viele auf einmal...daher das Blocking.
Eine Abfrage im Browser auch mit sekündlichem Refresh bringt nach einiger Zeit die Fehlermedung:
Bandwidth limit exceeded
You have been temporarily blocked because you have been overusing OSM's geocoding service or because you have not provided sufficient identification of your application. This block will be automatically lifted after a while. Please take the time and adapt your scripts to reduce the number of requests and make sure that you send a valid UserAgent or Referer.

For more information, consult the usage policy for the OSM Nominatim server.
Nach ner Minute geht es dann schon wieder.

So sieht also ein Blocking aus...Verbindungsaufbau abgelehnt ist meiner Ansicht nach immer noch was anderes.

Ich denke man müsste die Abfragen bei OSM verändern. Nicht zu viele Anfragen auf einmal (wenn es mehrere Blitzer gibt) sondern entweder eine Abfrage für alle (weiß ich nciht ob das geht) oder das mit Zeitlichem Verzug zu machen. Das wäre aber ein kompletter Umbau der bisherigen Logik...ich will ja jetzt Updaten und eine Antwort schnellstmöglich erhalten...

Gruß
Bismosa
FHEM 14873 auf einem Raspberry PI 2 (B) Wheezy
1x nanoCUL 433MHz (SlowRF Intertechno) für Fenstersensoren
1x nanoCUL 868Mhz für MAX (9x HT 1xWT)
1x 433MHz Sender an ESP (Jarolift Rolläden)
Weiteres: Squeezebox server, Kindle Display, ESP8266, Löterfahrung, ...

Offline my-engel

  • Full Member
  • ***
  • Beiträge: 109
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #214 am: 20 Mai 2020, 11:44:52 »
Hallo,

also bei mir funktioniert es mal und auch mal nicht.
Dies scheint auch unabhängig von der Anzahl der Blitzer zu liegen, selbst bei nur 3en ist dies so.
Heute dann dieses Resultat:

Zitat
Aktuelle Blitzer:
00 Marienthal West Max. 50 km/h ( 6.4 km ) !!
01 Max. 70 km/h ( 9.3 km ) !!
02 Seiferitz Max. 50 km/h ( 16.5 km ) !!
03 Max. 30 km/h ( 18.6 km ) !!
04 Max. 30 km/h ( 19.2 km ) !!
05 Hohenstein-Ernstthal Max. 80 km/h ( 19.2 km ) !!
06 Max. 50 km/h ( 20.8 km ) !!
07 Max. 50 km/h ( 28.7 km ) !!
08 Max. 50 km/h ( 29.6 km ) !!

MfG
Uwe
FHEM: => FB7490(OS 06.30-freetz-devel-13932M)
           => RPi3
IO:       HMLAN / HMUSB2 / HMUARTLGW / nanoCUL433

Offline Gisbert

  • Hero Member
  • *****
  • Beiträge: 1865
  • Das Ziel ist das Ziel !
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #215 am: 20 Mai 2020, 13:12:58 »
Hallo my-engel,

das geschilderte Verhalten kenne ich; gerade sieht es bei mir so aus:
Zitat
Aktuelle Blitzer:
00 max. 30 km/h
01 max. 50 km/h
02 max. 50 km/h
03 max. 30 km/h
04 max. 50 km/h
05 max. 30 km/h
06 max. 30 km/h
07 max. 30 km/h

Viele​ Grüße​ Gisbert​
Aktuelles Fhem auf HP ThinClient T610 | Debian10 | UniFi-Controller | Homematic, VCCU, HMUART | ESP8266, Platinen von Papa Romeo | Sonoff | 1-Wire-Temperatursensoren | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21RF

Offline my-engel

  • Full Member
  • ***
  • Beiträge: 109
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #216 am: 26 Mai 2020, 20:47:42 »
Hallo,

ich glaube es hat etwas mit der Häufigkeit der Abfrage und zusätzlich mit der Anzahl der Standorte pro Abfrage zu tun.
Kann es sein, dass wenn mehrere Blitzer vorhanden sind, alle Standortabfragen gleichzeitig abgesetzt werden und somit innerhalb einer Sekunde liegen.
Vielleicht könnte man nach jeder Standortabfrage eine Pause von mind. 1 Sekunde einfügen....

https://translate.googleusercontent.com/translate_c?depth=1&hl=de&prev=search&rurl=translate.google.com&sl=en&sp=nmt4&u=https://operations.osmfoundation.org/policies/nominatim/&usg=ALkJrhg0VIokw-LWxTW-zFZFT1Csg_PnWg
oder Original
https://operations.osmfoundation.org/policies/nominatim/

MfG
Uwe
FHEM: => FB7490(OS 06.30-freetz-devel-13932M)
           => RPi3
IO:       HMLAN / HMUSB2 / HMUARTLGW / nanoCUL433

Offline bismosa

  • Developer
  • Full Member
  • ****
  • Beiträge: 377
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #217 am: 26 Mai 2020, 21:01:39 »
Hallo!

@my-engel
Danke für die Bestätigung.
Zitat
Wie viele Blitzer werden bei dir bei einer Abfrage abgerufen? Sind das vielleicht zu viele für OSM?

...
Irgendwo hatten wir auch schon das Thema, das bei zu vielen Blitzern auf einmal die Abfrage geblockt wurde...
...

Das Modul ist so aufgebaut, das tatsächlich alle Abfragen direkt nacheinander abgesetzt werden. Bei einem Update möchte man ja auch "sofort" bzw. schnellstmöglich eine Info haben, wo denn die Blitzer sind.
Richtig wäre es hier eine Pause von 1-2 sek. einzubauen. Dann muss man aber bei 10 Blitzern schon 20sek. warten...finde ich nicht so gut.
Ich vermute man müsste dazu das Modul komplett umbauen  :(

Ich habe diese Zeit im Moment nicht. Ich kann gerade nur noch das nötigste....

Gruß
Bismosa

P.S.: Ich verfolge den Thread hier weiterhin. Muss aber ehrlich sagen, das ich ein wenig angefressen bin. Hier wurden jetzt viele Vermutungen angestellt. Infos bzw. meine Tipps/Fragen/Aufforderungen wurden dabei einfach ignoriert. Schade...aber so ist es einfach manchmal.
FHEM 14873 auf einem Raspberry PI 2 (B) Wheezy
1x nanoCUL 433MHz (SlowRF Intertechno) für Fenstersensoren
1x nanoCUL 868Mhz für MAX (9x HT 1xWT)
1x 433MHz Sender an ESP (Jarolift Rolläden)
Weiteres: Squeezebox server, Kindle Display, ESP8266, Löterfahrung, ...

Offline Gisbert

  • Hero Member
  • *****
  • Beiträge: 1865
  • Das Ziel ist das Ziel !
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #218 am: 27 Mai 2020, 19:35:48 »
Ich verfolge den Thread hier weiterhin. Muss aber ehrlich sagen, das ich ein wenig angefressen bin. Hier wurden jetzt viele Vermutungen angestellt. Infos bzw. meine Tipps/Fragen/Aufforderungen wurden dabei einfach ignoriert. Schade...aber so ist es einfach manchmal.
Ich hoffe, dass ich nicht der Hauptverursacher bin ???, wenn doch Asche auf mein Haupt :-[, und beim nächsten Mal rechtzeitig einschreiten (es fehlt anscheinend noch ein bad Smiley für einen virtuellen Schienbeintritt ;D). Ich schätze die Leistungen der Entwickler, aller Entwickler, und deine sehr hoch, ohne die so ein Projekt wie Fhem nicht funktionieren könnte. Alle machen das freiwillig, aus Interesse, ohne Bezahlung, auch ich bin durch Fhem angefixt, aber mangels IT-Hintergrund nicht (mehr) in der Lage so etwas wie eine Programmiersprache zu lernen, ganz zu schweigen von den Vorstellungen, die RichardCZ verbreitet. Der Austausch im Forum, Hilfestellungen, Anregungen sind ebenfalls oft eine sehr gute Quelle für Lösungen. Die meiste Zeit profitiere ich durch Anregungen und Lösungen anderer, manchmal kann ich auch meinen Senf zu einem Beitrag geben und anderen, die noch weniger wissen als ich, auf die Sprünge helfen. Wenn dann ein Entwickler einspringt, umso besser. Ich hab jedoch meistens nur morgens und abends Zeit, denn auf meinem Arbeitsplatzrechner möchte ich keine privaten Dinge machen, deshalb sind meine Antworten zeitlich nicht ganz so flüssig, wie ich das gerne hätte.

Viele Grüße Gisbert
Aktuelles Fhem auf HP ThinClient T610 | Debian10 | UniFi-Controller | Homematic, VCCU, HMUART | ESP8266, Platinen von Papa Romeo | Sonoff | 1-Wire-Temperatursensoren | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21RF

Offline bismosa

  • Developer
  • Full Member
  • ****
  • Beiträge: 377
Antw:Neues Modul - Mobile Blitzer Anzeigen
« Antwort #219 am: 29 Mai 2020, 07:45:56 »
Hallo!

@Gisbert
Nein...da bist Du nicht der Hauptverursacher. Alles gut  :)

Liegt wohl eher an meinem Stress zur Zeit, das ich so empfindlich reagiere. Kommen bestimmt wieder bessere Zeiten.

Wir sollten uns lieber auf eine Lösung des Problems konzentrieren. Mein Vorschlag wäre hier:

- Mit einem anderen Header testen
- Die API überprüfen, ob es eine Möglichkeit gibt, mit einer Abfrage mehrere Standorte zu bekommen
- Die Nutzungsbedingungen richtig zu verstehen
- Überlegen, wie man eine Umsetzung generell machen könnte um das Abfrageintervall pro Blitzer auf z.B. 2sek. zu bekommen

Mit fehlt da echt gerade die Zeit...sorry.

Gruß
Bismosa
FHEM 14873 auf einem Raspberry PI 2 (B) Wheezy
1x nanoCUL 433MHz (SlowRF Intertechno) für Fenstersensoren
1x nanoCUL 868Mhz für MAX (9x HT 1xWT)
1x 433MHz Sender an ESP (Jarolift Rolläden)
Weiteres: Squeezebox server, Kindle Display, ESP8266, Löterfahrung, ...