Neues Modul - Mobile Blitzer Anzeigen

Begonnen von bismosa, 27 März 2019, 20:14:16

Vorheriges Thema - Nächstes Thema

bismosa

Hallo!
Zitat von: juergen012 am 11 Mai 2020, 19:06:13
Hallo,
im Browser erhalte ich:
Die Website ist nicht erreichbar.

Gruß
Jürgen.

Ich bekomme hier mit Chrome:
{"place_id":143277164,"licence":"Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright","osm_type":"way","osm_id":236034940,"lat":"53.533753450000006","lon":"9.870978650000001","display_name":"56, Finkenwerder Norderdeich, Finkenwerder, Hamburg, 21129, Germany","address":{"house_number":"56","road":"Finkenwerder Norderdeich","suburb":"Finkenwerder","city":"Hamburg","postcode":"21129","country":"Germany","country_code":"de"},"boundingbox":["53.5337163","53.5337906","9.8709177","9.8710396"]}

ZitatDie Website ist nicht erreichbar.
Deutet für mich eher auf eine geblockte Seite. Vielleicht irgendwas mit dem DNS? Oder Irgendeine Kindersicherung o.ä.?
Ist OSM denn generell erreichbar? https://nominatim.openstreetmap.org/
Was kommt hier: https://nominatim.openstreetmap.org/reverse

@Gisbert
Ich habe das auch gerade nochmal überflogen. Das war vermutlich wirklich ein anderes Problem...
Im Blitzermodul gebe ich als Header:
header     => "User-Agent: Mozilla/1.22\r\nContent-Type: application/xml",
an. Ich hatte diesen mal leer -> Noch schnelleres Blocking. Ich glaube ich hatte dann auch mal "FHEM" ebenfalls schnelles Blocking.
Keine Ahnung, wie man dies Anonymisieren könnte...dann müsste man jedes Mal einen neuen generieren?

Gruß
Bismosa
1x nanoCUL 433MHz (SlowRF Intertechno) für Fenstersensoren
1x nanoCUL 868Mhz für MAX (9x HT 1xWT)
1x ZigBee CUL
Weiteres: Squeezebox server, Kindle Display, ESP8266, Löterfahrung, ...

juergen012

Hallo,
nach Routerreset (neue IP) klappt es wieder...Also blockt OSM..

Gruß
Jürgen K.
Fhem unter Proxmox

juergen012

#197
Im Browser:
{"place_id":143277164,"licence":"Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright","osm_type":"way","osm_id":236034940,"lat":"53.533753450000006","lon":"9.870978650000001","display_name":"56, Finkenwerder Norderdeich, Finkenwerder, Hamburg, 21129, Germany","address":{"house_number":"56","road":"Finkenwerder Norderdeich","suburb":"Finkenwerder","city":"Hamburg","postcode":"21129","country":"Germany","country_code":"de"},"boundingbox":["53.5337163","53.5337906","9.8709177","9.8710396"]}

und nu?

Habe den Intervall mal auf 60 Min gestellt.

Fhem unter Proxmox

Gisbert

Hallo Bismosa,

ich versuche die Fritzbox nachher mal stromlos zu machen, dann mal schauen, was kommt.

header     => "User-Agent: Mozilla/1.22\r\nContent-Type: application/xml",
Interpretiere ich das richtig, dass dieser Audruck einen Mozilla Browser bemüht, um den OSM Server anzufragen? Könnte man stattdessen den TOR Browser nehmen? Leider weiß ich nicht, ob dieses Ansinnen reines Wunschdenken von mir ist.

Viele​ Grüße​ Gisbert​
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Gisbert

Hallo Bismosa,

kurzes update:
Die Fritzbox wurde neugestartet: Fehler
Die Fritzbox wurde stromlos gemacht: Fehler
Die Fritzbox hat heute Nacht vom Provider eine neue Firmware bekommen, gleiche IP-Adresse: Orts- und Straßennamen werden geladen, huch alles wieder gut?
aktuell: nein, wieder Fehler

Ich denke, die Sache ist damit klar, dass OSM meine Anfragen blockiert, so eine Grütze. Ich hätte große Lust deren Server im Millisekundentakt zu bombadieren, wenn ich wüsste, wie das geht.

Viele​ Grüße​ Gisbert​
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

curt

Zitat von: bismosa am 11 Mai 2020, 19:48:03
Deutet für mich eher auf eine geblockte Seite. Vielleicht irgendwas mit dem DNS?

Vermutlich kann ich aushelfen - da ich diese Fehler absolut nicht habe.

Mein primärer Zugang läuft über einen ganz kleinen DSL-Anbieter, der erschließt ein paar Dörfer in der ostdeutschen Provinz bei Dessau. Und der IP-Range ist da auch ganz klein, ich bekomme oft die gleiche IP zugewiesen.

Da ich diese Probleme nicht habe, könnte man davon ausgehen, dass openstreetmap die Nutzung pro IP-Range misst. Also das, was im eigenen IP-Range auch von anderen Nutzern so abgerufen wird.

Zitat von: bismosa am 11 Mai 2020, 19:48:03
Im Blitzermodul gebe ich als Header:
header     => "User-Agent: Mozilla/1.22\r\nContent-Type: application/xml",
an.

Ich unterstelle mal, dass Du einen WebServer betreibst und selbst sehen kannst, was so alles an Browser-Kennungen reinkommt. Vielleicht ist es klug, eine aktuelle Mozilla-Langzeitkennung zu nehmen und dahinter die URL zu einer englischsprachigen FHEM-Projektseite?

So könnte man nach einiger Zeit (Wochen) das Projektteam von openstreetmap mit der Bitte um eine Ausnahme anschreiben.
RPI 4 - Jeelink HomeMatic Z-Wave

bismosa

Hallo!

ZitatInterpretiere ich das richtig, dass dieser Audruck einen Mozilla Browser bemüht, um den OSM Server anzufragen?
Nein. Hier wird nur mitgeteilt um welchen Browser es sich handelt. Siehe https://de.wikipedia.org/wiki/User_Agent

ZitatIch denke, die Sache ist damit klar, dass OSM meine Anfragen blockiert, so eine Grütze. Ich hätte große Lust deren Server im Millisekundentakt zu bombadieren, wenn ich wüsste, wie das geht.
Dann ist ja gut, das Du nicht weißt wie das geht. Ich persönlich mag solche Aussagen nicht gerne. Wer einen kostenlosen Dienst bemüht muss auch mit den entsprechenden Einschränkungen leben...oder auf eine kostenpflichtige Variante ausweichen. Siehe: https://operations.osmfoundation.org/policies/nominatim/
Das lässt sich bestimmt auch über google/Bing/Here umsetzen. Ob Kostenpflichtig oder nicht...keine Ahnung. Bei google benötigt man auf jeden Fall einen API-Key. Vermutlich dann für die "App" als solches.

Ich meine mich zu erinnern, das ich eine Fehlermeldung statt "Seite nicht erreichbar" bekommen hatte, als ich mal geblockt wurde. Also vielleicht doch irgendein Proxy o.ä. was hier stört?

@curt
Danke für die Rückmeldung. Bei mir funktioniert es ja auch...ich bekomme jedoch jede Nacht eine neue IP-Adresse mit teilweise sehr unterschiedlichen Bereichen. Vielleicht liegt es auch da dran?
ZitatIch unterstelle mal, dass Du einen WebServer betreibst und selbst sehen kannst, was so alles an Browser-Kennungen reinkommt
Ich selbst nicht. Von daher kenne ich die aktuellen Kennungen nicht. Ich hatte anfangs mal keinen Header. Da wurde alles geblockt. Auch der FHEM Header (den hatte ich mal bei einem Bespiel gefunden) wurde nach sehr kurzer Zeit geblockt. Mit dem aktuellen gab es jetzt sehr lange keine bzw. kaum Probleme.

Ihr könnt ja einfach mal mit anderen Headern testen...wenn es dann einen besseren gibt, baue ich den gerne ein.

Gruß
Bismosa
1x nanoCUL 433MHz (SlowRF Intertechno) für Fenstersensoren
1x nanoCUL 868Mhz für MAX (9x HT 1xWT)
1x ZigBee CUL
Weiteres: Squeezebox server, Kindle Display, ESP8266, Löterfahrung, ...

curt

Zitat von: bismosa am 12 Mai 2020, 09:31:00
@curt
Danke für die Rückmeldung. Bei mir funktioniert es ja auch...ich bekomme jedoch jede Nacht eine neue IP-Adresse mit teilweise sehr unterschiedlichen Bereichen. Vielleicht liegt es auch da dran?

Nein, noch etwas anders. Also aus meiner Sicht formt sich ein klares Bild:
Wenn Dir ein IP-Range zugewiesen wird, der extrem OSM abfragt, wird der Range automatisiert ausgebremst. Es kommt zwar noch was durch, aber nicht alles.

Die ganz großen (sagen wir mal Vodafone mit der zufälligen Verteilung) und die ganz kleinen (mein Provider) - da kommt man durch, die anderen sind gekniffen.

Browserkennung:
Zitat von: bismosa am 12 Mai 2020, 09:31:00
Ich selbst nicht. Von daher kenne ich die aktuellen Kennungen nicht.

Das ist eher eine langfristige Idee.
Also Deinen FHEM-Bot für OSM erkennbar machen. (In der Folge könnte man die Jungs von OSM anschreiben und um gut-Wetter bitten.)

Ich habe eigene WebServer am Start und kann man schauen, was übliche Bots so als Langzeitkennungen (die kommen alle mit Morzilla/...) so zeigen. Falls ich das morgen nicht nachtrage - erinnerst Du mich bitte?
RPI 4 - Jeelink HomeMatic Z-Wave

Gisbert

Zitat von: bismosa am 12 Mai 2020, 09:31:00
Dann ist ja gut, das Du nicht weißt wie das geht. Ich persönlich mag solche Aussagen nicht gerne. Wer einen kostenlosen Dienst bemüht muss auch mit den entsprechenden Einschränkungen leben...oder auf eine kostenpflichtige Variante ausweichen. Siehe: https://operations.osmfoundation.org/policies/nominatim/

Hallo Bismosa,

keine Sorge, das war nur das Ventil, um mir Luft zu verschaffen (... Ich hätte große Lust deren Server im Millisekundentakt zu bombadieren, wenn ich wüsste, wie das geht ... ).
So in der Art von Wünschen, von denen man genau weiß, dass sie nicht in Erfüllung gehen und man deshalb nicht in die Versuchung geraten kann, dass es in die Realität umgesetzt wird.

Mein Gedanke mit dem TOR-Browser war halt, dass die Anfrage anonymisiert raus geht. Mein naiver Gedanke ist, dass Linux / Fhem / Perl eine Anfrage startet, die nicht nachverfolgbar ist.

Wenn ich auf meinen Desktop Win10 64Bit-PC dies eingebe:
https://nominatim.openstreetmap.org/reverse?format=json&lat=50.956929&lon=7.000887
erhalte ich:
Fehler: Verbindung fehlgeschlagen
Firefox kann keine Verbindung zu dem Server unter nominatim.openstreetmap.org aufbauen.


Benutze ich den TOR Browser benutze, erhalte ich:
place_id 133688866
licence "Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright"
osm_type "way"
osm_id 193187719
lat "50.956888899999996"
lon "7.00050747048364"
display_name "33, Bergischer Ring, Stegerwaldsiedlung, Mülheim, Cologne, North Rhine-Westphalia, 51063, Germany"
address
house_number "33"
road "Bergischer Ring"
neighbourhood "Stegerwaldsiedlung"
suburb "Mülheim"
city_district "Mülheim"
city "Cologne"
state "North Rhine-Westphalia"
postcode "51063"
country "Germany"
country_code "de"
boundingbox
0 "50.9567601"
1 "50.9570194"
2 "7.000385"
3 "7.0006299"


Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Gisbert

Hallo Bismosa,

ZitatWer einen kostenlosen Dienst bemüht muss auch mit den entsprechenden Einschränkungen leben...oder auf eine kostenpflichtige Variante ausweichen. Siehe: https://operations.osmfoundation.org/policies/nominatim/
Das ist prinzipiell in Ordnung, wobei viele Dienste eine geringe Nutzung durch private Anwender ohne kommerziellen Hintergrund zulassen.

Wenn ich es richtig sehe, blockiert aber OSM (in diesem Fall) meine Anfrage komplett.
Ich finde das nicht sonderlich fair, aber das (No heavy uses (an absolute maximum of 1 request per second).) bin ich ja mit bisher alle 15 Minuten und jetzt alle 30 Minten nicht gerade. Die Policies verstehe ich aber nur zum Teil, da fehlen mir zu viele Grundlagen.
Ich hab mir schon überlegt, die Anfrage für die Zeit, in der ich zuhause bin (also die überwiegende Zeit), auf einen signifikant höheren Wert zu setzen, und erst bei Abwesenheit, da dann potenziell mit Auto unterwegs, auf 15 - 30 Minuten zu setzen. Das macht aber erst Sinn sich damit zu beschäftigen, wenn es Aussicht auf Erfolg hat.

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Gisbert

#205
Hallo Bismosa und andere Interessierte,

heute morgen bekomme ich wieder Orts- und Straßennamen angezeigt, es scheint also wieder zu funktionieren, klasse.

Dann kann ich mir ja mal Gedanken machen, wie ich die Abfragefrequenz signifikant reduziere, in den Zeiten, in denen das Auto zuhause in der Garage steht.

Das Attribut <disable 1> sagt "No automatic update", das werde ich machen. Damit reduziert sich die Serverlast durch Anfrage von meiner IP-Adresse signifikant, und die Chancen, dass ich und andere nicht geblockt werden, erhöht sich.

Viele​ Grüße​ Gisbert​

Edit:
Zu früh gefreut, bei 4 von 8 Blitzern werden nach einem Update nach 30 Minuten keine Straße- und Ortsnamen angezeigt. Ich werde die Abfragefrequenz dennoch durch zeitlich befristet disablen reduzieren.
Kann es sein, dass die Anzahl der angefragten Orte zum Blockieren führt?
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Gisbert

Hallo Bismosa,

sorry, dass ich mich nochmals melde, diesmal mit einer Anregung.
Um die Abfragefrequenz zu reduzieren, bzw. die Abfrage auf ganz abzustellen - aus den vor genannten Gründen - wäre es günstiger das Attribut disable so umzubauen, so dass es mit <set Device disable 1> funktioniert. Der Vorteil wäre, dass dies keine Änderung des Devices wäre, was im 1. Fall ein <save> nach sich ziehen würde.

Viele​ Grüße​ Gisbert​
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Wolle02

Das fände ich jetzt nicht so gut. Disable ist bei allen Modulen ein Attribut und sollte es auch bei diesem Modul bleiben. Wenn schon, so könnte man vielleicht ein set .... active, set ...inactive wie bei anderen Modulen auch einbauen.

Gruß
Wolle

Gisbert

Hallo Wolle,

dass die Funktion von disable so universell ist, war mir nicht bewusst. Richtlinien zur Einheitlichkeit sollte ein Modulautor beherzigen, sonst entsteht ein Wildwuchs, den irgendwann keiner mehr durchschaut, weil an und für sich das gleiche bei jedem Modul etwas anderes bedeutet.

Bei HTTPMOD kann man das Abfrageintervall mit <set Device interval xxx> ändern, mir schwebte etwas in dieser Art vor, damit keine Änderungen an der Device-Definition entstehen, wie bei einem defmod oder attr.

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Jamo

#209
Du kannst alternativ auch über ein defmod myBlitzer Blitzer 0 das update nur manuell, = disable machen und dann mit set myBlitzer Update den Update dann mit einem periodischen "at" nach deinen Vorgaben anstossen.
Oder über defmod myBlitzer Blitzer 10 dann das Interval ändern.

Ich mache das nur manuell (e.g. wenn ich das Haus verlasse / beim losfahren).
Bullseye auf iNUC, Homematic + HMIP(UART/HMUSB), Debmatic, HUEBridge, Zigbee/ConbeeII, FB, Alexa (fhem-lazy), Livetracking, LaCrosse JeeLink, LoRaWan / TTN / Chirpstack