Wecken je nach Verkehrslage z.B. durch Abfrage von google maps (o.ä.)

[schlupp]

ich habe mal geschaut, welche Dienste es noch gibt und wo man eine aktuelle Verkehrslage bzw. spätere Prognose bekommen kann:

maps.google.de – Achtung: kurz vor Umbau        https://www.google.de/maps/
        aktuelle Verkehrslage   ja – aber schwierig zu extrahieren?
        Prognose                      nein
        Web-API  frei                keine Verkehrslage
        Web-API business        Verkehrslage verfügbar in directions API

maps.adac.de                       http://maps.adac.de/
        aktuelle Verkehrslage   ja – aber schwierig zu extrahieren?
        Prognose                      ja, Zeitangabe möglich
        Web-API  frei                ???
        Web-API business        ???

here.com/directions             http://here.com/directions
        aktuelle Verkehrslage   ja – aber schwierig zu extrahieren?
        Prognose                      nein
        Web-API  frei                ??? – doku nur mit account
        Web-API business        ??? – doku nur mit account
        Besonderheit                deep-link routing ueber URL Pfad  z.B. für Hintertupfing -> Posemuckel: http://here.com/directions/drive/Hintertupfing/Posemuckel

m.here.com (mobil-version)      http://m.here.com/
        ??? Routenplanung verfügbar, geht aber nicht im Browser? (firefox, IE)

tomtom.com                          http://www.routes.tomtom.com
        aktuelle Verkehrslage   ja – aber schwierig zu extrahieren?
        Prognose                      ja, Zeitangabe möglich
        Web-API  frei                ???
        Web-API business        ???


autobahn NRW                      http://www.autobahn.nrw.de/
        aktuelle Verkehrslage    ja – aber Flash
        Prognose                      30, 60 min Flash
        Web-API  frei                 nein

autobahn NRW mobil              http://www.autobahn.nrw.de/mobil/
        aktuelle Verkehrslage     ja , grafisch
        Prognose                        ja, grafisch
        Web-API  frei                  ja, undokumentiert, grafisch?
        siehe                              http://blog.offeneskoeln.de/2013/03/apis-strassen-nrw/


maps.bing.de                    http://www.bing.com/maps/?mkt=de-de
        keine Verkehrslage und Prognose
        Verkehr grafisch

via-michelin                    http://www.viamichelin.de/web/Routenplaner
        keine Verkehrslage und Prognose
        Verkehr grafisch

falk.de                                http://www.falk.de/
        keine Verkehrslage und Prognose
        Verkehr grafisch

klicktel.de
        keine Verkehrslage und Prognose

openstreetmap
        keine Verkehrslage und Prognose

d.h. google, adac, here und tomtom kommen prinzipiell in Frage, sind aber alle nicht einfach so per API erreichbar
HTTPMOD auf die Standard-URL liefert häufig den gesuchten Wert nicht im buffer zurück - oder ich mache etwas falsch.

[StefanStrobel]

Wenn die gesuchten Werte bei einer Abfrage per HTTPMOD auf die Einstiegs-URL nicht im Puffer (buf) landen, dann könnte das daran liegen, dass die erste HTML-Seite die Daten tatsächlich nicht enthält sondern diese erst dynamisch nachläd...
Die Herausforderung besteht dann darin herauszufinden, mit welchen Abfragen / Parametern man direkt an die Werte kommt.
Ich würde empfehlen das mit einem lokalen Proxy wie der BurpSuite genauer anzusehen. Da sieht man dann die einzelnen Requests und Responses, die zwischen Browser und Server hin- und hergehen.

Gruss
   Stefan

[mi.ke]

Also ich lasse seit heute morgen die Abfrage alle 5 Minuten  über die URL laufen
und hatte nur 3 mal keinen Wert im Reading.

Code Auswählen Erweitern


https://maps.google.de/maps?saddr=START_STRASSE+NR,+START_STADT&daddr=ZIEL_STRASSE+HAUSNUMMER,+ZIEL_STADT&hl=de 300

Funktioniert so gut , dass ich gerade den Rückweg auch eingebaut habe . . .

Was ich bei HTTPMOD vermisse, ist die Möglichkeit temporär zu deaktivieren z.B. mit

Code Auswählen Erweitern

attr TI disable 1

dann könnte die Abfrage "Hinfahrt" morgens eine Stunde laufen
und die Rückfahrt abends, natürlich nur unter der Woche.

Ansonsten bin ich total happy damit . . .

[Steffen]

Hallo!

Bei mir klappt es auch mit:

Code Auswählen Erweitern

https://maps.google.de/maps?saddr=Ragow&daddr=52.3758212,13.1500601+to:Albert-Einstein-Ring,+Kleinmachnow&ll=52.348344,13.355942&spn=0.258796,0.617294&sll=52.348333,13.380251&sspn=0.258796,0.617294&geocode=FbvcHQMd9rHOACkNb6VQiz-oRzEWzWC5_FNfJA%3BFQ0xHwMdbKfIACk_B-HlH1-oRzFwnK5Bv8thOw%3BFQGvHwMdyjzJACk7U54tOlmoRzEV3ANBeDesKQ&oq=Alber&mra=ls&t=m&z=11&via=1 360

Nun habe ich auch HTTPMOD(Ragow_Kleinmachnow) das "State" vom Verkehr mitgegeben, nun wollte ich das "State" von "Ragow_Kleinmachnow" an einem dummy übergeben aber irgendwie mache ich was falsch, vielleicht hat ja einer von euch eine Idee warum es mit dieser Code nicht geht:

Code Auswählen Erweitern

define Verkehr1 notify Ragow_Kleinmachnow { \
my $s=fhem {Value("Ragow_Kleinmachnow")};; \
fhem ("set Schlafen $s");; \
}
der Dummy "Schlafen" ist nur zum Test!

Aber Danke schon mal für diese Tolle Lösung zum Abfragen, sowas hatte ich schon immer gesucht!

Mfg Steffen

[netbus]

Verratest du uns noch welche Regex du verwendest?

Code Auswählen Erweitern

attr TI readingsRegex1 ([\d]+) Minuten
attr TI readingsRegex2 (Bei aktueller Verkehrslage: ([\d]+) Minuten
funktioniert nicht

[mi.ke]

@Steffen

gib mal Deine URL im Browser ein.
Dann wirst Du feststellen, das dort keine Verkehrslage angegeben wird.

Wenn in der Vorlage das Ergebnis nicht steht, ist es halt nicht zu finden.



@netbus

Verratest du uns noch welche Regex du verwendest?

Code Auswählen Erweitern

attr TI readingsRegex1 ([\d]+) Minuten
attr TI readingsRegex2 (Bei aktueller Verkehrslage: ([\d]+) Minuten

Habe ich doch schon veraten

funktioniert nicht

URL nicht API
...und in der Vorlage muss natürlich das Ergebnis stehen

[netbus]

@netbusHabe ich doch schon veraten :-)URL nicht API
...und in der Vorlage muss natürlich das Ergebnis stehen

Ich verwende die URL und nicht API 
Und in jedem Regex tester wirst du sehen dass das eine unzulässige regex ist

Code Auswählen Erweitern

attr TI readingsRegex2 (Bei aktueller Verkehrslage: ([\d]+) Minuten

[Steffen]

@Steffen

gib mal Deine URL im Browser ein.
Dann wirst Du feststellen, das dort keine Verkehrslage angegeben wird.

Ok, aber es klappt ja bei mir:

Code Auswählen Erweitern


Readings
Standard 30 2014-02-18 09:25:31
Verkehr  31  2014-02-18 09:25:31


State ist ja bei mir auch:

Code Auswählen Erweitern

STATE 31

Hier auch nochmal meine attr:

Code Auswählen Erweitern


readingsName1 Standard
readingsName2 Verkehr
readingsRegex1 ([\d]+) Minuten
readingsRegex2 Bei aktueller Verkehrslage: ([\d]+) Minuten
stateFormat Verkehr


Mir ging es ja nur darum wie ich diesen "State Wert" an einem Dummy übergeben könnte???

Mfg Steffen

[mi.ke]

@ Steffen
Reading kein Value

my $Minuten= ReadingsVal("TI", "Minuten", "99")

@netbus
Sorry,ohne führende (
NICHT :   
attr TI readingsRegex2 (Bei aktueller Verkehrslage: ([\d]+) MinutenSONDERN :
attr TI readingsRegex2 Bei aktueller Verkehrslage: ([\d]+) Minuten

[netbus]

Code Auswählen Erweitern

define Verkehr1 notify Ragow_Kleinmachnow { \
my $s=fhem {Value("Ragow_Kleinmachnow")};; \
fhem ("set Schlafen $s");; \
}

Da die Werte in die Readings geschrieben werden wirst du im State nichts sehen.
Probier mal

Code Auswählen Erweitern


define Verkehr1 notify Ragow_Kleinmachnow { \
my $s= ReadingsVal("Ragow_Kleinmachnow","Verkehr",0)};; \
fhem ("set Schlafen $s");; \
}

[schlupp]

Bei mir geht's immer noch nicht.

Ich bekomme auch mit dem Beispiel

Code Auswählen Erweitern

https://maps.google.de/maps?saddr=Ragow&daddr=52.3758212,13.1500601+to:Albert-Einstein-Ring,+Kleinmachnow&ll=52.348344,13.355942&spn=0.258796,0.617294&sll=52.348333,13.380251&sspn=0.258796,0.617294&geocode=FbvcHQMd9rHOACkNb6VQiz-oRzEWzWC5_FNfJA%3BFQ0xHwMdbKfIACk_B-HlH1-oRzFwnK5Bv8thOw%3BFQGvHwMdyjzJACk7U54tOlmoRzEV3ANBeDesKQ&oq=Alber&mra=ls&t=m&z=11&via=1 360

immer noch einen leeren buffer zurück und im logfile steht HTTPMOD got error in callback: [URL] empty answer received - also genauer:

Code Auswählen Erweitern

2014.02.18 19:36:02 3: HTTPMOD got error in callback: https://maps.google.de/maps?saddr=Ragow&daddr=52.3758212,13.1500601+to:Albert-Einstein-Ring,+Kleinmachnow&ll=52.348344,13.355942&spn=0.258796,0.617294&sll=52.348333,13.380251&sspn=0.258796,0.617294&geocode=FbvcHQMd9rHOACkNb6VQiz-oRzEWzWC5_FNfJA%3BFQ0xHwMdbKfIACk_B-HlH1-oRzFwnK5Bv8thOw%3BFQGvHwMdyjzJACk7U54tOlmoRzEV3ANBeDesKQ&oq=Alber&mra=ls&t=m&z=11&via=1: empty answer received

Könnte das u.U. am https liegen? Wie finde ich das raus? Muss ich da evtl. auf dem RPi noch etwas anstellen, damit https geht? (bein den anderen Diensten mit http kommt zumindest irgend etwas zurück - wenn auch nicht das, was ich will)

Oder was genau muss ich beim requestHeader1...requestHeaderX angeben?

[netbus]

Rufe doch mal im Browser deine URL auf und du wirst sehen

• du bekommst keine Fahrzeit weil
• du drei Destinations angibts
• ich verwende auch den RPi ohne extra Plugins oder sonstiges

Probiere mal diese Url

Code Auswählen Erweitern

https://maps.google.at/maps?saddr=ragow&daddr=Albert-Einstein-Ring,+Kleinmachnow&hl=de&sll=52.288699,13.545974&sspn=0.060376,0.154324&geocode=FbvcHQMd9rHOACkNb6VQiz-oRzEWzWC5_FNfJA%3BFQGvHwMdyjzJACk7U54tOlmoRzEV3ANBeDesKQ&t=h&mra=ls&z=11&via=1

[schlupp]

an der URL liegt es nicht - ich wollte nur mal die von Steffen probieren, die bei ihm wohl klappt.
Bei mit geht selbst mein ganze simples HH->OB Beispiel nicht

Code Auswählen Erweitern

define route_HH_OB HTTPMOD http://maps.google.de/maps?saddr=hamburg&daddr=oberhausen&hl=de 360
und liefert genau wie deine den leeren Buffer und obigen Fehler.

BTW: Mein RPi läuft mit raspbmc, SSL ist standardmäßig installiert (aber nicht im FHEM cert - siehe wiki: http://www.fhemwiki.de/wiki/Raspberry_Pi_%26_HTTPS )

[schlupp]

so, der erste Schritt wäre getan: Ich habe die Abfrage für google, tomtom und here umgesetzt. Bei google war es etwas tricky: die Abfrage, die bei anderen funktioniert, gab bei mir immer einen leeren buffer.

Zur Analyse habe ich keinen Proxy installiert, sondern einfach die "Netzwerkanalyse" vom Firefox bemüht (zu finden im Menü unter "Web-Entwickler") und dann mit https://www.debuggex.com/ an der regexp gebastelt.

Hier der Code für google, tomtom und zwei verschiedene Einstellungen für here anhand des Beispiels HH->OB (nein, das ist nicht meine tägliche Strecke. Von Beileidsbekundungen und despektierlichen Kommentaren über Oberhausen bitte ich abzusehen ):

Code Auswählen Erweitern



define route_HH_OB_here0 HTTPMOD http://route.cloud.api.here.com/routing/7.2/calculateroute.json?routeattributes=sh,wp,sm,bb,lg,no&maneuverattributes=po,ix,tt,le,rn,nr,ru,nu,sp,ac,bt,tm&linkattributes=&legattributes=&jsonAttributes=41&verboseMode=5&metricSystem=metric&alternatives=2&waypoint0=geo!53.55334,9.99247&waypoint1=geo!51.46945,6.85509&language=de_DE&mode=fastest;;car;;traffic:disabled;;&app_id=SqE1xcSngCd3m4a1zEGb&token=r0sR1DzqDkS6sDnh902FWQ&requestId=1 595
attr route_HH_OB_here0 group Verkehrslage
attr route_HH_OB_here0 readingsExpr1 $val / 1000
attr route_HH_OB_here0 readingsExpr2 $val / 60
attr route_HH_OB_here0 readingsExpr3 $val / 60
attr route_HH_OB_here0 readingsExpr4 $val / 60
attr route_HH_OB_here0 readingsName1 distance
attr route_HH_OB_here0 readingsName2 trafficTime
attr route_HH_OB_here0 readingsName3 baseTime
attr route_HH_OB_here0 readingsName4 travelTime
attr route_HH_OB_here0 readingsRegex1 "summary":.+"distance":([\d]+)
attr route_HH_OB_here0 readingsRegex2 "summary":.+"trafficTime":([\d]+)
attr route_HH_OB_here0 readingsRegex3 "summary":.+"baseTime":([\d]+)
attr route_HH_OB_here0 readingsRegex4 "summary":.+"travelTime":([\d]+)
attr route_HH_OB_here0 room Verkehr
attr route_HH_OB_here0 stateFormat {sprintf("Entfernung %.0f km, Verkehr %.0f Min, Reise %.0f Min, Verzögerung %.0f Min", ReadingsVal($name,"distance",0), ReadingsVal($name,"trafficTime",0), ReadingsVal($name,"travelTime",0), ReadingsVal($name,"delayTime",0))}
attr route_HH_OB_here0 userReadings delayTime { ReadingsVal($name,"trafficTime",0) - ReadingsVal($name,"travelTime",0);; }
define FileLog_route_HH_OB_here0 FileLog ./log/route_HH_OB_here0-%Y-%m.log route_HH_OB_here0
attr FileLog_route_HH_OB_here0 room Verkehr
define SVG_route_HH_OB_here0 SVG FileLog_route_HH_OB_here0:traffic:CURRENT
attr SVG_route_HH_OB_here0 group Verkehrsverlauf
attr SVG_route_HH_OB_here0 room Verkehr

define route_HH_OB_here1 HTTPMOD http://route.cloud.api.here.com/routing/7.2/calculateroute.json?routeattributes=sh,wp,sm,bb,lg,no&maneuverattributes=po,ix,tt,le,rn,nr,ru,nu,sp,ac,bt,tm&linkattributes=&legattributes=&jsonAttributes=41&verboseMode=5&metricSystem=metric&alternatives=2&waypoint0=geo!53.55334,9.99247&waypoint1=geo!51.46945,6.85509&language=de_DE&mode=fastest;;car;;traffic:enabled;;&app_id=SqE1xcSngCd3m4a1zEGb&token=r0sR1DzqDkS6sDnh902FWQ&requestId=1 610
attr route_HH_OB_here1 group Verkehrslage
attr route_HH_OB_here1 readingsExpr1 $val / 1000
attr route_HH_OB_here1 readingsExpr2 $val / 60
attr route_HH_OB_here1 readingsExpr3 $val / 60
attr route_HH_OB_here1 readingsExpr4 $val / 60
attr route_HH_OB_here1 readingsName1 distance
attr route_HH_OB_here1 readingsName2 trafficTime
attr route_HH_OB_here1 readingsName3 baseTime
attr route_HH_OB_here1 readingsName4 travelTime
attr route_HH_OB_here1 readingsRegex1 "summary":.+"distance":([\d]+)
attr route_HH_OB_here1 readingsRegex2 "summary":.+"trafficTime":([\d]+)
attr route_HH_OB_here1 readingsRegex3 "summary":.+"baseTime":([\d]+)
attr route_HH_OB_here1 readingsRegex4 "summary":.+"travelTime":([\d]+)
attr route_HH_OB_here1 room Verkehr
attr route_HH_OB_here1 stateFormat {sprintf("Entfernung %.0f km, Verkehr %.0f Min, Reise %.0f Min, Verzögerung %.0f Min", ReadingsVal($name,"distance",0), ReadingsVal($name,"trafficTime",0), ReadingsVal($name,"travelTime",0), ReadingsVal($name,"delayTime",0))}
attr route_HH_OB_here1 userReadings delayTime { ReadingsVal($name,"trafficTime",0) - ReadingsVal($name,"travelTime",0);; }
define FileLog_route_HH_OB_here1 FileLog ./log/route_HH_OB_here1-%Y-%m.log route_HH_OB_here1
attr FileLog_route_HH_OB_here1 room Verkehr
define SVG_route_HH_OB_here1 SVG FileLog_route_HH_OB_here1:traffic:CURRENT
attr SVG_route_HH_OB_here1 group Verkehrsverlauf
attr SVG_route_HH_OB_here1 room Verkehr

define route_HH_OB_tomtom HTTPMOD http://routes.tomtom.com/lbs/services/route/1/53.5538,9.99156:51.46958,6.86597/Quickest/json/1e2099c7-eea9-476b-aac9-b20dc7100af1;;language=de;;avoidTraffic=true;;includeTraffic=true;;day=today;;time=now;;iqRoutes=2;;trafficModelId=1393106260406;;map=basic 615
attr route_HH_OB_tomtom group Verkehrslage
attr route_HH_OB_tomtom readingsExpr1 $val / 1000
attr route_HH_OB_tomtom readingsExpr2 $val / 60
attr route_HH_OB_tomtom readingsExpr3 $val / 60
attr route_HH_OB_tomtom readingsName1 distance
attr route_HH_OB_tomtom readingsName2 travelTime
attr route_HH_OB_tomtom readingsName3 delayTime
attr route_HH_OB_tomtom readingsRegex1 "totalDistanceMeters":([\d]+)
attr route_HH_OB_tomtom readingsRegex2 "totalTimeSeconds":([\d]+)
attr route_HH_OB_tomtom readingsRegex3 "totalDelaySeconds":([\d]+)
attr route_HH_OB_tomtom room Verkehr
attr route_HH_OB_tomtom stateFormat {sprintf("Entfernung %.0f km, Verkehr %.0f Min, Reise %.0f Min, Verzögerung %.0f Min", ReadingsVal($name,"distance",0), ReadingsVal($name,"trafficTime",0), ReadingsVal($name,"travelTime",0), ReadingsVal($name,"delayTime",0))}
attr route_HH_OB_tomtom userReadings trafficTime { ReadingsVal($name,"travelTime",0) + ReadingsVal($name,"delayTime",0);; }
define FileLog_route_HH_OB_tomtom FileLog ./log/route_HH_OB_tomtom-%Y-%m.log route_HH_OB_tomtom
attr FileLog_route_HH_OB_tomtom room Verkehr
define SVG_route_HH_OB_tomtom SVG FileLog_route_HH_OB_tomtom:traffic:CURRENT
attr SVG_route_HH_OB_tomtom group Verkehrsverlauf
attr SVG_route_HH_OB_tomtom room Verkehr

define route_HH_OB_google HTTPMOD https://www.google.de/maps/preview/directions?fp=1&srv=dir&authuser=0&hl=de&pb=!1m5!1sHamburg!2s0x47b161837e1813b9%3A0x4263df27bd63aa0!3m2!3d53.551084599999996!4d9.9936818!1m2!1sOberhausen!13sBChIJGYNsLEHruEcRrmqObbRKUuc%3D!3m12!1m3!1d1064732.1526667867!2d7.663988700000001!3d51.427085250000005!2m3!1f0!2f0!3f0!3m2!1i1223!2i642!4f13.1!8m0!15m4!1sJx4JU_7jFI2W0QWe_4CwDQ!4m1!2i5361!7e81!20m28!1m6!1m2!1i0!2i0!2m2!1i450!2i642!1m6!1m2!1i1173!2i0!2m2!1i1223!2i642!1m6!1m2!1i0!2i0!2m2!1i1223!2i20!1m6!1m2!1i0!2i622!2m2!1i1223!2i642 620
attr route_HH_OB_google group Verkehrslage
attr route_HH_OB_google readingsExpr1 $val / 1000
attr route_HH_OB_google readingsExpr2 $val / 60
attr route_HH_OB_google readingsExpr3 $val / 60
attr route_HH_OB_google readingsName1 distance
attr route_HH_OB_google readingsName2 travelTime
attr route_HH_OB_google readingsName3 trafficTime
attr route_HH_OB_google readingsRegex1 \[([\d]+),"[\d]+
attr route_HH_OB_google readingsRegex2 \[([\d]+),"[\d]+ [Std. Min.]+
attr route_HH_OB_google readingsRegex3 \[\[([\d]+),"[\d]+ [Std. Min.]+
attr route_HH_OB_google room Verkehr
attr route_HH_OB_google stateFormat {sprintf("Entfernung %.0f km, Verkehr %.0f Min, Reise %.0f Min, Verzögerung %.0f Min", ReadingsVal($name,"distance",0), ReadingsVal($name,"trafficTime",0), ReadingsVal($name,"travelTime",0), ReadingsVal($name,"delayTime",0))}
attr route_HH_OB_google userReadings delayTime { ReadingsVal($name,"trafficTime",0) - ReadingsVal($name,"travelTime",0);; }
define FileLog_route_HH_OB_google FileLog ./log/route_HH_OB_google-%Y-%m.log route_HH_OB_google
attr FileLog_route_HH_OB_google room Verkehr
define SVG_route_HH_OB_google SVG FileLog_route_HH_OB_google:traffic:CURRENT
attr SVG_route_HH_OB_google group Verkehrsverlauf
attr SVG_route_HH_OB_google room Verkehr



Als nächstes kommt Schritt 2: Wie baut man daraus jetzt einen intelligenten Wecker?

[tommel]

Hi Schlupp,

vielleicht liest du das ja noch oder ggfs. kann mir jemand anders helfen. Ich verstehe alles soweit und mit TomTom klappt es auch wunderbar, allerdings bekomme ich keine brauchbare Google URL heraus Ich habe es mit vielen eigenen versucht und auch mir über deinen Link etwas zusammenzubauen. Auch habe ich mich am Netzwerkanalyse Tool von Firefox versucht bekomme aber keine sinnvollen Ergebnisse.

Kannst du oder jmd. anders mir bitte sagen, wie ich eine sinnvolle URL für google hinbekomme? Bei TomTom finde ich es schade, dass ich keine alternative Route auswählen kann sondern er mir immer eine zwingend vorgibt - diese möchte ich bei meinem Arbeitsweg allerdings gar nicht fahren!

Außerdem glaube ich das bei TomTom die Route geändert wird, sobald dort "Stau" ist - d.h. wenn ich mich auf die DelayTime verlasse bin ich auch verloren, weil die ist ja dann wieder geringer und ich merke die Warnung gar nicht.

Danke schonmal!

Gruß
Thomas