Diskussion: Siri Neuheiten auf iOS 12 (Shortcuts App, Intents, Custom Responses)

[Thyraz]

Hallo zusammen,

soweit ich weiß ist hier außer mir ja noch der eine oder andere iOS Entwickler an Bord.
Evtl. hat sich ja der Eine oder Andere auch schon die Dokus dazu angesehen und ein paar nette Details bemerkt die man hier zum Besten geben kann.

Fangen wir mal mit dem Einfachsten an:

Siri Shortcuts
iOS 12 erlaubt benutzerdefinierte Texte als Shortcuts zu bestimmten Befehlen einer App.

In der WWDC Keynote haben sie dazu noch eine extra App vorgestellt, welche solche Befehle bereitstellt: Die Shortcuts App.
Hier wird man verschiedenste Funktionen zu einer Befehlskette zusammenfügen können um diese dann mit einem Sprachbefehl zu verknüpfen.
Hier können z.B. auch mehrere SmartHome-Befehle über Homekit mit eingebunden werden.

Bei mir werden in der Beta unter Einstellungen -> Siri & Suchen -> Shortcuts aber auch schon ohne die Shortcuts App einige Sachen angeboten.
Unter anderem die Workflow App, welche Apple ja letztes Jahr aufgekauft und scheinbar als Blaupause für ihre kommende Shortcuts App verwendet hat wenn man die UI vergleicht.

Ich hab in der Workflow App einen Workflow angelegt, welcher per "Get Contents of URL" einen POST Request an Fhem sendet um einen Dummy zu schalten.
Dazu dann einen Sprachbefehl "Dummy einschalten" in den Siri Settings angelegt und mit dem Workflow verknüpft.

Das Ganze funktioniert als kleiner Test so schon, hat aber ohne die iOS 12 spezifischen Anpassungen an der Workflow App aber noch den Nachteil, dass Siri die Aktion nicht im Hintergrund ausführen kann.
Siri öffnet also die Workflow App und lässt dort den Workflow ablaufen.

Dies bedeuted im Moment eben auch, dass das Gerät dafür entsperrt sein muss.
Startet man diesen Sprachbefehl vom Sperrbildschirm, wird man aufgefordert den Sperrcode einzugeben oder den Fingerabdruck zu scannen.

Dies wird sich ändern wenn die richtige Shortcuts App verfügbar ist bzw. Apps mit iOS 12 / Siri Optimierung direkt Shortcuts zur Verfügung stellen die im Hintergrund laufen können.

Mehr dazu später, wenn ich mich weiter durch die Doku gequält habe.

[Thyraz]

So weiter im Text.

Wie heute Morgen geschrieben können iOS12 Apps "Shortcuts" für Siri zur Verfügung stellen.

Die Apps legen dafür sogenannte Intents (das kennen wir doch von Alexa Skills ) mit ihren Definitionen an.
Die Intents können soweit ich das verstanden habe aber auch direkt angesprochen werden.

Interessant ist hier, dass die Intents nicht nur vorgefertigte Befehle beinhalten dürfen, sondern auch Parameter wie z.B. eine Zahl oder eigene Datentypen/Lists.

Wenn man direkt den Intent per Siri anspricht, sollten Dinge wie "Stelle die Anlage um 10 Prozent lauter" möglich sein.
Oder "Radio auf SWR3 umschalten" und der Intent hat dann eben eine Liste an möglichen Radiosendern.

Es sind dann auch Content-bezogene Antworten möglich.
Bei "Stelle die Anlage um 10 Prozent lauter" könnte also auch "Lautstärke ist schon voll aufgedreht" zurück kommen.


Mal sehen ob das wirklich so funktioniert wie ich das auf den ersten Blick sehe und ob damit wirklich komplett die Beschränkung welche Apps Siri verwenden dürfen gefallen ist.
Werde mir gegen später mal das Session Video von der WWDC zu Thema anschauen.

Aber im Moment sieht es so aus, als könnte man eine kleine App schreiben die FHEM per URL Aufrufen steuert und in der man sich dann seine Intents konfigurieren kann.
Oder eine noch einfachere App die ihre Daten aus einem Modul in FHEM zieht.
Dann könnte man dort die Intents und die Antworten pflegen, ähnlich wie Andre das bei AlexaFhem macht.

[Thyraz]

Gerade im Developer Forum gelesen, dass dies wohl doch nicht so geht wie erhofft.
Die Intents die eine normale App bereitstellt, lassen sich wahrscheinlich nicht direkt durch Siri aufrufen.

Das ist weiterhin nur bestimmten Apps erlaubt (z.B. Messaging Apps usw.).
Die Intents die nun jede App zur Verfügung stellen kann, lassen sich nur durch das erstellen von eingesprochenen Shortcuts in den Siri Settings nutzen.

Ich kann also ein Shortcut mit dem Text "Lautstärke auf Maximum" einsprechen der dann intern in der App "Stelle die Anlage auf 100 Prozent" triggert.
Auch ein "Anlage lauter" oder "Anlage leiser" wäre möglich.
Die Shortcuts können aber leider keine Variablen enthalten wie etwa eine 10 für 10 Prozent.

Ist dennoch ein Fortschritt, aber leider nicht ganz so flexibel wie erhofft.

"Schalt das Radio auf den nächsten Sender" ist halt nicht ganz so geschickt wie die direkte Senderwahl. 
Mal sehen wie das Ganze am Ende im Detail dann aussehen könnte.