FHEM Forum

FHEM => Frontends => Sprachsteuerung => Thema gestartet von: CoolTux am 01 August 2017, 13:56:05

Titel: FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 01 August 2017, 13:56:05
Hallo,

Die neue AMAD Version 4.0 AMADNG bietet an sich nichts neues für die Sprachsteuerung auf AMAD Basis. Third Part Module hingeben haben nun die Möglichkeit sich an die Readings der CommBridge zu hängen. Hierfür müssen entsprechende Attribute gesetzt werden.

Wer weiterhin seine AMAD Sprachsteuerflows verwenden möchte muß nichts weiter groß ändern. Einzig die Variablen für die Rückgabewerte haben sich geändert. Eine Übersicht diesbezüglich gibt es im Wiki zu AMAD

Anbei ein Flowset welches Euch einen Überblick über die Möglichkeiten geben soll wie man mittels Sprachbefehl Bsp. "Ok Google" "schalte das Licht am Esstisch im Wohnzimmer an" FHEM Geräte steuern kann.

Voraussetzung


Support für

Bitte schaut Euch die einzelnen Flows genau an und ändert entsprechend die Variablen so wie Ihr sie benötigt.

Bei Fragen einfach hier melden


Video: Google steuert Kaffeemaschine (https://www.youtube.com/watch?v=d72bZ-V4TmE)


Eine Flowsetsammlung wird es die Tage von mir geben


Grüße
Leon
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Banis am 14 September 2017, 17:50:22
Hallo zusammen,

ich habe mir nun auch Autovoice auf meinem OnePlus3 (Android 7.1.1) installiert und die Google Now integration aktiviert.

Wenn ich nun OK Google sage und einen entsprechenden Befehl auswähle wird der Befehl leider nicht ausgeführt sonder nur nach dem Befehl in Google gesucht.

Wenn ich in Autovoice die Option AutoVoice Continuos aktiviere, funktionieren die Befehle, sogar ohne OK Google, aber dann funktionier Google Now nicht mehr.

Mach ich was falsch oder hängt das mit der aktuellen Android Version zusammen?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 14 September 2017, 18:06:06
Hast Du den Flows importiert oder Dir selber Flows erstellt? Ist die RegEx für den Trigger korrekt?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Banis am 14 September 2017, 20:33:04
Ich hab eigene Flows erstellt. Und funktionieren tut das ganze ja auch wenn wenn ich die Einstellungen in AutoVoice ändere, nur leider eben nicht mir Ok Google und das sollte doch eigentlich funktionieren oder?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 14 September 2017, 21:03:56
Das tut es auch. Mach mal bitte ein Screen von Deinem Trigger. Welchen hast Du genommen? Und ein Screen von der RegEx oder der Commands.

Verwendest Du den Weg über die AMADCommBridge oder machst Du einen eigenen http Request Aufruf?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Banis am 15 September 2017, 10:47:58
Ich hab den Trigger Plugin Ereignis AutoVoice Recognized genommen.

Der Weg geht bei mir über das AndFHEM plugin.

Hier die Screenshots, ich hoff das ist das was du brauchst. Wenn was fehtl einfach nochmal melden.

Vielen Dank schon mal.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 15 September 2017, 10:56:40
Ok das sieht erstmal gut aus. Einzig was mir auffällt ist das Du anscheinend eine Trail Version hast von AutoVoice, kann das sein. Wird denn so gar nicht getriggert?

Kleiner Tip, da das ganze so gar nichts mit AMAD zu tun hat würde ich Dir empfehlen einen eigenen Thread auf zu machen hier unter Sprachsteuerung damit andere das besser finden und helfen können.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Banis am 15 September 2017, 11:09:20
Danke für die Info. Ja ich hab ne Trail Version, die einzige Einschränkung ist hier meines Wissens aber, dass ich nur 7 Tage testen kann.

Ne es wird nichts getriggerd nur wenn ich in Autovoice die Option AutoVoice Continuos aktiviere wird getriggerd.

Danke für deine Hilfe, ich mach mal einen eigenen Thread auf.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Badflex am 28 September 2017, 18:48:28
Ich hatte mal irgendwo den Flow Licht und Steckdosen schalten per Sprache importiert und angepasst.
Habe jetzt auf AmadNg geupdatet.
Wenn ich jetzt einen Sprachbefehl sage z.B. Schalte die Stehlampe im Wohnzimmer an, antwortet mir Google immer" Die Stehlampe im Wohnzimmer habe ich auf null gestellt.
Dabei ist es egal ob ich an,aus,ein etc. Sage.
Was hab ich verändert das es nicht mehr geht?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 28 September 2017, 18:54:12
Die Variable des Response hat sich geändert. Statt glaube Response heißt sie nun
respreadingsval
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 22 November 2017, 00:05:56
Ich habe ein aktuelles Beispielflowset angehängt.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: mar5 am 06 Dezember 2017, 14:33:19
Hallo,

ich benutze AMAD über Autovoice/Automagic - Plugin VoiceControl mit Trigger "Autovoice OK Google Now". Den Rest erledige ich in FHEM.

Hier ist mein Notify, der alle Sprachfehle parsed. Auf diese Weise muss ich die Software auf den Handys nur einmal einrichten.

AMADBridge:receiveVoiceCommand:.* {
my $v = $EVENT =~ s/receiveVoiceCommand: //r;;
fhem "set Sensor_receiveVoiceCommand $v";

my $r1 = "wie an";
my $r2 = "wie ein";
my $r3 = "wie on";
my $r4 = "wie aus";
my $r5 = "wie off";
if ($r1 eq $v || $r2 eq $v || $r3 eq $v) {
  fhem "set Etekcity_1 on";
  return;
} elsif ($r4 eq $v || $r5 eq $v) {
  fhem "set Etekcity_1 off";
  return;
}


my $r1 = "fritzbox restart";
my $r2 = "fritzbox neustart";
if ($r1 eq $v || $r2 eq $v) {
  fhem "set Etekcity_3 off-for-timer 10";
  return;
}

fhem "set Mi5_M ttsMsg 'Hey   $v gibt es nicht'";
}
attr notify_AMAD_Voice room AMAD
define Sensor_receiveVoiceCommand dummy
attr Sensor_receiveVoiceCommand room AMAD


Danke für diesen Weg der Spracherkennung. Beinahe hätte ich Alexa genommen. "OK Google" heißt bei mir zu Haus wenigstens keiner :-).

Grüße,
Mar
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: grossmaggul am 16 Juni 2018, 17:58:05
Hallo,

ich versuche mich auch gerade an der Sprachsteuerung, scheitere aber schon daran, meine Befehle an Autovoice durchzureichen.
Wenn ich Google now nehme, dann kann ich zwar die Sprachsteuerung mit "OK Google" starten, muß aber immer "Frage Autovoice" voranstellen, damit die Befehle von Autovoice verarbeitet werden. Schalte ich als Voice Assist Autovoice ein, reagiert das Tablet nicht mehr auf "OK Google".
Wie muß man das denn einstellen, damit das klappt.
Continuous ist auch keine Alternative, da dann ständig das Tablet reagiert wenn man sich z.B. unterhält.(Das Ding steht im Wohnzimmer)

Vielleicht kann mir jemand helfen.

gm
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 16 Juni 2018, 19:06:56
Ich gehe mal davon aus das Du nicht Google Now hast sondern den Assistenten. Deswegen das Frage AutoVoice.

Die hier vorgestellte Variante geht mit dem Assistenten nicht.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: grossmaggul am 17 Juni 2018, 00:22:58
Ich war eigentlich davon ausgegangen, daß ich Google Now habe, ist ein Lenovo Tab2 10-30 mit Android 6.irgendwas.
Ich bin noch nicht so androidfirm, da ich normalerweise Apfelbenutzer bin, wo kann ich denn sehen ob Google now funktioniert?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 17 Juni 2018, 00:33:27
Es gibt eine App Google, öffne sie mal und mach ein Screenshot. Häng es hier ran.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: grossmaggul am 17 Juni 2018, 10:12:15
Ich hoffe, ich habe die richtige Google App erwischt.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 17 Juni 2018, 10:32:16
Das letzte bitte löschen. Da sind persönliche Daten von Dir.

Sieht für mich nach Assistant aus. Das ist dann nicht mehr so einfach mit der Sprachsteuerung.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: grossmaggul am 17 Juni 2018, 10:37:16
ZitatDa sind persönliche Daten von Dir.
Nö, nicht wirklich, Mülladresse und Pseudonym.

ZitatDas ist dann nicht mehr so einfach mit der Sprachsteuerung.
Deshalb habe ich mir so einen abgebrochen.:-/
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 17 Juni 2018, 12:15:36
Generelles Vorgehen wäre.
Tablet oder Handy immer im Haus
AMAD auf FHEM
Natural Language in AutoVoice
auf console.dialogflow.com alles einrichten.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: grossmaggul am 17 Juni 2018, 12:33:59
O.K., danke, Punkt eins und zwei sind schon erfüllt, jetzt muß ich mich nur noch mit drei und vier auseinandersetzen.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: AET_FHEM am 12 Juli 2018, 08:12:44
Hallo,

ich versuch mich mal wieder an der Sprachsteuerung, aber ich bekomm es nicht eingestellt.
=> hab mir schon die Alexa Sache überlegt, mach mich aber ungern abhängig von einem Hersteller, daher versuche ich mich noch einmal an dem Projekt Autovoice & Automagic     aber ich benötige start hilfe kleines How to wäre super :-)

AMAD läuft Version 4.2.3
AutoVoice V 3.5.3.bf2
Android 8.0

wenn ich den FLow VoiceControl starte kann ich Kommandos an fhem --> AMADCommBridge übertragen
das klappt alles, aber wie komm ich von "OK Google" über AutoVoice zu Automagic oder geht das ganze auch ohne OK Google ....?
und wie geht das mit
Zitat von: CoolTux am 17 Juni 2018, 12:15:36
Natural Language in AutoVoice
auf console.dialogflow.com alles einrichten.

Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 12 Juli 2018, 09:31:21
Das Problem ist das eigentlich fast alle Geräte nun den Assistenten haben und nicht mehr Google Now. Das geht es nicht mehr so wie im Eingangsthread beschrieben.
AutoVoice unterstützt aber Natural Language und das kann man mit etwas Einarbeitung sehr gut nutzen.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: AET_FHEM am 12 Juli 2018, 10:36:46
OK das erklärt ein paar dinge ...

ich hab jetzt Natural Language aktiviert (die Tokens von Ddialflow eingetragen)

Am Handy autovoice als Assistent-App eigetragen

=> wie geht es jetzt weiter kannst du mir da eine Starthilfe geben?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 12 Juli 2018, 12:01:42
Zitat von: AET_FHEM am 12 Juli 2018, 10:36:46
Am Handy autovoice als Assistent-App eigetragen

Das ist unwichtig. Jetzt musst Du in Dialogflow unter Integrations Google Assistent hinzufügen.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: AET_FHEM am 12 Juli 2018, 16:57:28
OK ist Integriert,

wenn ich jetzt OK Google sage und sage "mit sweet home sprechen" öffnet er die Testversion .....
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 12 Juli 2018, 18:49:59
Sag mal lieber "mit AutoVoice sprechen" was passiert dann?
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: AET_FHEM am 12 Juli 2018, 19:16:55
ja schon mal ganz gut => er sagt "Nenne deinen AutoVoice-Befehl

und der übergibt das an Automagic, so geht das schon mal aber geht das auch einfacher, ich will ja nicht immer
OK Google --> mit AutoVoice sprechen --> befehl sagen ~> Das ist ja umständlich...
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 12 Juli 2018, 19:32:49
Zitat von: AET_FHEM am 12 Juli 2018, 19:16:55
ja schon mal ganz gut => er sagt "Nenne deinen AutoVoice-Befehl

und der übergibt das an Automagic, so geht das schon mal aber geht das auch einfacher, ich will ja nicht immer
OK Google --> mit AutoVoice sprechen --> befehl sagen ~> Das ist ja umständlich...

Öffne die Google Assistant App-
Verknüpfungen -> neue Verknüpfung ->
Wenn ich folgendes sage
smarthome

Google Assistent soll folgendes tun
frage Autovoice welcome



Du startest das ganze dann mit "Ok Google Smarthome"


Das welcome ist ein besonderer Intent den ich angelegt habe, dieser fragt mich dann zurück. "Was kann ich für Dich tun?"

Siehe Screen
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: AET_FHEM am 12 Juli 2018, 21:07:37
OK

im Dialogflow
Action and parameters -> welcome @welcome $welcome und Promts angelegt

und im Google Assistent:
eine Verknüpfung angelegt
Wenn ich Folgendes sage Smart Home / Smarthome / smarthome
Folgendes tun:
Frage autovoice welcome

aber wenn ich jetzt sage OK Google smarthome
-> öffnet sich google assistent
     und sendet das an autovoice
             ich bekomme die Meldung "Befehl gesendet: welcome --> AutoVoice hat die Unterhaltung verlassen

in Dialogflow sehe ich bei History
user          welcome
Agent        No matched intent

Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Gisbert am 07 Oktober 2018, 17:08:10
Hallo,

ich komme hier nicht weiter und finde leider keine verständlichen Anleitungen.

In dialogflow habe ich Agenten "AutoVoice" mit der der "Description" "Natural Language for AutoVoice" angelegt.
Den Client access token und den Developer access token habe ich der AutoVoice-App eingetragen.
Weiter bin ich nicht gekommen.

Was muss ich tun um Sprachbefehle (nach "Ok Google") an Automagic zu übergeben?
Ich finde leider einfachen Anleitungen dazu.

Gibt es andere Möglichkeiten Spracheingaben zu machen, die Automagic umsetzen kann?

Viele Grüße Gisbert
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 07 Oktober 2018, 18:18:54
Wenn Du die Token eingetragen hast dann weißt Du doch was Du wie machen musst. Als nächstes musst Du Intents und Entities erstellen.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Gisbert am 07 Oktober 2018, 19:18:54
Hallo CoolTux,
Danke für die rasche Antwort.
ZitatAls nächstes musst Du Intents und Entities erstellen.
Das dachte ich mir schon, ich habe aber nicht die blasseste Idee, wie ich hier weitermachen kann.

Ich hab jetzt einige Videos angeschaut, ich habe danach aber immer noch keine Idee.
In den Videos bei Dialogflow geht es anscheinend darum Termine in einem Bikeshop auszumachen, sehr schön, aber wie bringe ich damit Autovoice bei, Flows in Automagic auszuführen?
Ohne konkrete Anleitung bin ich überfordert.

Viele Grüße Gisbert
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 07 Oktober 2018, 20:59:07
Im Dialogflow aktivierst Du erstmal unter Integrations den Google Assistant.
Unter Entities legst Du Aliases an. Zum Beispiel @powertoggle. Darin legst Du dann fest was aus Deinen Worten für das System wird. Hier legst Du also fest was von Deinen Worten erkannt werden soll und in was es dann gewandelt werden soll damit Automagic es weiter verarbeiten kann.
Ich verwende zum Beispiel @Aliases. Das ist eine Verknüpfung zu meinen Alias in FHEM.

Dann legst Du Intents an. Hier kommen Deine Beispielsätze rein und wie darauf reagiert werden soll.

Schau Dir die Bilder an.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: Gisbert am 07 Oktober 2018, 22:56:16
Hallo CoolTux,

Vielen Dank für die Bilder und Erklärungen.
Die Zielsetzung ist mir schon in etwa klar, aber im Detail verstehe ich vermutlich noch gar nichts.
Ich befürchte, dass ich das Thema vorerst ruhen lassen muss, und auf allgemein verständliche Schritt-für-Schritt-Anleitungen warten muss.

Viele Grüße Gisbert
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: hesc am 14 Dezember 2018, 14:18:34
Hallo CoolTux,

da schon lange nicht mehr angefragt wurde, hoffe ich das du immer noch Support gibst. Seit neusten versuche ich meine Wohnung mit deiner Sprachsteuerung zu erweitern. Die Scripte sind super. Ich verwende ein Samsung S8. Auf dem S8 sind folgende Apps installiert:
- Automagic: 1.36.0
- Autovoice:3.53.bf2
- AMD: 4.2.4

Ich bin schon so weit, dass meine Scripe auf einfache Wörter wie schalten oder ähnliches reagieren. Wenn ich aber längere Sätze sage oder Wörter schreibe, dann erkennt Autovoice nicht alles. Aber die Spracherkennung von Google erkennt alles. Kannst du mir vielleicht einen Tipp geben wie ich hier weiter mache. Kann es sein das das Problem der Googles Assistant ist?
Ich hoffe du kannst mir weiter helfen.

Gruß
Hesc
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 14 Dezember 2018, 15:50:18
Hallo Hesec,

Leider war meine Lösung nicht für den Assistanten. Für den verwende ich auch AutoVoice aber in Verbindung mit NaturalLanguage. Ist etwas komplexer

Also die hier besprochene Lösung ist nicht für den Assistanten.


Grüße
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: hesc am 14 Dezember 2018, 23:29:27
Hallo CoolTux,

Danke für die schnelle Antwort. Ich möchte nicht unwissend wirken aber was das "NaturalLanguage". Funktioniert es auch mit aktuellen Handys auf denen der Assistant läuft.

Was ich aber trotzdem nicht verstehe ist, warum nur ein Teil von dem erkannten Satz an Autovoice übermittelt wird.
Vielen Dank für deine Unterstützung.

Gruß
Hesc
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 15 Dezember 2018, 01:24:56
Zitat von: hesc am 14 Dezember 2018, 23:29:27
Hallo CoolTux,

Danke für die schnelle Antwort. Ich möchte nicht unwissend wirken aber was das "NaturalLanguage". Funktioniert es auch mit aktuellen Handys auf denen der Assistant läuft.

Was ich aber trotzdem nicht verstehe ist, warum nur ein Teil von dem erkannten Satz an Autovoice übermittelt wird.
Vielen Dank für deine Unterstützung.

Gruß
Hesc

Es funktioniert mit Handys mit Assistent, es funktioniert mit Google Home. Ist aber nicht einfach.
Basis für das ganze ist https://console.dialogflow.com/api-client/#/login
Wenn man das mit dem Assistenten Plugin aktiviert und und Intents und Entities eingerichtet hat ist es sehr mächtig.
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 15 Dezember 2018, 08:32:59
Aber was mir ein fällt. Du kannst doch das neue offizielle Modul ghome-fhem verwenden.

https://forum.fhem.de/index.php/topic,93814.0.html
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: hesc am 15 Dezember 2018, 14:03:56
Hallo CoolTux,

Danke für die Info. Ich werde es mal googlen was das Modul eigentlich macht.

Hast du es schon mal getestet?

Gruß Hesc
Titel: Antw:FHEM Sprachsteuerung mit AMADNG und AutoVoice/Automagic
Beitrag von: CoolTux am 15 Dezember 2018, 14:32:36
Zitat von: hesc am 15 Dezember 2018, 14:03:56
Hallo CoolTux,

Danke für die Info. Ich werde es mal googlen was das Modul eigentlich macht.

Hast du es schon mal getestet?

Gruß Hesc

Es ist das selbe wie der Alexa Part. Es stellt eine Verbindung zwischen FHEM und Googles Anwendungsplattform für Assistent her. Du kannst dann direkt ganz normal die Homeintegration von Google verwenden.