SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[JonasE]

Hi,

Sorry da hab ich wohl etwas falsch verstanden. Ich dachte, dass du den mit FHEM brauchst. Den ioBroker hab ich leider auch nicht.


Gesendet von iPhone mit Tapatalk

[BastianH]

Ja mit fhem läufts ja erfolgreich 

[alxxb]

Kurze Frage - ist eine Neuinstallation "from scratch" noch möglich, oder sind aufgrund der Übernahme von Sonos bestimmte Dateien (wie "Assistant Model" in einem der letzten Posts beschrieben) nicht mehr verfügbar? Ein Offline-Betrieb ist ja, wenn ich die letzten Posts richtig verstanden habe, wohl noch möglich.

Danke & Grüße
alxxb

[JonasE]

Hi alexbb,

die Installation klappt soweit noch, aber du benötigst auf jeden Fall ein Model und kannst das auch nicht mehr anpassen. Deshalb ist es glaube ich nicht sinnvoll Snips noch zu installieren. Ich würde die Rhasspy in der neuen Version 2.5 ans Herz legen. Ich bin gerade dabei dies zu testen und das gute ist, dass du das Snips Modul aus FHEM dafür nutzen kannst. Rhasspy 2.5 ist nämlich zu dem von SNIPS benutzen Hermes Protokoll kompatibel. Ich denke das ist für die Zukunft sinnvoller als jetzt noch Snips aufzusetzen.

[alxxb]

Hi JonasE,

besten Dank für deine Antwort, ich werde mir dann deine Empfehlung näher ansehen!

Vielen Dank & Grüße
alxxb

[_daphne]

Hallo zusammen,

ich habe folgendes Problem.

Gestern hat leider meine Raspberry SD-Karte die Arbeit eingestellt.
Ich habe (zum Glück) die aktuelle fhem-config gesichert, aber leider kein aktuelles Image der SD-Karte.

Beim der Neuinstallation musste ich leider feststellen, dass Snips an Sonos verkauft wurde und die benötigten Dateien nicht mehr zur Verfügung stehen.

Gibt es noch eine Quelle für "FHEM Modul App" zum Download (zuvor über console.snips.ai verfügbar)

Dank und Gruß

[rakete123]

Hi alexbb,

die Installation klappt soweit noch, aber du benötigst auf jeden Fall ein Model und kannst das auch nicht mehr anpassen. Deshalb ist es glaube ich nicht sinnvoll Snips noch zu installieren. Ich würde die Rhasspy in der neuen Version 2.5 ans Herz legen. Ich bin gerade dabei dies zu testen und das gute ist, dass du das Snips Modul aus FHEM dafür nutzen kannst. Rhasspy 2.5 ist nämlich zu dem von SNIPS benutzen Hermes Protokoll kompatibel. Ich denke das ist für die Zukunft sinnvoller als jetzt noch Snips aufzusetzen.

Hey, hast du bei deinen Tests schon mehr rausgefunden? Kann man rhasspy als Alternative zu Snips nutzen?

[drhirn]

Hey, hast du bei deinen Tests schon mehr rausgefunden? Kann man rhasspy als Alternative zu Snips nutzen?

Definitiv! Es ist zwar noch nicht ganz ausgereift und noch viel im Aufbau. Die Weiterentwicklung geht allerdings rasant.

[jowe]

@drhirn: Kannst du etwas dazu schreiben, wie du die Rhasspy-Integration in FHEM gemacht hast?
Ich habe versucht, die Integration weiterhin über das SNIPS Modul hinzubekommen. Thyraz hat da schon was cooles gebaut, würde das gerne behalten. Theoretisch basieren ja Snips wie auch Rhasspy auf dem Hermes-Protokoll. Es gibt natürlich kleinere Unterschiede, Injection kann z.B. nicht funktionieren wie gehabt. Damit kann ich aber leben.
Ich hatte aber die Hoffnung, dass ich commands weiter per Snips-Modul verarbeiten lassen könnte. Grundsätzlich funktioniert das auch, allerdings lande ich immer in einer Dauerschleife, das Sprachkommando wird sekündlich erneut erkannt und ausgeführt.

[drhirn]

Naja, eigentlich genau so. Mit dem Modul von Thyraz. Das hat testweise gut funktioniert, ich habe es dann aber nicht genauer nachverfolgt weil mir die Zeit gefehlt hat und Snips ja noch funktioniert.

Das mit der Dauerschleife ist merkwürdig. Da müsste ja irgend etwas ständig Nachrichten über MQTT senden. Kann's sein, dass sich Snips und Rhasspy irgendwie in die Quere kommen? Oder kannst du mal schauen, was an deinem MQTT-Server so passiert?

[jowe]

Das Snips Modul empfängt den Intent per MQTT, erkennt den Inhalt korrekt und schickt dann wieder eine Message an die NLU (sieht man gut mit Verbose 5: sending message to NLU:...)
Ich vermute dass diese Message dann wieder von Rhasspy verarbeitet wird und als Intent von der NLU per MQTT verschickt wird. Und das empfängt dann wieder das SNIPS Modul... usw. So kommt es pro Sekunde Mehrfach zu dem hin und her. Ich war deshalb bisher davon ausgegangen, dass das SNIPS Modul nur mit Modifikationen zusammen mit Rhasspy verwendet werden kann. Nur wenn du sagst bei dir hat es geklappt, dann ist wohl irgendwas bei mir im Argen.
Weißt du noch, was du genau in Rhasspy für "Intent Recognition", "Speech to text" und "Dialogue management" eingestellt hattest?

[drhirn]

Ich sag's gleich dazu, das war noch Rhasspy 2.4

Intent Recognition: fsticuffs
Speech to text: Pocketsphinx
Dialogue management: Rhasspy

Wollte das gestern noch mit 2.5 ausprobieren, kam aber leider nicht dazu.

[drhirn]

Ich hab jetzt mit 2.5 getestet. Ich bekomme da überhaupt keine Reaktion vom Snips-Modul. Ihr schon?

[jowe]

Also bei mir schaltet das Modul schon. Allerdings halt in Dauerschleife.
Ich habe mir die wichtigsten Funktionen jetzt mal mittels Node-Red realisiert. Per Text-Command funktioniert es auch wunderbar. Per Sprachkommando allerdings leider unbenutzbar. Die Erkennungsrate ist bei mir nahe 0%.
Das könnte evtl. an den Phonemen liegen. Da habe ich die automatischen Vorschläge von Rhasspy immer einfach übernommen. Meine Lust da weiter zu forschen ist allerdings vorerst Recht gering. Bin ziemlich ernüchtert

[drcyber]

Ich habe jetzt mal Rhasspy 2.5.1 (docker) installiert und einwenig damit gespielt, ein paar Befehle versteht er mittlerweile auch ganz gut, jetzt stehe ich aber an dem Punkt, wie gebe ich das ganze an Fhem weiter, bzw gebe dann die anwort auf meine Frage über Rhasspy aus?

Gibts da eventuell irgendwo ein Manual wie man da prinzipiell vorgeht, bzw mit welchem Fhem-Modul könnte man das lösen?
Gerade bezüglich Rhasspy findet man im Netz relativ wenig , Es gibt zwar eine relativ umfangreiche Doku auf der Rhasspy Seite aber wenn man von 0 anfängt ( so wie ich) ist das oft eher verwirrend..