SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[tobi90]

Hallo,
seit dem ich Raspbian mit sudo apt-get dist-upgrade upgedatet habe, erkennt mein Snips keine Wörter mehr, es sieht so aus als würde das update Model nicht mehr funktionieren.
Snips, FHEM und Raspbian sind auf dem aktuellen Stand.

Hier hätte Snips "Schalte die Vitrine ein" erkennen sollen:

Code Auswählen Erweitern

[20:29:04] [Asr] captured text "schalte die wie unknownword ein" in 2.0s
[20:29:04] [Asr] was asked to stop listening on site SnipsWZ
[20:29:04] [AudioServer] was asked to play a wav of 93.1 kB with id '6b205f46-a7b3-4d91-ac56-6c6356ffcf03' on site SnipsWZ
[20:29:05] [AudioServer] finished playing wav with id '6b205f46-a7b3-4d91-ac56-6c6356ffcf03'
[20:29:05] [Nlu] was asked to parse input "schalte die wie unknownword ein"
[20:29:06] [Nlu] intent not recognized for "schalte die wie * ein"


und hier "Wie ist das Wetter":

Code Auswählen Erweitern

[20:29:24] [Asr] captured text "wie ist das weiter" in 2.0s
[20:29:24] [Asr] was asked to stop listening on site SnipsWZ
[20:29:24] [AudioServer] was asked to play a wav of 93.1 kB with id 'e95dd6f1-4690-4c19-8333-272c1cac43e4' on site SnipsWZ
[20:29:25] [AudioServer] finished playing wav with id 'e95dd6f1-4690-4c19-8333-272c1cac43e4'
[20:29:25] [Nlu] was asked to parse input "wie ist das weiter"
[20:29:25] [Nlu] detected intent Thyraz:MediaControls with confidence score 0.358 for input "wie ist das weiter"
              Slots ->
                 Command -> vor (confidence: 0.648)
[20:29:25] [Dialogue] New intent detected Thyraz:MediaControls with confidence 0.358


Den Assistenten habe ich mit sam install assistant neu installiert..
Was habe ich falsch gemacht?
Danke schon mal

[jowe]

@tobi90: an set Snips UpdateModel gedacht, um die Device Namen in Snips zu injizieren?

Edit: hätte deinen Beitrag ganz lesen sollen.. hast du deinen Assistenten vor dem Download neu trainiert? Das war nach dem letzten snips Release bei mir das Problem, ich musste das manuell anstoßen

[tobi90]

Das könnte das Problem sein. Kannst du mir sagen was ich dafür machen muss, ich finde dazu nichts auf der Internetseite von Snips..
Danke

[jowe]

In den Assistenten gehen, die fhem App entfernen, danach wieder hinzufügen und dann auf "retrain assistant" gehen. Danach wieder Sam Install assistant und dann updateModel

[tobi90]

Das hat leider nicht geholfen. Ich hab die App entfernt und wieder hinzugefügt, dann trainiert er sie ja automatisch. Anschließend installiert und Set update Model.
Er erkennt immer noch keine Wörter. Mit TextCommand über FHEM klappt es..

Code Auswählen Erweitern

[11:46:08] [Nlu] was asked to parse input "schalte die standardgerät ein"
[11:46:08] [Nlu] detected intent Thyraz:SetOnOff with confidence score 0.670 for input "schalte die standardgerät ein"
              Slots ->
                 Device -> Standardgerät
                  Value -> an


[nanocosmos]

Hallo,

vielen Dank für das tolle Modul!

Ich habe die ersten Geräte nun eingebunden. Tue mich aber ehrlich gesagt bei Sachen wie Heizkörpern, usw. ein wenig schwer.
Was klasse wäre, wenn die Intents für das snipsMapping irgendwo gesammelt werden.
Dann müsste man das Rad nicht jedesmal neu erfinden, sondern könnte aus einer Liste von Geräten die passenden Intents auswählen. 

Viele Grüße
Daniel

[nanocosmos]

Schade, dass hier so wenig los ist.
Finde den Ansatz von snips klasse.

Habe die Intents noch nicht komplett durchdrungen. Mir, sowie anderen bestimmt auch, würde es sehr weiterhelfen, wenn es ein paar Beispiele für verschiedene Geräte gäbe.

[drhirn]

Ja, finde ich auch. Es tut sich aber auch schon bei Snips selbst relativ wenig. Fürchte ein bisschen um dessen Zukunft. Wäre nämlich wirklich eine super Sache.

Ich verwende eigentlich nur SetOnOff-Intents, kann deshalb mit Beispielen nicht wirklich dienen.

[Roman]

Hallo,

ich muss mich hier leider auch mit einem Problem melden, für das ich bisher noch keine Lösung gefunden habe.

die snips-asr erkennt immer nur ein Wort, aber keine Sätze.

Code Auswählen Erweitern

22:55:17] [Hotword] detected on site wohnzimmer, for model hey_snips
[22:55:17] [Asr] was asked to stop listening on site wohnzimmer
[22:55:17] [Hotword] was asked to toggle itself 'off' on site wohnzimmer
[22:55:17] [Dialogue] session with id 'd91a29df-b498-491d-a5a2-7dd5e5d59f95' was started on site wohnzimmer
[22:55:17] [Asr] was asked to listen on site wohnzimmer
[22:55:19] [Asr] captured text "schalte" in 2.0s
[22:55:19] [Asr] was asked to stop listening on site wohnzimmer


Setup:
SNIPS auf einem NUC (amd64) mit Ubuntu18.04 (Server Edition) (site server, kein Micro, kein Lautsprecher)
SNIPS auf Raspberry PI 3 als Satellite (nur audio-server + Hotword, site wohnzimmer) mit PS-Eye3 als Microfon
Beide per LAN-Kabel im gleichen Netz, kein WLAN.

Ich hab schon alle Tipps ausprobiert (Assistant auf snips.ai löschen, neu hinzufügen, neu trainieren, update Model) ich hab hier keine Änderung des Verhaltens.
Das Problem scheint hier die ASR zu sein.
NLU funktioniert einwandfrei (über Textcommand funktioniert alles)

Hat hier jemand eine Idee ??

Gruß Roman

[drhirn]

Keine Idee leider. Aber du bist nicht der einzige mit dem Problem. Habe Snips am Wochenende neu installiert, weil ich einige Probleme hatte. Seitdem werden in den seltensten Fällen mehr als zwei Wörter erkannt. Und die nicht richtig. Irgendwas ist also anders als vorher. Ich habe nur noch nicht rausgefunden, was.

[Steffen]

Hallo!

Hat sich jemand vielleicht damit schon beschäftigt?

Code Auswählen Erweitern

https://github.com/Psychokiller1888/snips-custom-hotword

also den vorteil sehe ich darin, das auf der Website von Snowboy das Anlernen und das Testen(auch aus weiter Entfernung) sehr gut klappt, aber auf dem Pi nach einrichten so gut wie gar nicht mehr, erst wenn man aus 10cm direkt ins Mikro spricht.

Was auch gut klappt und das in ein weiterer Vorteil, das das Hotword auch durch unterschiedliche Personen erkannt wird(test auf Snowboy).

Mfg Steffen

[JensS]

Bei uns hört Snips auf alle, egal ob Mann oder Frau. Ich verwende das "ReSpeaker 2-Mics Pi HAT" auf einem RPi3 B+ mit einem aktuellen Raspbian.

Gruß Jens

[drhirn]

Selbes Setup. Bei mir hört Snips momentan aber auf niemanden, außer den Fernseher.

[Steffen]

Bei uns hört Snips auf alle, egal ob Mann oder Frau. Ich verwende das "ReSpeaker 2-Mics Pi HAT" auf einem RPi3 B+ mit einem aktuellen Raspbian.

Gruß Jens

Wo ich mich falsch ausgedrückt hatte, das Snips bei einem Customhotword auf jede Stimmer hört und nicht wie bei Snips angeboten direkt immer pro stimme eine Aufnahme gemacht werden muss und diese auch nur dann erkannt wird.

Das von mir oben verlinkte Projekt läuft jetzt seit einem Tag sehr gut.

Mfg Steffen

[Roman]

Keine Idee leider. Aber du bist nicht der einzige mit dem Problem. Habe Snips am Wochenende neu installiert, weil ich einige Probleme hatte. Seitdem werden in den seltensten Fällen mehr als zwei Wörter erkannt. Und die nicht richtig. Irgendwas ist also anders als vorher. Ich habe nur noch nicht rausgefunden, was.

Hallo an alle, die auch Probleme bei der Erkennung haben,

nach einigem Ausprobieren, scheint es bei mir nun wieder zu richtig funktionieren (Noch nicht alles getestet, aber Lichter werden schon wieder richtig erkannt).
Ursache wahr wohl ein altes Modul "10_SNIPS.pm" , das aktuelle (2 Monate alt auf Github) neu geholt- FHEM neu gestartet , Update Model ausgeführt und die ASR erkennt bei mir wieder komplette Sätze.

Gruß
Roman