SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[rih]

Hallo,

ist das Attribut snipsMapping ebenfalls gesetzt?

Code Auswählen Erweitern

SetOnOff:cmdOn=on,cmdOff=off

[c.radi]

Hallo,

ich versuche das Script etwas zu verstehen. Warum wird der erkannte Text und die daraus abgeleiteten Intents noch mal an den NLU gesendet? Was ist das Ziel dieser zweiten Umsetzung durch den NLU?

Kann dazu jemand was sagen?

Gruß
Christian

[kud]

Gibt es irgendwelche Probleme (Erfahrungen) mit dem Update (Major Snips Platform Update) von SNIPS vom 25.02.2019?

[mericon]

Gibt es irgendwelche Probleme (Erfahrungen) mit dem Update (Major Snips Platform Update) von SNIPS vom 25.02.2019?

Das frage ich mich auch traue mich noch nicht so recht das Update durch zu führen

Gesendet von meinem VTR-L09 mit Tapatalk

[enno]

Moin,

ich mache heute Abend mal ein Update. Da ich mit Snips zur Zeit eher nur rumspiele (SNIPS und Babble), macht es bei mir keine Probleme wenn es nicht klappt. Ich melde mich nach dem Update. Entweder es klappt oder mit Fehlermeldungen, wenn es nicht klappt.

Bis spaeter.
  Enno

[Thyraz]

Es könnte Knallen durch folgenden Änderung aus dem Changelog:

The following API changes may break your applications based on Hermes messages.
hermes API: probability field in hermes/intent/<intentName> messages has been renamed confidence_score.

Wenn das Probleme macht, sollte man in der parseJSON Funktion in 10_SNIPS.pm die Zeile:

Code Auswählen Erweitern


$data->{'probability'} = $decoded->{'intent'}{'probability'};


ersetzen durch:

Code Auswählen Erweitern


$data->{'probability'} = $decoded->{'intent'}{'confidence_score'};


Wenn das helfen sollte, einfach kurz Bescheid geben dann check ich die Änderung so ein.
Kann es leider gerade nicht testen, da mein SNIPS nicht lauffähig ist, nachdem ich etwas Hardware kurzzeitig für ein anderen Projekt zweckentfremden musste.

Sonst seh ich auf Anhieb nichts, was Probleme bereiten sollte...

[Thyraz]

Hallo,

ich versuche das Script etwas zu verstehen. Warum wird der erkannte Text und die daraus abgeleiteten Intents noch mal an den NLU gesendet? Was ist das Ziel dieser zweiten Umsetzung durch den NLU?

Kann dazu jemand was sagen?

Gruß
Christian

Hi Christian,

sorry für die späte Rückmeldung.
Freizeit ist gerade leider ein kostbares und seltenes Gut bei mir.

Mittlerweile wäre diese zweite Runde wahrscheinlich nicht mehr nötig.
Bis vor ein paar Snips Versionen konnte man ja noch nicht richtig neue Begriffe für NLU anlernen.

Der Spracherkennung ASR konnte man ja aber schon damals neue Wörter per Inject beibringen.
Ich habe daher im Modell nur jeweils ein Dummywort pro Slottype, und ersetze die Wörter in den gesprochenen Sätzen dann einfach durch diese.

Dadurch ist NLU nicht durch Wörter irrtiert worden, die es nicht kennt.
Dies hat viele Probleme umschifft und die Erkennung dessen, was der User eigentlich erreichen will, stark erhöht.

Nachdem NLU mittleweile die neu injizierten Wörter parallel zu ASR auch angelernt bekommt,
dürfte das aber mittlerweile ne unnötige Extrarunden sein. 

[c.radi]

Hallo Thyraz,

vielen Dank für die Antwort. Das hilft mir sehr weiter.

Gruß
Christian

[enno]

Moin zusammen,

ich habe das Update eben durchgeführt:

Code Auswählen Erweitern

sudo apt update
sudo apt upgrade snips-platform-voice

sudo npm install -g npm
sudo npm i snips-sam
sam install assistant

Dann nach dem Tip von Thyraz die Zeile ausgetauscht. Ohne ging es nicht:

Code Auswählen Erweitern

sudo nano /opt/fhem/FHEM/10_SNIPS.pm

In FHEM noch ein "set SNIPS updateModel"

und dann getestet. Bei mir scheint alles zu klappen. Ich habe zwei Warnungen im Log, ich glaube die hatte ich aber früher auch schon.

Code Auswählen Erweitern

2019.02.25 18:02:57 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 331.
2019.02.25 18:02:57 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 300.

Aus meiner Sicht sollte das Update also klappen.

Gruss
  Enno

[weini]

Danke euch erst mal für die Tipps!
Das Upgrade ist prinzipiell sauber durchgelaufen, die Steuerung über das FHEM Modul funktioniert aber deutlich weniger zuverlässig, als mit der alten Version. Befehle werden häufig nicht verstanden bzw. falsch interpretiert.

Dafür klappt die Hotword-Detection wirklich besser.

[Thyraz]

Code Auswählen Erweitern


set SNIPS updateModel


Hast du aber durchgeführt nach jeglichen Snips-seitigen Änderungen?
Das war bisher ja meist das Problem wenn Dinge nicht erkannt wurde...

edit: und die Änderung am Modul hast du auch rein-editiert und das hat bei dir funktioniert?
Wenn ja würde ich das auf Github einchecken...

[mericon]

Das Erkennungs Problem scheint snips seitig zu sein.

Die Änderungen wurden bei mir durchgeführt und Update model ausgeführt.

Mein Schlafzimmer Licht wird zb nicht erkannt aber selbst programmierte Befehle wie gute Nacht funktionieren.

Gesendet von meinem VTR-L09 mit Tapatalk

[Thyraz]

Danke für die Rückmeldungen, ist eingecheckt.

Dann hoffen wir mal die schlechtere Erkennung ist nur eine vorübergehende Erscheinung.

[weini]

Code Auswählen Erweitern


set SNIPS updateModel


Hast du aber durchgeführt nach jeglichen Snips-seitigen Änderungen?
Das war bisher ja meist das Problem wenn Dinge nicht erkannt wurde...

edit: und die Änderung am Modul hast du auch rein-editiert und das hat bei dir funktioniert?
Wenn ja würde ich das auf Github einchecken...

Ja, habe "updateModel" gemacht und vorher auch die Änderung eingepflegt. SNIPS und FHEM Knoten durchgestartet etc.

Du hast schon recht, erst mal abwarten und beobachten. Ist ja zum Glück nicht mission critical...

[rischbiter123]

Moin,

ich muss momentan den Standort (Wohnzimmer, Schlafzimmer) auch dann dazusagen, wenn das Mikro im entsprechenden Raum ist.

LG

Andreas