SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[chicco]

Hallo,

@s710
zu Punkt 1+2 kann ich nichts sagen, aber zu Punkt 3.
Als halb-Trekkie wollte ich das Hotword auf "Computer" umstellen und bin zuerst auch in der Endlosschleife gelandet. Dann habe ich das Mikro (PS3 Eye) auf den Schreibtisch neben die Tastatur gestellt, also ca. 40-50cm Entfernung zu meinem Mund, und dann hat es geklappt, ca. 5 mal Computer gesagt und es wurde angenommen.
Du kannst also mal versuchen näher ans Mikro zu gehen bzw. das Mikro näher an dich ran holen.
Aber die Hotword-Erkennung war damit eher schlecht bzw. ich musste immer laut Computer sagen. Bin wieder zurück zu Hey Snips und versuche es in Zukunft irgendwann nochmal, vielleicht ist ja dann der Erkennungsalgorithmus besser.

@all
Darf ich nochmal an meine Fragen aus #829 erinnern? Oder bin ich nach 3 Wochen schon zu ungeduldig? Die Fragen 3+5 wären die interessantesten für mich.

Gruß
chicco

[Devender]

- ein eigener Intent um Artikel auf meine Einkaufsliste zu setzen

Gruß
chicco

wo ich es gerade sehe 
Könntest du mir den Intent zur Verfügung stellen bzw. mir kurz die Schritte erklären wie ich diesen anlege?
Ich probiere mich da schon etwas durch, das will aber nicht so wie ich mir das denke...

Danke Dirk

[chicco]

Hallo Dirk,

im Prinzip habe ich es schon beschrieben, alles was ich in #829 unter Punkt 3 schreibe, bevor ich die Frage stelle ob die Artikel auch per inject an snips übergeben kann.
Wenn da was unklar ist, musst du bitte genauer fragen.

Aber ich habe die App eben in der Snips-Console freigegeben, suche nach "ShApp" (Shopping-App, mir ist damals kein besserer Name eingefallen), Haken bei "Only show apps with actions" entfernen.

In fhem bekommt beim Snips-Device das Attribut snipsIntents diesen Inhalt:
addToList=snipsAddToList(Artikel)

Dann noch die Funktion snipsAddToList() in die 99_myUtils.pm einbauen und dort mit dem übergebenen Artikel machen was auch immer du machen willst.
Ich schreibe den Artikel in eine mySQL-DB und wenn ich das nächste mal meine Einkaufslisten-App auf dem Handy öffne, wird die mySQL-DB abgefragt und der Artikel wird in der App auf die Liste gesetzt.

Gruß
chicco

[s710]

Hallo,

@s710
zu Punkt 1+2 kann ich nichts sagen, aber zu Punkt 3.
Als halb-Trekkie wollte ich das Hotword auf "Computer" umstellen und bin zuerst auch in der Endlosschleife gelandet. Dann habe ich das Mikro (PS3 Eye) auf den Schreibtisch neben die Tastatur gestellt, also ca. 40-50cm Entfernung zu meinem Mund, und dann hat es geklappt, ca. 5 mal Computer gesagt und es wurde angenommen.
Du kannst also mal versuchen näher ans Mikro zu gehen bzw. das Mikro näher an dich ran holen.
Aber die Hotword-Erkennung war damit eher schlecht bzw. ich musste immer laut Computer sagen. Bin wieder zurück zu Hey Snips und versuche es in Zukunft irgendwann nochmal, vielleicht ist ja dann der Erkennungsalgorithmus besser.

@all
Darf ich nochmal an meine Fragen aus #829 erinnern? Oder bin ich nach 3 Wochen schon zu ungeduldig? Die Fragen 3+5 wären die interessantesten für mich.

Gruß
chicco

Also ich war wirklich 10cm vom Mikrofon (der Pi ist noch unverbaut und nackt einfach an die Kabel gehängt), und es ist ein Matrix Voice mit 7 Mikrofonen. Von 4m Entfernung kann ich leise vor mich "Hey Snips" murmeln und er triggert noch. Also scheint da irgendwas kaputt zu sein.

Kann ich fragen, welche Raspbian-Version und welchen Kernel du hast? Nachdem ich mit Buster schon ins Klo gegriffen habe (kein offizieller Snips Support) hab ich Stretch drauf gemacht, damit dann zuvor genannte Probleme. Nach etwas googeln konnte ich rausfinden, dass es scheinbar Probleme zwischen PulseAudio und Alsa gibt seit Kernel 4.19.
Habe daher gestern verzweifelt versucht, ein Stretch mit Kernel 4.14 ans laufen zu bekommen. Scheiterte an der Nichtverfügbarkeit der Matrix Voice Treiber, wobei ich da gerade mit deren Support in Kontakt bin.

Alles in allem unterm Strich eher ernüchternd. Ich hab nun wirklich nichts exotisches. Ein Simpler Pi 3B, und okay, halt ein Matrix Voice Mikrofon. Aber hätte echt erwartet bzw. mir gewünscht, dass das alles etwas mehr straight vorward wäre bzw. einfach laufen würde. Ich doktor da schon ne Woche rum, ohne es ans laufen zu bekommen 

[Devender]

Hallo Dirk,

im Prinzip habe ich es schon beschrieben, alles was ich in #829 unter Punkt 3 schreibe, bevor ich die Frage stelle ob die Artikel auch per inject an snips übergeben kann.
Wenn da was unklar ist, musst du bitte genauer fragen.

Vielen Dank. Ich habe deine App geladen und bei mir in der Installation eingebunden. Die ersten Test haben funktioniert. 
Das hat mir auch geholfen ein besseres Verständnis zu erlangen wei das ganze in der snips.ai funktioniert.

Akuell lasse ich mir mit den Befehlen das PostIt Modul befüllen. Deine App-Idee ist aber auch eine gute Idee.

Du hast den WAF auf jeden Fall erhöht.

[chicco]

Hallo,

@s710
Raspbian GNU/Linux 9 (stretch)
Kernel: 4.14.98-v7+

@Devender
Bitte gerne.
Und wäre es nicht schön, wenn du neue Begriffe für dein PostIt-Modul einfach per fhem injecten könntest? (anstatt den Weg über die Snips-Console zu nehmen)

Gruß
chicco

[s710]

Okay ich hab jetzt am Ende doch alles hinbekommen, auch wenn es etwas eine Odysee war. Wie es scheint, gibt es ab Kernel 4.19 größere Probleme zwischen PulseAudio und ALSA, worunter auch Snips leidet. Das führt dazu, dass das Hotword-Feedback alles blockiert, so dass man es abschalten muss. Inbesondere immer wieder abbrechendes Audio scheint eine Folge von 4.19 zu sein.

Habe mir gestern daher ein Stretch Lite Image von 2018 drauf gezogen, was noch den 4.14er Kernel hat (wäre sicher auch anders gegangen, bin diesbezüglich aber nicht so bewandert). Ich konnte dann allerdings das Matrix Voice Mikrofon nicht mehr verwenden, da deren Kernel Modul nur gegen 4.19 baut (gab wohl nen breaking API change zw. 4.14 und 4.19). Bin dann auf ein Seeed Studio ReSpeaker Mic Array v2.0 ausgewichen, das ich da hatte (hab mir vor ner Woche nen Schwung Hardware geholt und wollte u. a. die Mikrofone gegeneinander vergleichen). Das ReSpeaker wird über USB angeschlossen und wurde einfach direkt erkannt.

Dann schwups Snips installiert und siehe da, alles funktioniert tadellos. Konnte nun auch das eigene Hotword aufzeichen. Habe es aber direkt wieder verworfen, da es, wie an anderer Stelle schon erwähnt, kaum erkannt wird, nur wenn man sehr laut und deutlich spricht, was es unbrauchbar macht. Schade.

Ansonsten bin ich vom ReSpeaker Mic Array 2.0 relativ begeistert. Hab das Teil auf dem Tisch im Arbeitszimmer liegen, und kann es problemlos vom Bett im Schlafzimmer nebenan bedienen.

Falls hier noch wer vorbei kommt und mit 4.19 Kerneln ein Problem hat, hier gibt es wohl Workarounds für Snips (https://community.matrix.one/t/matrixio-kernel-modules-broken/2403/26). Man muss in der /etc/snips.toml beim Audio-Server ein Environment="PA_ALSA_PLUGHW=1" eintragen. Analog ggfs. noch in die systemd Scripte.
Habe das ganze allerdings nicht getestet.

[uwemicro]

@s710

Hallo,
also ich habe letztens das Matrix Voice Mikrofon Array mit Raspian Stretch Lite und dem 4.41er Kernel zum laufen gebracht.
(https://community.matrix.one/t/no-longer-necessary-kernel-modules-4-19-workaround/2413/16) wobei ich gerade gesehen habe das es jetzt wohl nicht mehr nötig ist.
Was ich leider nicht hinbekommen habe ist das Matrix Voice auch für die Soundausgabe zu benutzen.

Viele Grüße
Uwe

[s710]

@s710

Hallo,
also ich habe letztens das Matrix Voice Mikrofon Array mit Raspian Stretch Lite und dem 4.41er Kernel zum laufen gebracht.
(https://community.matrix.one/t/no-longer-necessary-kernel-modules-4-19-workaround/2413/16) wobei ich gerade gesehen habe das es jetzt wohl nicht mehr nötig ist.
Was ich leider nicht hinbekommen habe ist das Matrix Voice auch für die Soundausgabe zu benutzen.

Viele Grüße
Uwe

Für mich hat sich das Voice erstmal erledigt, muss es heute zurück schicken weil sonst die WR Frist verstreicht. Meinen 3,5mm Speaker hab ich einfach normal am Raspbi eingesteckt, die Ausgabe vom Matrix Voice hatte ich nicht versucht.


Aber heißt das, dass man mit Kernel 4.19 und Environment="PA_ALSA_PLUGHW=1" nun alles zum laufen bekommt? Ich konnte das noch nicht probieren.

Ich habe nämlich noch einen Pi Zero, den ich als Satellit zusammen mit einem Respeaker 2 Mics Pi HAT einrichten will, mit Kernel 4.14 baut aber deren Treiber nicht (gem. HowTo hier: https://docs.snips.ai/articles/raspberrypi/hardware/microphones#respeaker-mic-array-2-0). D.h. hier sitz ich gerade auch auf dem Trockenen.

[uwemicro]

Hallo,
ich habe drei Satelliten mit Pi Zero WH und dem Respeaker 2 Mic im Einsatz. Mit dem "normalen" Raspian Stretch Lite (vom April).
Die Soundausgabe funktioniert auch über den Lautsprecheranschluss des Respeaker 2 Mic.

Viele Grüße
Uwe

[s710]

Perfekt, danke für die Info, dann probier ichs mal.

[edit] Wo ich da gerade dein selbergemachtes Gehäuse sehe: Wie ist denn so die Mikrofonperformance im Vergleich zu ganz nackt ohne Gehäuse?

[uwemicro]

Hallo,
der Klang ist im Gehäuse besser. Während der Softwareinstallation hatte ich einen Lautsprecher auf dem Tisch liegen, da mußte ich erstmal ein Stück Moosgummi unterlegen damit es nicht so schepperte.
Aber ohne Gehäuse klingen Lautsprecher eigentlich nie so gut wie mit.

Viele Grüße
Uwe

[s710]

Hallo,
der Klang ist im Gehäuse besser. Während der Softwareinstallation hatte ich einen Lautsprecher auf dem Tisch liegen, da mußte ich erstmal ein Stück Moosgummi unterlegen damit es nicht so schepperte.
Aber ohne Gehäuse klingen Lautsprecher eigentlich nie so gut wie mit.

Viele Grüße
Uwe

Achso nein ich meinte das Mikrofon. Das ist ja dann auch mit im Gehäuse verpackt. Wollte wissen wie viel schlechter es dann reagiert in Sachen Sprachsteuerung.

[uwemicro]

Hallo,
sorry, nicht richtig gelesen....
Habe es eben mal ausprobiert, ging auch bei ca. 5 m Entfernung. Das Gehäuse ist ja auch Schalldurchlässig und nicht geschlossen.

Viele Grüße
Uwe

[s710]

Okay, gut zu wissen. Bin kein Tontechniker, ich dachte nur, sobald "irgendwas" drumrum ist (wenn auch mit Löchern) wirkt sich das negativ auf die Erkennung aus.

Wärst du evtl. bereit die STL-Files deiner Gehäuse zu teilen?