SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[Meck]

Hallo,
ich habe mal ein Gehäuse für den Raspi gebaut, der Master im runden Gehäuse ist ein Raspi 3A+ mit ReSpeaker 4 Mic, der Satellite ein Raspi Zero WH mit ReSpeaker 2 Mic.

Viele Grüße
Uwe

Hallo uwemicro,
Sieht echt super aus. Darf ich fragen, welche Lautsprecher du verwendest?

Gruß
Meck

[uwemicro]

Hallo Meck,
die Lautsprecher sind von Visaton, Typ K28.40 - 8 Ohm Artikel Nr. 2945. Als Verstärker habe ich den Stereo 3.7W Class D Audio Amplifier
von Adafruit (PRODUCT ID: 987) verwendet.

Viele Grüße
Uwe

[bart0190]

Hallo,
Vielen Dank für die ausführliche Beschreibung vorbereiteten Items.
Bei mir fehlt noch ein klein wenig (anscheinend wirklich nicht viel). Aber ich weiß nicht, was ich mir am besten anschauen soll.

Mikrophon und Lautsprecher funktioniert (mit sam getestet).
"Hey Snips" erkennt er.
Dann habe ich die anderen services auch aktiviert (siehe unten.)

Der Status vom Raspi ist:

Code Auswählen Erweitern

Connected to device raspisnips.local

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Karlheinz
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.63.3 (running)
snips-audio-server ........... 0.63.3 (running)
snips-dialogue ............... 0.63.3 (running)
snips-hotword ................ 0.63.3 (running)
snips-nlu .................... 0.63.3 (running)
snips-skill-server ........... 0.63.3 (not running)
snips-tts .................... 0.63.3 (running)


Wenn ich sage "Hey Snips, Sofalicht an" kommt:

Code Auswählen Erweitern


pi@raspisnips:~ $ sam watch
[06:07:23] Watching on localhost:1883 (MQTT)
[06:07:30] [Hotword] detected on site default, for model hey_snips
[06:07:30] [Asr] was asked to stop listening on site default
[06:07:30] [Hotword] was asked to toggle itself 'off' on site default
[06:07:30] [Dialogue] session with id '5f9f87ca-338d-40de-8f3d-40a6dce48832' was started on site default
[06:07:30] [AudioServer] was asked to play a wav of 41.1 kB with id '4f32c052-89e8-42f0-835f-5be55368c5c0' on site default
[06:07:31] [AudioServer] finished playing wav with id '4f32c052-89e8-42f0-835f-5be55368c5c0'
[06:07:31] [Asr] was asked to listen on site default
[06:07:32] [Asr] captured text "an" in 1.0s
[06:07:32] [Asr] was asked to stop listening on site default
[06:07:32] [AudioServer] was asked to play a wav of 93.1 kB with id 'a24247f4-54f1-4623-8709-890c445d8e7c' on site default
[06:07:34] [AudioServer] finished playing wav with id 'a24247f4-54f1-4623-8709-890c445d8e7c'
[06:07:34] [Nlu] was asked to parse input "an"
[06:07:34] [Nlu] intent not recognized for "an"
[06:07:34] [AudioServer] was asked to play a wav of 61.1 kB with id 'd3861333-5b7f-43e1-afba-f20692134a82' on site default
[06:07:34] [AudioServer] finished playing wav with id 'd3861333-5b7f-43e1-afba-f20692134a82'
[06:07:34] [Dialogue] session with id '5f9f87ca-338d-40de-8f3d-40a6dce48832' was ended on site default. The session was ended because the platform didn't understand the user
[06:07:34] [Asr] was asked to stop listening on site default
[06:07:34] [Hotword] was asked to toggle itself 'on' on site default


Dann höre ich im Lautsprecher Töne (2x Ding und einen tiefen Klavierton am Ende).

Mein Device List ist:

Code Auswählen Erweitern

Internals:
   DEF        5EFA2D
   HM_LAN_MSGCNT 9
   HM_LAN_RAWMSG R3F8A4AB2,0001,0C92E6C3,FF,FFD4,FB80025EFA2D3224CD010100002F
   HM_LAN_RSSI -44
   HM_LAN_TIME 2019-07-29 23:02:03
   IODev      HM_LAN
   LASTInputDev HM_LAN
   MSGCNT     9
   NAME       Wohnzimmer_Licht_Sofa
   NOTIFYDEV  global
   NR         323
   NTFY_ORDER 50-Wohnzimmer_Licht_Sofa
   STATE      off
   TYPE       CUL_HM
   lastMsg    No:FB - t:02 s:5EFA2D d:3224CD 010100002F
   protLastRcv 2019-07-29 23:02:03
   protRcv    8 last_at:2019-07-29 23:02:03
   protSnd    9 last_at:2019-07-29 23:02:03
   protState  CMDs_done
   rssi_HM_LAN cnt:8 min:-48 max:-47 avg:-47.37 lst:-47
   rssi_at_HM_LAN cnt:9 min:-45 max:-44 avg:-44.11 lst:-44
   READINGS:
     2019-07-29 23:02:03   CommandAccepted yes
     2019-05-25 22:12:59   D-firmware      2.6
     2019-05-25 22:12:59   D-serialNr      OEQ1360870
     2019-07-28 10:32:23   PairedTo        0x3224CD
     2019-07-28 10:32:23   R-pairCentral   0x3224CD
     2019-07-28 10:32:23   R-powerUpAction off
     2019-07-28 10:32:23   R-sign          off
     2019-07-28 10:32:23   RegL_00.        02:01 0A:32 0B:24 0C:CD 15:FF 18:00 00:00
     2019-07-28 10:32:23   RegL_01.        08:00 30:06 56:00 57:24 93:5F 94:B3 00:00
     2019-07-29 23:02:03   deviceMsg       off (to vccu)
     2019-07-29 23:02:03   level           0
     2019-07-29 23:02:03   pct             0
     2019-07-28 10:32:22   powerOn         2019-07-28 10:32:22
     2019-07-29 23:02:03   recentStateType ack
     2019-07-29 23:02:03   state           off
     2019-07-29 23:02:03   timedOn         off
   helper:
     HM_CMDNR   251
     cSnd       113224CD5EFA2D0201000000,113224CD5EFA2D0201000000
     dlvlCmd    ++A0113224CD5EFA2D0201000000
     mId        00D8
     regLst     ,0,1,3p
     rxType     1
     supp_Pair_Rep 0
     expert:
       def        1
       det        0
       raw        1
       tpl        0
     io:
       newChn     +5EFA2D,00,00,00
       nextSend   1564434123.57845
       prefIO     
       rxt        0
       vccu       
       p:
         5EFA2D
         00
         00
         00
     mRssi:
       mNo        FB
       io:
         HM_LAN:
           -36
           -36
     prt:
       bErr       0
       sProc      0
       rspWait:
     q:
       qReqConf   
       qReqStat   
     role:
       chn        1
       dev        1
       prs        1
     rssi:
       HM_LAN:
         avg        -47.375
         cnt        8
         lst        -47
         max        -47
         min        -48
       at_HM_LAN:
         avg        -44.1111111111111
         cnt        9
         lst        -44
         max        -44
         min        -45
     tmpl:
Attributes:
   IODev      HM_LAN
   autoReadReg 4_reqStatus
   expert     2_raw
   firmware   2.6
   model      HM-LC-Sw1-Pl-DN-R1
   peerIDs    00000000,
   room       Snips
   serialNr   OEQ1360870
   snipsMapping SetOnOff:cmdOn=on,cmdOff=off
   snipsName  Wohnzimmersofalicht,Sofalampe,Lichtsofa,Sofalicht
   snipsRoom  Wohnzimmer
   subType    switch
   webCmd     statusRequest:toggle:on:off



Text to speach aus FHEM heraus bringt

Code Auswählen Erweitern

set Snips say siteId="default" text="Dies ist ein Test"
keinen Ton/Sprache aber diese watch am SnipsRaspi:

Code Auswählen Erweitern

pi@raspisnips:~ $ sam watch
[06:10:49] Watching on localhost:1883 (MQTT)
[06:11:04] [Tts] was asked to say "Dies ist ein Test"
[06:11:04] [AudioServer] was asked to play a wav of 40.4 kB with id 'd3d4ea86-c189-4c0a-bfa4-a2cc917bb7ea' on site default
[06:11:06] [AudioServer] finished playing wav with id 'd3d4ea86-c189-4c0a-bfa4-a2cc917bb7ea'
[06:11:06] [Tts] finished speaking with id '0'


Ich habe im Moment das eine Device versucht zu integrieren, wahrscheinlich habe ich es noch nicht richtig gemacht.

Code Auswählen Erweitern

set Snips updateModel in FHEM hab ich am Ende gemacht.

Für Tipps was ich prüfen / ändern kann bin ich sehr dankbar.

lg
bart

[Meck]

Hallo Meck,
die Lautsprecher sind von Visaton, Typ K28.40 - 8 Ohm Artikel Nr. 2945. Als Verstärker habe ich den Stereo 3.7W Class D Audio Amplifier
von Adafruit (PRODUCT ID: 987) verwendet.

Viele Grüße
Uwe

Hallo uwemicro,

Bin echt am überlegen, ob ich mir die Teile auch dazu beschaffen soll. Hast du das Gehäuse selbst konstruiert? Finde super ansprechend. Wie ist die Klangqualität? Würdest du die Dateien für das Gehäuse zur Verfügung stellen?
Gruß

Meck

[rischbiter123]

Moin,
#bart0190

Frage: Sprichst Du den Satz in 1 durch?
Wenn ja, nach 'Hey Snips' gehört eine Pause, bis der Quittierungston ertönt. Dann versuch mal einen ganzen Satz, also z.B. 'schalte das Sofalicht an (oder ein)'.

LG

Andreas

[bart0190]

Hallo Andreas,
Danke für die schnelle Antwort. Ja, ich habe mit und ohne Pause probiert (also Pause bis der Ton kommt).

Weiß nicht ob das mit dem nicht funktionierenden TTS zusammenhängt. Ich werde noch ein 2. Device probieren.

Lg
bart

[bart0190]

Hallo,
So, habe nun 2. Device und jetzt habe ich im "sam watch" gesehen, dass wenn ich sage
"Lampe einschalten"
versteht er
"laut hell einschalten".

Muss ich irgendwo Wörter anlernen?

lg
bart

[uwemicro]

Hallo Meck,
schicke mir mal eine PM, dann kann ich Dir die STL Dateien senden.

Viele Grüße
Uwe

[bart0190]

Hi,
So, jetzt hab ich es so ziemlich eingegrenzt. Es ist anscheinend so, dass Snips mich sehr schlecht versteht. Hab herausbekommen, dass er das Wort "Temperatur" gut versteht. Damit habe ich einem Device diesen SnipsName als Attribut gegeben und schon kann man mit
"Hey Snips, Temperatur ein"
die Lampe einschalten.

Das HotWord "Hey Snips" versteht er aber praktisch immer, egal ob laut, leise, weit weg, oder nahe.

Was kann es nun sein, dass er die anderen Wörter so falsch interpretiert? 
"Lampe" versteht er z.B. gar nicht.

lg
bart

[bart0190]

Hi,
Ich glaube ich bin nun einen Schritt weiter. Ich habe nun beim Assistenten beim SetOnOff-Intent
"Schalte Küchenlicht ein" hinzugefügt.
Wenn ich nun sage "Küchenlicht ein", klappt es. Auch mit "Küchenlicht ausschalten".

---------
Edit: So, hab es nun verstanden. Für andere, denen es auch nicht ganz klar zu Beginn ist: Mann muss im console.snips.ai Assistenten im "Value" "Room" und "Devices" seine eigenen Namen eingeben.
Dann in FHEM nur mehr den Device (Snips)Namen und den Snips Raum. Ich schaff das damit sogar zweisprachig.


lg
bart

[delta8585]

---------
Edit: So, hab es nun verstanden. Für andere, denen es auch nicht ganz klar zu Beginn ist: Mann muss im console.snips.ai Assistenten im "Value" "Room" und "Devices" seine eigenen Namen eingeben.
Dann in FHEM nur mehr den Device (Snips)Namen und den Snips Raum. Ich schaff das damit sogar zweisprachig.

lg
bart

Hallo,
wo kann ich denn im "im console.snips.ai Assistenten" die Namen eintragen?
Hast du dafür einen Screenshot oder ähnliches?

Gruß
Johannes

[jowe]

@bart0190: Ich denke da bist du auf dem falschen Weg. Kann man natürlich machen, ist aber nicht so gewollt bzw. notwendig. Deine Namen/Räume etc. werden über inject in deinen Assistenten injiziert.
Also nach "sam install assistant" in FHEM "set Snips updateModel" machen. Das ist ja gerade das tolle an der injection.
Hoffe ich konnte weiterhelfen.

Gruß Jonas

[bart0190]

Hallo Jonas,
Danke für den Tipp, mach so natürlich auch mehr Sinn. Jetzt klappt es auch. Was ich nicht gemacht hatte, ist nach dem Assistenten-Download nochmal ein

Code Auswählen Erweitern

set Snips updateModel
im FHEM auszulösen.
Jetzt funktioniert es.

@delta8585 (Johannes):
Jetzt habe ich es richtig gemacht: Hier ein  Beispiel von meinem Küchenlicht:

Code Auswählen Erweitern

attr Kueche_Licht_Herd room Snips,Kueche
attr Kueche_Licht_Herd snipsRoom Küche,Kueche,Kosina
attr Kueche_Licht_Herd snipsMapping SetOnOff:cmdOn=on,cmdOff=off
attr Kueche_Licht_Herd snipsName Licht,Lampe,Lampara,Lus
set Snips updateModel

in console.snips.ai hast du ja sicher schon einen Assistenten angelegt. Deutsch als Sprache auswählen und dann im Store (rechts oben nach FHEM) suchen und auswählen. Dort dann z.B. auf "SetOnOff" klicken und dort die Synonyme für dein auf/zu eintragen. (s. Anhang).
Ich habe dort auch spanische Worte eingefügt zum Ausprobieren - klappt auch gut.
Dann Speichern, und auf Download, Kommando für sam kopieren und am SnipsRaspi den Befehl einfügen.
Dann nach erfolgtem Download nochmal in FHEM

Code Auswählen Erweitern

set Snips updateModel
machen.
lg
bart

[s710]

Hallo zusammen,

will mich nun auch mal in Snips versuchen, und habe mir entsprechende Hardware gekauft:
- Raspi 3 (hatte ich noch)
- Matrix Voice Micro HAT
- Billige Boxen mit Klinke + USB
- Raspi Zero W
- ReSpeaker 2-Mics Pi HAT
- Mini-Speaker mit JST-Stecker

Ich habe jetzt erstmal die Basisstation auf dem Pi 3 in Angriff genommen. Dafür ein frisches Raspbian Stretch drauf, das Kernel-Modul für Matrix Voice installiert, und anschließend Snips (alles gemäß Anleitung von Snips). Dann einen Assistanten erstellt mit Wetter und Wecker Skills.

So weit läuft das alles:

Code Auswählen Erweitern


~> sam status

Connected to device 10.0.0.30

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Home assistant
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.63.3 (running)
snips-audio-server ........... 0.63.3 (running)
snips-dialogue ............... 0.63.3 (running)
snips-hotword ................ 0.63.3 (running)
snips-nlu .................... 0.63.3 (running)
snips-skill-server ........... 0.63.3 (running)
snips-tts .................... 0.63.3 (running)


Mit einem "Hey Snips, wie ist das Wetter?" o.ä. kann ich auch problemlos das Wetter abfragen, und mir wird die Antwort vorgesprochen. D.h. Mikrofon geht, Lautsprecher gehen, Snips scheint zugehen.

Ich habe allerdings 3 kleine Problemchen:

1) Kein Audio-Feedback
Ich musste in /etc/snips.toml den Parameter snips-dialogue / sound_feedback_disabled_default auf true setzen. Tu ich das nicht, erkennt er zwar das Hotword, will dann aber einen Ton abspielen, um sich dann kurze Zeit später zu beschweren, dass eine Komponente nicht rechtzeitig fertig geworden ist:

Code Auswählen Erweitern


[21:03:42] [Hotword] detected on site default, for model hey_snips
[21:03:42] [Asr] was asked to stop listening on site default
[21:03:42] [Hotword] was asked to toggle itself 'off' on site default
[21:03:42] [Dialogue] session with id '03ffd07c-1602-4fb9-a8ca-872a33e204cb' was started on site default
[21:03:42] [AudioServer] was asked to play a wav of 41.1 kB with id 'fc9e5496-279e-481b-9c7d-559b01903ff1' on site default
*pause*
[21:03:58] [Dialogue] session with id '03ffd07c-1602-4fb9-a8ca-872a33e204cb' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[21:03:58] [Asr] was asked to stop listening on site default
[21:03:58] [Hotword] was asked to toggle itself 'on' on site default


Ich vermute, er versucht dann, das .wav-File für das Feedback des erkannten Hotwords zu spielen, was - warum auch immer - nicht klappt, und die restliche Ausführung blockiert. Woran kann das liegen? Prinzipiell spielt Snips doch problemlos Audio ab?

2) Audio bricht frühzeitig ab

Habe bisher nur mit dem Wecker und dem Wetter experimentiert, aber insbesondere bei den Skills für den Wecker bricht die Ausgabe des Audio immer frühzeitig ab. Er beginnt, die Antwort vorzulesen, aber dann *zack* Ton aus. Ich hab keine Ahnung woran das liegen könnte. Damit ist das System natürlich mehr oder weniger unbrauchbar 

3) Hotword kann nicht ausgetauscht werden
Wenn ich das Snips-Script ausführe, um ein neues Hotword aufzuzeichnen, komm ich in eine Endlosschleife, in der er immer wieder behauptet, es gäbe zu viel Hintergrundlärm, und ich soll das Wort nochmal aufnehmen:

Code Auswählen Erweitern


WARNING: there seems to be too much noise in your environment please retry to record this sample by following the instructions.
Expression 'alsa_snd_pcm_hw_params_set_period_size_near( pcm, hwParams, &alsaPeriodFrames, &dir )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 924
Expression 'alsa_snd_pcm_hw_params_set_period_size_near( pcm, hwParams, &alsaPeriodFrames, &dir )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 924
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.front
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.rear
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.center_lfe
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.side
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround21
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround21
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround40
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround41
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround50
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround51
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.surround71
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.iec958
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.iec958
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.iec958
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.hdmi
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.hdmi
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.modem
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.modem
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.phoneline
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM cards.pcm.phoneline
ALSA lib confmisc.c:1281:(snd_func_refer) Unable to find definition 'defaults.bluealsa.device'
ALSA lib conf.c:4528:(_snd_config_evaluate) function snd_func_refer returned error: No such file or directory
ALSA lib conf.c:4996:(snd_config_expand) Args evaluate error: No such file or directory
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM bluealsa
ALSA lib confmisc.c:1281:(snd_func_refer) Unable to find definition 'defaults.bluealsa.device'
ALSA lib conf.c:4528:(_snd_config_evaluate) function snd_func_refer returned error: No such file or directory
ALSA lib conf.c:4996:(snd_config_expand) Args evaluate error: No such file or directory
ALSA lib pcm.c:2495:(snd_pcm_open_noupdate) Unknown PCM bluealsa
Expression 'alsa_snd_pcm_hw_params_set_period_size_near( pcm, hwParams, &alsaPeriodFrames, &dir )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 924
Cannot connect to server socket err = No such file or directory
Cannot connect to server request channel
jack server is not running or cannot be started
JackShmReadWritePtr::~JackShmReadWritePtr - Init not done for -1, skipping unlock
JackShmReadWritePtr::~JackShmReadWritePtr - Init not done for -1, skipping unlock


Press enter to record one sample, say your hotword when "recording..." shows up


Im Raum ist es aber zu 100% leise. Ich hab alle Fenster zu gemacht, alle Geräte aus, sogar die tickende Uhr in den anderen Raum gebracht. Einen Lüfter habe ich nicht auf dem Pi, der noch stören könnte, also ist wirklich alles mucksmäuschenstill. Ausserdem versteht er mich ja sehr gut, ein "Hey Snips" klappt immer, egal welche Entfernung, und auch wenn ich nicht laut spreche. Also scheint es da noch ein anderes Problem zu geben?

Mit einem arecord recording.wav -f S16_LE -r 16000 -d 2 && aplay recording.wav und einer kurzen Testaufnahme kann ich auch keinerlei Störgeräusche hören.


Ich hoffe, dass hier jemand schlaues unterwegs ist, der mir bei der Behebung der Probleme helfen kann. Im Snips-Forum hatte ich bislang leider kein Glück. Ist auch etwas seltsam, da ich schon sagen würde, dass ich eine ziemliche Standardinstallation habe. Auf dem Pi ist auch ansonsten nichts auf, ausser Snips.

[uwemicro]

Hallo,
wenn jemand das Gehäuse nachbauen möchte, unter

www.uwe-magnus.de/Snips/Snips.zip

können die Daten für den 3D Druck heruntergeladen werden.

Viele Grüße
Uwe