SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[tomster]

Befinden sich also alle im Snips Device und nicht verstreut.

Oder halt da

[Thyraz]

... zu früh gefreut, einstellen der Lautstärke klappt nicht

Code Auswählen Erweitern


root@snips:~# systemctl stop snips-volume.service ; python3 /opt/snips-volume/snips-volume.py
MQTT Server:  localhost:1883
MQTT Host:  localhost
MQTT Port:  1883
Binding:  default@mqtt
SiteId:  default
MQTT connected
Received setvolume
Target SiteId:  default
Desired Volume:  77
Target SiteId matches SiteId of this device
Trying to adjust volume
No mastr mixer, fallback to PCM


Ich versteh es echt nicht. 

Das ist die Funktion in der er laut Log ja scheinbar noch landet aber dann die Lautstärke nicht ändert:

Code Auswählen Erweitern


def set_volume(volume):
    volume = int(volume)

    print("Trying to adjust volume")

    try:
        mixer = alsaaudio.Mixer()
    except Exception:
        print("No mastr mixer, fallback to PCM")
        mixer = alsaaudio.Mixer('PCM')
        pass

    mixer.setvolume(volume)



Neulich hattest du ja das in der Python Console getestet und das ging:

Code Auswählen Erweitern


sudo python3

>>> import alsaaudio

>>> mixer = alsaaudio.Mixer()
oder falls es ein Raspberry Pi ist:
>>> mixer = alsaaudio.Mixer('PCM')

>>> mixer.setvolume(100)

>>> exit()


Sind an sich ja genau die selben Befehle ...

Meinen Hinweis, dass die Volume über Python gesetzt nicht genau mit den Werten aus Alsamixer übereinstimmt hast du gesehen?
Also evtl. mal mit den Werten 0 und 100 testen.
Dazwischen ist es nicht komplett linear. Kann also gut sein, dass bei einem Sollwert 77 nur knappe 60 in Alsamixer eingestellt werden.

Den Grund dahinter habe ich auch nicht rausgefunden, war mir aber auch nicht so wichtig, da die Regelung zwischen 0 und 100 ja dennoch stufenlos möglich ist

[ahlermi]

100% ist angekommen, vermutlich war es das mit den unterschiedlichen Werten, danke für die Hilfe!

[ahlermi]

Für  Amazon Echo habe ich eine Lösung gebaut um mit einem Custom Skill mit Talk2Fhem zu reden:

Code Auswählen Erweitern


fhemIntents          {my_Alexatalk("$ALLES")}=den Satz {ALLES:AMAZON.SearchQuery}


Code Auswählen Erweitern


sub my_Alexatalk($){
    Log 3, "Alexa: @_";
    fhem("set talk @_");
}


Alexa sag James, den Satz mach die Stehlampe im Wohnzimmer an

[marwal]

Hallo zusammen,

gibt es eine Möglichkeit Snips in den listening-Modus zu versetzen ohne vorher das Wakeword zu sprechen, z.B. via Systembefehl?

LG

Martin

[Thyraz]

Das geht, ist nur im Modul noch nicht eingebaut.
Man kann den Dialog auch mit einer Ansage/Frage seitens Snips beginnen.

[rih]

Hallo,

Ihr seid hier ja schon am diskutieren über alle möglichen Erweiterungen etc. Installations-Probleme gibt es anscheinend keine. Von daher traue ich mich fast gar nicht wegen meinen Anfänger-Problemen um Hilfe zu fragen.

Kurz zu meiner Snips-Umgebung: Pi3 mit Respeaker 2 Mics, Stretch lite, alles nach Anleitungen vor 2 Tagen installiert. Auf dem Pi laufen 8 Snips-relevante Services und Mosquitto. Audio-Test mit arecord / aplay funktioniert. FHEM-Modul SNIPS installiert. Snips und SnipsMQTT angelegt. Raum Snips angelegt. Dem Raum eine Lampe hinzugefügt, entsprechende Attribute gesetzt.

Was geht: das Hotword Hey Snips wird erkannt. Dannach passiert nichts. Keine Ausgabe "etwas schief gelaufen" etc. Sollte da nicht ein Bestätigungs-Sound oder -Meldung kommen?
Was noch geht: Im Snips-Device einen textCommand-Befehl "Schalte Salzlampe ein" absetzen -> die Lampe schaltet an. Und aus mit dem entsprechenden Befehl.
Was auch noch geht: mit dem Snips-Say-Kommando kann ich eine Sprachausgabe machen, z.B. "Das ist ein Test".

Auf Spracheingabe erfolgt leider keinerlei Reaktion (ausser der Erkennung des Hotwords laut Log). Ein Verbose 5 bei Snips und SnipsMQTT zeigt folgendes an:

Code Auswählen Erweitern

2018.09.14 16:51:10 5: MQTT SnipsMQTT message received: Publish/at-most-once hermes/hotword/default/detected
  7b 22 73 69 74 65 49 64 22 3a 22 64 65 66 61 75  {"siteId":"defau
  6c 74 22 2c 22 6d 6f 64 65 6c 49 64 22 3a 22 68  lt","modelId":"h
  65 79 5f 73 6e 69 70 73 22 2c 22 6d 6f 64 65 6c  ey_snips","model
  56 65 72 73 69 6f 6e 22 3a 22 68 65 79 5f 73 6e  Version":"hey_sn
  69 70 73 5f 33 2e 31 5f 32 30 31 38 2d 30 34 2d  ips_3.1_2018-04-
  31 33 54 31 35 3a 32 37 3a 33 35 5f 6d 6f 64 65  13T15:27:35_mode
  6c 5f 30 30 31 39 22 2c 22 6d 6f 64 65 6c 54 79  l_0019","modelTy
  70 65 22 3a 22 75 6e 69 76 65 72 73 61 6c 22 2c  pe":"universal",
  22 63 75 72 72 65 6e 74 53 65 6e 73 69 74 69 76  "currentSensitiv
  69 74 79 22 3a 30 2e 35 7d                       ity":0.5}

Code Auswählen Erweitern

2018.09.14 16:51:10 5: publish received for hermes/hotword/default/detected, {"siteId":"default","modelId":"hey_snips","modelVersion":"hey_snips_3.1_2018-04-13T15:27:35_model_0019","modelType":"universal","currentSensitivity":0.5}
2018.09.14 16:51:10 5: Parsed value:  for key: intent
2018.09.14 16:51:10 5: Parsed value:  for key: sessionId
2018.09.14 16:51:10 5: Parsed value:  for key: input
2018.09.14 16:51:10 5: Parsed value: default for key: siteId
2018.09.14 16:51:10 5: Parsed value:  for key: probability
2018.09.14 16:51:10 5: Parsed value:  for key: intent
2018.09.14 16:51:10 5: Parsed value:  for key: sessionId
2018.09.14 16:51:10 5: Parsed value:  for key: input
2018.09.14 16:51:10 5: Parsed value: default for key: siteId
2018.09.14 16:51:10 5: Parsed value:  for key: probability

Attribute der Lampe:

Code Auswählen Erweitern

Attributes:
   IODev      Raspbee
   alias      Lava_Lampe
   color-icons 2
   devStateIcon {(HUEDevice_devStateIcon($name),"toggle")}
   fp_EG_Aussen 444,287,1,Lava_Lampe
   group      Licht_EG
   model      Classic B40 TW - LIGHTIFY
   room       Snips,Erdgeschoss,HUEDevice
   snipsMapping SetOnOff:cmdOn=on,cmdOff=off
   snipsName  Salzlampe
   snipsRoom  Erdgeschoss
   subType    ctdimmer
   webCmd     ct:ct 490:ct 380:ct 270:ct 160:toggle:on:off

List Snips:

Code Auswählen Erweitern

Internals:
   DEF        SnipsMQTT Erdgeschoss
   IODev      SnipsMQTT
   MODULE_VERSION 0.2
   NAME       Snips
   NOTIFYDEV  SnipsMQTT Erdgeschoss
   NR         282
   STATE      ???
   TYPE       SNIPS
   READINGS:
     2018-09-14 15:58:33   lastIntentPayload {"Device":"salzlampe","Value":"aus","input":"\u0022Schalte Salzlampe aus\u0022","intent":"SetOnOff","probability":"0.71456796","requestType":"text","sessionId":"fhem.textCommand","siteId":null}
     2018-09-14 15:58:33   lastIntentTopic hermes/nlu/intentParsed
     2018-09-14 16:51:25   listening_erdgeschoss 0
     2018-09-14 15:58:33   textResponse    Ok.
     2018-09-14 16:51:25   transmission-state incoming publish received
   helper:
     defaultRoom Erdgeschoss
   message_ids:
   subscribe:
     hermes/intent/+
     hermes/nlu/intentParsed
     hermes/hotword/+/detected
     hermes/hotword/toggleOn
   subscribeExpr:
     ^hermes\/intent\/([^/]+)$
     ^hermes\/nlu\/intentParsed$
     ^hermes\/hotword\/([^/]+)\/detected$
     ^hermes\/hotword\/toggleOn$
   subscribeQos:
     hermes/hotword/+/detected 0
     hermes/hotword/toggleOn 0
     hermes/intent/+ 0
     hermes/nlu/intentParsed 0
Attributes:
   IODev      SnipsMQTT
   verbose    5

List SnipsMQTT:

Code Auswählen Erweitern

Internals:
   DEF        192.168.0.6:1883
   DeviceName 192.168.0.6:1883
   FD         66
   NAME       SnipsMQTT
   NOTIFYDEV  global
   NR         281
   NTFY_ORDER 50-SnipsMQTT
   PARTIAL   
   STATE      opened
   TYPE       MQTT
   buf       
   msgid      2
   ping_received 1
   timeout    60
   READINGS:
     2018-09-14 17:45:59   connection      active
     2018-09-14 12:54:58   state           opened
   messages:
Attributes:
   verbose    5

Auffällig sind noch diese Perl-Warnungen Snips betreffend im Logfile:

Code Auswählen Erweitern

2018.09.14 12:56:17 1: PERL WARNING: Use of uninitialized value in substitution (s///) at ./FHEM/10_SNIPS.pm line 712.
2018.09.14 12:56:17 1: PERL WARNING: Use of uninitialized value $value in concatenation (.) or string at ./FHEM/10_SNIPS.pm line 753.

2018.09.14 15:58:11 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 355.
2018.09.14 15:58:11 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 272.
2018.09.14 15:58:11 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 331.
2018.09.14 15:58:11 1: PERL WARNING: Use of uninitialized value $attrString in split at ./FHEM/10_SNIPS.pm line 606.
2018.09.14 15:58:11 1: PERL WARNING: Use of uninitialized value $room in string eq at ./FHEM/10_SNIPS.pm line 381.

Ich hoffe, dass ihr damit alle relevanten Informationen habt und bitte um Unterstützung bei der Fehlersuche. Komme alleine nicht mehr weiter.

[Thyraz]

So, zum Wochenende noch eine neue Version für alle, die scharf auf selbstdefinierte Antworten von Snips sind.
Ich hab jetzt die maximale Konfigurationsmöglichkeit genutzt, indem man das für jede Mappingzeile getrennt angeben kann.

Achtung: Die Formatierung der Texte beim Status Intent hat sich geändert!
Falls ihr hier statt Perl-Code einen Text angebt, muss dieser jetzt in Anführungszeichen.
Bitte euren bisherigen Status Mappings anpassen.

Code Auswählen Erweitern


Status:response="Der Status vom Gerät ist [$DEVICE:state]"

Das dient zu Vereinheitlichung, da jetzt in Snips an sich überall Angaben auf die folgende Weise erlaubt sind:
1) reading bzw. cmd -> Ruft wer aus aktuellem Device ab, bzw. führt Kommando im aktuellen Device aus.
2) device:reading bzw. device:cmd -> An sich wie Erstens, nur umgeleitet auf ein anderes Gerät
3) { perlcode } -> Perlcode in in geschwungenen Klammern
4) "Dies ist ein Text mit Variablen $DEVICE $ROOM $VALUE und [Device:Reading] Ersetzungen." -> Text in Anführungszeichen um die 4 Varianten auseinanderhalten zu können.

Aber jetzt zur eigentlichen Neuerung:

Custom Replies
Alle Intent-Mappings haben jetzt eine neue Option response erhalten.
Hierüber könnt ihr die Antworten anpassen.
Es sind auch hier die 4 oben genannten Möglichkeiten zum Erstellen der Antwort möglich, Nummer 3 und 4 dürften am meisten genutzt werden schätze ich.

Innerhalb vom Perl Code oder dem Text könnt ihr die Variablen $DEVICE, $ROOM und je nach Intent auch $VALUE nutzen.
Bei GetOnOff ist $VALUE dann z.B. 0 oder 1.
Bei SetNumeric der zu setzende Wert.

hier zwei schnelle (sinnlose) Beispiele dazu:

Code Auswählen Erweitern


SetOnOff:cmdOn=on,cmdOff=off,response="Demo: $DEVICE $ROOM $VALUE [Dimmer02:power]"
GetOnOff:currentVal=dimmerVal,valueOff=0,response={return ($VALUE == 1) ? "ist an" : "ist aus"}


Für komplexere Dinge bietet es sich auch an eine Funktion in der 99_MyUtils.pm zu erstellen und hier dann anhand der Werte und des Intents (und evtl. Types) eine Antwort zu bilden.

Beispielmapping:

Code Auswählen Erweitern


GetNumeric:currentVal=state,type=Temperatur,response={return=mySnipsResponses($DEVICE,"GetNumeric","Temperatur",$VALUE)}


Mehr dazu die Tage wenn ich wieder etwas Zeit habe.
Werde dann auch die Doku mal wieder gerade ziehen...

[Thyraz]

@rih muss jetzt leider weg, schau es mir Morgen mal an.
Wenn aber soviel schon geht kann das ja nur ne Kleinigkeit sein. 

[rih]

@Thyraz: Du machst mir gute Hoffnung 

Hier noch eine Snips-watch-Ausgabe während eines Tests:
pi@raspberrypi:~ $ snips-watch -vvv
[09:28:43] Watching on localhost:1883 (MQTT)
[09:28:49] [Hotword] detected on site default, for model hey_snips
[09:28:49] [Asr] was asked to stop listening on site default
[09:28:50] [Hotword] was asked to toggle itself 'off' on site default
[09:28:50] [Dialogue] session with id 'c76814ea-9aeb-45d1-9623-676123cab705' was started on site default
[09:28:50] [AudioServer] was asked to play a wav of 41.1 kB with id '33dd240a-c1be-4c15-841b-943153a5c11a' on site default
[09:29:05] [Dialogue] session with id 'c76814ea-9aeb-45d1-9623-676123cab705' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[09:29:05] [Asr] was asked to stop listening on site default
[09:29:05] [Hotword] was asked to toggle itself 'on' on site default
^C
pi@raspberrypi:~ $

Passt das mit der site default? Der Audioserver soll eine wav mit id '33dd ...' abspielen, was er nicht tut.

[msommer]

Hallo,

Ich habe bemerkt, das GetNumeric  bei mir mit "wie ist die temperatur im ..." seit einem der letzten Updates nicht mehr funktioniert. Der Grund ist das der Type in lastIntentPayload, je nach Art der Frage, einmal mit kleinem und einmal mit großem T geschrieben ist. 

Code Auswählen Erweitern


{"Room":"wohnzimmer","Type":"temperatur","input":"wie ist die temperatur im wohnzimmer","intent":"GetNumeric","probability":"1","requestType":"voice","sessionId":"80f522b7-a625-4533-962e-399e65f97abb","siteId":"default"}

In dem Fall matched der Type nicht dem Type im snipsMapping (temperatur != Temperatur) -> Fehler

Code Auswählen Erweitern

{"Room":"wohnzimmer","Type":"Temperatur","input":"wie warm ist es im wohnzimmer","intent":"GetNumeric","probability":"1","requestType":"voice","sessionId":"04ad0efb-5954-4b31-8e71-e56f1e261d74","siteId":"default"}

In dem Fall passt es.

Im sam watch ist der Type immer mit Großbuchstaben.
[12:15:19] [Nlu] detected intent Thyraz:GetNumeric with probability 1.000 for input "wie ist die temperatur im wohnzimmer"
              Slots ->
                 Type -> Temperatur
                 Room -> Wohnzimmer

Kann sich das jemand erklären?

[Thyraz]

Woher auch immer es kommt (dachte bisher, dass der Wert den ich aus der Position im JSON ziehe immer der Schreibweise im Slot der App entspricht), die Abfrage ist mit dem Update das ich eben hochgeladen habe nun Case Insensitive.

Hoffe ich hab alle Stellen erwischt wo Vergleiche stattfinden, sonst nochmal Bescheid geben.

[Thyraz]

@rih irgendwie bin ich aus den Logs noch nicht so ganz schlau geworden.
Du schreibst, dass Text2Speech geht? (say Kommando vom Snips-Modul.)

Wenn ja scheint der Audioserver ja Sounds spielen können.
Verwirrt mich, dass er das dann nicht macht nachdem das Hotword getriggert hat.

Site default sollte passen.
Hotword wurde ja auch auf Site default erkannt.

Falls aus irgendeinem Grund was mit den Sounds nicht stimmt:
Versuch mal "Hey Snips, ... <2 Sekunden warten> ... , Schalte die Salzlampe ein"

Durch die Sounds merkt man normal automatisch, dass man etwa eine Sekunde Zwangspause machen muss nach dem Hotword.
Ohne die Sounds versuchst du es evtl. zu schnell.

Nicht, dass es nur an den Sounds hängt und an nichts anderem.

Falls das nicht hilft, schau mal mit systemctl status <servicename> ob folgende Dienste wirklich laufen:
snips-asr
snips-audio-server
snips-dialogue
snips-hotword
snips-nlu
snips-tts

In deinem letzten Post sieht man, dass der Dialogmanager mit einem Timeout endet.
Man sieht aber keinen erkannten Text von ASR.
Daher ist eben die Frage ob echt kein Text erkannt wird oder das Timing nur nicht passt...

Mikro an sich geht ja, sonst würde er das Hotword nicht erkennen.
Audio auch, sonst gäbe es kein TTS.

Bleibt die Frage ob sonst mit dem ASR Modul was nicht stimmt.

Anstatt mit snips-watch, könntest du auch mal versuchen im Terminal mit mosquitto_sub zu lauschen.
Das liefert dann die echten Daten vom MQTT Traffic.
Kann man meist noch etwas mehr rauslesen:

Code Auswählen Erweitern


mosquitto_sub -v -h localhost -t hermes/hotword/# -t hermes/intent/# -t hermes/tts/# -t hermes/audioServer/default/playFinished -t hermes/asr/# -t hermes/dialogueManager/# -t hermes/nlu/# -t hermes/sound/setvolume


[ahlermi]

Ich hatte genau das Verhalten als ich ein CustomHotword definiert habe, bis ich das eingestellt habe.

Important: If you want the universal hotword model attached to your assistant to run simultaneously, add its path to the model entry: /usr/share/snips/assistant/custom_hotword. Note that if you do not provide sensivity the model will take 0.5 by default.

Gruß Michael

[rih]

@Thyraz:
Danke für Deine Tipps.

1. Ja, say und textCommand funktioniert.
2. Wartezeit 1, 2, 3 Sekunden probiert -> keine Reaktion.
3. die 7 Dienste laufen (inkl. snips-asr-injection)
Allerdings tritt beim Audio-Server ein Fehler auf (aber er läuft):

Code Auswählen Erweitern

Sep 15 15:24:51 raspberrypi snips-audio-server[761]:  -> caused by: UnanticipatedHostError
Sep 15 15:24:51 raspberrypi snips-audio-server[761]: thread '<unnamed>' panicked at 'called `Result::unwrap()` on an `Err` value: "SendError(..)"', libcore/r
Sep 15 15:24:51 raspberrypi snips-audio-server[761]: note: Run with `RUST_BACKTRACE=1` for a backtrace.
Sep 15 15:25:39 raspberrypi snips-audio-server[761]: INFO:snips_audio_portaudio    : Playing "c36fe1d8-ceb9-4976-9550-e987d2d6d2bc" using output "default", w
Sep 15 15:25:39 raspberrypi snips-audio-server[761]: Expression 'alsa_snd_pcm_hw_params_set_rate_near( pcm, hwParams, &setRate, NULL )' failed in 'src/hostap
Sep 15 15:25:39 raspberrypi snips-audio-server[761]: Expression 'paUnanticipatedHostError' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2053
Sep 15 15:25:39 raspberrypi snips-audio-server[761]: Expression 'PaAlsaStreamComponent_InitialConfigure( &self->playback, outParams, self->primeBuffers, hwPa
Sep 15 15:25:39 raspberrypi snips-audio-server[761]: Expression 'PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuff
Sep 15 15:25:39 raspberrypi snips-audio-server[761]: ERROR:snips_audio_server_hermes: could not play "c36fe1d8-ceb9-4976-9550-e987d2d6d2bc"
Sep 15 15:25:39 raspberrypi snips-audio-server[761]:  -> caused by: UnanticipatedHostError


Leider kann ich mit den Meldungen recht wenig anfangen. Verhindert dieser Fehler nun nur das Abspielen der wav-Datei oder blockiert dieser den weiteren Ablauf?

4. MQTT-Traffic (mit MQTT.fx erfasst) während "Hey snips" , Wartezeit, "Schalte Salzlampe ein":
Keine Fehlermeldungen ersichtlich. Meiner Ansicht nach normale Meldungen erscheinen nur von hotword, asr und dialogueManager. Keine Meldung vom Audioserver und den anderen von Dir genannten Topics.

@ahlermi:
Ich habe ja kein Custom-Hotword ausgewählt, oder verstehe ich Dich falsch? Habe aber gestern den Assitenten nochmal neu erstellt und in den Snips-Ordner kopiert -> keine Änderung am Fehlerverhalten.

Kann jemand mit den Audioserver-Meldungen von Punkt 3 etwas anfangen? Scheint ja eher ein grundlegendes Linux- bzw. Alsa-Problem zu sein.
Gruß
Hans