SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

[BobbyD]

Hi,

ich kämpfe mich durch die Snips Installation und komme einfach nicht weiter. Immer wenn ich den Status der Küche abfrage kommt "Da ist etwas schief gegangen".
Wenn ich aber nach der Temp. einzeln frage, bekomme ich die korrete antwort.

Code Auswählen Erweitern

21:22:58] [Asr] captured text "wie ist der status in der küche" in 4.0s
[21:22:58] [Asr] was asked to stop listening on site default
[21:22:58] [AudioServer] was asked to play a wav of 93.1 kB with id 'fc8a6745-17c7-4a98-8101-59269d1b63a6' on site default
[21:22:59] [AudioServer] finished playing wav with id 'fc8a6745-17c7-4a98-8101-59269d1b63a6'
[21:22:59] [Nlu] was asked to parse input "wie ist der status in der küche"
[21:22:59] [Nlu] detected intent Thyraz:Status with probability 0.607 for input "wie ist der status in der küche"
[21:22:59] [Dialogue] New intent detected Thyraz:Status with probability 0.607
[21:22:59] [Nlu] was asked to parse input "wie ist der status in der standardraum"
[21:22:59] [Nlu] detected intent Thyraz:Status with probability 0.714 for input "wie ist der status in der standardraum"
              Slots ->
                 Room -> Standardraum
[21:22:59] [Dialogue] was ask to end session with id 9c2f3f1f-8e74-4431-a6d7-c720646d126b by saying 'Da ist etwas schief gegangen.'
[21:22:59] [Tts] was asked to say "Da ist etwas schief gegangen."

Ich habe die Status Response mit "" und ohne "" probiert. Kommt immer der Fehler.

Vielleicht kann mir hier einer Bitte weiter helfen.
Danke
Bobby

[Eisix]

Hallo,

ich habe immer noch Probleme mit der installation. Habe jetzt Mosquitto am laufen aber die snips services laufen nicht alle.

Code Auswählen Erweitern


sam login
? Enter email used on the console: XXX@XXX
? Enter password used on the console: [hidden]
✔ Logged in

sam service start
✖ Error: No credentials found


Welche credentials meint sam und wo kann ich die mitgeben/hinterlegen? Jemand einen Tip?

Gruß
Eisix

[enno]

Ich habe das mit

Code Auswählen Erweitern

pi@SNIPS:~ $ sam init
Installing Snips Platform components. This may take a few minutes...
✔ Updating aptitude repository
✔ Installing dirmngr
✔ Adding Snips APT source list
✔ Adding Snips PGP public key
✔ Updating aptitude repository
✔ Installing Snips Platform, this could take a while, grab a cup of tea & relax
✔ Adding current user to snips-skills-admin group for security
✔ Successfully installed the Snips Platform
i You can now setup your audio with sam setup audio t gestartet. Dort fragte er mich nach User (=>PI) und Password(Linux admin). Danach wurden die credentials angelegt. Dann ging es mit login weiter. dort dann Snips Logindaten.

Gruss
  Enno

[Eisix]

Das hatte ich auch versucht, habe da aber das gleiche Problem.

Code Auswählen Erweitern


sam init
Installing Snips Platform components. This may take a few minutes...
 
✖ Error: No credentials found


Neuinstallation von snips-sam hat auch nichts gebracht.

Gruß
Eisix

[enno]

Was passiert wenn du mit deiner IP folgendes versuchst?

Code Auswählen Erweitern

sam connect 192.168.1.40

[Eisix]

Das hat mich schon mal weiter gebracht. Der connect mit einem nicht root user hat geklappt (direkt root habe ich aus).

Danach ging mit root folgendes.

Code Auswählen Erweitern


sam init
Installing Snips Platform components. This may take a few minutes...
✔ Updating aptitude repository
✔ Installing dirmngr
✔ Adding Snips APT source list
✔ Adding Snips PGP public key
✔ Updating aptitude repository
✔ Installing Snips Platform, this could take a while, grab a cup of tea & relax
✔ Adding current user to snips-skills-admin group for security
  Disabling Mosquitto persistence
✖ Failed to install platform: Error: sudo: Kein TTY vorhanden und kein »askpass«-Programm angegeben
    at SSH.<anonymous> (/usr/lib/node_modules/snips-sam/node_modules/node-ssh/lib/index.js:175:19)
    at Generator.next (<anonymous>)
    at step (/usr/lib/node_modules/snips-sam/node_modules/node-ssh/lib/index.js:39:191)
    at /usr/lib/node_modules/snips-sam/node_modules/node-ssh/lib/index.js:39:361
    at <anonymous>
    at process._tickCallback (internal/process/next_tick.js:189:7)



TTY sollte zu klären sein indem ich local an den Rechner gehe askpass muss ich mir anschauen.

Gruß
Eisix

[Eisix]

Services laufen jetzt.

In der sudoers musste ich dem nicht root user vollen Zugriff zur Installation.
sam arbeitet wohl immer mit sudo

Code Auswählen Erweitern


user ALL=(ALL) NOPASSWD: ALL


Mal schauen wie ich das auf Dauer umsetze.

Gruß
Eisix

[kud]

Sagt mal. Das Ausschalten des "Bling" geht jetzt nicht mehr ?
sam sound-feedback off   oder  set SnipsMQTT publish hermes/hotword/default/toggleOff
oder mosquitto_pub -h localhost -t hermes/feedback/sound/toggleOff -m '{"siteid"="wohnzimmer":"default"}'

Nichts dergleichen funktioniert ;-((

[enno]

Sagt mal. Das Ausschalten des "Bling" geht jetzt nicht mehr ?
sam sound-feedback off   oder  set SnipsMQTT publish hermes/hotword/default/toggleOff
oder mosquitto_pub -h localhost -t hermes/feedback/sound/toggleOff -m '{"siteid"="wohnzimmer":"default"}'

Nichts dergleichen funktioniert ;-((

Bei mir ist das ausgeschaltet. Habe ich gestern gemacht einfach

Code Auswählen Erweitern

sam sound-feedback off


[kud]

Nö. Das "blinkt" weiter.
Hat das evtl. damit zu tun, dass noch ein Satellit mitläuft?

[bennebartsch]

Kannst du mal die Logausgaben dazu posten mit verbose 5 (nur beim Snips Device) wenn du einen Shortcut zu triggern versuchst?
Dazu ein komplettes list vom Snips-Device?

Log:

Code Auswählen Erweitern

2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value in substitution (s///) at ./FHEM/10_SNIPS.pm line 737.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value $value in concatenation (.) or string at ./FHEM/10_SNIPS.pm line 778.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 226.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 249.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 272.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 331.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value in split at ./FHEM/10_SNIPS.pm line 300.
2018.09.21 18:04:39 1: PERL WARNING: Use of uninitialized value $attrString in split at ./FHEM/10_SNIPS.pm line 608.

List:

Code Auswählen Erweitern

Internals:
   DEF        SnipsMQTT Wohnzimmer
   IODev      myBroker
   MODULE_VERSION 0.2
   NAME       snips
   NOTIFYDEV  SnipsMQTT Wohnzimmer
   NR         264
   STATE      ???
   TYPE       SNIPS
   READINGS:
     2018-09-21 18:04:39   lastIntentPayload {"input":"msgText: Wieviel Uhr ist es","intent":"GetNumeric","probability":"0.65538675","requestType":"text","sessionId":"fhem.textCommand","siteId":null}
     2018-09-21 18:04:39   lastIntentTopic hermes/nlu/intentParsed
     2018-09-21 16:53:39   listening_wohnzimmer 0
     2018-09-21 18:04:39   textResponse    Da ist etwas schief gegangen.
     2018-09-21 18:04:39   transmission-state incoming publish received
     2018-09-21 16:38:50   voiceResponse   Ok.
   helper:
     defaultRoom Wohnzimmer
   message_ids:
   subscribe:
     hermes/intent/+
     hermes/nlu/intentParsed
     hermes/hotword/+/detected
     hermes/hotword/toggleOn
   subscribeExpr:
     ^hermes\/intent\/([^/]+)$
     ^hermes\/nlu\/intentParsed$
     ^hermes\/hotword\/([^/]+)\/detected$
     ^hermes\/hotword\/toggleOn$
   subscribeQos:
     hermes/hotword/+/detected 0
     hermes/hotword/toggleOn 0
     hermes/intent/+ 0
     hermes/nlu/intentParsed 0
Attributes:
   IODev      myBroker
   room       Snips
   shortcuts  Wieviel Uhr ist es={return "es ist " . qx(date +%R);}
Wieviel Uhr haben wir={return "es ist " . qx(date +%R);}
   snipsIntents roomba=snipsRoomba(cmd)
audio_source=snipsAudioSource(source)
   verbose    0

Vielen Dank schonmal

[Eisix]

Hallo,

bin jetzt ein paar Schritte weiter. Snips hört das Hotword, danach passiert aber nichts mehr. 2 services laufen nicht

Code Auswählen Erweitern


[16:04:21] [Hotword] detected on site default, for model default
[16:04:21] [Asr] was asked to stop listening on site default
[16:04:21] [Hotword] was asked to toggle itself 'off' on site default
[16:04:21] [Dialogue] session with id '83e5b030-7310-4a07-84bf-813bca789f95' was started on site default
[16:04:21] [AudioServer] was asked to play a wav of 41.1 kB with id '5eda1f8a-a6e7-45ec-aaf9-1197d010602b' on site default
[16:04:22] [AudioServer] finished playing wav with id '5ee22f8a-a6e7-45ec-aaf9-11970010602b'
[16:04:22] [Asr] was asked to listen on site default
[16:04:38] [Dialogue] session with id '83e5b030-7310-4a07-8dbf-813bca789f95' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[16:04:38] [Asr] was asked to stop listening on site default
[16:04:38] [Hotword] was asked to toggle itself 'on' on site default



ASR und Analytics laufen nicht

Code Auswählen Erweitern


root@xxx:~# sam status

Connected to device XXX.XXX

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... FHEM
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.58.3 (not running)
snips-asr .................... 0.58.3 (not running)
snips-audio-server ........... 0.58.3 (running)
snips-dialogue ............... 0.58.3 (running)
snips-hotword ................ 0.58.3 (running)
snips-nlu .................... 0.58.3 (running)
snips-skill-server ........... 0.58.2 (running)
snips-tts .................... 0.58.2 (running)


muss da noch was in der snips.toml eingetragen werden?

Ausgabe mit say aus fhem geht auch.

Gruß
Eisix

[enno]

Wichtig: ASR Injection installieren

Damit das FHEM Modul der Snips App eure Geräte- und Raumnamen zur Verfügung stellen kann,
muss zusätzlich noch snips-asr-snip-asr-injection installiert werden:

   sudo apt-get install -y snips-asr-injection

Andernfalls wird Snips eure Geräte- und Raumbezeichnungen nicht verstehen.

Ist das installiert?

[Eisix]

Ja ist installiert aber ich kann es auch mit sam nicht starten

[JensS]

Kann man Snips eigentlich auch auf einem Android installieren? Ich habe im Wohnzimmer eh einen Odroid C1+ mit Android, welchen ich dazu nutzen möchte.
Gibt es ein Snips-APK?

Gruß Jens