Modulentwicklung für Rhasspy Sprachassistent

[Beta-User]

Soooo, hab jetzt auch noch einen zweiten Satelliten angeschlossen und von der App aus einen Timer gestelllt. Was soll ich sagen, Antwort kommt aus einem Satelliten im Wohnzimmer. Sehr cool!

.

Dann wird wohl auch das (jetzt besser beschriebene) Reading helfen...
Reading, damit man das ohne weiteres auch zur Laufzeit ändern kann (z.B. wenn man per PRESENCE feststellt, dass ein Satellit weg ist).

(OT: Das wirft die Folgefrage auf, wie man eigentlich eine Erinnerung nicht an einen Raum "zustellt", sondern an einen "Sprecher"...)

Immer noch zuwenig Daten.

(Leider) logisch, die Initialprüfung im Intent kannte diesen "Sonderfall" noch nicht. Update ist im svn.


Ansonsten wirft dein Beitrag eine ganze Reihe von Fragen auf...

- ist für "alle an/aus" SetScene (vial LightScene) eigentlich der "richtige" Intent/die beste Methode? (Hier läuft das über OnOffGroup)
- warum wird das Device überhaupt noch für SetScene erkannt, wenn es ein rhasspyMapping gibt (ohne SetScene)?
- wie erklärt man das mit den Specials zu diesem Punkt am besten... (die Nummerierung aus dem YAMAHA_AVR-Beispiel scheint irreführend zu sein)?

Vermutlich wird das klarer, wenn wir uns mal devicemap ansehen, einmal mit dem ausdrücklichen rhasspyMapping, einmal mit dem, was (jetzt hoffentlich) automatisch erkannt wird, wenn das gelöscht war.

[drhirn]

(OT: Das wirft die Folgefrage auf, wie man eigentlich eine Erinnerung nicht an einen Raum "zustellt", sondern an einen "Sprecher"...)

Was meinst du damit?

(Leider) logisch, die Initialprüfung im Intent kannte diesen "Sonderfall" noch nicht. Update ist im svn.

Welchen Sonderfall?

- ist für "alle an/aus" SetScene (vial LightScene) eigentlich der "richtige" Intent/die beste Methode? (Hier läuft das über OnOffGroup)

In meinem Fall ja. Ich handle alles im Wohnzimmer über LightScene ab. Da wird nie eine einzelne Lampe geschalten. Und wenn ich die Szenen eh schon habe, warum soll ich für RHASSPY was neues erfinden?

- warum wird das Device überhaupt noch für SetScene erkannt, wenn es ein rhasspyMapping gibt (ohne SetScene)?

Warum nicht? GDT "scene" ist ja da. Ich dachte, eigene rhasspy*-Attribute ergänzen/ersetzen GDTs einfach

- wie erklärt man das mit den Specials zu diesem Punkt am besten... (die Nummerierung aus dem YAMAHA_AVR-Beispiel scheint irreführend zu sein)?

Kann ich nicht sagen, weiß nicht, wie sie funktionieren sollen

Vermutlich wird das klarer, wenn wir uns mal devicemap ansehen, einmal mit dem ausdrücklichen rhasspyMapping, einmal mit dem, was (jetzt hoffentlich) automatisch erkannt wird, wenn das gelöscht war.

Also, aktuell sieht das so aus. GDT "scene", rhasspyChannels und rhasspyMapping gesetzt:

Code Auswählen Erweitern


         lightSceneWz:
           alias      licht
           names      licht,beleuchtung
           rooms      wohnzimmer
           Channels:
             Computerlicht set lightSceneWz scene Computerlicht
             Esslicht   set lightSceneWz scene Esslicht
             Fernsehlicht set lightSceneWz scene Fernsehlicht
             Helles Licht set lightSceneWz scene HellesLicht
             Schlummerlicht set lightSceneWz scene Schlummerlicht
           intents:
             SetOnOff:
               SetOnOff:
                 cmdOff     set lightSceneWz scene AllesAus
                 cmdOn      set lightSceneWz scene AllesAn
                 type       SetOnOff
             SetScene:
               SetScene:
                 AllesAn    AllesAn
                 AllesAus   AllesAus
                 Computerlicht Computerlicht
                 DunklesFernsehlicht DunklesFernsehlicht
                 Esslicht   Esslicht
                 Fernsehlicht Fernsehlicht
                 HellesLicht HellesLicht
                 Nachtlicht Nachtlicht
                 Schlummerlicht Schlummerlicht
                 cmdBack    previousScene
                 cmdFwd     nextScene


Entferne ich rhasspyChannels und rhasspyMapping sieht das so aus:

Code Auswählen Erweitern


         lightSceneWz:
           alias      licht
           names      licht,beleuchtung
           rooms      wohnzimmer
           intents:
             SetScene:
               SetScene:
                 AllesAn    AllesAn
                 AllesAus   AllesAus
                 Computerlicht Computerlicht
                 DunklesFernsehlicht DunklesFernsehlicht
                 Esslicht   Esslicht
                 Fernsehlicht Fernsehlicht
                 HellesLicht HellesLicht
                 Nachtlicht Nachtlicht
                 Schlummerlicht Schlummerlicht
                 cmdBack    previousScene
                 cmdFwd     nextScene


[Beta-User]

Was meinst du damit?

Nun ja, ggf. will der "Einsprecher" ja eigentlich gar keine Erinnerung in einem bestimmten Raum haben, sondern z.B. an einen ROOMMATE, und zwar da, wo der grade (zum Zeitpunkt der Erinnerung) halt ist. Dann kann das Ausgabegerät eben ein Rhasspy-Satellit sein, oder eine Telegram-Message, email, whatever...
(Geht aber vermutlich, sowas mit Bordmitteln umzusetzen, wenn man den betreffenden Trigger abgreift, den es ja nach Ablauf des Timers auch noch gibt...)

Welchen Sonderfall?

"Get"-Key innerhalb von "SetScene". Bisher war dieser Intent davon ausgegangen, dass er zwingend eine {Scene} bekommt. Aus dieser Perspektive betrachtet ist die Abfrage eben ein "Gänsefüßchen"-Sonderfall .

In meinem Fall ja. Ich handle alles im Wohnzimmer über LightScene ab. Da wird nie eine einzelne Lampe geschalten. Und wenn ich die Szenen eh schon habe, warum soll ich für RHASSPY was neues erfinden?

Berechtigte Frage. Es gibt vermutlich auf die Frage des "wie löst man das am geschicktesten" auch nicht "die" Antwort. Ich _glaube_, dass "alles aus" besser über SetOnOffGroup gelöst werden kann, aber das ist neben dem, was man schon hat und kennt wohl auch eine Geschmacksfrage .

Warum nicht? GDT "scene" ist ja da. Ich dachte, eigene rhasspy*-Attribute ergänzen/ersetzen GDTs einfach

Schon. Aber eigentlich "komplett verdrängend". Muss mir anschauen, was da (so meine Bewertung) schief läuft. SetScene sollte es nicht geben, wenn es nicht in rhasspyMapping auftaucht!

Kann ich nicht sagen, weiß nicht, wie sie funktionieren sollen

In etwa so (weiß nicht, ob das mit den daddeln-Alternativen klappt):

Code Auswählen Erweitern

attr lightSceneWz rhasspySpecials scenes:Fernsehlicht="Kino zu zweit" Computerlicht="(Computer spielen | daddeln)" DunklesFernsehlicht=none Nachtlicht="das ist irgendwas sprechbares für diese szene"

=> "stell das licht im wohnzimmer auf daddeln"

Ob in diesem setting dann rhasspyChannels noch Sinn macht, sei mal dahingestellt...

Hoffe, das ist nun etwas klarer?

[drhirn]

In etwa so (weiß nicht, ob das mit den daddeln-Alternativen klappt):

Code Auswählen Erweitern

attr lightSceneWz rhasspySpecials scenes:Fernsehlicht="Kino zu zweit" Computerlicht="(Computer spielen | daddeln)" DunklesFernsehlicht=none Nachtlicht="das ist irgendwas sprechbares für diese szene"

=> "stell das licht im wohnzimmer auf daddeln"

Also, für ganz Dumme wie mich:

Code Auswählen Erweitern

attr lightSceneWz rhasspySpecials scenes:<Name der Szene>=<frei gewählter Text der gesprochen wird> ...
Korrekt?
Und verstehe ich richtig, dass "none" bedeutet, dass alles Szenen der Reihe nach aufgelistet werden müssen? Und "none" dann einfach die Szene "ausschließt"?

Ob in diesem setting dann rhasspyChannels noch Sinn macht, sei mal dahingestellt...

Natürlich nicht
Ich teste ja nur. Und das ist die einzige lightScene, die ich habe. In der Praxis wird bei mir trotzdem rhasspyChannels bleiben. Ich gebe gerne kurze, knackige Kommandos. "Porcupine, Computerlicht" ist ein bisschen kürzer als "Porcupine, stell das Licht auf die Szene Computerlicht"

--edit---
Wobei der kurze Befehl eigentlich auch mit SetScene lösbar sein sollte .. Nein

[Beta-User]

Korrekt?

Soweit paßt das.

Und verstehe ich richtig, dass "none" bedeutet, dass alles Szenen der Reihe nach aufgelistet werden müssen? Und "none" dann einfach die Szene "ausschließt"?

Eine bestimmte Reihenfolge ist nicht erforderlich, "none" wirft die Szene einfach aus der Erkennung (mein Verstärker hat 4 "scene"-Einstellungen, ich brauche davon aber nur 3). "all=none" ist durch das Special "blacklistIntents" eigentlich überflüssig geworden, aber sowas wie "rest=none" könnte man noch überlegen).

Prinziell ist es so, dass das "frei gewählter Text" als Teil des betreffenden Slots an Rhasspy geschickt wird und direkt eben der technischen scene-Bezeichnung für den {Scene}-Key zugeordnet wird. Ausgenommen sind nur die "vor/zurück"-Kommandos, das muss man selbst in sentences.ini reinnehmen (Status: ungetestet).

Ich gebe gerne kurze, knackige Kommandos.

Hmm, das Problem dabei ist: eine gewisse Grundlänge sollten sie haben, sonst wird das schnell zu mehrdeutig, und SetScene muss auch ein Device identifizieren können (derzeit noch ohne versucht zu haben, das über den Raum abzuleiten), aber "licht für computer" sollte heute schon möglich sein...

[drhirn]

Hmm, das Problem dabei ist: eine gewisse Grundlänge sollten sie haben, sonst wird das schnell zu mehrdeutig

Jup. Nachdem das die einzigen Kommandos sind, die ich an Rhasspy schicke, geht das aber gut

und SetScene muss auch ein Device identifizieren können (derzeit noch ohne versucht zu haben, das über den Raum abzuleiten), aber "licht für computer" sollte heute schon möglich sein...

Ja, das geht.

Bekomme ich die "vor/zurück"-Szenen irgendwie weg wenn ich sie nicht brauche?

[Beta-User]

Jup. Nachdem das die einzigen Kommandos sind, die ich an Rhasspy schicke, geht das aber gut

...vielleicht... Ich hätte den leisen Verdacht, dass zu kurze sentences-Sequenzen mit die Ursache dafür sind, dass "Fernseh-Kauderwelsch" als Kommando interpretiert wird ... Mangels Einsatz von Hotword kann ich dazu aber nicht viel aus eigener Anschauung beitragen .

Ja, das geht.

...das ist doch schon mal was...
Muss mal schauen, ob wir den Intent noch dahingehend verbessert bekommen, dass das matching auch (nur) über den Raum geht (wobei man die Szenenbezeichnung dann ja zusätzlich hat und darüber sogar noch zwischen verschiedenen Devices unterscheiden könnte!)...

Bekomme ich die "vor/zurück"-Szenen irgendwie weg wenn ich sie nicht brauche?

Hmmm, also...
Das ist noch recht "jung", aber ein kurzer Test mit "cmdFwd:none" sagt: ja, geht . (Und eine Idee, wie man das aus GetState rausbekommt, habe ich auch).

Muss mir aber generell was dazu überlegen, bin noch nicht sicher, wie das mit diesem Intent insgesamt weitergehen soll. Du siehst ja an meinen eher zögerlichen Antworten, dass das auch bei mir eher noch in der Erprobungsphase ist...
Generell finde ich das aber eine sehr generische Lösung für "alles mögliche", von daher dürfte es lohnenswert sein, da noch etwas mehr zu tüfteln.


Merkposten an mich selbst noch:
Aus einem "generischeren Choice"-Intent heraus sollte sich übrigens auch ableiten lassen, ob ggf. ein anderer Intent gemeint war.


Den "override"-Schalter für rhasspyMapping verdrängt Automatik habe ich übrigens gefunden, stellt sich die Frage, ob man es "scharf schalten" sollte. Meinungen?

[drhirn]

...vielleicht... Ich hätte den leisen Verdacht, dass zu kurze sentences-Sequenzen mit die Ursache dafür sind, dass "Fernseh-Kauderwelsch" als Kommando interpretiert wird ... Mangels Einsatz von Hotword kann ich dazu aber nicht viel aus eigener Anschauung beitragen .

Ist wirklich so. Deswegen wird bei mir auch die Hotword-Erkennung abgeschaltet, wenn der TV ein geht
Andererseits, gestern hat sich die Heizung auf 11° gestellt, während ich telefoniert habe. Und dazu braucht's schon einen längeren Satz. Also nur kurze Sätze sind nicht schuld.

Das ist noch recht "jung", aber ein kurzer Test mit "cmdFwd:none" sagt: ja, geht . (Und eine Idee, wie man das aus GetState rausbekommt, habe ich auch).

Geht wirklich. Perfekt!

Muss mir aber generell was dazu überlegen, bin noch nicht sicher, wie das mit diesem Intent insgesamt weitergehen soll. Du siehst ja an meinen eher zögerlichen Antworten, dass das auch bei mir eher noch in der Erprobungsphase ist...
Generell finde ich das aber eine sehr generische Lösung für "alles mögliche", von daher dürfte es lohnenswert sein, da noch etwas mehr zu tüfteln.

Laut den FHEM Statistiken wird lightScene überraschend selten verwendet (LightScene/444/1209). Hätte ich auf mehr getippt. Ich find's schon cool. Aber gebraucht wird's nicht unbedingt. rhasspyChannels wäre ja ein Ersatz.

Den "override"-Schalter für rhasspyMapping verdrängt Automatik habe ich übrigens gefunden, stellt sich die Frage, ob man es "scharf schalten" sollte. Meinungen?

Mag sein, dass wir gerade aneinander vorbei reden. Ich war der Meinung, GDT legt Regeln fest. Solange kein Mapping da steht. Ist eines da, überschreibt (bzw. ergänzt) das die GDT-Regeln. Und das finde ich eigentlich sehr gut so. Und bisher war ich der Meinung, das funktioniert auch genau so. Zumindest ist mir nichts anderes aufgefallen.

[Beta-User]

Ist wirklich so. Deswegen wird bei mir auch die Hotword-Erkennung abgeschaltet, wenn der TV ein geht
Andererseits, gestern hat sich die Heizung auf 11° gestellt, während ich telefoniert habe. Und dazu braucht's schon einen längeren Satz. Also nur kurze Sätze sind nicht schuld.

Na ja, ich weiß ja nicht, was du mit deinem Heizungsbauer besprochen hast... (jedenfalls sind längere Sätze iVm. einem min-confidence-Level schon mal ein guter Anfang...).

Geht wirklich. Perfekt!

Perfekt ist es nicht, im Anhang sollte jetzt auch "rest=none" funktionieren, damit man das nicht einzeln machen muss.

Haken an der Sache: Jemand muss dringend testen, ob das funktioniert, was ich zu den cmd-Ausschlüssen in die globale Abfrage ("welche Szenen kennst du" (ohne Device) in GetState) reingeknödelt habe...

Laut den FHEM Statistiken wird lightScene überraschend selten verwendet (LightScene/444/1209). Hätte ich auf mehr getippt. Ich find's schon cool. Aber gebraucht wird's nicht unbedingt. rhasspyChannels wäre ja ein Ersatz.

Mißverständnis: Das betrifft nicht nur LightScene, sondern eben auch meinen Verstärker, diverse HUEDevice-Instanzen usw..

Mag sein, dass wir gerade aneinander vorbei reden. Ich war der Meinung, GDT legt Regeln fest. Solange kein Mapping da steht. Ist eines da, überschreibt (bzw. ergänzt) das die GDT-Regeln. Und das finde ich eigentlich sehr gut so. Und bisher war ich der Meinung, das funktioniert auch genau so. Zumindest ist mir nichts anderes aufgefallen.

Jein. Es geht eben genau um die Frage, wie "richtig" es sein soll, dass ein "gleichnamiges" (bzw. funktional gleichwertiges) rhasspy*-Attribut die Ergebnisse aus der autmatischen Analyse überschreiben soll. Ich war (weil ich eigentlich nur Automatik mache) überrascht, dass dein SetOnOff nicht dazu geführt hat, dass SetScene noch vorhanden war und halte das eigentlich nach wie vor für eine Fehlfunktion... Die Regel sollte sein: Wer manuell was setzt, will "alles in der Hand haben" => gar keine (diesbezügliche) Automatik.

Ist daher im Anhang auch anders gelöst (dafür gibt es ja neuerdings "get ... export", wenn man das als Startpunkt weiter verwenden will, was die Automatik erkannt hatte).

[drhirn]

Haken an der Sache: Jemand muss dringend testen, ob das funktioniert, was ich zu den cmd-Ausschlüssen in die globale Abfrage ("welche Szenen kennst du" (ohne Device) in GetState) reingeknödelt habe...

Mach ich dann, wenn ich zuhause bin.

Mißverständnis: Das betrifft nicht nur LightScene, sondern eben auch meinen Verstärker, diverse HUEDevice-Instanzen usw..

Kein Mißverständnis. Ich hab nur zuwenig weit gedacht

Die Regel sollte sein: Wer manuell was setzt, will "alles in der Hand haben" => gar keine (diesbezügliche) Automatik.

Seh ich schrägerweise ganz anders. Ich empfand das als Komfort-Funktion, dass ein Device über GDT mal grundsätzlich funktioniert. Passt mir aber ein kleiner Aspekt der Grundfunktion nicht, kann ich das jederzeit über ein Mapping ändern. Find ich echt super. Kann ja auch sein, dass ein GDT mal nicht alle Funktionen eines Devices abdeckt. Oder der GDT nicht zu 100% passt. Deswegen alles händisch machen zu müssen find ich blöd
Siehe meine lightScene und SetOnOff. Sonst hätte ich extra noch etwas zusätzlich basteln müssen.

Gibt's da vielleicht noch eine dritte Meinung dazu?

[drhirn]

Haken an der Sache: Jemand muss dringend testen, ob das funktioniert, was ich zu den cmd-Ausschlüssen in die globale Abfrage ("welche Szenen kennst du" (ohne Device) in GetState) reingeknödelt habe...

Moment. GetState? Wie würde da die sentences.ini aussehen?

[Beta-User]

Gibt's da vielleicht noch eine dritte Meinung dazu?

Will ergänzend dazu noch den Hinweis auf das "Special" blacklistIntents plazieren. Bisher war es nämlich so, dass das händische Setzen von rhasspyMapping "eigentlich" der einzige Weg gewesen wäre, um das automatische Mapping ganz loszuwerden...

Seh ich schrägerweise ganz anders. Ich empfand das als Komfort-Funktion, dass ein Device über GDT mal grundsätzlich funktioniert.

so war es gedacht 

Passt mir aber ein kleiner Aspekt der Grundfunktion nicht, kann ich das jederzeit über ein Mapping ändern. Find ich echt super. Kann ja auch sein, dass ein GDT mal nicht alle Funktionen eines Devices abdeckt. Oder der GDT nicht zu 100% passt. Deswegen alles händisch machen zu müssen find ich blöd

Na ja, wie gesagt kann man das, was die Automatik erkannt hat, ja (zwischenzeitlich) prinzipiell ohne weiteres exportieren, ohne sich erst stundenlang mit der Doku zur richtigen Syntax rumschlagen zu müssen...

Gibt's da vielleicht noch eine dritte Meinung dazu?

Von daher gibt es evtl. auch noch einen "dritten Weg" dazu: "Jemand" könnte einen Tweak bauen, mit dem man das komplette Löschen als default erzwingt, ansonsten bleibt es bei der offenkundig ja niemanden störenden Automatik, dass nur ersetzt wird, was gleichnamig in rhasspyIntents vorhanden ist...?!?

Damit wären wir aber wieder bei:

Wo kann man sich beim RHASSPY (B.A.) einschreiben? 

Wobei: zum einen ist das ja schlicht eine Option unter "ferner liefen" für denjenigen, der nach sowas sucht, und zum anderen fand ich dann einige Antworten zu den Fragen, die wir "zwischendrin" hier diskutiert hatten auch im Wiki bei https://wiki.fhem.de/wiki/RHASSPY/Vertiefung (z.B. zur Frage, wie man das mit den Thermostaten und prio lösen könnte) . Allerdings schwant mir, dass man das dann auch bei Gelegenheit nochmal intensiver ansehen sollte, weil sich eben doch zwischenzeitlich wieder das eine oder andere ergeben hat...

Moment. GetState? Wie würde da die sentences.ini aussehen?

Code Auswählen Erweitern

Welche ( Räume:rooms | (Szenen | Szenarien | Einstellungen):scenes){Type} kennst du [<rooms>]

[drhirn]

Na ja, wie gesagt kann man das, was die Automatik erkannt hat, ja (zwischenzeitlich) prinzipiell ohne weiteres exportieren, ohne sich erst stundenlang mit der Doku zur richtigen Syntax rumschlagen zu müssen...

Schon. Aber jetzt ein Beispiel:

Ich habe einen HM Thermostat. GDT "thermostat" und alles klappt. Weil ich aber auch einfach "Heizung aus" (=5°) und "Heizung ein" (=21°) sagen wollte, hab ich einfach ein SetOnOff ergänzt.

Jetzt muss ich zuerst auf's RHASSPY Device gehen und mir dort die Einstellungen exportieren. Die muss ich dann im Thermostat in das rhasspyMapping packen. Und dann noch den SetOnOff-Intent dazu. Das ist viel mehr Arbeit. Und ich mag keine Arbeit

[Beta-User]

Neuer Tweak? done .

[drhirn]

Versteh ich jetzt nicht. Der Tweak macht ja genau das, was du eh schon eingebaut hast!? Oder hast du das wieder zurückgebaut?