SNIPS: Sprachsteuerung (mittlerweile auch per Textcommands) über snips.ai

Begonnen von Thyraz, 21 Juli 2018, 20:28:48

Vorheriges Thema - Nächstes Thema

rischbiter123

Moin,

noch ist ja Zeit bis 31. Januar. Außerdem, das Ganze funktioniert doch Offline. Das bedeutet meiner Meinung nach, daß man es in der jetzigen Form (Version) weiternutzen kann. Es gibt nur keine Weiterentwicklung mehr. Man korrigiere mich, wenn ich falsch liegen sollte.

LG

Andreas
4*Raspi, Max Thermostate und Fensterkontakte, FB7590, Mysensors und NanoCUL, IT und Sonoff, zigbee2mqtt2

Thyraz

Ich bin mir spontan nicht ganz sicher, wie das mit dem nachtrainieren von neuen Wörtern ist.
Ob hier im Hintergrund auch die Quellen der Console angezapft werden oder nicht.

Falls ja, könnte man nach dem Hinzufügen von neuen Geräten in FHEM deren Namen nicht mehr im Assistenten hinzufügen, damit er sie versteht.
Fhem und MariaDB auf NUC6i5SYH in Proxmox Container (Ubuntu)
Zwave, Conbee II, Hue, Harmony, Solo4k, LaMetric, Echo, Sonos, Roborock S5, Nuki, Prusa Mini, Doorbird, ...

dkreutz

Zitat von: mericon am 03 Dezember 2019, 11:52:39
Sehr schade dann heißt es jetzt wohl Alternativen suchen

Wenn es wirklich "open source privacy" sein soll: mycroft.ai - inklusive FHEM-Skill...
Raspberry Pi3B+ (Bullseye) / JeeLink868v3c (LaCrosse), nanoCUL433 (a-culfw V1.24.02), HM-MOD-UART (1.4.1), TEK603, MapleCUL / diverse Sensoren/Sender/Aktoren von Technoline, Intertechno, Shelly, Homematic und MAX!, Froggit Wetterstation, Luftdaten.info / Autor des fhem-skill für Mycroft.ai

drhirn

Mit mycroft hab ich bisher am meisten Zeit verbracht. Und noch immer bekomme ich keinen Ton aus dem Respeaker Hat. Geschweige denn ins Mikro rein. ;)

s710

Die Konsole wird gebraucht, wann immer man neue Sätze erkennen lassen will. Einzelne Wörter werden in der Regel ja nicht trainiert (Ausnahmen hierfür sind Datentypen mit fixen Wortkatalogen, die lassen sich dann auch nicht mehr erweitern).

Klar wird es weiterhin laufen, aber Änderungen an der Spracherkennung sind dann halt nicht mehr möglich. Wird also auf die Suche nach Alternativen rauslaufen. Äußerst schade.

enno

Moin,

beobachte seit ich SNIPS nach Rasbian Update nicht mehr zum Laufen bekam, dieses Modul intensiv...

https://forum.fhem.de/index.php/topic,102000.0.html

Gruss
  Enno
Einfacher FHEM Anwender auf Intel®NUC mit Proxmox und Debian

nervnet

Ist Rhasspy eine (SNIPS-kompatible) Alternative?

Mit der Übernahme von SNIPS bin ich auf der Suche nach einer Offline-Alternative. In Kombinatioen mit dem Modul von Thyraz (!!!DANKE dafür!!!) habe ich einen eigenen Assistenten in der SNIPS-Konsole erstellt, welcher auf mein FHEM angepasst war. Mit jeder neuen Funktion habe ich den Assitenten angepasst. Da dies zukünftig nicht mehr möglich ist, ist für mich hier mit SNIPS leider Schluss.

Hat jemand schon Rhasspy als Alternative probiert (https://rhasspy.readthedocs.io/en/latest/)? Wie sind hier die Erfahrungen? Ist das eine Sackgasse? Ohne es jetzt eingehend geprüft zu haben, dürfte Rhasspy vollständig Open Source sein und vollständig offline laufen. Man benötigt keinen Account und es gibt auch keine Online-Konsole. Der Assistent wird komplett offline trainiert. Injection habe leider noch nicht gesehen.

Installation auf einem PI3B+ als Docker-Container hat schonmal reibungslos funktioniert. Die nächsten Tage versuche ich mich an der Konfiguration. Laut Weboberfläche ist es wohl möglich über MQTT SNIPS-kompatibel zu arbeiten.
Cubietruck mit FHEM, tabletUI und Mosquitto
HM-LAN, HM-SEC-SD(2), HM-LC-Bl1PBU-FM, HM-LC-Dim1TPBU-FM, HM-LC-Dim1T-FM, HM-Sec-SCo, HM-Sec-RHS, HM-Sen-MDIR-O-2, HM-Sec-WDS-2, HMW-LGW-O-DR-GS-EU, HMW-IO-12-Sw14-DR, ComfoAir 350, Botvac D4, ESPEasy, Tasmoata, Musiccast, FB_Callmonitor, ESP RGBWW

MadMax

Das ist Ärgerlich...
Was ist nun mit Rhasspy ist das brauchbar?
Gibt es schon Ansätze für FHEM?
Lenovo M910Q Tiny Debian 12, FHEM 6.3, 2x Siemens Logo 0BA7, Homematic CCU3, Philips HUE, 6x SMA Wechselrichter, BYD HVM, BYD HVS, SMA EVCharger, KEBA Wallbox, 2x HMS800W, Daikin Wärmepumpe über CAN, viele ESPs

Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/MadMax

drhirn

Rhasspy ist noch kein Snips. Aber die Entwicklung dahin geht derzeit wirklich schnell. Ich persönlich verwende Snips noch etwas länger, beobachte und teste Rhasspy aber gleichzeitig ganz genau. Scheint mir ein guter Ersatz zu werden.

Was Rhasspy <-> FHEM betrifft werde ich wohl den Weg mit Talk2FHEM gehen. Sollte am flexibelsten sein, falls ich wiedermal den Sprachassistenten wechseln muss.

dkreutz

Mein FHEM-Skill für Mycroft.ai unterstützt Talk2Fhem, Babble und Teerko. Wer in eines diese NLUI Module schon Phrasen/Kommandos konfiguriert hat, kann mit Mycroft direkt loslegen...
Raspberry Pi3B+ (Bullseye) / JeeLink868v3c (LaCrosse), nanoCUL433 (a-culfw V1.24.02), HM-MOD-UART (1.4.1), TEK603, MapleCUL / diverse Sensoren/Sender/Aktoren von Technoline, Intertechno, Shelly, Homematic und MAX!, Froggit Wetterstation, Luftdaten.info / Autor des fhem-skill für Mycroft.ai

laberlaib

Was ich noch nicht ganz verstanden habe:
Ist mycroft.ai komplett offline "on device "?
--
Proxmox, Homematic, G-Tags, Zigbee2MQTT, Rhasspy Sprachsteuerung im Aufbau (beta)

dkreutz

Zitat von: laberlaib am 28 Dezember 2019, 17:04:13
Was ich noch nicht ganz verstanden habe:
Ist mycroft.ai komplett offline "on device "?
Theoretisch geht alles lokal/offline, inklusive Sprach-Erkennung (STT) und -Ausgabe (TTS).

Wenn man auf einem RPI3 bleibt, ist die Ausgabe aber eine roboterartige Stimme (z.B. über espeak-TTS, was mWn auch Snips verwendet hat) und die Erkennung in Englisch und mit einer relativ hohen Fehlerrate bei der Worterkennung, was die praktische Verwendbarkeit spürbar reduziert: wer will schon 5x "turn on the light" sagen müssen bis das Licht angeht oder man am Ende doch selbst den Schalter bedient. Snips war hier rein lokal besser, weil es für solche "Intents" die Spracherkennung vorkompiliert/trainiert verfügbar hat. Mycroft hingegen ist ein "universaler Sprachassistent", der grundsätzlich alles verstehen soll.
Hat man bessere Hardware (z.B. PC mit Ubuntu-Linux und Nvidia Grafikkarte, alternativ Nvidia Jetson Xavier) kann man zumindest die Sprachausgabe in hoher Qualität mittels Tacotron/Mimic2 realisieren. Ein Community-Mitglied arbeitet auch gerade an einem Tacotron-Modell für eine deutsche Stimme/Sprachausgabe.

Meine Mycroft-RPIs laufen in Deutsch über Google-TTS/STT, wobei die Anfragen an Google über Mycroft-Server anonymisiert werden.
Parallel beobachte ich intensiv die Entwicklung von Mozilla's DeepSpeech (STT) und TTS. Hier erwarte ich im Laufe des Jahres 2020 wesentliche Fortschritte was die Erkennungsrate auch auf RPI3 angeht.
Raspberry Pi3B+ (Bullseye) / JeeLink868v3c (LaCrosse), nanoCUL433 (a-culfw V1.24.02), HM-MOD-UART (1.4.1), TEK603, MapleCUL / diverse Sensoren/Sender/Aktoren von Technoline, Intertechno, Shelly, Homematic und MAX!, Froggit Wetterstation, Luftdaten.info / Autor des fhem-skill für Mycroft.ai

tabasco123

Zitat von: enno am 04 Dezember 2019, 09:25:41
Moin,

beobachte seit ich SNIPS nach Rasbian Update nicht mehr zum Laufen bekam, dieses Modul intensiv...

Gibt es evtl. jemanden, der mir seinen Snips Console Account übergeben würde?
Ich hatte jetzt für Weihnachten den Aufbau geplant, die gesamte Hardware besorgt, und jetzt die Tage gemerkt, dass die Snips Console keine Neuanmeldungen mehr zulässt.
Nach etwas hin und her habe ich mich - in Ermangelung wirklich vergleichbarer Alternativen - dazu entschieden, noch auf das sterbende Pferd aufzusetzen...

Aber da bräuchte ich jetzt einen bestehenden Account...

Also falls jemand einen abzugeben hätte, ich wäre dankbar!!!

drhirn


kptkip

Psychos Account ist mittlerweile gesperrt worden - die restlichen wohl auch.
FHEM Revision: 22312 auf RasPI3B+,1xNeumannCUL,HMLAN,1xRasPi3B+,2xRasPI ZERO W
CUL_HM:HM-Sec-SCo, HM-CC-RT-DN
Fritz: Fritz!Box 6590C,DECT301,DECT200
Shelly:Shelly1,Shelly2, ShellyBulb Xiaomi: Schalter, Fensterkontakte HUE: ConbeeII
Tasmota:SonoffBridge, Stecker