70_WINCONNECT.pm zum Steuern eines Windows PC / Tablet

[michael.winkler]

eben hat sich winconnect beim updaten am pc ein wenig daneben benommen.
sah dann so aus, dass winnconnect mit dem update begonnen hat, richtig beendet wurde, er aber kein new_winconnect gebastelt hat.
die alte winconecect war noch da und nach dem erneuten anstarten desselben hat ers update brav durchgezogen.

OK, danke für die Rückmeldung. Werde mal den Updateprozess nochmal überarbeiten

btw - wegen meiner frage zu cortana - hast du da ne gernerelle antwort für mich?
"geht/geht nicht" und "hab vielleicht irgendwann mal lust/wirst du nie bekommen" würd mir schon reichen *g*
will nur mal wissen, ob das überhaupt ginge.

Cortana wird nicht kommen. Da bin ich ehrlich aber der Aufwand würde sich nicht lohnen. Dafür gibt es schon Siri und oder Alexa

[the ratman]

Cortana wird nicht kommen. Da bin ich ehrlich aber der Aufwand würde sich nicht lohnen. Dafür gibt es schon Siri und oder Alexa

schad, kann ich aber verstehen ... muß ich mir was mit google oder so einfallen lassen ... ne idee (is dir eventuell ein tool bekannt), wie ich unter win ohne browser google tts bemühen könnte und den text dann irgendwie automatsch in richtung eines z.b. fhem-dummys kriegen könnte?

[michael.winkler]

ne idee (is dir eventuell ein tool bekannt), wie ich unter win ohne browser google tts bemühen könnte und den text dann irgendwie automatsch in richtung eines z.b. fhem-dummys kriegen könnte?

Verstehe jetzt nicht was du genau vor hast. Kannst Du das noch mal genauer beschreiben?

[the ratman]

aber gern *g*

ich will auf meinem pc auf ein knöpfchen drücken.
mein folgendes gequassel wird per tts in text umgesetzt.
dieser text wird als reading irgendwo in fhem gespeichert (vorzugsweise ein ort, den der programmierer von teerko kennt).
weiter ginge es dann eben mit modul teerko. dieses holt sich das reading und setzt den text als befehl in fhem um.

cortana hatte ich nur vorgeschlagen, weil die ja vielleicht nicht nur reines tts machen könnte, sonder in zukunft dann mal weiterführende infos an fhem geben könnte und ich sowieso keinen schimmer hab, was nun wie unter win für eine tts-umsetzung zuständig wäre.

aja - grund:
idee: ich will hier raumschiff erpelsteiß realisieren. im idealfall wegen fhem nie wieder auf einen bildschirm schauen müssen.
proplem: generell kapieren die ganzen tts dinger ja sowieso nur 1 user.
lösung: jeder hier kann über sein handy/tablet/pc seine eigene tts-erkennung fahren.
je mehr tts-geräte also einem user im haus zur verfügung stehen, je besser. es ist halt grad bei uns so, dass z.b. das handy beim pc-arbeiten selten neben liegt. wer also bei uns am pc hockt muß noch auf neandertalermethoden wie z.b. das öffnen einer website zurückgreifen *g*.

[michael.winkler]

aber gern *g*

ich will auf meinem pc auf ein knöpfchen drücken.
mein folgendes gequassel wird per tts in text umgesetzt.
dieser text wird als reading irgendwo in fhem gespeichert (vorzugsweise ein ort, den der programmierer von teerko kennt).
weiter ginge es dann eben mit modul teerko. dieses holt sich das reading und setzt den text als befehl in fhem um.

cortana hatte ich nur vorgeschlagen, weil die ja vielleicht nicht nur reines tts machen könnte, sonder in zukunft dann mal weiterführende infos an fhem geben könnte und ich sowieso keinen schimmer hab, was nun wie unter win für eine tts-umsetzung zuständig wäre.

aja - grund:
idee: ich will hier raumschiff erpelsteiß realisieren. im idealfall wegen fhem nie wieder auf einen bildschirm schauen müssen.
proplem: generell kapieren die ganzen tts dinger ja sowieso nur 1 user.
lösung: jeder hier kann über sein handy/tablet/pc seine eigene tts-erkennung fahren.
je mehr tts-geräte also einem user im haus zur verfügung stehen, je besser. es ist halt grad bei uns so, dass z.b. das handy beim pc-arbeiten selten neben liegt. wer also bei uns am pc hockt muß noch auf neandertalermethoden wie z.b. das öffnen einer website zurückgreifen *g*.

Das hat im Grunde nichts mit Cortana zu tun. Dass was du willst ist eine einfache Spracherkennung. In der aktuellen Version ist die Spracherkennung schon lange eingebaut. Hier kann über ein Reading mehrere Befehle hinterlegt werden. siehe Wiki https://wiki.fhem.de/wiki/WINCONNECT#Spracherkennung

Ich habe jetzt mal die Testversion erweitert. Hier ist es möglich ganze Sätze zu erkennen. Bei meinem Tablet war die Erkennung nicht wirklich gut. Vielleicht kannst Du hier etwas Pionier Arbeit leisten. Die aktuelle Testversion kannst Du hier herunterladen https://gitlab.com/michael.winkler/winconnect/raw/master/WinControl.exe

Der erkannte Text wird in der GUI direkt angezeigt und in das FHEM Reading "stt_text" geschrieben.

Bitte beachte dass diese Feature eventuell wieder rausfliegen kann.

[the ratman]

ich hab hier fast nur mehr geräte mit microfonarrays - wird schon was rüber kommen bei.
das testerchen mach ich dir irre gern (gern auch anderes, wo dau-user-rückmeldung erwünscht is) aber, eine frage noch vorher:

Ich habe jetzt mal die Testversion erweitert. Hier ist es möglich ganze Sätze zu erkennen.

hmm, auf grund von was?
verzeih mir die dumme frage, aber ich brauch doch ein hotword oder eine aktivierung per z.b. button (was mir lieber wäre) der spracherkennung.

[michael.winkler]

ich hab hier fast nur mehr geräte mit microfonarrays - wird schon was rüber kommen bei.
das testerchen mach ich dir irre gern (gern auch anderes, wo dau-user-rückmeldung erwünscht is) aber, eine frage noch vorher:hmm, auf grund von was?
verzeih mir die dumme frage, aber ich brauch doch ein hotword oder eine aktivierung per z.b. button (was mir lieber wäre) der spracherkennung.

Ich dachte du findest das Register von alleine (siehe Screenshot)

[the ratman]

ja, vielleicht hät ich das neue winconnect vor meiner frage installieren sollen.

langsam versteh ich auch dein spracherkennungsproblem ... aber da gabs ja ein tool zum lernen, oder war das nur handschriftenerkennung? ich geh mal gucken.
aja --> Systemsteuerung\Alle Systemsteuerungselemente\Spracherkennung --> computer trainieren, damit er sie besser versteht.
hoffe, das is es

wir verstehen uns also?
man könnte also spracherkennung als hotword nehmen und dann den in sprache-zu-text erkannten teil (ohne hotword) an fhem schießen

[michael.winkler]

ja, vielleicht hät ich das neue winconnect vor meiner frage installieren sollen.

langsam versteh ich auch dein spracherkennungsproblem ... aber da gabs ja ein tool zum lernen, oder war das nur handschriftenerkennung? ich geh mal gucken.
aja --> Systemsteuerung\Alle Systemsteuerungselemente\Spracherkennung --> computer trainieren, damit er sie besser versteht.
hoffe, das is es

Das ist ja nicht mein Problem. Windows erkennt ja die Texte. Ich kann das erkannte nur abgreifen. Sehe das mal als ersten Schuss, es gibt sicherlich noch ein paar Möglichkeiten dies zu optimieren.

[the ratman]

sowieso *g* alter, ich freu mir hier nur grade einen ast ab, dass du überhaupt mitspielst. wenns was wird - super, wenn nicht  - pech gehabt. deshalb würd ich trotzdem keine voodoopuppe mit ner haarlocke von dir bauen *lach*.

find die idee lustig, deine erste erkennung für ein hotword zu mißbrauchen. so könnte meine hold z.b. aufgrund des hotwords zw. cortana und fhem wählen.

[the ratman]

kann wohl dauern, bis ich irgendwelche großartigen tests abliefern kann ...
dein tool versteht mich ums verrecken nicht.

das lustige: cortana weiß immer was ich will, und die tts-erkennung versteht mich - zumindest nach 3 lernphasen - besser, als ich mich selbst.
worauf beruht das tts im winconnect? ich kapier diese krassen erkennungsunterschiede nicht wirklich.

nachtrag:
hab mich mit cortana gespielt. befehle, fragen, auch langes und kompliziertes, geht super. jetzt kommts: wenn cortana mir z.b. ne notiz öffnen soll, macht die das. das anschließende diktat für den inhalt der notiz kommt aber dann genauso schrottig, wie in winconnect.
arbeitet m$ mit zweierlei tts-tools?

[Homer1978]

Gibt es eine Möglichkeit zwei Instanzen laufen zu lassen ? Auf meinem Notebook läuft es perfekt. nun will ich auch den PC steuern, aber irgendwie sagt die exe immer das Port 8183 bereits geöffnet ist. was kann ich tun ? Auch wenn das Notebook aus ist, der port bleibt anscheinend offen.

[michael.winkler]

Gibt es eine Möglichkeit zwei Instanzen laufen zu lassen ? Auf meinem Notebook läuft es perfekt. nun will ich auch den PC steuern, aber irgendwie sagt die exe immer das Port 8183 bereits geöffnet ist. was kann ich tun ? Auch wenn das Notebook aus ist, der port bleibt anscheinend offen.

Du kannst die GUI auf jedem deiner Windows Rechner laufen lassen. Wenn die Meldung mit dem Port kommt läuft ggf. schon eine GUI auf deinem Rechner, oder der Port ist durch eine andere Anwendung belegt. Kannst Du mal folgenden Befehl in einer CMD ausführen und mir das Ergebnis zusenden?

Code Auswählen Erweitern


netstat -A -B


oder

Code Auswählen Erweitern


netstat -A -B >logdateiname.txt


[the ratman]

kurze anmerkung: ich geb auf! was? ja, eh klar - die spracherkennung.

einzelne wörter sind ja kein problem, aber windoof hats fast nie geschaft - auch nach 3 lerndurchgängen und mühsamen ausbessern von texten, einfache sätze richtig umzusetzen wie man sie für z.b. teerko brauchen könnte.
nachdem z.b. auch dragon naturaly speeking mein geseiere (teilweise sogar dialekt) problemlos lokal erkennt, bin ich ratlos.

von meiner seite also: thx michael, dass du dir die mühe gemacht hast, mir das sprechen zu ermöglichen, aber weitermachen musste hier für mich wohl nix, ausser man sagt mir, dass ich was falsch mache mit der tts und wie mans richtig macht.


aja, für deine sammlung:
2 weiter pc's erfolgreich mit winconnect am laufen. sind 2 intel nucs. einmal mit nem 1 jahre alten celeron mit win10home (wird bald meine nas/server) und einmal mit neuestem i3 mit win10pro.

[michael.winkler]

kurze anmerkung: ich geb auf! was? ja, eh klar - die spracherkennung.

einzelne wörter sind ja kein problem, aber windoof hats fast nie geschaft - auch nach 3 lerndurchgängen und mühsamen ausbessern von texten, einfache sätze richtig umzusetzen wie man sie für z.b. teerko brauchen könnte.
nachdem z.b. auch dragon naturaly speeking mein geseiere (teilweise sogar dialekt) problemlos lokal erkennt, bin ich ratlos.

von meiner seite also: thx michael, dass du dir die mühe gemacht hast, mir das sprechen zu ermöglichen, aber weitermachen musste hier für mich wohl nix, ausser man sagt mir, dass ich was falsch mache mit der tts und wie mans richtig macht.


aja, für deine sammlung:
2 weiter pc's erfolgreich mit winconnect am laufen. sind 2 intel nucs. einmal mit nem 1 jahre alten celeron mit win10home (wird bald meine nas/server) und einmal mit neuestem i3 mit win10pro.

danke fürs Testen. Habe bei mir dieselben Erfahrungen gemacht.

Google hat seine API für die Spracherkennung geöffnet. Die werde ich mir mal etwas genauer anschauen. Eventuell kann man hier etwas machen. Das wird aber sicherlich noch ein paar Wochen dauern bis ich hier erste Ergebnisse habe.