Webbrowser mit Gesten fernsteuern

Torchwood · 15 März 2016, 13:56:16

Hallo Leute,

hatte schon mal damit angefangen und es dann wieder zu den Akten gelegt, weil relativ komplex:

Ich beabsichtige im Badezimmer einen beleuchteten, halbdurchsichtigen Spiegel mit einem Display dahinter zu integrieren. Darauf könnte auf einem RasPi ein von FHEM generierter Infoframe laufen. Mit einem Gestensensor oder einer Kamera könnte man dann den Browser berührungslos vor dem Spiegel steuern (wobei mir im Bad ein Gestensensor gelegener wäre). Sinnvollerweise könnte man zwischen mehreren Tabs blättern (Wetterbericht/Nachrichten/TV/Feeds etc.)

Im inaktiven Zustand bleibt das Display unsichtbar. Eine Sprachsteuerung wäre wohl effizienter, aber mit ein paar Gesten könnte man schon coole Sachen machen. Dazu müssen Steuerbefehle von FHEM oder vom Gestenmodul an den Browser (Vollbildmodus) geschickt werden. Hat jemand sowas mal versucht , geht sicher auch nicht mit jedem Browser, aber da gibts mittlerweile ja so einige.
Als Gestensensor habe ich mit dem APDS-9960 experimentiert, der liefert mir Bewegungsrichtungen zurück (links/rechts/auf/ab etc.). Mangels tiefergehenden Linuxkenntnissen bin ich gescheitert, hatte versucht Tastatureingaben an den Browser zu simulieren, aber das wars dann schon

Vielleicht hat ja jemand noch ein paar interessante Ansätze, wie man dem infoframe so Beine machen kann...

Grüße
Volker

ripper · 16 März 2016, 11:39:18

Ich hab in der CT neulich mehrere Artikel über künstliche Intelligenz gelesen und bin dann, nach ein bisschen Google auf dass hier gestoßen:

https://learn.adafruit.com/raspberry-pi-face-recognition-treasure-box/overview

Ich bin auch noch nicht so Linux erfahren, aber ich hab im April mal Urlaub und will dann versuchen, eine Sprachsteuerung mit Jasper aufzusetzen, und dass ganze mit der Gesichtserkennung zu verbinden.

Eine coole Lösung für deinen Badspiegel wäre wenn das System erkennt wer vor dem Spiegel steht und am Morgen dann z.B die Termine für den Tag anzeigt.

Hollo · 16 März 2016, 12:55:56

Zitat von: Torchwood am 15 März 2016, 13:56:16
...Hallo Leute,

hatte schon mal damit angefangen und es dann wieder zu den Akten gelegt, weil relativ komplex:

Ich beabsichtige im Badezimmer einen beleuchteten, halbdurchsichtigen Spiegel mit einem Display dahinter zu integrieren...

Zack, wieder erinnert mich einer an dieses Projekt.

Sowas will ich seit ca. 2008 machen, als ich das erste Mal sowas in "perfekt" gesehen habe.
Perfekt ist das leider für privat nicht wirklich bezahlbar $:-\$ und alle Alternativen bedeuteten zu viele Kompromisse, die ich nicht eingehen wollte.
Ach ja, eine "kleine Lösung" quasi als Test kam natürlich auch nicht in Frage.

Zu der Gestensteuerung wäre evtl. das neue Dingen von Fibaro interessant... http://www.fibaro.com/en/the-fibaro-system/swipe
Damit hast Du zumindest schon mal ein Komplettgerät, weches sich per zwave in fhem einbinden lassen sollte (irgendwann).
Und Du umgehst die Kamera; wobei das unter Umständen ja auch nicht uninteressant sein könnte...

Bzgl. Spiegel gibt es reichlich Unterschiede in Qualität und natürlich Preis, das ist schon schwierig.
Hast Du da schon Entscheidungen, Muster oder so?

Kuzl · 17 März 2016, 07:37:19

So einen Spiegel hab ich ohne Gestensteuerung daheim

Hab einfach einen 23" Monitor vom Gehäuse befreit und hinter einen Spionspiegel gesetzt.
Wichtig ist, dass der Spionspiegel von hinten komplett lichtdicht bedeckt ist, sonst sieht man durch und evtl den Bildschirm dahinter.
Intressant währe, ob man so einen Gestensensor oder Kamera auch dahinter setzen kann. Durchsehen kann man ja

Kamera könnte da eher gehn, da ja der Gestensensor über Reflexion arbeitet.

Tedious · 17 März 2016, 09:55:56

Mal als Gedankenspiel - Gestensteuerung funktioniert mit der Kinect hervorragend, und ich habe z.B. eine ungenutzte Kinect der XBox360 am HTPC hängen um ihn per Gesten zu steuern. Müsste halt statt einem RPI ein NUC mit Windows und Fullscreen-Browser dahinte, ließe sich aber realisieren (mag sein dass es auch APIs für Kinect unter Linux geht, das entzieht sich aber meiner Kenntnis).

schnitzelbrain · 17 März 2016, 11:08:48

Na dann passt der link ja gerade zum Thema:
http://myestro.de/de/smart-home/

Mal sehen was die FHEM Community daraus macht

Hollo · 17 März 2016, 12:42:08

Zitat von: Kuzl am 17 März 2016, 07:37:19
...Intressant währe, ob man so einen Gestensensor oder Kamera auch dahinter setzen kann. Durchsehen kann man ja
Kamera könnte da eher gehn, da ja der Gestensensor über Reflexion arbeitet.

Zumindest in der "Werbevorschau" soll das Dingen auch unter einer Tischplatte und hinter einem Spiegel funktionieren.
Hab das aber nur fix überflogen.

Kuzl · 17 März 2016, 14:37:37

Der Airpointr hört sich ja interessant an

Damit könnte man ja dann z.b. direkt das Infopanel steuern und z.b. buttons drücken etc.

tomster · 17 März 2016, 17:18:25

Die Idee mit dem Spionspiegel hatte ich auch vor einiger Zeit als ich diese Seite hier gefunden habe:
http://glancr.de/smart-mirror-selbst-bauen/

Die Jungs bieten neben der DIY-Anleitung in Bälde auch Komplettsets an. Zwar nicht direkt auf FHEM abgezielt, aber wohl mit wenig Aufwand adaptierbar.
Und in Verbindung mit dem Airpointr könnte das sogar eine Rundum-Lösung werden.

Ich muss allerdings langsam Obacht geben, dass die Projekt-Abarbeitung meinen Projektideen auch nur halbwegs hinterherkommt...

tomster · 17 März 2016, 18:07:46

Ach ja, bevor ich es vergesse:

Versuche doch evtl. Mal die Sensoren von www.edisen.de
Ich hab die von hinten in meine Küchenschränke geklebt, um die LED-Beleuchtung der Arbeitsplatte durch einen Touch auf die Küchenfront an/aus zu schalten.
Die kann man auch so einstellen, dass sie schon bei Näherung schalten -> Fingertapperfreundlich auf dem Spiegel.

Torchwood · 17 März 2016, 18:39:05

Also Sensoren a la Kinect kann man vergessen. Das Teil soll ja stromsparend arbeiten und hinter einen Spiegel passen (WAF). Und Kameras im Bad sind eher keine gute Idee. Der Versuchsaufbau sollte erst mal einfach gehalten sein und das Prinzip erarbeiten. Spiegel als Touchscreen kommen auch nicht gut an. Ich dachte also erst mal an Informationsausgabe mit mehreren Themenbildschirmen, die sich durch wenige Bewegungen im Raum steuern lassen (richtungsgebundene Wischbewegungen). Eine Personenerkennung wäre natürlich cool, aber wie gesagt wäre eine Kamera im Bad ein no go (es sei denn als Blackbox ohne Netzwerkanschluss, die erkannte Familienangehörige als Nummern identifiziert und ausgibt).
Wenn ich aber keine vernünftige Browsersteuerung hinbekomme muss ich mir den Aufwand mit dem Spiegel erst gar nicht geben...

Volker

tomster · 17 März 2016, 18:51:17

Klar, auf den Spiegel touchen sollte man unterlassen, aber evtl. funzen 2 von den kapazitiven Edisen's um Bewegungen von links<->rechts erkennen zu können. Damit wären dann schon Mal Swipes möglich.
Ich muss Mal schauen, ob ich meine wieder ausgebaut bekomme...

Rince · 17 März 2016, 20:10:20

Ich hatte mal experimentiert mit einem Arduino und kapazitivem Touch, aka Alufolie.

Da konnte man mit einer Anpassung des Thresholds und der Widerstände durchaus etwas annäherungsartiges zustande bringen.
Ob das aber taugt in einem Badezimmer, hm, weiß nicht. (Metallbedampfter Spiegel)

http://playground.arduino.cc/Main/CapacitiveSensor?from=Main.CapSense