Smart Mirror / Infospiegel mit fhem-Daten

Tommy82 · 19 Februar 2017, 20:30:20

Zitat von: tomster am 16 Februar 2017, 11:31:05
opencv ist eine Bildbearbeitungs/-erkennungs-lib. Ich möchte dieses nutzen um mit der PiCam hinter dem Spiegel Gesichter und/oder Gesten, die vor dem Spiegel sind/geschehen erkennen zu lassen.
Damit soll zum Einen das angezeigte Layout auf den jeweilig davorstehenden Spiegel-User individualisiert werden, zum Anderen vielleicht auch die Möglichkeit der Steuerung einzelner Features (Radio an/aus/laut/leise, HDMI an/ aus, etc.) durch Wischgesten mit der Hand möglich sein. Noch ist es ein Projektziel, aber opencv und eine generelle Gesichtserkennung laufen schon mal. Anbindung an FHEM und tatsächliche Unterscheidung von Gesichtern fehlt noch.

Wenn du das mit der Gesichtserkennung/Gestensteuerung hinbekommst, baue ich mir das ding direkt nach!:-) An sowas suche ich schon länger

Grinsekatze · 20 Februar 2017, 01:27:28

Zitat von: tomster am 16 Februar 2017, 11:31:05
opencv ist eine Bildbearbeitungs/-erkennungs-lib. Ich möchte dieses nutzen um mit der PiCam hinter dem Spiegel Gesichter und/oder Gesten, die vor dem Spiegel sind/geschehen erkennen zu lassen.
Damit soll zum Einen das angezeigte Layout auf den jeweilig davorstehenden Spiegel-User individualisiert werden, zum Anderen vielleicht auch die Möglichkeit der Steuerung einzelner Features (Radio an/aus/laut/leise, HDMI an/ aus, etc.) durch Wischgesten mit der Hand möglich sein. Noch ist es ein Projektziel, aber opencv und eine generelle Gesichtserkennung laufen schon mal. Anbindung an FHEM und tatsächliche Unterscheidung von Gesichtern fehlt noch.

Jupp, das steht bei mir auch auf der Todo-Liste. Ich werde es nutzen um zb. Die Sprache vom davorstehenden Nutzer abhängig zu machen, da meine Frau mit Englisch mehr anfangen kann, als mit Deutsch - das erhöht dann auch gleich den WAF 😄

Tommy82 · 21 Februar 2017, 21:11:03

Wenn das läuft würde ich mich über den Code hier sehr freuen, mich interessiert die sprache zwar weniger, aber das einbinden von Speziellen Infos, oder auch einer personalisierten Begrüssung äre schon cool

tomster · 17 März 2017, 11:31:53

So recht komme ich mit openCV/ Gesichtserkennung leider nicht weiter. Die Prozessorlast des Erkennungs-Scripts blockiert quasi den ganzen Pi...

Daher ein etwas anderer Ansatz, wenn auch nicht wirklich Gesichtserkennung...
Mein Spiegel wird umlaufend bündig in eine Niesche eines alten Badfensters eingebaut. Dadurch hab ich keine Möglichkeit einen PIR-Sensor irgendwo extern anzubringen, der den Monitor einschaltet, wenn jemand davor steht. Klar, man könnte wohl auf einen ESP/PIR/MQTT-Sensor ausweichen, der irgendwo im Bad angebracht wird (Problem: WAF...).
Ich werde daher alles über den RasPi hinter dem Monitor/ Spiegel realisieren. Dabei bin ich auf das Paket "motion" gestossen. Das ist eigentlich eine Bewegunsgerkennung um z.B. eine Überwachungskamera zu betreiben.
Leider funzt das Standardpaket aus dem Repo nicht mit der Pi-Camera out-of-the-box. Also habe ich eine gepatchte Version nach dieser Anleitung installiert:
https://embeddedday.com/projects/raspberry-pi/a-step-further/install-motion-mmal/

Für das von mir verwendete Raspbian Jessie mussten allerdings noch ein paar Dependencies nachinstalliert werden:
http://www.rf1000.de/viewtopic.php?t=1166

Danach unbedingt rebooten!

Nun noch in der motion.conf die beiden Events für "Erkennung an/aus" und "Event-gap" definieren (in meinem Fall lasse ich von den cec-utils über HDMI den Monitor ein-/ausschalten) und feddich ist der Lack. Prozessorlast von motion ist bei 320*240 Pixeln so um die 2-5%.

Nun schaltet sich der Spiegel ein wenn jemand davor steht und 30 Minuten später wieder aus.

Kleiner Wermutstropfen: Mein Monitor braucht 12 Sekunden um aus dem Stand-By zu kommen. Das ist etwas blöd. Der Samsung-TV meines Bruders hingegen nur 2 Sekunden. Ist vielleicht ein Tipp, um beim Monitorkauf darauf zu achten.

Alternativ ginge es aber sicher auch bei Spiegeln, die quasi ganztätig laufen sollen (Flur, Küche, etc.) das Pi-eigene "tvservice" zu verwenden:
sudo tvservice -p für Monitor an
sudo tvservice -o für Monitor aus

Dabei wird aber nur der HDMI-Ausgang des Pis an-/ abgeschalten, der Monitor läuft dauernd (oder bis zum Energy-Saver). Das Bild erscheint dafür aber wirklich sofort.
Problem hierbei kann aber sein, dass bei sudo tvservice -o der Monitor dann "Kein Signal" anzeigt und selbiges über den Bildschirm hüpfen lässt. Mein China-Fernseher macht das zumindest so. Soll aber auch Monitore geben, die das unterlassen.

Grinsekatze · 17 März 2017, 11:58:57

Moin ins Rund,

nachdem ich nun ein paar Wochen im Ausland gewesen bin, habe ich dort überrascht in einer Bar eine Smartmirror-Konstruktion gesehen: In der Toilette hing ein Breitbildspiegel. Dahinter sind offenbar mehrere Tabletts montiert gewesen, die in regelmäßigen Abständen Werbung angezeigt haben.

Mir ist an dieser Konstruktion (negativ) aufgefallen, dass der Spiegel erheblich dunkler ist, als ein normaler Spiegel. Während Standardspiegel eher silber- / Chromfarben sind ist dieser Spiegel nahezu schwarz gewesen.

Das rückt für mich nun die Wahl des richtigen Glases in den Vordergrund.
Daher bin ich gespannt, was ihr schon so gefunden habt.

tomster · 17 März 2017, 12:45:43

Ich hab mich an die Sammelbestellung im MM-Forum hingehängt. Wenn alles gut läuft, sollte ich nächste Woche den Spiegel in Händen halten.
Dann geb ich Laut wie der so ist.

Das mit der Dunkelheit der Spiegel ist mir bei den Fotos im Netz auch schon aufgefallen. Zudem ich von irgendeinem Hersteller auch Spiegel gefunden habe, die für's Wohnzimmer gedacht sind (mit Fernseher dahinter). Der war recht dunkel und eigentlich kein wirklicher Spiegel mehr; eher eine getönte Scheibe. Soll wohl den Effekt haben, dass es nicht zu Farbverfälschungen beim Fernschauen kommt. Sowas in der Art:
http://www.masters-knoop.de/typo3temp/yag/02/Referenzen-06-tv-hinterm-spiegel_276_55128eba6f16.jpg

Im Fall MM ist das aber wurscht, weil wohl die Meisten eh auf ein S/W-Farbschema setzen. Zumindest ich. Und der Spiegel aus dem MM-Forum soll wohl ausdrücklich wie ein Spiegel aussehen. Wie gesagt: nächste Woche mehr.

Grinsekatze · 19 März 2017, 11:36:57

Ich bin gespannt und drück die Daumen.

ripper · 19 März 2017, 11:57:33

hi,

ich verfolge eure Diskussion schon eine weile. Finde das Thema auch ziemlich spannend hab momentan allerdings auch noch einige andere Baustellen.
Wie auch immer, in der letzten CT (6/17) waren einige Raspi Projekte thematisiert. Darunter auch ein Smart Mirror. Im Artikel war ein Vergleichsbild auf dem mehrere "Einwegspiegel" mit einem "normalen" Spiegel verglichen wurden. Das beste Ergebnis meiner Meinung, die auch mit der der Redakteure übereinstimmt ist eine Spiegelfolie die auf ein dünnes Glas geklebt wurde. Diese wirkt auf dem Foto deutlich heller als die Einwegspiegel.
Wahrscheinlich darf ich hier keine Scann oder so anhängen, ich verlink euch den Artikel hier mal
https://www.heise.de/ct/ausgabe/2017-6-Raspberry-beschreibt-Spiegel-3636486.html

Viele Grüße
Flo

Grinsekatze · 28 März 2017, 17:53:48

Danke für den Tipp. Der Vergleich ist gut. Sonst ist der Artikel eher ne Zusammenfassung der verlinkten Webseite - was in CT ja schon seit einiger Zeit Gang und Gebe ist und mich vor vielen Jahrne dazu gebracht hat, es mir nicht mehr regelmäßig zu kaufen.

Devender · 01 September 2017, 20:12:25

Hallo zusammen,

da mich das Thema auch bereits seit Monaten beschäftigt habe ich mich nach meiner Badezimmersanierung jetzt auch an die Umsetzung gemacht.
Als Anzeige habe ich mir über Ebay Kleinanzeigen einen 22 Zoll LED Monitor besorgt.
Währendessen aus meinem Fhem heraus das TabletUI mal eingrichtet und auf dem zweit fhem im Sicherungskasten aktiviert.
Der Zweit Pi ist mit einem 20 Meter HDMI Kabel ins Badezimmer verkabelt worden.

Zum Display (35€) : Asus VE228 - zerlegt
Zum Spiegel (129€) : Einsscheibenspionspiegel hell mit den Maßen 70 * 80 (L*H) mit einer Glasdicke von 6mm.
Anzeige : TabletUI auf RPi3 per HDMI verbunden
Steuerung (17€) : Mini Tastatur per Funk

Das Spiegelglas ist am Rand nicht geschliffen da es in einen Holzrahmen eingelassen werden soll. Den Rahmen zu bauen (versuche es erstmal selbst) werde ich die nächsten Tage/Wochen angehen.
Im Anhang mal ein (nicht so gutes Bild) vom Spiegel nebst Display.

Das Spiegelglas habe ich vom Glaser aus dem Nachbarort. Sogar günstiger als aus dem Internet.
Vielleicht hilft es euch ja weiter

Grüsse,
Dirk

Grinsekatze · 01 September 2017, 21:55:46

Sieht gut aus. Wobei ich die Inhalte an auf die Seiten konzentrieren würde, da es sonst schwer wird, sich selbst im Spiegel zu sehen

Devender · 03 September 2017, 20:28:16

So, mal ein Update.
Spiegel haengt

. Es fehlt noch Farbe fuer den Rahmen.
Das Ergebnis ist super geworden und Preislich sehr im Rahmen geblieben.

tomster · 12 September 2017, 09:19:04

Schöne Umsetzung!
Und das erinnert mich, dass ich an meinem Spiegel eigentlich auch endlich mal weitermachen sollte...
Ich hab mir einen Rahmen/ Korpus gebaut, der abgerundete Ecken hat. Der Spiegel ist natürlich genauso. Drin steckt ein 32" Full-HD-Monitor. Sieht fast ein bissl wie ein großes Smartphone aus.
Eigentlich bräuchte ich "nur noch" den Korpus innen schwarz lackieren und den Spiegel aufkleben. Aber die liebe fehlende Zeit...

Kuzl · 13 September 2017, 10:14:27

Hat jemand schon einen Lösungsansatz für eine vernünftige Steuerung?
In Frage kommen ja eigentlich nur:

- Gestensteuerung (entweder über Kamera + Airpointr oder über Gestensensoren wie beim Galaxy S4/S5)
- Sprachsteuerung
- Touch (Gibt es Touchmöglichkeiten, die durch das Glas funktionieren?)
- Gesichts bzw. Positionserkennung z.b. der Hand, und diese dann als "Maus" verwenden. Soll auch mit Airpointr funktionieren.

Touch wäre natürlich am flexibelsten einsetzbar. Es gibt wohl auch "nachrüstsätze"um einen normalen Bildschirm touchfähig zu machen.
Und wenn man die Bedienelemente an den Rändern platziert hat man auch keine Schmierereien im Spiegelbild

tomster · 13 September 2017, 14:48:37

Meiner Erfahrung nach, sind (fast) alle Möglichkeiten der Steuerung über die Kamera mit der Performance eines RasPi nicht zu vereinbaren.
Ich hab mich vor einiger Zeit mit openCV beschäftigt. Dabei ist mir sogar gelegentlich ein RasPi3 abgeschmiert...

Touch wiederum finde ich (respektive meine Frau) auf Spiegeln überhaupt nicht prickelnd. Ob eine Gestensteuerung a la PiSenseHat oder Flick 3D in unserem Falle tauglich sind müsste man ausprobieren, weil die Beschichtung des Spiegels und ggfls. schwarze Lackierung des "Empfängers da eventuell einen Strich durch die Rechnung machen. Das Einfachste wären zwar ein paar kapazitive/ taktile Schalter im Gehäuse/Gehäuseseite, aber ob das so stylt?

Ich hab mich inzwischen allerdings dazu durchgerungen die einzelnen Widgets in Zeitintervallen durchzuwechseln. Wie in "Minority Report" in der Luft herumzuwischen finde ich etwas albern. Sind aber nur meine 2 Cent oder einfach mein Alter...