Gesichtserkennung mit ESP32-WLAN-Kameraboards ab 15 Euro

[JoWiemann]

Liest sich spannend: https://www.heise.de/newsticker/meldung/Gesichtserkennung-mit-ESP32-WLAN-Kameraboards-ab-15-Euro-4269519.html

http://www.lilygo.cn/prod_view.aspx?TypeId=50017&Id=1042&FId=t3%3A50017%3A3

Grüße Jörg

[Uwe B.]

So richtig spannend wird es bei der Frage, ob/wie eine Kommunikationsschnittstelle (MQTT, REST API, ...?) dabei ist, mit der das Ding dann mit FHEM bzw. anderen Komponenten reden kann?

[Nexium]

Hat hier mal jemand was gemacht? Gesichtserkennung und dann zb an FHEM melden welches Gesicht erkannt wurde?

[Papa Romeo]

Hallo Nexium,

Hat hier mal jemand was gemacht? Gesichtserkennung und dann zb an FHEM melden welches Gesicht erkannt wurde?

... hab mal vor ein paar Wochen angefangen mich damit zu beschäftigen dann aber aus Zeitmangel wieder auf die Seite gelegt.

Hab´s jetzt schnell nochmal aktiviert und Bilder gemacht.

Über einen Jumper kann ausgewählt werden ob die ESP32_CAM im „Browser Modus“ (Registrierung der Gesichter)
oder im „MQTT – Modus“ (Überwachung / Gesichtserkennung) und Übermittlung an z.B. FHEM und serieller Ausgabe arbeiten soll.

[Markus M.]

Hab´s jetzt schnell nochmal aktiviert und Bilder gemacht.
Über einen Jumper kann ausgewählt werden ob die ESP32_CAM im „Browser Modus“ (Registrierung der Gesichter)
oder im „MQTT – Modus“ (Überwachung / Gesichtserkennung) und Übermittlung an z.B. FHEM und serieller Ausgabe arbeiten soll.

Sieht sehr interessant aus!
Aber sehe ich das richtig, die Kamera führt die Erkennung anhand nur eines einzelnen Referenzbildes pro Person durch?
Was passiert, wenn du dich rasierst? 

[Uwe B.]

a) wieviele Referenzbilder können denn hinterlegt werden? Ich glaube gelesen zu haben, dass es pro "Person" drei sein müssen?
b) Wie groß ist denn die Erkennungsrate (so ungefähr)?
c) @Jumper: so ein richtiger Hardware-Jumper auf dem Board oder eine Variable in der Software?
d) Ist das bei Dir wirklich der Lilygo TTGO T-Camera ?! https://de.aliexpress.com/item/32968683765.html

[Nexium]

Hallo Nexium,

... hab mal vor ein paar Wochen angefangen mich damit zu beschäftigen dann aber aus Zeitmangel wieder auf die Seite gelegt.

Hab´s jetzt schnell nochmal aktiviert und Bilder gemacht.

Über einen Jumper kann ausgewählt werden ob die ESP32_CAM im „Browser Modus“ (Registrierung der Gesichter)
oder im „MQTT – Modus“ (Überwachung / Gesichtserkennung) und Übermittlung an z.B. FHEM und serieller Ausgabe arbeiten soll.

Kannst du das etwas genauer beschreiben wie man das umsetzen kann?

[Papa Romeo]

Hallo Markus, hallo Uwe,

a) wieviele Referenzbilder können denn hinterlegt werden? Ich glaube gelesen zu haben, dass es pro "Person" drei sein müssen?

Kann über die Software eingestellt werden:

#define ENROLL_CONFIRM_TIMES 5   <--   Anzahl der Referenz-Bilder pro Person
#define FACE_ID_SAVE_NUMBER 7     <--  Anzahl der hinterlegten Personen   

b) Wie groß ist denn die Erkennungsrate (so ungefähr)?

Wenn ich die vor Kamera gehe, wird so in etwa alle 1 bis 2 Sekunden ausgegeben , dass ich erkannt wurde.

c) @Jumper: so ein richtiger Hardware-Jumper auf dem Board oder eine Variable in der Software?

Ja, ein Hardware-Jumper. Ich nutze hier GPIO12, da er einer der wenigen GPIO´s ist, der noch frei war und direkt neben einem GND-Pin liegt.
(kann also direkt auf dem Board gesetzt werden)

Jumper gesetzt  --> BROWSER-Modus
               offen  --> ERKENNUNGS-Modus

d) Ist das bei Dir wirklich der Lilygo TTGO T-Camera ?! https://de.aliexpress.com/item/32968683765.html

Nein, ist dieses Modul:  https://www.ebay.de/itm/401752810016

[gloob]

Ist das die Firmware die im ersten Beitrag verlinkt ist?

[Papa Romeo]

Wollt ich eigentlich gerade bezüglich Nexium´s Anfrage fortführen.

Nein, ist nicht die "WHO" Software. Das Ganze basiert auf diesem Beitrag: https://robotzero.one/esp-who-recognition-with-names/

Ich hab noch die serielle Ausgabe und den MQTT-Server implementiert und die Software, dann soweit modifiziert, dass über den Jumper
dann die entsprechende "Ausgabeform" gewählt werden kann und der Name, der dem erkannten Gesicht zugeordnet wurde, sowie die Anzahl
der "Erkennungen", dann an Fhem übertragen werden.

Beides parallel laufen zu lassen schien mir nicht so ideal, da die Videoausgabe trotz der relativ geringen Auflösung von, ich glaube 320 x 240,
bei "DETECT" und "RECOGNISE" doch sehr träge ist (bei mir jedenfalls, mag bei einem schneller PC vielleicht besser sein).

STREAMING ist ok.

[Nexium]

Kannst du die Software bereitstellen? Hört sich sehr interessant an.

[Papa Romeo]

Hallo Nexium,

im Anhang der Sketch.


EDIT: Wer die Serielle Ausgabe benötigt, muss in der Zeile 188 vor "serial.begin()" die Auskommentierung entfernen

[Papa Romeo]

Hallo Nexium,

noch einige Info´s zur Vorbereitung und zum Sketch:

... unbedingt danach --> https://robotzero.one/esp32-face-door-entry/

             und danach --> https://robotzero.one/esp-who-recognition-with-names/

vorgehen und die SSID und das Passwort nicht hier (das so stehen lassen)

Code: [Auswählen]

#include "soc/rtc_cntl_reg.h"

const char* ssid = "";
const char* password = "";

#define FLASH_Pin              0
sondern hier eingeben

Code: [Auswählen]

// Beginn connect_loop
bool connect_loop() {
  const char* ssid = "Meine_SSID_1"; const char* password = "mein_SSID_1_passwort";
  if (connect_wifi(ssid, password, 30) ) {
    return true;
  }
  else {
    ssid = "Meine_SSID_2"; password = "mein SSID_2_passwort";
    if (connect_wifi(ssid, password, 30) ) {
      return true;
    }
    else {
      Serial.println("kann nicht verbinden ");
      return false;
    }
  }
}
// End connect_loop
Über die Variable WIP (entspricht der letzten Stelle der IP-Adresse) kannst Du dem Modul eine feste IP zuweisen.

(z.B.:  WIP = 123  --> IP: 192.178.1.123)

Setzt du für WIP den Wert 0 , ist DHCP aktiv.

LG

Papa Romeo

[Nexium]

Vielen dank, kanns schon kaum erwarten das gane am WE zu testen

[Papa Romeo]

Hallo Nexium,

bezüglich deiner PM-Anfrage und dem IDE-Fehler.

Ich habe eben mal meine Zugangsdaten in den Sketch den ich gepostet habe (meiner ist noch etwas umfangreicher, da ich da mal einiges testen wollte)
eingetragen und ihn kompiliert.

Läuft bei mir sauber durch.

Hab den Sketch hochgeladen und bin ein bisschen vor der Kamera "rumgetanzt"....