ReSpeaker MicArray 2.0 "standalone" über Klinkenanschluß?

joginet · 13 Februar 2019, 21:12:16

Hallo Forum,
mal 'ne laienhafte Verständnisfrage: Wozu hat das ReSpeaker MicArray 2.0 eine Klinkenbuchse?
Laut Beschreibung ist das "Audio out".
Heisst das, dass ich das Teil auch "stand-alone" als far-field-"analog"-Mikrofon benutzen kann (evt. nach entsprechernder Konfig)
oder ist immer ein Rechner (z.B. ein Pi) nötig, auf dem ein Treiber läuft? Und wo ist der Unterschied bei den Core-Versionen? Können die evt. sowas?

Gruß, Jochen

dkreutz · 13 Februar 2019, 21:37:05

Audio out = Ausgang für Kopfhörer/Aktiv-Lautsprecher.

Nach meinem Verständnis ist kein Standalonebetrieb möglich, sondern ein PC oder SBC (z.B. Raspberry Pi) erforderlich.

Der Core V1 ist ist ein sehr einfacher SBC mit Steckplatz für das Mic Array.

Der Core V2 ist deutlich leistungsfähiger - vergleichbar mit einem RPI3 - und hat ein Mic Array bereiits onboard.
Habe selbst einen Core V2 auf dem Opensource-Sprachassistent Mycroft.ai läuft.

joginet · 14 Februar 2019, 05:36:30

Ok - Danke!

Bedeuted das, dass so ein Betrieb mit SBC möglich ist, bzw. das der "Core" das dann von sich aus könnte?

Auf dem Shield ist ja ein WM8960 verbaut, da ist doch ein DAC drin?

http://wiki.seeedstudio.com/ReSpeaker_Mic_Array_v2.0/#hardware-overview

https://www.cirrus.com/products/wm8960/

Grundsätzlich zu funktionieren scheint das Shield ja schonmal ohne SBC - die LEDs zeigen z.B. die Richtung des
empfangenen Schalls an.

Gruß, Jochen

joginet · 14 Februar 2019, 08:13:16

Habe heute morgen dem seeed-support eine email geschickt und quasi sofort (!) eine Antwort erhalten:

ZitatHi Jochen

1. For the Mic array v2.0, you only can extract the audio from the micro usb，NOT 3.5mm audio port. It is mics with DSP noise processing. You have to connect the PC/mac/linux to extract the audio.
http://wiki.seeedstudio.com/ReSpeaker_Mic_Array_v2.0/

2. For the Respeaker core v2.0, it integrated the mics and MCU.
http://wiki.seeedstudio.com/ReSpeaker_Core_v2.0

Thanks

best rgds

Ok - aber was heisst das jetzt? Geht das mit dem "Core" jetzt "standalone" oder nicht bzw. geht das "out of the box" oder mit einem Script auf der MCU?

Gruß, Jochen

dkreutz · 14 Februar 2019, 09:50:58

Vereinfacht gesagt:

Die ReSpeaker MicArrays sind "Soundkarten" mit Mikrofonen und Audioausgang. Es gibt unterschiedliche Varianten, die sich unterscheiden in: Anzahl der Mikrofone, DSP und DA-Wandler (mit/ohne Hardware-Loopback - wichtig für Echo-Cancelling), LEDs, Tastern für "Benutzereingaben" und Computerschnittstelle (USB, RPI-GPIO, Seeed-propietär).

ReSpeaker Core v1 = sehr einfacher SBC (1core@580MHz, 256MB RAM, WiFi) + 1 Mikrofon onboard + Audioausgang
für den Core v1 gibt es als Ergänzung das von dir Eingangs erwähnte Mic-Array-V2, welches direkt aufgesteckt werden kann.

Damit ist "standalone" Betrieb möglich, aber aufgrund der einfachen Hardware sehr eingeschränkte Anwendungsmöglichkeiten.
Beispiele hier: http://wiki.seeedstudio.com/ReSpeaker_Core/#application

ReSpeaker Core v2 = SBC ähnlich RPI3 (4core@1500MHz, 1024MB RAM, 4GB eMMC, WiFi, Bluetooth, ...) + 6 Mic Array + 12 LED Ring + Taster, Betriebssystem Debian (Stretch).

Aufgrund der deutlich leistungsfähigeren CPU wesentlich mehr Möglichkeiten, z.B. standalone Betrieb als Voice-Assistant mit Google, Alexa und OpenSource-Alternativen wie snips.ai oder der von mir favorisierte mycroft.ai, für den ich einen fhem-skill entwickelt habe...

Was hast Du denn damit vor?

joginet · 14 Februar 2019, 14:02:20

ZitatVereinfacht gesagt: Die ReSpeaker MicArrays sind "Soundkarten" mit Mikrofonen und Audioausgang.

Genau so hatte ich das auch verstanden.

ZitatWas hast Du denn damit vor?

Ich brauche tatsächlich nur ein "Klinken-Mikrofon". Ich betreibe meine Spracherkennung mit dem Movi-Shield am Arduino und habe da ein "China-Micro" für 12€ dran.
Das funktioniert zwar, aber ich bastele momentan mit Alexa. Da kann ich zum Vergleich quasi flüstern während im gleichen Raum das Radio läuft.
Beim Movi-Mic muß ich da schon etwas meine Stimme heben

Ich hatte gehofft, mit einem Mic-Array den Klinkeneingang vom Movi beschicken zu können.

Deshalb nochmal die Frage: mit "standalone" meine ich den "reinen Microfoneinsatz". Kein Voice Assist oder sonstige Anwendungen.
Also quasi Mikrofon-Aufnahme rein und über die Klinke gleich wieder raus. Geht das (evt. über den SBC des Core)?

Gruß, Jochen

dkreutz · 14 Februar 2019, 16:05:01

Was Du suchst ist ein Mikrofon-Vorverstärker, sowas gibt es als Bausatz für ein paar Euro. Ein ReSpeaker MicArray im standalone-Betrieb (sofern das überhaupt damit möglich ist) wäre eine etwas übertriebene (teure) Lösung.

Ich habe mir die Movi-Shield-Dokumentation angesehen: die eingebaute Verstärkung (Automatic Gain Control) wirkt nur bei Verwendung des Onboard-Mikros.

Der externe Mikro-Eingang ist in erster Linie zur Verwendung eines Headsets gedacht, bei dem normalerweise das Mikrofon ja sehr Nahe an der Quelle (Mund) sitzt. In der Doku wird allerdings explizit darauf hingewiesen, dass man am externen Eingang kein vorverstärktes/Line-Signal verwenden soll/darf. Ich vermute aber, dass man hier Problemen wegen Übersteuerung zuvor kommen möchte.

joginet · 14 Februar 2019, 18:04:16

Code Auswählen

Was Du suchst ist ein Mikrofon-Vorverstärker

Nein, pegelmässig ist alles gut. Im Gegenteil, ich muß den Threshold sogar hochstellen, sonst übersteuert der Eingang. Es funktioniert eigentlich auch gut.
Ohne Headset usw., frei im Raum, auch mit mäßigem Hintergrundgeräusch.

Nur Alexa reagiert halt schon beim flüstern obwohl nebenan die Waschmaschine läuft

Der Knackpunkt bei allen Alexas, Googels, usw. sind IMHO halt die Mic-Arrays mit Prozessor (Sound-Richtung, Entfernung, usw.)

Ich wollte einfach nur mal testen, ob ich so ein Array an meine Klinke anschließen kann. Das "fertig-prozesste" Signal an analog sozusagen.
Und da frage ich mich, wie das hier (sorry, ich wiederhole mich..)

http://wiki.seeedstudio.com/ReSpeaker_Mic_Array_v2.0/#hardware-overview

unter "System-Diagram" gemeint ist (also was aus dem WM8960 rauskommt, denn das Teil hat ja einen DAC). Da müsste es doch zumindest für die
Core-Variante ein Programm für den SBC geben (oder evt. nur eine Einstellung im ALSA-Mixer?) - auf dem PC kann ich doch auch gleichzeitig hören, was ich in ein Micro spreche.

Aber wenn die Dinger das nicht können, dann brauche ich das auch nicht und verfolge das auch nicht weiter. Bin ja ansonsten zufrieden.

Gruß, Jochen

dkreutz · 14 Februar 2019, 19:57:04

Zitat von: joginet am 14 Februar 2019, 18:04:16
Da müsste es doch zumindest für die
Core-Variante ein Programm für den SBC geben (oder evt. nur eine Einstellung im ALSA-Mixer?) - auf dem PC kann ich doch auch gleichzeitig hören, was ich in ein Micro spreche.

Die Einstellung im ALSA-Mixer werde ich in den nächsten Tagen mit meinem Core v2 ausprobieren und hier berichten...

joginet · 14 Februar 2019, 21:27:54

ZitatDie Einstellung im ALSA-Mixer werde ich in den nächsten Tagen mit meinem Core v2 ausprobieren und hier berichten...

Darüber würde ich micht echt freuen! Wie gesagt - es brennt bei mir nicht, es war nur so eine Idee...

Gruß, Jochen

joginet · 15 Februar 2019, 05:42:48

Ahaaa - wir kommen der Sache näher! Ich hatte dem seed-support nochmal geantwortet:

ZitatHi and thank you for your fast reply! So - with the "Core-Version"
with integrated MCU, will it be possible to extract the audio from the
3,5mm jack? Out of the box or perhaps with a script or some
configuration on the MCU? Or also not at all?
Best regards, Jochen

Hier die (erneut promte) Antwort:

ZitatHi Jochen
For respeaker mic array v2.0, you can connect to sbc and then run below commands to record and play at the same time, you can heard the record audio from 3.5mm audio port.
Code Auswählen Erweitern
arecord -D plughw:1,0 -f cd |aplay -D plughw:1,0 -f cd # record and play at the same time
For respeaker core v2.0, you can use below commands to hear the record audio from 3.5mm audio port.
Code Auswählen Erweitern
arecord | aplay
Thanks
best rgds

Es scheint also zu funkionieren, ich werde mein Test-Shield in den nächsten Tagen mal an einen PI anklemmen.

Viele Grüße, Jochen

dkreutz · 16 Februar 2019, 13:58:47

So, ich habe auf meinem Core v2 folgendes getestet:

Code Auswählen

arecord | aplay

Funktioniert, aufgrund der digitalen Verarbeitungskette (Respeaker-DSP Algorithmen, arecord schreibt in Pipe, aplay liest aus Pipe) erfogt die Audioausgabe bei mir aber mit einer Latenz von 2-3 Sekunden.

joginet · 17 Februar 2019, 12:22:32

Super, vielen Dank !
Ich habe daraufhin auch mal probiert und mein Test-Shield an einen Pi mit Raspbian angeschlossen. Das shield wird ohne Installation erkannt und per

Code Auswählen

arecord -D plughw:1,0 -f cd |aplay -D plughw:1,0 -f cd

kann ich den Eingang a.d. Ausgang schicken. Latenz habe ich auch, allerdings eher 1 Sekunde.
Blöd ist, dass mein Movi da Null drauf reagiert. Habe mit dem Threshold gespielt und alle Varianten durch. Im ser. Monitor der Arduino IDE werden keine sinnvollen Erkennungen angezeigt. Ich vermute, dass der DSP des Shields einen Frequenzbereich abknapst, der für den Movi wichtig ist. Also - try and error - werde ich mich demnächst mal mit Snips o.ä. beschäftigen.

Ein sonniges Wochenende & Gruß, Jochen