Jump label

Service navigation

Main navigation

You are here:

Main content

Projektgruppe: Intelligent Meeting Room

 

PG-Einzelpräsentation

17.12.2019 14:00 Uhr (c.t.), OH16 Raum E18

 

 

finca

Motivation

In einer immer mehr globalisierten Welt mit international tätigen Unternehmen wird die Kollaboration für Teams zunehmend schwerer. Gute Kommunikation innerhalb einer Gruppe ist allerdings ein wichtiger Faktor für erfolgreiche Zusammenarbeit, weshalb regelmäßige Treffen ein entscheidender Bestandteil für den Fortschritt in einem Projekt sind. Global verteilte Teams und begrenztes Budget machen ein physisches Treffen allerdings nur selten möglich. An dieser Stelle wird oft Telekonferenzsoftware eingesetzt, die eine kostengünstige und dennoch effektive Lösung für länderübergreifende Kommunikation darstellt.

Für das durchführen von Videokonferenzen gibt es bereits viele Anwendungen (z.B. Skype for Business, Cisco Webex Teams). Sobald nicht jeder Teilnehmer an einem eigenen PC mit Kamera und Mikrofon sitzt, sondern mehrere der Teilnehmer an einem Konferenztisch zusammen sitzen, stoßen diese Systeme bei der audiovisuellen Erfassung an ihre Grenzen. Die Aufzeichnung der Teilnehmer mit einer einzelnen Webcam ist schwierig und ermöglicht keine gute Erfassung aller Teilnehmer im Video. Systeme wie ermöglichen über eine 360 Grad Kamera die Aufzeichnung aller Personen am Tisch. Eine weitere Schwierigkeit liegt in der Aufnahme des Audiosignals, da insbesondere bei geteilten Mikrofonen im Raum eine Unterdrückung von Umgebungsgeräuschen notwendig ist, um den Sprecher bestmöglich verstehen zu können.

Diese Probleme können mit Hilfe eines intelligenten Konferenzraumes, ausgestattet mit mehreren aktiven Kameras, an verschiedenen Stellen platzierten Mikrofonen und unterschiedlichen Projektionsflächen und Monitoren, vermieden werden. Eine Videokonferenz in einem solchen Raum könnte wie folgt aussehen:
Das System ermittelt die aktuell sprechende Person. Die Kamera, welche den Redner aus der besten Perspektive erfassen kann, stellt die Aufnahme der entsprechenden Person bereit. Zudem kann die Person bei Bewegung durch den Raum weiter erfasst werden. Durch die Nutzung mehrerer Kameras kann dies mit mehreren Personen gleichzeitig erfolgen. Die Audiosignale mehrerer Mikrofone werden verwendet, um das Gesagte verständlich aufzuzeichnen und Umgebungs- und Störgeräusche zu unterdrücken.

 

 

Aufgabe

Im Rahmen der Projektgruppe sollen die Teilnehmer einen intelligenten Konferenzraum mit einer zugehörigen Software für Videokonferenzen entwickeln. Diese soll eine Teilnahme einzelner Personen mit z.B. Notebook und Webcam über das Internet an einer Besprechung mit einer im intelligenten Konferenzraum befindlicher Gruppe von Personen ermöglichen. Ein technisch gut ausgestatteter Konferenzraum für diesen Zweck existiert bereits (siehe Abbildung rechts. Weitere Informationen: FINCA) und soll von der Projektgruppe genutzt werden. Der Raum verfügt über vier neig- und schwenkbare Kameras mit einstellbarem Zoom, welche in den Ecken des Raums an der Decke montiert sind. Die Sprachaufzeichnung kann über bis zu 32 im Raum befindliche Mikrofone erfolgen, welche in vier Arrays von je 8 Mikrofonen aufgeteilt sind. Zur audiovisuellen Darstellung des entfernten Teilnehmers stehen vier Lautsprecher in den Ecken des Raums, eine Leinwand, ein Smartboard und ein in den Konferenztisch integrierter Touchscreen zur Verfügung.

In einem ersten Schritt muss die bereits vorhandene Hardware in Betrieb genommen und ein Zugriff auf die Video- und Audiosignale von einem Rechner aus ermöglicht werden. Nachdem die Teilnehmer die Hardware eingerichtet und sich mit ihr vertraut gemacht haben, muss die Videokonferenz-Software als zentrales Element des intelligenten Konferenzraumes entwickelt werden. Die UI der Software soll die Verwaltung von Kontakten und das Erstellen einer Videokonferenz mit auswählbaren Teilnehmern ermöglichen. Für den Videostream aus der Ferne teilnehmender Personen soll eine geeignete Darstellung entwickelt werden, um eine möglichst angenehme, natürliche Kommunikation zu ermöglichen. Für die Übertragung der Audio- und Videodaten kann die API bereits bestehender Videokonferenzsoftware verwendet werden, um diese um die beschriebenen Funktionen zu erweitern. Alternativ kann auch eine vollständig eigene Applikation von der Projektgruppe erstellt werden.

Nach der Erstellung der Konferenz sollen die Kameras im intelligenten Konferenzraum ausgerichtet werden, um alle im Raum befindlichen Personen bestmöglich (frontale Ansicht auf die Gesichter der Personen) aufzeichnen zu können. Um dies umzusetzen, ist eine Personen- oder Gesichtsdetektion in Verbindung mit der Steuerung der Ausrichtung der Kameras erforderlich. Werden alle Personen von den Kameras erfasst, sollen diese zudem identifiziert werden und die Namen an geeigneter Stelle im Bild eingeblendet werden. Teilnehmer, die anderen unbekannt sind, können somit einfacher namentlich angesprochen werden, was eine natürlichere und freundlichere Besprechung ermöglicht.

Neben der Videoaufzeichnung ist auch die Audioaufzeichnung zentrales Element der Aufgabenstellung. Dazu soll entweder das Mikrofon mit der besten Signalqualität ausgewählt oder eine Methode zur Signalverbesserung mit Hilfe mehrerer Mikrofone verwendet werden. Mit Hilfe der Mikrofonarrays soll zudem der Sprecher im Raum lokalisiert werden, um in Verbindung mit der Personendetektion in den Kameraaufnahmen den aktuellen Sprecher hervorzuheben. Zudem kann die Lokalisierung hilfreich für die Verbesserung der Audioaufzeichnung sein.

Um neben der Videotelefonie eine weitere Möglichkeit der Interaktion zu bieten, kann optional eine gemeinsame digitale Arbeitsoberfläche angeboten werden, auf der Ideen und Skizzen aller Teilnehmer geteilt werden können. Möglich wäre beispielsweise das Erfassen eines Whiteboards im zur Verfügung gestellten Raum. Alternativ könnten die auf dem Touchscreen oder dem Smartboard angezeigten Inhalte geteilt und von allen Konferenzteilnehmern (ggf. aus der Ferne) bearbeitet werden.

 

Teilnahmevoraussetzungen

Folgende Kenntnisse sind für die Teilnahme an der Projektgruppe notwendig:

  • Grundkenntnisse in der Programmierung (Python bevorzugt)
  • Grundkenntnisse im Umgang mit Unix basierten Betriebssystemen

Folgende Kenntnisse sind für die Teilnahme an der Projektgruppe hilfreich, werden jedoch nicht vorasugesetzt:

  • Grundkenntnisse in der Mustererkennung

Die Grundlagen für hilfreiche Kenntnisse werden im Laufe des Projekts vermittelt.


Vorherige Arbeiten



Sub content

Contact

Philipp Oberdiek, M.Sc.
Tel.: 0231 755-4643
philipp.oberdiek(at)tu-dortmund.de
Kai Brandenbusch, M.Sc.
Tel.: 0231 755-6330
kai.brandenbusch(at)tu-dortmund.de