Wie funktioniert Bewegungsverfolgung mit Camera Tracking?
von Richard Meusers, Artikel aus dem Archiv vom
Die Überwachung und Nachverfolgung von bewegten Objekten ist längst nicht nur in der Sicherheitstechnik ein wichtiges Konzept. Auch im Konferenz-, Simulations- und Broadcast-Bereich ist es nicht wegzudenken. PROFESSIONAL SYSTEM zeigt die verschiedensten Anwendungsgebiete und Lösungen auf.
In der Präsentations- und Sicherheitstechnik und auch in einigen Simulationsanwendungen ist die Erfassung und Nachverfolgung von Personen ein wichtiger Aspekt im jeweiligen Aufgabenfeld. Ein Sprecher kann sich während des Vortrages oder Demonstration frei bewegen und bleibt dennoch stets im Bild der Großbildleinwand. Kritische Bereiche können umfassender und detaillierter überwacht werden. Aber was steckt hinter dem Konzept der Kameranachverfolgung? Betrachten wir dazu zunächst die bei der Erfassung von Körperbewegung häufig eingesetzte Methode des optischen Trackings.
Optische Tracker werden oft bei Veranstaltungen, Vorträgen und Demonstrationen eingesetzt. Dabei werden mit einer Kamera vorherbestimmte Strukturen oder Objekte beliebiger Art erfasst. Einmal erkannt, bleibt das Objekt im Fokus, im Falle seiner Bewegung wird die Kamera nachgeführt. Die Teilnehmer der Veranstaltung sollen jeweilige Sprecher stets im Bild haben. Der optische Tracker misst dabei Position und Orientierung des Benutzers. Ein solches System kann zum Beispiel aus mehreren Kameras bestehen, die Markierungen am Benutzer aufnehmen. Aus der Position der Markierungen auf den Kamerabildern und der relativen Positionierung der Kameras zueinander können die Position der Markierungen im Raum und damit die des Benutzers berechnet werden.
Das Polycom-System EagleEye Director II ermöglicht Videokonferenzen mit Personenverfolgungstechnologie. (Bild: Polycom)
Das Tracking kann durch den Einsatz verschiedener Hilfsmittel deutlich verbessert werden. Das können reflektierende Folien, Infrarot- LEDs oder bestimmte, prägnante Farbmuster sein. Auch wenn optische Tracker sehr viel genauer arbeiten als magnetische oder akustische Tracker, sind sie auf eine ungestörte Sichtverbindung zwischen dem markierten Objekt und den Kameras angewiesen. Zudem sollten die Sichtverhältnisse auch allgemein nicht allzu schlecht sein. Allerdings dürfte das Problem mangelnder Beleuchtung etwa in Konferenz- oder Präsentationsszenarien eher selten auftreten.
Nachdem in den vergangenen Jahrzehnten analoge Kameras mit Magnetbandaufzeichnung im Vordergrund standen, sind heute IP-Kameras in der Videoüberwachung und -Erfassung nicht mehr wegzudenken. Die neueste Entwicklung in der digitalen Videoüberwachung ist die sogenannte Auto-Tracking-Kamera. Diese Form einer PTZ-Kamera ermöglicht die automatische Objektverfolgung. Neben den zahlreichen möglichen Eigenschaften von PTZ-Kameras, wie z. B. ein weit blickender optischer Zoom oder eine ausgeprägte Nachtsicht, erkennt eine Auto-Tracking-Kamera obendrein automatisch bewegte Objekte und erlaubt deren Nachverfolgung.
VR-Brille mit Markern, die zu einem IR-Kamera-Trackingsystem (ART) gehören, das bereits 2007 in einer VR-Anwendung im Fraunhofer IAO eingesetzt wurde. (Bild: Jörg Küster)
Eine solche Auto-Tracking-Kamera besitzt ausgeklügelte digitale Bildsensoren, die mit den Funktionen einer Videomanagementsoftware noch beträchtlich erweitert werden können. Moderne Videomanagementsoftware (VMS) erfüllt heute alle Bedürfnisse in der Videoüberwachung auf Basis von IP-Netzwerken. VMS bietet erweiterte Analyse- und Aktionskonfigurationen über die Möglichkeiten der mit einer IP-Kamera mitgelieferten Firmware/Software hinaus.
Eine Reihe von Anbietern ist im Bereich der Videokonferenzen aktiv, so z. B. Polycom mit seinem EagleEye Director II. Das Polycom-System bietet Videokonferenzen mit Personenverfolgungstechnologie, da es automatisch an den aktiven Redner heranzoomt, ohne die Verwendung einer Fernbedienung oder von Kameravoreinstellungen. Die Meeting-Teilnehmer sollen sich nicht mehr darum kümmern müssen, in der Kameraansicht zu bleiben oder den Gesprächsfluss zum Hantieren mit einer Fernbedienung zu unterbrechen, um sich auf Geschäftsaufgaben zu konzentrieren. Während der jeweilige Sprecher aus nächster Nähe gezeigt wird, zeigt eine kleinere Ansicht den gesamten Raum bzw. die Umgebung des Sprechers.
Das „Nexonar“ Tracking- System von soft2tec (im Bild das Modell Hard Probe Lite IR) wird im Bereich der 3D-Messtechnik eingesetzt. (Bild: soft2tec)
Zudem verspricht das System nahtlose Überblendung von einem Sprecher zum nächsten. Das System unterstützt Personenortung bis zu einer Distanz von 10 m. Die integrierte Datenanalyse erlaubt zudem, die Raumnutzung zu überwachen. Damit kann sichergestellt werden, dass etwa Konferenzen auch besucht werden und nicht in leeren Räumen ablaufen.
Die hauseigenen EagleEye-Kameras sind PTZ-Modelle, die HD-Aufnahmen bis zu 1080p und bis zu 60 Frames pro Sekunde liefern. Je nach Wahl steht ein 4- oder 12-facher digitaler Zoom zur Verfügung, der Schwenkbereich liegt bei 180°, die Kamera erfasst einen Blickwinkel von 65°, der bis auf 85° erweiterbar ist. Mit einem kabelbasierten Digitalextender können die Kameras bis zu 100 m vom Videosystem entfernt installiert werden. Die Ansteuerung erfolgt über Polycom RealPresence Group Series mit Software 6.1 oder höher und ist mit Microsoft Surface Hub (55″ und 84″) kompatibel.
Noch stärker ist die ebenfalls für Videokonferenzen ausgelegte PTZ-Kamera PTC500 von AVer Europe. Mit einem 30-fachen optischen Zoom bei einer Auflösung von bis zu 1080p und bis zu 60 Frames pro Sekunde kann sie Personen verfolgen und auch fokussieren, selbst wenn andere Personen durch das Blickfeld laufen. Möglich wird das, indem eine Zielzone und bis zu acht Maskierungsbereiche definiert werden können. PTC500 verfügt über eine zusätzliche Weitwinkelkamera, die eine Panoramaansicht zur Vorschau des gesamten Raumes bietet. Benutzer können über die Bediener- Software eine Vielzahl von genauen Einstellungsmöglichkeiten konfigurieren.
Die Kamera ermöglicht die Erstellung von Videos für Streaming, Sharing und Aufzeichnung von Vorträgen, Präsentationen, Videokonferenzen und Reden. Die Weitwinkelfunktion mit 120° bietet zudem einen Panoramablick, um den gesamten Raum vorab zu betrachten. Der Schwenkbereich umfasst 175°. Die Steuerung erfolgt über eine App namens AcuControl, die in Apples App Store verfügbar ist – die Anwendung erfolgt über ein iPad. AcuControl ermöglicht Benutzern auch die Übertragung von Video über IP-Streaming und unterstützt das ONVIF-Protokoll.
Tracking-Anwendungen sind auch für den Schulungsbereich interessant, insbesondere dann, wenn der Dozent vor großem Auditorium agiert. So hat zum Beispiel das Milestone- Brand Vaddio sein automatisiertes Presenter- Tracking-System RoboTRAK vor allem für Hochschulen, Unternehmensschulungsabteilungen und Lehrumgebungen konzipiert. Der Redner/Dozent trägt einen Infrarot-LED-Emitter an einem Lanyard (Trageband), der RoboTRAK folgt dem Instruktor auf der Grundlage eines Tracking-Algorithmus’. In Verbindung mit jeder von Vaddio ebenfalls hergestellten RoboSHOT-Kamera (ausführlicher Praxistest in der nächsten Ausgabe) sendet der RoboTRAK seine Schwenk-/Neige-Informationen, um produktionsreife Videos ohne weiteres Bedienpersonal zu erstellen.
Die Einsatzdistanz reicht von 3,5 bis 15 Meter und im Höhenbereich von 2 bis 4,5 Meter. Die RoboTRAK Autotracking-Kamera ist mit jeder RoboSHOT-Kamera kombinierbar. Dank PoE-Verfahren ist eine gesonderte Stromversorgung nicht erforderlich. Das RoboTRAK-Lanyard, das vom Dozenten getragen wird, hält laut Hersteller mit einer einzigen Akkuladung bis zu 40 Stunden – die Aufladung erfolgt via USB.
Auf den Broadcast-Bereich hat sich Avid Technology spezialisiert. Der Hersteller von Produkten für die Medienproduktion bietet ein auf realistische virtuelle Studio- und Augmented- Reality-Produktionen zugeschnittenes Camera- Tracking-System an. Es umfasst das Infrarot- System Xync 2.0, Mustererkennung und optomechanische Sensoren. Xync 2.0 ist ein flexibles Infrarot-Tracking-System, bei dem eine Kamera innerhalb eines virtuellen oder konventionellen Studios beliebig verschoben werden kann. Das System unterstützt eine Vielzahl von Broadcast-Kameras, sodass mehrere Kamerakonfigurationen integriert werden können, ohne auf Technologien von Drittanbietern angewiesen zu sein. Mit seinem Schwenkbereich von 360 Grad unterstützt Xync Stand-, Dolly-, Handheld-, Steady-Cam- und Kran-Kameras in Echtzeit.
Xync 2.0 ist ein flexibles Infrarot-Tracking- System, bei dem eine Kamera innerhalb eines virtuellen oder konventionellen Studios beliebig verschoben werden kann. Im Bild: die an einer Kamera befestigten Xync-Sensoren. (Bild: Avid)
Zur Mustererkennung extrahiert das System mithilfe proprietärer Algorithmen die Position, Ausrichtung und das Sichtfeld einer Kamera direkt aus dem Videosignal. Es unterstützt auch Multikamera-Produktionen sowie PAL-, NTSC-, SD- und HD-Formate. Die präzise Nachführung für stationäre Kameras erfolgt mittels optomechanischer Sensoren. Auf einem Pedestal oder Stativ montiert, ermittelt jeder Sensor die Schwenk- und Neigeparameter der Kamerabewegung und ermöglicht so einen 360-Grad-Aufnahmebereich – dabei werden Positionsänderungen schnell nachkalibriert. Die hohe Genauigkeit des Systems soll durch die Abtastung von über 1.000.000 Lesungen pro 360 Grad erreicht werden, um auch bei großen Entfernungen und schnellen Kamerabewegungen extreme Nahaufnahmen zu ermöglichen.
Ein weiterer Einsatzbereich von Trackingsystemen sind Simulationsanwendungen, VR und 3D-Messtechnik. So ist zum Beispiel soft2tec mit seiner Tracking-Technologie Nexonar im Bereich der 3D-Messtechnik aktiv. Die Produkte bieten die Möglichkeit, in Echtzeit 3D-Positionierungen in unterschiedlichen Anwendungen zu erfassen. Diese Motion Capture Tools können für Qualitätsüberwachung, Vorpositionierung oder Bewegungs-Tracking in den Bereichen Industrie, Sport, Medizin, Qualitätssicherung und Ergonomie eingesetzt werden. Neben der Überwachung von Messungen in Forschung und Entwicklung können auch Arbeitsabläufe erfasst werden.
Nexonar IR SCT (Single Camera Tracking) ist ein Single-Camera-basiertes Verfahren, das Infrarot-Dioden im 3D-Raum identifiziert. Das 6DoF-Tracking (Erfassung der sechs Freiheitsgrade von beweglichen Objekten im Raum) wurde speziell für Anwendungsfälle entwickelt, in denen Objekte oder Personen in einem größeren Umfeld vermessen werden müssen. Die IR-Technologie bietet die Option, bis zu 16 IR-Tracker gleichzeitig in einem Kamerabild durch Kodierung mit bis zu 163 Hz in Echtzeit zu analysieren. Das ermöglicht die Messung von Absolutpositionen für 3D-Vorpositionieraufgaben, die Erfassung von Bewegungen im Raum, 3D-Soll-Ist-Positionsmessungen eines Roboterarms in Aktion oder eines handgeführten Werkzeugs.
Für Anwendungen im Bereich von Simulation und VR sind insbesondere IR-Kamerabasierte Tracking-Systeme von ART (Advanced Realtime Tracking) konzipiert, die mit sogenannten „Markern“ arbeiten und am beweglichen Objekt (z. B. VR-Brille) bzw. einer Person befestigt werden können. Dabei unterscheidet ART zwischen aktiven Markern, die IR-Licht aussenden und von entsprechend empfindlichen Kameras erfasst werden, und passiven Markern. Diese reflektieren die IR-Strahlung einer speziell ausgerüsteten Kamera wieder in deren Richtung. Ein Anwendungsbeispiel mit ART-Marker findet sich dem VR-Labor im Hamburger ZAL TechCenter in dieser Ausgabe.
Diese Beispiele mögen einen kurzen, bei Weitem nicht vollständigen Überblick über die Einsatzbandbreite von Systemen zum Camera Tracking geben. Inwieweit die Nachverfolgung künftig ohne den Einsatz von Hilfen wie Infrarot-LEDs durchgeführt werden kann, ist eine Frage der technischen Entwicklung. Durch RGBD- Tiefenkameras und Augmented Reality-Darstellungen könnte die Positionsbestimmung von Personen auch ohne Infrarot-Marker erfolgen. Derzeit werden solche Verfahren etwa im Medizinbereich erprobt.
