Smart Window – Augmented Reality für die Schiffsführung

[Fraunhofer ISIT] – Das präzise übertragene Bild der Kaimauer auf dem Schiffs­fenster der Steuerbrücke, versehen mit einigen Zusatz­hinweisen, etwa zu Strömungs­verhält­nissen und Anlege­möglichkeiten – selbst bei Nebel, Dunkelheit und schlechter Sicht – so könnte die Schiffs­navigation von morgen aussehen. Mit dem Verbundprojekt „Smart Window“ hat das Fraunhofer ISIT gemeinsam mit Partnern aus Industrie und dem Fraunhofer-Institut für graphische Daten­verarbeitung (IGD) an einer intelligenten Lösung zur Imple­mentier­ung eines Augmented-Reality-Displays auf einer Schiffsbrücke gearbeitet, um zukünftig alle relevanten Daten für den Schiffs­betrieb zu verarbeiten, zu filtern und darzustellen.

Das Einbetten des AR-Displays in ein Fenster der Schiffsbrücke bietet dabei die Möglichkeit, eine Vielzahl von Informationen direkt im Blickfeld des Schiffsführers darzustellen, und so den Schiffsführern ihre Arbeit zu erleichtern.

Mit Glasdeckel verkapselter MEMS-Scanner für die Smart-Window-Projektion
© Bodo Schmidt | Fraunhofer ISIT | photocompany Itzehoe

Das Fraunhofer ISIT hat für das neuartige AR-Display als zentrales Element ein scannendes Vollfarben-Laser­projektions­system entwickelt. Kernstück des Systems ist ein Mikro­spiegel aus Silizium. Er ist an zwei senkrecht zueinander­stehenden Achsen aufgehängt. Um diese Achsen kann der Spiegel schwingen, angeregt durch elektro­statische Kräfte. Wird Laserlicht auf den Spiegel geworfen, kann mit einem solchen Spiegel ein beliebiges, für die Anwendung hinreichend großes und gut aus­geleuchtetes Bild auf das Schiffs­fenster projiziert werden. Damit der Spiegel große Ablenk­winkel erreicht und nicht verschmutzt, wird er mit einem Glasdeckel bei geringem Innendruck auf Waferebene verkapselt.

Das Vorhaben insgesamt ist sehr anspruchsvoll. Eine Augmented Reality-Ansicht entsteht durch das komplexe Zusammenspiel von Daten­aufbereitung, Sensorik und Visuali­sierung, welche meist speziell für einen Blickwinkel erstellt wird. Um dem Benutzer Informationen so in sein Sichtfeld einzuspielen, dass diese die Realität gezielt anreichern, muss das digitale Modell der Welt mit der Realität in Deckung gebracht werden. So sind globale Daten, wie etwa Positions­daten aus dem elektronischen Seekarten­darstellungs­system, und lokale Daten aus schiffseigenen Sensoren, etwa Radar, zu fusionieren und relativ zum Betrachter wiederzugeben. Das erfordert neben einer enormen Rechen­leistung insbesondere Informationen über das Blickfeld des Nutzers, so dass die ein­geblen­deten Daten aus dessen Sicht klar den realen Objekten zugeordnet werden können. Bewegt sich der Nutzer, muss dies in Echtzeit nachvollzogen und das virtuelle Bild entsprechend nachgeführt werden. Diese Tracking-Funktion übernimmt eine 3D-Kamera, die auch bei den schwachen Licht­verhält­nissen auf einer nächtlichen Schiffsbrücke robust und exakt funktionieren muss.

Versuchsaufbau für Smart Window.
© Fraunhofer ISIT

Ein weiterer wichtiger Baustein für AR-Projektionen an den Fenstern der Steuerbrücke sind geeignete Glaslaminate für die Fenster. Diese bestehen aus normgerechten Einzelgläsern, die mit Folien zu einem Laminat verbunden sind und die die strengen Voraussetzungen für die Eignung in maritimer Umgebung erfüllen müssen.

Das Projekt Smart Window hat eine große Bedeutung für die steigenden Anforderungen an die aktuelle Transport- und Versorgungs­infra­struktur angesichts der zunehmenden Globali­sierung. Die Schifffahrt spielt hier eine besondere Rolle. Denn während Lastwagen­fahrer und Lokführer an die Infrastruktur des Straßen- und Schienen­netzes gebunden sind und Piloten sich weltweit auf eine elektronische Überwachung und Steuerung verlassen können, sind Schiffe vielerorts häufig noch auf sich allein gestellt. Dies erfordert von den Schiffsführern eine hohe Entscheidungs­kompetenz und eine voraus­schauende daten­basierte Planung.

„Insbesondere aktuelle umfangreiche Informationen zur Navigation, dem Wetter und lokalen Besonderheiten, wie kreuzende Schiffe sind mit Smart Window in Echtzeit verfügbar, genauso wie Informationen zum technischen Status des Schiffes und der Funktionsfähigkeit vieler Subsysteme. Smart Window bietet damit gute Ansätze, die Sicherheit im Seeverkehr weiter zu optimieren“, erläutert die Leiterin des Projektes am Fraunhofer ISIT Dr. Shanshan Gu-Stoppel.

In den vergangenen Monaten haben die Wissenschaftlerinnen und Wissen­schaftler des Fraunhofer ISIT das Projektionssystem und die dazu notwendige Regel­elektronik hinsichtlich Bild­stabilität, Kontrast, Stabilität und Bildwiederholungsrate noch einmal deutlich verbessert. Sie zeigen ihr System auf der Hannovermesse vom 17. April bis zum 21. April 2023 am Stand A12 der Fraunhofer-Gesellschaft in Halle 16.