[TU Wien] – Ein ultraschneller Bildsensor mit eingebautem neuronalen Netzwerk wurde an der TU Wien entwickelt. Er kann trainiert werden, bestimmte Objekte zu erkennen.
Automatische Bilderkennung ist heute weit verbreitet: Es gibt Computerprogramme, die mit großer Zuverlässigkeit Hautkrebs diagnostizieren, selbstfahrende Autos navigieren oder Roboter steuern. Bisher beruhte das alles auf der Auswertung von Bilddaten, wie sie von ganz normalen Kameras geliefert werden – und das ist aufwändig. Insbesondere dann, wenn die Zahl der aufgenommenen Bilder pro Sekunde hoch ist, entsteht rasch eine Datenmenge, die kaum bewältigt werden kann.
An der TU Wien ging man daher nun einen anderen Weg: Aus einem speziellen 2D-Material entwickelte man einen Bildsensor, der darauf trainiert werden kann, bestimmte Objekte zu erkennen. Der Chip selbst stellt ein lernfähiges, künstliches neuronales Netz dar. Die Daten müssen also erst gar nicht ausgelesen und von einem Computer verarbeitet werden, sondern der Chip selbst gibt Auskunft darüber, was er gerade sieht – und zwar innerhalb von Nanosekunden. Die Arbeit wurde nun im Fachjournal „Nature“ präsentiert.
Lernende Hardware
Neuronale Netze sind künstliche Systeme, die ähnlich funktionieren wie unser Gehirn: Nervenzellen sind mit vielen anderen Nervenzellen verbunden. Wenn eine Zelle aktiv ist, kann das die Aktivität der benachbarten Nervenzellen beeinflussen. Genau nach diesem Prinzip funktioniert auch künstliches Lernen am Computer: Ein Netz von Neuronen wird digital simuliert, die Stärke mit der ein Knotenpunkt dieses Netzes den anderen beeinflusst, wird so lange verändert, bis das Netz das gewünschte Verhalten zeigt.
„Typischerweise werden die Bilddaten zuerst Pixel für Pixel ausgelesen und dann am Computer verarbeitet“, sagt Prof. Thomas Müller vom Institut für Photonik. „Wir hingegen integrieren das neuronale Netz mit künstlicher Intelligenz direkt in die Hardware des Bildsensors. Damit erfolgt die Objekterkennung um viele Größenordnungen schneller als bisher.“
Bildsensor und Chip wurden an der TU Wien entwickelt und hergestellt. Er basiert auf Photodetektoren aus Wolframdiselenid – einem ultradünnen Material, das nur aus drei Atomschichten besteht. Die einzelnen Photodetektoren, die „Pixel“ des Kamerasystems, sind alle mit einer kleinen Zahl von Ausgangs-Elementen verbunden, die das Ergebnis der Objekterkennung liefern.
Der Chip sieht ein Bild und liefert das gewünschte Outputsignal. ©_Joanna Symonowicz, TU Wien
Lernen durch variable Empfindlichkeit
„In unserem Chip können wir die Empfindlichkeit jedes einzelnen Detektorelements gezielt einstellen – also die Art, wie sich das Signal, das ein bestimmter Detektor aufnimmt, auf das Ausgangssignal auswirkt“, erklärt Lukas Mennel, Erstautor der Publikation. „Dafür müssen wir einfach nur ein lokales elektrisches Feld direkt am Photodetektor anpassen.“ Diese Anpassung erfolgt von außen, mit Hilfe eines Computerprogramms. Man kann zum Beispiel mit dem Sensor verschiedene Buchstaben aufnehmen und die Empfindlichkeiten der einzelnen Pixel Schritt für Schritt verändern, bis ein bestimmter Buchstabe immer genau zu einem korrespondierendem Ausgangssignal führt. So wird das neuronale Netz im Chip konfiguriert – mit stärkeren und schwächeren Verbindungen.
Ist dieser Lernprozess abgeschlossen, wird der Computer nicht mehr benötigt. Das neuronale Netz kann nun alleine arbeiten. Wird dem Bildsensor ein bestimmter Buchstabe präsentiert, erzeugt er innerhalb von 50 Nanosekunden das antrainierte Ausgangssignal – zum Beispiel einen Zahlencode, der für den Buchstaben steht, den der Chip gerade erkannt hat.
Objekterkennung, wenn es schnell gehen muss
„Unser Test-Chip ist momentan noch klein, aber man kann die Technologie problemlos hochskalieren, je nachdem, welche Aufgabe man lösen möchte“, sagt Thomas Müller. „Prinzipiell könnte man den Chip auch darauf trainieren, Äpfel von Bananen zu unterscheiden, wir sehen aber dessen Einsatz eher bei der Durchführung wissenschaftlicher Experimente oder anderen spezialisierten Anwendungen.“ Die Technologie ist überall dort sinnvoll einsetzbar, wo extrem hohe Geschwindigkeit gefragt ist.
L. Menneli et al. (2020): Ultrafast machine vision with 2D material neural network image sensors, Nature (2020), DOI: 10.1038/s41586-020-2038-x
