Harry Potter lässt grüßen: Dank neuartiger KI-Funktionen von Nvidia könnt ihr innerhalb weniger Sekunden 2D-Fotos in 3D-Szenen verwandeln.
Im Rahmen der firmeneigenen GTC-Messe hat Nvidia Instant NeRF vorgestellt. Die Technologie erlaubt es euch via eines neuronalen Netzwerks nun aus Fotos 3D-Szenen entwickeln zu lassen – und das innerhalb weniger Sekunden. Hierbei sagt das Netzwerk über einen Algorithmus vorher, wie Licht und Lichtfarben über weitere Teile eines virtuell erzeugten Raums fallen. Wie gut das funktioniert, könnt ihr euch in folgendem Beispielvideo anschauen.
DATENSCHUTZHINWEIS: Dieses Video ist im erweiterten Datenschutzmodus von YouTube eingebunden. Durch den Klick auf das Wiedergabesymbol willige ich darin ein, dass eine Verbindung zu Google hergestellt wird und personenbezogene Daten an Google übertragen werden, die dieser Anbieter zur Analyse des Nutzerverhaltens oder zu Marketing-Zwecken nutzt. Weitere Infos hier.
Zwar sieht die Probandin etwas ge-„NeRFt“ aus, aber das Ergebnis kann es beinah mit einem 360-Grad-Motion-Capture wie in Hollywood aufnehmen.
Dies wird durch drei Säulen der unmittelbaren neuronalen Grafikberechnung ermöglicht: Erstmal kommt ein Render-Trainings-Algorithmus zum Einsatz, der eine grobe Annäherung an das Bildmaterial erzeugen soll. Ein kleines neuronales Netzwerk sorgt dann für die vollständige Zusammensetzung der Szene. Das Encoding und Hochskalieren übernimmt ein weiteres neuronales Netzwerk. Als Resultat habt ihr eine über tausendfach schnellere Berechnung von 3D-Szenen, als mit bisher etablierten Methoden. Damit haben wir es potenziell mit einem echten Game-Changer zu tun.
David Luebke, seines Zeichens Nvidia Vice President Graphic Research, vergleicht die Berechnungsweise mit Bitmap-Bilddateien, da jedem Pixel ein Farbwert zugewiesen wird. Mit dem feinen Unterschied, dass es hier nun auf Basis von Probabilitäten passiert. Instant NeRF könnte ihm nach so wichtig für 3D-Berechnungen werden, wie es die JPEG-Kompression für die klassische 2D-Fotografie war.
Neben dem Einsatz als private Scanning-Technik, könnte Instant NeRF auch für den Einsatz im Game-Development oder für das Training von selbstfahrenden Autos eingesetzt werden. Letztere könnten damit zum Beispiel „verstehen“ lernen, welche Formen verdeckte Objekte haben und wie sie sich im Raum verhalten.
Noch tiefer in die Materie einsteigen (und euch sogar den Source-Code anschauen) könnt ihr hier.
Wir sind auf jeden Fall ziemlich beeindruckt. Was für Anwendungsfälle könntet ihr euch für Instant NeRF vorstellen? Schreibt es uns im Kommentarbereich.
Zum Shop: Gaming
