Nein, bei Audio2Face handelt es sich nicht um das neue Soundprojekt eines bekannten Batman-Bösewichts, sondern um ein Software-Tool, das die Spieleentwicklung stark vereinfachen könnte.
Aber der Reihe nach: Oftmals verbringen Spieleentwicklerinnen und -entwickler Tage ihres Lebens mit dem Erstellen von passenden Gesichtsanimationen. Auch die Lippensynchronität von Dialogen bedarf punktgenauer Einstellungen oder gar aufwändigem Motion-Capturing. Mit Audio2Face möchte Nvidia via einer künstlichen Intelligenz aus Audiodateien lippensynchrone Gesichtsanimationen erstellen.
Zwar ist die Software noch in der Beta-Phase – und die Ergebnisse somit nicht perfekt – doch bereits jetzt kann sich vor allem die Lippensynchronität sehen lassen. Hierbei scheint Nvidia Animatorinnen und Animatoren also bereits Arbeit abzunehmen, womit sich diese dann auf „wichtigere“ Teile des Gesichts konzentrieren können. Aber auch in Audio2Face kann man bereits einige Einstellungen vornehmen, um etwa eine realistischere Bewegung der Augenbrauen beim Sprechen zu ermöglichen. Gerade für Indie-Developer – ohne unendliche (Zeit-)Ressourcen – dürfte das spannend werden. Für die Zukunft ist zudem auch noch eine Emotionssteuerung geplant, die die Einsatzmöglichkeiten des Tools nochmal deutlich erweitern sollte.
Nvidia ist mit einer derartigen Technik jedoch nicht ganz alleine: CD Projekt RED, das Studio hinter der Witcher-Reihe und Cyberpunk 2077, nutzte mit JALI bereits eine vergleichbare Software. In Cyberpunk 2077 wurde damit ein Großteil der internationalen Sprachversionen lippensynchron gemacht.
DATENSCHUTZHINWEIS: Dieses Video ist im erweiterten Datenschutzmodus von YouTube eingebunden. Durch den Klick auf das Wiedergabesymbol willige ich darin ein, dass eine Verbindung zu Google hergestellt wird und personenbezogene Daten an Google übertragen werden, die dieser Anbieter zur Analyse des Nutzerverhaltens oder zu Marketing-Zwecken nutzt. Weitere Infos hier.
Im Gegensatz zu CD Projekts interner Lösung, ist Audio2Face frei als Open-Beta verfügbar. Habt ihr eine Nvidia-RTX-Karte im System könnt ihr das Tool nutzen. Wollt ihr also einmal Dr. Manhattan eure Firmenpräsentation halten lassen, Freunde und Verwandte erschrecken oder wirklich das nächste Indie-Meisterwerk entwickeln, dann könnt ihr es euch hier herunterladen. Was könnt ihr euch als Einsatzzwecke für Audio2Face vorstellen? Lasst es uns in einem Kommentar wissen.
