Google hat seine eigene und neue Text-zu-Video-AI (T2V) vorgestellt. Diese soll es bereits jetzt mit anderen Systemen aufnehmen und sie sogar übertreffen können.

Wir alle wissen, dass Google sehr viel Geld und Mitarbeiter*innen besitzt. Die Firma arbeitet seit Jahren an AI-Systemen und hat mit Bard bereits ein Text-basiertes System draußen. Anfangs noch etwas unbeholfen und wohl zu früh auf den Markt gebracht, ist es inzwischen ziemlich brauchbar.

Daneben hat Google auch an einem generativen AI-Diffusionsmodell für Text-zu-Video (T2V) gearbeitet und es Lumiere genannt. Nun wurde das Projekt offiziell vorgestellt und es liefert bereits beeindruckende Ergebnisse. Lumiere besitzt dabei eine von Google benannte „Space-Time U-Net (STUNet)“-Architektur, mit dem die AI realistische Videos erzeugen kann.

Damit sollen auch die bisherigen Probleme von anderen AI-Systemen umgangen werden können, die Videos bisher in Teilbereich-Einheiten erstellt haben. Hier werden von der AI Keyframes generiert und die Lücken dann mit – ähnlichen und auf den Keyframes basierten – Bildern gefüllt. Das nennt sich Temporal-Super-Resolution-Modell (TSR).

Lumiere geht da ganz anders heran und nimmt den Raum, aber auch den zeitlichen Ablauf bereits von Anfang an in die Berechnungen mit ein. Auch Bewegungsmuster werden erkannt und mit einberechnet. Erzeugte Videos haben eine Länge von 80 Frames bei 16 Frames pro Sekunde und dauern 5 Sekunden.

Es sind also nur kurze Clips, diese sehen dafür aber richtig gut aus. Laut einer eigenen Benutzerstudie gegen andere AI-Modelle (Imagen Video, Pika, Stable Diffusion und Gen-2) hat Lumiere einen deutlichen Vorsprung. Dennoch: Auch Googles Lumiere ist nur ein weiterer Schritt nach vorne und hat seine Begrenzungen und Fehler.

via Google