Auf dem Entwicklerevent hat Google einen Ausblick auf das laufende Jahr und kommende Projekte geben. Und eines ist klar: Googles AI-System „Gemini“ ist der Hauptfokus für die weitere Zukunft.

Die Google I/O ist ein jährliches Event, auf der der Suchmaschinen-Gigant neue Projekte, Software und Hardware vorstellt. Es richtet sich hauptsächlich an Entwickler*innen, jedoch wird die Keynote genutzt um der Öffentlichkeit neue Projekte vorzustellen.

Das Event dauerte knapp zwei Stunden. Anfangs wurden die Fortschritte des eigenen AI-Systems Gemini vorgestellt, nun in der Version 1.5 und in verschiedenen Varianten (Pro, Flash, Nano, Advanced), dann die jeweiligen Integrationen in die Google Suche, in Android, in den Google Anwendungen (z.B. Gmail und Sheets) und vielen mehr.

Im Grunde kann Gemini nun bis zu 2 Millionen Context-Token verarbeiten und verschiedene Medien (Text, Bilder, Audio etc.) analysieren. Auch die Ausgabe wurde verbessert und eine – tatsächlich sehr überzeugende – Sprachausgabe für einen Schüler gezeigt. Leider derzeit nur als Demonstration und in einer frühen Phase.

Google Fotos

Gemini kann dir helfen, einzelne Details in deinen Bildern zu finden.

Google Fotos besitzt bereits mächtige Sortier- und Suchfunktionen. In Zukunft sollen durch Gemini auch direkte Fragen in der App möglich sein. Als Beispiele wurde die Frage „Wie lautet nochmal mein Autokennzeichen?“ und „Zeige mir den Fortschritt meines Kindes beim Schwimmen“ gezeigt. Hier zieht die KI diverse Informationen – auch kontextbezogen – aus den Bildern und verarbeitet sie in eine klare Antwort. Praktisch.

Google Project Astra

Bei Projekt Astra handelt es sich um eine Demo und eine experimentelle Idee, dennoch zeigt sie die beeindruckenden Fähigkeiten von Gemini 1.5. In einem vorbereiteten Video öffnet eine Person eine App auf dem Smartphone und aktiviert die Kamera. Gemini sieht und hört währenddessen alles und kann auf Fragen/Aufträge reagieren.

Als eine Tasse voller bunter Stifte zu sehen war, konnte die AI einen kleinen Text passend dazu erstellen. Als nach der vergessenen Brille gefragt wurde, konnte sich Gemini daran erinnern, wo sie lagen.

Tatsächlich könnte diese App bzw. das Konzept ideal für Reisen ins Ausland oder Menschen mit Beeinträchtigungen sein und beim Umgang mit der Umgebung helfen. Leider gab es bis auf das Video und eine kurze Erklärung nicht viele Infos.

Google Suche

Etwas das Google bereits letztes Jahr angedeutet und vorgestellt hat, ist der Umbau der Google Suche. Sei es nun im Web oder auf dem Smartphone. Dort soll Gemini nun bei konkreten Fragen helfen und mit vielen Details und verschiedenen Kategorien antworten können.

Als Beispiel wurde die Frage „Finde Restaurants in der Nähe, würdig für einen Jahrestag“ gefragt, worauf verschiedene Restaurants mit Bewertungen, Entfernungen, Kartenansicht usw. genannt wurden. Weiter unten gab es dann verschiedene Kategorien, wie Lieferdienste, gehobene Atmosphäre etc. gezeigt.

Gemini soll die Google Suche deutlich klüger machen.

Aber auch Zusammenfassungen und Erklärungen von Themen wurde deutlich verbessert und erweitert. Google will die Suche zu einer Art persönlichen Assistenten umbauen und weg von der „klassischen“ Suche nach Webseiten.

Google Anwendungen

Ebenfalls bereits letztes Jahr vorgestellt und nun verbessert, ist die Integration von Gemini in allerlei Google-Anwendungen, wie etwa Docs, Gmail, Sheets usw. Als Beispiel wurde die Verarbeitung von Rechnungen, die per Mail eingetrudelt sind gezeigt. Gemini wurde geben, diese zu organisieren. Daraufhin wurden die jeweiligen PDFs aus den Mails in einen eigenen Google Drive Ordner gelegt und ein Sheet mit allerlei Informationen erstellt. Gerade für Firmen oder Selbständige kann das eine willkommene Hilfe sein.

Gemini 1.5 kann zudem nun deutlich mehr und besser Zusammenfassen (z.B. längere Unterhaltungen per E-Mail) und in verschiedene Medien ausgegeben werden. Sogar automatische Aktionen und Reaktionen (z.B. das Antworten auf eine Mail) sollen nun deutlich besser funktionieren.

Gemini in Google Android

Der Google Assistent zählt zu den besten digitalen Assistenten derzeit auf dem Markt, hat durch ChatGPT aber starke Konkurrenz bekommen. Deshalb hat Google vor einiger Zeit eine eigene Gemini-App veröffentlicht, die quasi ein stark verbesserter und deutlich stärker integrierter Assistent ist.

Gemini kann damit durch „Circle to search“ nahezu alle Inhalte auf dem Bildschirm extrahieren und damit arbeiten. Ob nun ganz konkret Schuhe aus einem Musikvideo gesucht werden sollen oder die Regeln einer gewissen Sportart, Gemini soll das alles kinderleicht hinbekommen. Da Google neben der App auch gleich das ganze Betriebssystem verwaltet, ist Gemini tief integriert.

So kann Gemini bei einem unbekannten Anrufer „mithören“ und bei gewissen Phrasen auf eine mögliche Gefahr hinweisen. Im Grunde will Google damit Android deutlich smarter und interaktiver gestalten. Durch Gemini Nano, eine der kleineren Varianten, soll alles lokal auf dem Smartphone und ganz privat geschehen.

Google Gemini: Der Rest

Daneben hat Google noch mit den generativen Fähigkeiten von Gemini angegeben. Die KI soll nun deutlich realistischere Bilder erzeugen können, mit Veo sogar minutenlange Videos kreieren und sogar beim Musizieren helfen können.

Es gab für jede einzelne Art ein kurzes Videobeispiel, sogar mit bekannten Gesichtern wie Childish Gambino aka Donald Glover.

Viele der gezeigten Sachen wurden bereits auf dem letztjährigen Event vorgestellt. Unseren Bericht dazu könnt ihr hier finden.

Android-Smartphones im Shop

via Google 1, 2