Gemini Embedding 2: Ein Python-Leitfaden zum multimodalen Verständnis
Multimodales Verständnis mit Gemini Embedding 2 erschließen
Ich erinnere mich an eine Zeit, in der digitale Informationen isoliert erschienen, in ihrem Format eingeschlossen waren. Text lebte in einem Raum, Bilder in einem anderen und Audio gänzlich getrennt. Jetzt, mit Fortschritten wie Googles Gemini Embedding 2, erleben wir eine Konvergenz, ein einheitliches Verständnis verschiedener Datentypen, das verspricht, die Art und Weise, wie wir mit Informationen interagieren, zu verändern.
Quelle: Dieses Banner kombiniert elegant visuelle Elemente, die auf multimodale KI-Fähigkeiten hinweisen.
Googles Gemini Embedding 2-Modell, das am 10. März 2026 in der öffentlichen Vorschau veröffentlicht wurde, ist das erste vollständig multimodale Embedding-Modell des Unternehmens, das für komplexe Abruf- und Analyseaufgaben entwickelt wurde. Weitere Informationen dazu finden Sie im offiziellen Google AI Blog. Dieses Modell ordnet verschiedene Eingaben – Text, Bilder, Video, Audio und PDFs – effizient einem einzigen, einheitlichen semantischen Raum zu. Diese Fähigkeit ist besonders vorteilhaft für Anwendungen, die multimodale semantische Suche, Dokumentenabruf und Empfehlungssysteme erfordern, wie im detaillierten Ankündigungsblogbeitrag.
Kurze Zusammenfassung
- Multimodale Fähigkeiten: Verarbeitet Text, Bilder, Video, Audio und PDFs in einen einheitlichen semantischen Raum.
- Einheitlicher semantischer Raum: Ordnet verschiedene Eingaben einem einzigen Embedding-Raum für effizienten Abruf und Analyse zu.
- Vektordimensionalität: Generiert standardmäßig 3.072-dimensionale Vektoren, mit Optionen für 768, 1536 und 3072.
- Matryoshka Representation Learning (MRL): Ermöglicht dynamisches Skalieren von Informationen über Dimensionen hinweg für flexible Leistung und Speicherung.
- Sprachunterstützung: Erfasst semantische Absichten in über 100 Sprachen.
- Zugriff: Verfügbar über die Gemini API und Vertex AI, erfordert einen kostenlosen API-Schlüssel.
- Python-Integration: Einfache Integration mit der google-genai-Bibliothek.
- Hinweis zur Migration: Inkompatibel mit gemini-embedding-001; erfordert erneutes Embedding aller Daten.
- Wichtige Anwendungen: Verbessert Retrieval-Augmented Generation (RAG), semantische Suche, Sentimentanalyse und Datenclusterbildung.
Fähigkeiten von Gemini Embedding 2
Gemini Embedding 2 akzeptiert eine breite Palette multimodaler Eingaben, wie im Google AI Blogbeitrag. erklärt. Es kann bis zu 8.192 Eingabetoken für Text und bis zu sechs Bilder pro Anfrage in PNG- und JPEG-Formaten verarbeiten. Videoeingaben, unterstützt in MP4 und MOV, können bis zu 120 Sekunden lang sein. Das Modell verarbeitet nativ Audiodaten, ohne dass eine Zwischen-Texttranskription erforderlich ist, und es kann PDF-Dokumente bis zu sechs Seiten Länge direkt analysieren. Darüber hinaus versteht es verschachtelte Eingaben, die mehrere Modalitäten, wie ein Bild mit Text, in einer einzigen Anfrage ermöglichen. Ein wichtiges Merkmal ist seine Fähigkeit, Optical Character Recognition (OCR) auf Dokumenteneingaben durchzuführen. Für Videoeingaben kann es Audiospuren extrahieren und diese mit Videoframes verflechten.
Das Modell generiert standardmäßig 3.072-dimensionale Gleitkomma-Vektoren, wie in der Vertex AI Dokumentation. angegeben. Diese Ausgabedimensionalität ist jedoch über den Parameter output_dimensionality anpassbar, wodurch kleinere Vektoren zur Balance von Leistung und Speicherkosten erzeugt werden können. Empfohlene Ausgabedimensionen für optimale Qualität sind 768, 1536 und 3072. Gemini Embedding 2 nutzt Matryoshka Representation Learning (MRL), das Informationen dynamisch über Dimensionen hinweg skaliert. MRL unterstützt ein zweistufiges Abrufverfahren: kleinere Vektoren für eine schnelle Vorauswahl, gefolgt von vollständigen Vektoren für das Re-Ranking. Die standardmäßige 3.072-dimensionale Ausgabe ist bereits normalisiert; für reduzierte Dimensionen wie 768D oder 1536D sollte die L2-Normalisierung manuell angewendet werden.
Quelle: dreamstime.com
Gemini Embedding 2 verwendet Matryoshka Representation Learning, das eine dynamische Skalierung von Informationen über Vektordimensionen hinweg ermöglicht.
Entscheidend ist, dass das Modell semantische Absichten in über 100 Sprachen erfasst. Benutzerdefinierte Aufgabenanweisungen, wie z. B. task:code retrieval oder task:search result, optimieren Embeddings weiter für spezifische Beziehungen und verbessern die Genauigkeit. Der Knowledge Cutoff des Modells ist auf November 2025 festgelegt.
Zugriff und Integration von Gemini Embedding 2
Entwickler können auf Gemini Embedding 2 über die Gemini API und Vertex AI zugreifen, wie in der Vertex AI Dokumentation für Gemini Embedding 2. beschrieben. Die Modell-ID der Vorschauversion ist gemini-embedding-2-preview. Um die Gemini API nutzen zu können, ist ein kostenloser API-Schlüssel erforderlich, den Sie über Google AI Studio. erhalten können. Python-Benutzer können die google-genai-Bibliothek mit pip install --upgrade google-genai installieren, wie in der Gemini API Embeddings Dokumentation. detailliert beschrieben. Der API-Schlüssel kann als Umgebungsvariable GEMINI_API_KEY festgelegt werden. Das Google Gen AI SDK bietet eine einheitliche Schnittstelle für Gemini 2.5 Pro und Gemini 2.0 Modelle sowohl über die Gemini Developer API als auch über Vertex AI. Weitere Informationen finden Sie im Google Gemini Cookbook auf GitHub. Dies ermöglicht die Codeausführung auf beiden Plattformen mit minimalen Änderungen.
pip install --upgrade google-genaiGEMINI_API_KEYBeim Upgrade von der älteren Version gemini-embedding-001 auf gemini-embedding-2-preview beachten Sie bitte, dass Embeddings in verschiedenen Vektorräumen existieren und nicht kompatibel sind. Daher müssen alle Daten neu eingebettet und die Ähnlichkeitsschwellenwerte nach der Migration neu kalibriert werden. Für neue Projekte wird empfohlen, direkt mit gemini-embedding-2-preview zu beginnen, idealerweise mit 768 Dimensionen.
Für die Speicherung von Vektoren stellt AlloyDB mit der pgvector-Erweiterung eine praktikable Option dar und bietet einen ScaNN-Index mit Baumquantisierung und automatischer Dimensionsreduktion. Die Wahl des task_type (z. B. RETRIEVAL_DOCUMENT für die Indizierung und RETRIEVAL_QUERY für die Suche) beeinflusst die Qualität erheblich. Gemini Embedding 2 unterstützt acht Aufgabentypen, darunter Klassifizierung, Clustering und semantische Ähnlichkeit.
Praktische Anwendungen und Beispiele
Googles GitHub-Repository bietet Beispiele und Anleitungen zur Verwendung der Gemini API, einschließlich Python-Code, verfügbar im Google Gemini Cookbook. Zusätzliche Beispiele speziell für Gemini Embedding 2, die Text-Embedding, Video-Embedding, multimodale Suche und semantische Suche abdecken, sind im Gemini Multimodal Embedding Examples GitHub-Repository.
Quelle: textstudio.com
Das Google GitHub-Repository stellt wertvolle Beispiele und Anleitungen zur Implementierung der Gemini API zur Verfügung.
Diese Beispiele umfassen Skripte, die zur Demonstration spezifischer Funktionalitäten entwickelt wurden:
01_text_embedding.py: Behandelt einzelne und Stapel-Texteinbettung, verschiedene Aufgabentypen und 768D-Normalisierung.02_video_embedding.py: Zeigt Inline-Uploads, die Verwendung der Files API, Cross-Modal-Embedding von Video und Text sowie Chunking für längere Videos. Jeder Embedding-Aufruf unterstützt bis zu 128 Sekunden Video; für längere Videos wird eine Hilfsfunktion zum Chunking bereitgestellt.03_multimodal_embedding.py: Veranschaulicht Cross-Modal-Suche, wie z. B. das Auffinden von Videos anhand von Textabfragen.04_search.py: Führt eine semantische Suche über gespeicherte Embeddings durch.05_describe.py: Analysiert Video-Embeddings anhand von 100 vordefinierten Themen.
Häufig gestellte Fragen (FAQs)
| Frage | Antwort |
|---|---|
| Was ist Gemini Embedding 2? | Es ist Googles erstes vollständig multimodales Embedding-Modell, das für komplexe Abruf- und Analyseaufgaben entwickelt wurde und Text, Bilder, Video, Audio und PDFs in einen einheitlichen semantischen Raum verarbeiten kann. |
| Wie beginne ich mit Gemini Embedding 2 in Python? | Installieren Sie die google-genai-Bibliothek über pip, besorgen Sie sich einen kostenlosen API-Schlüssel von Google AI Studio und setzen Sie ihn als Umgebungsvariable (GEMINI_API_KEY). |
| Kann ich Gemini Embedding 2 für multimodale Suche verwenden? | Ja, es zeichnet sich durch multimodale semantische Suche aus und ermöglicht es Ihnen beispielsweise, Videos mit Textabfragen zu finden, und unterstützt verschachtelte Eingaben (z. B. Bild + Text). |
| Welche Ausgabedimensionen unterstützt Gemini Embedding 2? | Standardmäßig generiert es 3.072-dimensionale Vektoren. Sie können dies zur Optimierung der Qualität, zur Balance von Leistung und Speicherplatz, auf 768, 1536 oder 3072 anpassen. |
| Ist Gemini Embedding 2 mit älteren Embedding-Modellen kompatibel? | Nein, Embeddings von gemini-embedding-001 sind nicht kompatibel. Alle Daten müssen neu eingebettet und die Ähnlichkeitsschwellenwerte bei der Migration zu Gemini Embedding 2 neu kalibriert werden. |
Fazit
Gemini Embedding 2 stellt einen bedeutenden Schritt in Richtung intuitiverer und kontextbezogenerer Dateninteraktion dar. Durch die Umwandlung verschiedener Datentypen in eine einheitliche semantische Darstellung vereinfacht es komplexe Pipelines und verbessert die Fähigkeiten in Bereichen wie Retrieval-Augmented Generation (RAG), semantischer Suche, Sentimentanalyse und Datenclusterbildung. Sein multimodales Verständnis und die flexiblen Dimensionsoptionen bieten Entwicklern leistungsstarke Werkzeuge zur Erstellung ausgefeilter KI-Anwendungen und erweitern die Grenzen dessen, was integrierte KI-Modelle erreichen können.