Gemma 4: Führende Multimodale Intelligenz, die Sie überall ausführen können

Gemma 4 führt native multimodale Unterstützung (Text, Bild, Video, Audio), erweiterte Kontextfenster (128K-256K), konfigurierbare Denkmodi und integrierte Funktionsaufrufe ein. Die Architektur verwendet Per-Layer Embeddings (PLE) für Effizienz und Shared KV Cache zur Reduzierung der Speichernutzung während der Long-Context-Generierung.

E2B (2,3B effektiv) und E4B (4,5B effektiv) sind für Edge-Geräte, Browser und Mobile mit nativer Audio-Unterstützung konzipiert. Das 26B A4B ist ein Mixture-of-Experts-Modell, das nur 4B Parameter pro Token aktiviert, ideal für High-Throughput-Szenarien. Das 31B Dense-Modell ist das Flaggschiff für maximale Leistung bei Reasoning-, Coding- und Vision-Aufgaben.

Alle Modelle verarbeiten nativ Text und Bilder mit variablen Seitenverhältnissen. Der Vision-Encoder verwendet gelernte 2D-Positionen und kann Bilder in verschiedene Token-Budgets (70-1120 Token) für Geschwindigkeits-Qualitäts-Kompromisse kodieren. E2B und E4B enthalten USM-Style Conformer Audio-Encoder für Sprachverständnis. Video wird in der gesamten Familie durch Verarbeitung von Frames und Audio-Tracks unterstützt.

PLE gibt jeder Decoder-Schicht ihr eigenes kleines Embedding für jedes Token und schafft einen parallelen Konditionierungspfad neben dem Haupt-Residual-Stream. Dies ermöglicht es jeder Schicht, token-spezifische Informationen nur bei Bedarf zu erhalten, anstatt alles in ein einziges Upfront-Embedding zu packen. Es fügt bedeutungsvolle schichtweise Spezialisierung bei moderaten Parameterkosten hinzu und macht kleine Modelle effizienter.

Gemma 4-Modelle sind auf Kaggle und Hugging Face unter Apache 2.0-Lizenz verfügbar. Sie können sie über Google AI Studio verwenden, auf Vertex AI bereitstellen oder lokal mit Tools wie Ollama, llama.cpp, MLX (für Apple Silicon), transformers und Mistral.rs ausführen. ONNX-Checkpoints ermöglichen Browser- und Edge-Device-Deployment.

E2B benötigt ~9,6GB (BF16) bis 3,2GB (4-Bit) VRAM. E4B benötigt ~15GB (BF16) bis 5GB (4-Bit). Das 31B-Modell benötigt ~58GB (BF16) bis 17GB (4-Bit). Das 26B MoE benötigt ~48GB (BF16) bis 16GB (4-Bit). Dies sind nur Basis-Gewichte; fügen Sie Speicher für Kontextfenster (KV-Cache) basierend auf Ihrem Anwendungsfall hinzu.

Ja. Die E2B- und E4B-Modelle sind speziell für Browser- und Mobile-Deployment konzipiert. transformers.js ermöglicht die Ausführung von Gemma 4 direkt in Browsern mit WebGPU-Unterstützung. ONNX-Checkpoints funktionieren auf verschiedenen Edge-Hardware-Backends. Die Modelle sind für Pixel-Geräte und Chrome-Browser-Umgebungen optimiert.

Gemma 4 verfügt über integrierte Funktionsaufruf-Unterstützung ohne Fine-Tuning. Die Modelle können Tool-Definitionen parsen, strukturierte JSON-Aufrufe generieren und multimodale Funktionsaufrufe verarbeiten (z.B. ein Bild analysieren und eine Wetter-API aufrufen). Dies ermöglicht autonome Agenten für Aufgaben wie Code-Ausführung, Web-Browsing und Datenabruf.

Das 31B-Modell belegt Platz 3 im Arena AI Leaderboard unter offenen Modellen, vor Llama 3.3 70B, obwohl es weniger als halb so groß ist. Es erreicht 89,2% bei AIME 2026 Math Reasoning, 85,2% bei MMLU Pro und 80% bei LiveCodeBench v6. Die Effizienz kommt von Architekturinnovationen wie alternierenden Attention-Mustern und Shared KV Cache.

Das 26B A4B-Modell hat 26 Milliarden Gesamtparameter, aktiviert aber nur 4 Milliarden pro Token während der Generierung. Alle 26B Parameter müssen für schnelles Routing in den Speicher geladen werden, aber die Inferenzkosten liegen näher an einem 4B-Modell. Dies erreicht 88,3% bei AIME 2026 und 82,6% bei MMLU Pro mit deutlich geringerer Berechnung pro Token als das dichte 31B-Modell.

Ja. Kleine Modelle unterstützen 128K Kontextfenster, während mittlere Modelle 256K Token verarbeiten. Die Architektur verwendet duale RoPE-Konfigurationen (Standard für Sliding-Schichten, beschnitten für globale Schichten), um längeren Kontext zu ermöglichen. Shared KV Cache reduziert den Speicherverbrauch während der Long-Context-Generierung und macht die Verarbeitung ganzer Codebasen und Forschungsarbeiten praktikabel.

Gemma 4 wird vollständig in TRL (Transformer Reinforcement Learning) unterstützt, mit Beispielen für multimodale Tool-Antworten und Umgebungsinteraktion. Hugging Face bietet Fine-Tuning-Leitfäden für Vertex AI mit SFT. Unsloth Studio bietet eine UI-basierte Fine-Tuning-Erfahrung. Die Modelle unterstützen PEFT-Methoden wie LoRA für parametereffizientes Training.