Gemma 4: Geavanceerde Multimodale Intelligentie die Overal Draait

Gemma 4 introduceert native multimodale ondersteuning (tekst, afbeelding, video, audio), uitgebreide contextvensters (128K-256K), configureerbare denkmodi en ingebouwde function calling. De architectuur gebruikt Per-Layer Embeddings (PLE) voor efficiëntie en gedeelde KV cache om geheugengebruik te verminderen tijdens lange-context generatie.

E2B (2,3B effectief) en E4B (4,5B effectief) zijn ontworpen voor edge-apparaten, browsers en mobiel met native audio-ondersteuning. Het 26B A4B is een Mixture-of-Experts model dat slechts 4B parameters per token activeert, ideaal voor high-throughput scenario's. Het 31B dense model is het vlaggenschip voor maximale prestaties op redeneer-, programmeer- en beeldtaken.

Alle modellen verwerken tekst en afbeeldingen met variabele beeldverhoudingen native. De vision encoder gebruikt geleerde 2D-posities en kan afbeeldingen coderen naar verschillende token-budgetten (70-1120 tokens) voor snelheid-kwaliteit afwegingen. E2B en E4B bevatten USM-stijl conformer audio-encoders voor spraakherkenning. Video wordt ondersteund in de hele familie door frames en audiotracks te verwerken.

PLE geeft elke decoder-laag zijn eigen kleine embedding voor elk token, waardoor een parallel conditioneringspad naast de hoofdresidual stream ontstaat. Dit stelt elke laag in staat om token-specifieke informatie alleen te ontvangen wanneer relevant, in plaats van alles in één voorafgaande embedding te pakken. Het voegt betekenisvolle per-laag specialisatie toe tegen bescheiden parameter-kosten, waardoor kleine modellen efficiënter worden.

Gemma 4-modellen zijn beschikbaar op Kaggle en Hugging Face onder Apache 2.0-licentie. Je kunt ze gebruiken via Google AI Studio, implementeren op Vertex AI, of lokaal uitvoeren met tools zoals Ollama, llama.cpp, MLX (voor Apple Silicon), transformers en Mistral.rs. ONNX-checkpoints maken browser- en edge-device implementatie mogelijk.

E2B vereist ~9,6GB (BF16) tot 3,2GB (4-bit) VRAM. E4B heeft ~15GB (BF16) tot 5GB (4-bit) nodig. Het 31B-model vereist ~58GB (BF16) tot 17GB (4-bit). Het 26B MoE heeft ~48GB (BF16) tot 16GB (4-bit) nodig. Dit zijn alleen basisgewichten; voeg geheugen toe voor contextvenster (KV cache) op basis van je use case.

Ja. De E2B- en E4B-modellen zijn specifiek ontworpen voor browser- en mobiele implementatie. transformers.js maakt het mogelijk om Gemma 4 direct in browsers uit te voeren met WebGPU-ondersteuning. ONNX-checkpoints werken op verschillende edge-hardware backends. De modellen zijn geoptimaliseerd voor Pixel-apparaten en Chrome-browseromgevingen.

Gemma 4 heeft ingebouwde function calling-ondersteuning zonder fine-tuning te vereisen. De modellen kunnen tooldefinities parseren, gestructureerde JSON-aanroepen genereren en multimodale function calling afhandelen (bijv. een afbeelding analyseren en een weer-API aanroepen). Dit maakt autonome agents mogelijk voor taken zoals code-uitvoering, webbrowsing en data-ophaling.

Het 31B-model staat op #3 in het Arena AI-klassement tussen open modellen, voor Llama 3.3 70B ondanks dat het minder dan de helft van de grootte is. Het behaalt 89,2% op AIME 2026 wiskundig redeneren, 85,2% op MMLU Pro en 80% op LiveCodeBench v6. De efficiëntie komt van architectuurinnovaties zoals afwisselende attention-patronen en gedeelde KV cache.

Het 26B A4B-model heeft 26 miljard totale parameters maar activeert slechts 4 miljard per token tijdens generatie. Alle 26B parameters moeten in het geheugen worden geladen voor snelle routing, maar inferentiekosten zijn dichter bij een 4B-model. Dit behaalt 88,3% op AIME 2026 en 82,6% op MMLU Pro met aanzienlijk lagere berekening per token dan het dense 31B-model.

Ja. Kleine modellen ondersteunen 128K contextvensters, terwijl middelgrote modellen 256K tokens aankunnen. De architectuur gebruikt dubbele RoPE-configuraties (standaard voor sliding-lagen, gesnoeid voor globale lagen) om langere context mogelijk te maken. Gedeelde KV cache vermindert geheugenconsumptie tijdens lange-context generatie, waardoor het praktisch wordt om hele codebases en onderzoekspapers te verwerken.

Gemma 4 wordt volledig ondersteund in TRL (Transformer Reinforcement Learning), met voorbeelden voor multimodale tool-responses en omgevingsinteractie. Hugging Face biedt fine-tuning gidsen voor Vertex AI met SFT. Unsloth Studio biedt een UI-gebaseerde fine-tuning ervaring. De modellen ondersteunen PEFT-methoden zoals LoRA voor parameter-efficiënte training.