Gemma 4 : Intelligence multimodale de pointe que vous pouvez exécuter partout

Gemma 4 introduit le support multimodal natif (texte, image, vidéo, audio), des fenêtres de contexte étendues (128K-256K), des modes de réflexion configurables et l'appel de fonctions intégré. L'architecture utilise Per-Layer Embeddings (PLE) pour l'efficacité et un cache KV partagé pour réduire l'utilisation de la mémoire pendant la génération de contexte long.

E2B (2,3B effectifs) et E4B (4,5B effectifs) sont conçus pour les appareils edge, navigateurs et mobiles avec support audio natif. Le 26B A4B est un modèle Mixture-of-Experts activant seulement 4B paramètres par token, idéal pour les scénarios à haut débit. Le modèle dense 31B est le flagship pour des performances maximales sur les tâches de raisonnement, codage et vision.

Tous les modèles traitent nativement le texte et les images avec ratios d'aspect variables. L'encodeur de vision utilise des positions 2D apprises et peut encoder les images selon différents budgets de tokens (70-1120 tokens) pour des compromis vitesse-qualité. E2B et E4B incluent des encodeurs audio conformer de style USM pour la compréhension vocale. La vidéo est supportée dans toute la famille en traitant les images et les pistes audio.

PLE donne à chaque couche de décodeur son propre petit embedding pour chaque token, créant un chemin de conditionnement parallèle au flux résiduel principal. Cela permet à chaque couche de recevoir des informations spécifiques au token uniquement lorsque c'est pertinent, plutôt que de tout emballer dans un seul embedding initial. Cela ajoute une spécialisation significative par couche à un coût paramétrique modeste, rendant les petits modèles plus efficaces.

Les modèles Gemma 4 sont disponibles sur Kaggle et Hugging Face sous licence Apache 2.0. Vous pouvez les utiliser via Google AI Studio, les déployer sur Vertex AI, ou les exécuter localement avec des outils comme Ollama, llama.cpp, MLX (pour Apple Silicon), transformers et Mistral.rs. Les checkpoints ONNX permettent le déploiement sur navigateur et appareils edge.

E2B nécessite ~9,6 Go (BF16) à 3,2 Go (4-bit) de VRAM. E4B nécessite ~15 Go (BF16) à 5 Go (4-bit). Le modèle 31B nécessite ~58 Go (BF16) à 17 Go (4-bit). Le 26B MoE nécessite ~48 Go (BF16) à 16 Go (4-bit). Ce sont les poids de base uniquement ; ajoutez de la mémoire pour la fenêtre de contexte (cache KV) selon votre cas d'usage.

Oui. Les modèles E2B et E4B sont spécifiquement conçus pour le déploiement navigateur et mobile. transformers.js permet d'exécuter Gemma 4 directement dans les navigateurs avec support WebGPU. Les checkpoints ONNX fonctionnent sur divers backends matériels edge. Les modèles sont optimisés pour les appareils Pixel et les environnements de navigateur Chrome.

Gemma 4 dispose d'un support intégré d'appel de fonctions sans nécessiter de fine-tuning. Les modèles peuvent analyser les définitions d'outils, générer des appels JSON structurés et gérer l'appel de fonctions multimodal (par exemple, analyser une image et appeler une API météo). Cela alimente des agents autonomes pour des tâches comme l'exécution de code, la navigation web et la récupération de données.

Le modèle 31B se classe 3ème sur le classement Arena AI parmi les modèles ouverts, devançant Llama 3.3 70B malgré une taille inférieure de moitié. Il atteint 89,2% sur le raisonnement mathématique AIME 2026, 85,2% sur MMLU Pro et 80% sur LiveCodeBench v6. L'efficacité provient d'innovations architecturales comme les motifs d'attention alternés et le cache KV partagé.

Le modèle 26B A4B possède 26 milliards de paramètres au total mais n'active que 4 milliards par token pendant la génération. Tous les 26B paramètres doivent être chargés en mémoire pour un routage rapide, mais le coût d'inférence est plus proche d'un modèle 4B. Cela atteint 88,3% sur AIME 2026 et 82,6% sur MMLU Pro avec un calcul par token significativement inférieur au modèle dense 31B.

Oui. Les petits modèles supportent des fenêtres de contexte de 128K, tandis que les modèles moyens gèrent 256K tokens. L'architecture utilise des configurations RoPE duales (standard pour les couches glissantes, élagué pour les couches globales) pour permettre un contexte plus long. Le cache KV partagé réduit la consommation de mémoire pendant la génération de contexte long, rendant pratique le traitement de bases de code entières et d'articles de recherche.

Gemma 4 est entièrement supporté dans TRL (Transformer Reinforcement Learning), avec des exemples pour les réponses d'outils multimodaux et l'interaction avec l'environnement. Hugging Face fournit des guides de fine-tuning pour Vertex AI utilisant SFT. Unsloth Studio offre une expérience de fine-tuning basée sur l'interface utilisateur. Les modèles supportent les méthodes PEFT comme LoRA pour l'entraînement efficace en paramètres.