Gemma 4: 어디서나 실행 가능한 최첨단 멀티모달 인텔리전스

Gemma 4는 네이티브 멀티모달 지원(텍스트, 이미지, 비디오, 오디오), 확장된 컨텍스트 윈도우(128K-256K), 구성 가능한 사고 모드, 내장 함수 호출을 도입합니다. 아키텍처는 효율성을 위해 Per-Layer Embeddings(PLE)를 사용하고, 긴 컨텍스트 생성 중 메모리 사용량을 줄이기 위해 공유 KV 캐시를 사용합니다.

E2B(2.3B 유효)와 E4B(4.5B 유효)는 네이티브 오디오 지원을 갖춘 엣지 디바이스, 브라우저, 모바일용으로 설계되었습니다. 26B A4B는 토큰당 4B 파라미터만 활성화하는 Mixture-of-Experts 모델로, 높은 처리량 시나리오에 이상적입니다. 31B 밀집 모델은 추론, 코딩, 비전 작업에서 최대 성능을 발휘하는 플래그십입니다.

모든 모델이 텍스트와 가변 종횡비 이미지를 네이티브로 처리합니다. 비전 인코더는 학습된 2D 위치를 사용하며, 속도-품질 트레이드오프를 위해 이미지를 다양한 토큰 예산(70-1120 토큰)으로 인코딩할 수 있습니다. E2B와 E4B에는 음성 이해를 위한 USM 스타일 컨포머 오디오 인코더가 포함되어 있습니다. 비디오는 프레임과 오디오 트랙을 처리하여 전체 패밀리에서 지원됩니다.

PLE는 각 디코더 레이어에 모든 토큰에 대한 고유한 작은 임베딩을 제공하여, 메인 잔차 스트림과 병렬로 조건화 경로를 생성합니다. 이를 통해 각 레이어는 관련이 있을 때만 토큰별 정보를 받을 수 있으며, 모든 것을 단일 사전 임베딩에 패킹할 필요가 없습니다. 적은 파라미터 비용으로 의미 있는 레이어별 특수화를 추가하여 소형 모델을 더 효율적으로 만듭니다.

Gemma 4 모델은 Apache 2.0 라이선스 하에 Kaggle과 Hugging Face에서 이용 가능합니다. Google AI Studio를 통해 사용하거나, Vertex AI에 배포하거나, Ollama, llama.cpp, MLX(Apple Silicon용), transformers, Mistral.rs와 같은 도구로 로컬에서 실행할 수 있습니다. ONNX 체크포인트로 브라우저 및 엣지 디바이스 배포가 가능합니다.

E2B는 약 9.6GB(BF16)에서 3.2GB(4비트) VRAM이 필요합니다. E4B는 약 15GB(BF16)에서 5GB(4비트)가 필요합니다. 31B 모델은 약 58GB(BF16)에서 17GB(4비트)가 필요합니다. 26B MoE는 약 48GB(BF16)에서 16GB(4비트)가 필요합니다. 이는 기본 가중치만 해당하며, 사용 사례에 따라 컨텍스트 윈도우(KV 캐시)를 위한 메모리를 추가해야 합니다.

네. E2B와 E4B 모델은 브라우저 및 모바일 배포를 위해 특별히 설계되었습니다. transformers.js를 사용하면 WebGPU 지원이 있는 브라우저에서 Gemma 4를 직접 실행할 수 있습니다. ONNX 체크포인트는 다양한 엣지 하드웨어 백엔드에서 작동합니다. 모델은 Pixel 디바이스와 Chrome 브라우저 환경에 최적화되어 있습니다.

Gemma 4는 파인튜닝이 필요 없는 내장 함수 호출 지원을 제공합니다. 모델은 도구 정의를 파싱하고, 구조화된 JSON 호출을 생성하며, 멀티모달 함수 호출(예: 이미지를 분석하고 날씨 API 호출)을 처리할 수 있습니다. 이를 통해 코드 실행, 웹 브라우징, 데이터 검색과 같은 작업을 위한 자율 에이전트가 가능합니다.

31B 모델은 Arena AI 리더보드에서 오픈 모델 중 3위를 차지하며, 크기가 절반 이하임에도 불구하고 Llama 3.3 70B를 앞섭니다. AIME 2026 수학 추론에서 89.2%, MMLU Pro에서 85.2%, LiveCodeBench v6에서 80%를 달성합니다. 효율성은 교대 어텐션 패턴 및 공유 KV 캐시와 같은 아키텍처 혁신에서 비롯됩니다.

26B A4B 모델은 총 260억 개의 파라미터를 가지고 있지만 생성 중에는 토큰당 40억 개만 활성화합니다. 빠른 라우팅을 위해 모든 26B 파라미터를 메모리에 로드해야 하지만, 추론 비용은 4B 모델에 가깝습니다. 이를 통해 AIME 2026에서 88.3%, MMLU Pro에서 82.6%를 달성하며, 밀집 31B 모델보다 토큰당 연산량이 훨씬 적습니다.

네. 소형 모델은 128K 컨텍스트 윈도우를 지원하고, 중형 모델은 256K 토큰을 처리합니다. 아키텍처는 더 긴 컨텍스트를 가능하게 하기 위해 듀얼 RoPE 구성(슬라이딩 레이어용 표준, 글로벌 레이어용 프루닝)을 사용합니다. 공유 KV 캐시는 긴 컨텍스트 생성 중 메모리 소비를 줄여 전체 코드베이스와 연구 논문 처리를 실용적으로 만듭니다.

Gemma 4는 TRL(Transformer Reinforcement Learning)에서 완전히 지원되며, 멀티모달 도구 응답 및 환경 상호작용 예제가 있습니다. Hugging Face는 SFT를 사용한 Vertex AI용 파인튜닝 가이드를 제공합니다. Unsloth Studio는 UI 기반 파인튜닝 경험을 제공합니다. 모델은 파라미터 효율적인 학습을 위한 LoRA와 같은 PEFT 방법을 지원합니다.