Gemma 2

Gemma 2 — второе поколение открытых моделей от Google DeepMind, выросшее из тех же исследований, что лежат в основе Gemini. Главная идея линейки — возможность запускать модель у себя: доступны версии на 2, 9 и 27 миллиардов параметров, а квантованные сборки запускаются даже на обычную видеокарту. Самая крупная версия 27B умещается на одном ускорителе NVIDIA A100 80GB или H100 либо на облачном TPU, а 2B работает на бесплатной Tesla T4 в Colab.

Архитектура — декодер-трансформер с чередованием локального и глобального внимания, а также с grouped-query attention. Младшие модели 2B и 9B обучены дистилляцией знаний из более крупной, и за счёт этого заметно превосходят конкурентов своего размера: по карточке модели 9B обходит Llama 3 8B, а 2B показывает результаты выше, чем у моделей GPT-3.5 в Chatbot Arena. Обучение шло на датасетах объёмом от 2 до 13 триллионов токенов — веб-документы, код и математика, преимущественно на английском языке.

Модель работает только с текстом: на вход принимается текст, на выход генерируется текст. Контекстное окно — 8192 токенов, при этом окно локального внимания составляет 4096 токенов. Линейка вышла в июне 2024 года (версии 9B и 27B — 27 июня, 2B — 31 июля вместе с классификаторами ShieldGemma и инструментом Gemma Scope для интерпретируемости) и существует в базовом и инструктивном вариантах.

Веса распространяются с открытыми лицензиями по условиям Gemma Terms of Use, доступны на Kaggle и Hugging Face, а также через Vertex AI Model Garden и пробный доступ в Google AI Studio. Модели поддерживаются в Transformers, JAX, PyTorch, Keras 3, vLLM, Gemma.cpp, llama.cpp, Ollama и TensorRT-LLM, поэтому их несложно встроить в собственный пайплайн. Позже Google выпустил Gemma 3 и Gemma 4 с мультимодальностью и более длинным контекстом, так что Gemma 2 относится к предыдущим поколениям и подходит там, где важны открытые веса, компактный размер и полностью локальная работа.