Llama 3.2 3B

Llama 3.2 3B — старшая из двух лёгких текстовых моделей семейства Llama 3.2, представленных Meta 25 сентября 2024 года. Модель насчитывает 3,21 млрд параметров и выпускается в базовой версии (meta-llama/Llama-3.2-3B) и в версии с дообучением на инструкциях (meta-llama/Llama-3.2-3B-Instruct) — именно идентификатор Instruct используется в API. Дополнительно доступны квантованные сборки SpinQuant и QLoRA, рассчитанные на устройства с ограниченными ресурсами.

Модель получена прунингом Llama 3.1 8B и дистилляцией из версий 8B и 70B, а данные предобучения составили до 9 трлн токенов из общедоступных источников. Срез знаний приходится на декабрь 2023 года. Официально поддерживаются восемь языков: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; русский в этот список не входит.

Заявленное контекстное окно — 128 тыс. токенов, у квантованных версий оно сокращено до 8 тыс. Благодаря небольшому размеру модель запускается локально на ноутбуке или смартфоне: веса открыты и распространяются по лицензии Llama 3.2 Community License, через llama.com и Hugging Face. Это делает её подходящим выбором для ассистентов на устройстве, суммаризации, переписывания текстов и агентных сценариев с вызовом инструментов, где запросы не должны уходить в облако. Доступ к модели в AWS Bedrock (meta.llama3-2-3b-instruct-v1:0) снят 07.07.2026.

По заявлению Meta, Instruct-версия превосходит Gemma 2 2.6B и Phi 3.5-mini в следовании инструкциям, суммаризации, переписывании текста и вызове инструментов. В тестах Meta она показывает MMLU 63,4, GSM8K с цепочкой рассуждений 77,7 и ARC-Challenge 78,6. При этом для сложных задач и фактических вопросов модель уступает крупным собратьям семейства, а объём знаний ограничен срезом декабря 2023 года.