Llama 3.2

Llama 3.2 — обновление линейки Llama, представленное Meta 25 сентября 2024 года. Поколение разделилось на два направления. Лёгкие текстовые модели 1B и 3B рассчитаны на смартфоны и устройства на периферии: они работают локально, умеют вызывать инструменты и выполнять агентные сценарии — резюмирование, переписку, извлечение данных — без отправки запросов в облако. Вторая линейка, Vision 11B и 90B, стала первым мультимодальным поколением Llama: эти модели принимают изображения и документы вместе с текстом и отвечают на вопросы по ним.

Лёгкие варианты получены структурным прореживанием Llama 3.1 8B и дистилляцией из моделей 8B и 70B, обучены на объёме до 9 трлн токенов. Для них существуют базовые и Instruct-версии, а также квантованные сборки (SpinQuant, QLoRA) с более компактным весом для слабых по ресурсам устройств. Визуальные модели построены на Llama 3.1 с отдельно обученным визуальным адаптером на основе cross-attention, который дообучался на 6 млрд пар «изображение — текст»; срез их знаний — декабрь 2023 года.

Контекстное окно у обычных версий достигает 128 тыс. токенов, поэтому модель можно использовать для работы с большими объёмами текста и загруженными документами. У квантованных сборок 1B и 3B контекст ограничен 8 тыс. токенов — это компромисс между размером и объёмом входа.

Есть важные ограничения. Официально для текста поддерживается восемь языков: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; русский в этот список не входит. Задачи с изображениями официально поддерживаются только на английском. Кроме того, малые модели заметно уступают крупным по объёму знаний и качеству рассуждений, а для мультимодальных версий действуют ограничения доступа в ЕС. Модели распространяются по лицензии Llama 3.2 Community License с открытыми весами, а экосистема дополнена оптимизацией под распространённые мобильные и встраиваемые платформы.