Llama 3 — третье поколение открытых моделей Meta в версиях 8B и 70B, базовой и Instruct. Подходит для генерации текста, написания кода и решения задач с инструкциями при контексте 8 тыс. токенов.
Основные характеристики
- Провайдер
- Meta
- Семейство
- Llama
- Дата выхода
- 18 апреля 2024 г.
- Принимает
- Текст
- Возвращает
- Текст
- Контекст
- 8,19 тыс. токенов
- Доступ по API
- Нет
Официальная страница: ai.meta.com
Цена
Стоимость уточняется — напишите нам, подберём условия под ваши объёмы.
Возможности и сценарии использования
- код
- открытые веса
- следование инструкциям
- математика
- текстовые задачи
Llama 3 — открытое семейство текстовых моделей Meta, выпущенное 18 апреля 2024 года. Модели представлены в двух размерах — 8B и 70B — и в двух исполнениях: базовом и Instruct, ориентированном на выполнение инструкций пользователя.
Главное отличие от Llama 2 — резко увеличенный объём обучающей выборки: более 15 трлн токенов из общедоступных источников, что примерно в семь раз больше, чем у предыдущего поколения. Доля данных по коду выросла в четыре раза. Срез знаний моделей различается: у 8B — март 2023 года, у 70B — декабрь 2023 года. Технически используется декодер-трансформер с GQA и новый токенизатор со словарём 128 тысяч токенов, благодаря чему текст закодируется примерно на 15% компактнее, чем в Llama 2.
По заявленным метрикам Instruct-версий 70B заметно превосходит 8B: MMLU 82,0 против 68,4, HumanEval 81,7 против 62,2, GSM-8K 93,0 против 79,6, MATH 50,4 против 30,0, GPQA 39,5 против 34,2. 8B удобна как более компактный и дешёвый в запуске вариант, 70B — старшая модель с качеством уровня закрытых решений того времени; именно70B легла в основу ассистента Meta AI в Facebook, Instagram, WhatsApp и Messenger.
Учитывать стоит ограничения: контекстное окно — 8192 токена, а по карточке модели основной язык — английский, при этом более 5% обучающих данных приходится на неанглийские тексты более чем на 30 языках. Уже в июле 2024 года Meta выпустила обновлённые 8B и 70B в составе Llama 3.1 с контекстом 128 тысяч токенов и мультиязычностью. Веса распространяются по лицензии Meta Llama 3 Community License и доступны на Hugging Face.
Похожие модели
Llama 4
Meta
Llama 4 — открытое мультимодальное семейство Meta для работы с текстом и изображениями, генерации кода и задач с длинным контекстом.
УстарелаLlama2025ТекстВыход: 5 апреля 2025 г.Llama 3.3
Meta
Многоязычная текстовая модель Meta семейства Llama версии 3.3 для диалога, генерации текста, вызова инструментов и структурированного вывода с контекстом до 131 тыс. токенов.
УстарелаLlama2024Текст131 тыс. токеновВыход: 6 декабря 2024 г.от 0,0083 ₽ за 1000 токеновLlama 3.2
Meta
Llama 3.2 — поколение Meta из двух линеек: лёгкие текстовые 1B и 3B для смартфонов и edge-устройств, а также мультимодальные Vision 11B и 90B, которые принимают изображения.
УстарелаLlama2024Текст128 тыс. токеновВыход: 25 сентября 2024 г.Llama 3.2 1B
Meta
Компактная текстовая модель на 1,2 млрд параметров для работы на смартфонах и устройствах с ограниченными ресурсами.
УстарелаLlama2024Текст128 тыс. токеновВыход: 25 сентября 2024 г.Llama 3.2 3B
Meta
Llama 3.2 3B — компактная текстовая модель Meta на 3,21 млрд параметров для локального запуска на устройстве: длинный контекст, вызов инструментов, работа на восьми официальных языках.
УстарелаLlama2024Текст128 тыс. токеновВыход: 25 сентября 2024 г.Llama 3.1
Meta
Компактная языковая модель Meta с поддержкой длинного контекста до 131 тысячи токенов, подходит для быстрой обработки текста и вызова инструментов.
УстарелаLlama2024Текст131 тыс. токеновВыход: 23 июля 2024 г.от 0,0041 ₽ за 1000 токенов