Llama 3 70B — открытая текстовая модель Meta с контекстом 8192 токенов, заметно улучшенная по сравнению с Llama 2 70B в коде, математике и следовании инструкциям.
Основные характеристики
- Провайдер
- Meta
- Семейство
- Llama
- Дата выхода
- 18 апреля 2024 г.
- Принимает
- Текст
- Возвращает
- Текст
- Контекст
- 8,19 тыс. токенов
- Доступ по API
- Нет
Официальная страница: ai.meta.com
Цена
Стоимость уточняется — напишите нам, подберём условия под ваши объёмы.
Возможности и сценарии использования
- код
- открытые веса
- генерация текста
- контекст 8192 токенов
Llama 3 70B — старшая модель поколения Llama 3 от Meta, выпущенная 18 апреля 2024 года. Это текстовая модель: на вход и на выход она принимает только текст, длина контекстного окна — 8192 токенов. Вес доступны открыто по лицензии Meta Llama 3 Community License; существуют базовая версия и версия для инструкций (meta-llama/Meta-Llama-3-70B-Instruct). В Amazon Bedrock она доступна как meta.llama3-70b-instruct-v1:0 со статусом Legacy: перевод в статус устаревшего намечен на 30 сентября 2026 года, окончательный вывод — 30 марта 2027 года.
Модель обучалась на более чем 15 трлн токенов, срез её знаний соответствует декабрю 2023 года, объём обучения составил 6,4 млн GPU-часов. Архитектура — трансформер с GQA, токенизатор насчитывает 128 тысяч токенов. По сравнению с Llama 2 70B прирост заметен прежде всего в программировании, математике и точности выполнения инструкций — за счёт кратно большего объёма обучающих данных и нового токенизатора. По заявленным Meta результатам, Instruct-версия показывает 82,0 в MMLU, 81,7 в HumanEval, 93,0 в GSM-8K, 50,4 в MATH и 39,5 в GPQA; у базовой версии MMLU — 79,5.
Именно на базе этой модели построен ассистент Meta AI в Facebook, Instagram, WhatsApp и Messenger. В собственных человеческих оценках Meta ставила Llama 3 70B Instruct выше Claude Sonnet, Mistral Medium и GPT-3.5.
При выборе стоит учитывать ограничения. Модель требует серьёзного серверного железа: для запуска с умеренными затратами в том же поколении есть вариант на 8B. Контекст в 8 тысяч токенов довольно скромен, а ориентация модели — преимущественно на английский язык. В июле 2024 года в том же классе вышла обновлённая Llama 3.1 70B с контекстом 128 тысяч токенов и мультиязычностью, она пришла на смену этой версии.
Похожие модели
Llama 4
Meta
Llama 4 — открытое мультимодальное семейство Meta для работы с текстом и изображениями, генерации кода и задач с длинным контекстом.
УстарелаLlama2025ТекстВыход: 5 апреля 2025 г.Llama 3.3
Meta
Многоязычная текстовая модель Meta семейства Llama версии 3.3 для диалога, генерации текста, вызова инструментов и структурированного вывода с контекстом до 131 тыс. токенов.
УстарелаLlama2024Текст131 тыс. токеновВыход: 6 декабря 2024 г.от 0,0083 ₽ за 1000 токеновLlama 3.2
Meta
Llama 3.2 — поколение Meta из двух линеек: лёгкие текстовые 1B и 3B для смартфонов и edge-устройств, а также мультимодальные Vision 11B и 90B, которые принимают изображения.
УстарелаLlama2024Текст128 тыс. токеновВыход: 25 сентября 2024 г.Llama 3.2 1B
Meta
Компактная текстовая модель на 1,2 млрд параметров для работы на смартфонах и устройствах с ограниченными ресурсами.
УстарелаLlama2024Текст128 тыс. токеновВыход: 25 сентября 2024 г.Llama 3.2 3B
Meta
Llama 3.2 3B — компактная текстовая модель Meta на 3,21 млрд параметров для локального запуска на устройстве: длинный контекст, вызов инструментов, работа на восьми официальных языках.
УстарелаLlama2024Текст128 тыс. токеновВыход: 25 сентября 2024 г.Llama 3.1
Meta
Компактная языковая модель Meta с поддержкой длинного контекста до 131 тысячи токенов, подходит для быстрой обработки текста и вызова инструментов.
УстарелаLlama2024Текст131 тыс. токеновВыход: 23 июля 2024 г.от 0,0041 ₽ за 1000 токенов