Code Llama

Code Llama — семейство моделей Meta, выпущенное в августе 2023 года и построенное на дообучении Llama 2 на массиве программного кода. Модели представлены в четырёх размерах: 7B, 13B и 34B вышли 24 августа 2023 года, версия 70B — 29 января 2024 года. Для каждого размера есть три варианта: базовый, специализированный на Python и Instruct-версия, лучше следующая словесным формулировкам задачи.

Все версии принимают и возвращают текст. Базовое обучение охватывает 500 млрд токенов кода и связанных с кодом данных для 7B, 13B и 34B и 1 трлн токенов для 70B, а Python-варианты дополнительно обучались ещё на 100 млрд токенов Python-кода. Помимо генерации кода и пояснений к нему по описанию на естественном языке, модели умеют вставлять фрагмент в середину существующего файла — это удобно для автодополнения в IDE. Заполнение середины заявлено для 7B и 13B в анонсе и для 7B, 13B и 70B в обновлённой статье.

Контекстное окно составляет около 16 тысяч токенов: модели обучались на последовательностях такой длины. Meta сообщает об улучшениях качества на входах до 100 тысяч токенов, однако карточка 70B Instruct уточняет, что этот вариант длинный контекст в100 тысяч токенов не поддерживает. Заявленные языки программирования в анонсе — Python, C++, Java, PHP, TypeScript, C# и Bash; модели рассчитаны прежде всего на английский язык.

По бенчмаркам Meta, 34B набрала 53,7% HumanEval и 56,2% MBPP на момент анонса, а по январской статье лучшие результаты семейства достигали 67% HumanEval и 65% MBPP — на тот момент выше, чем у других открытых моделей на HumanEval, MBPP и MultiPL-E. Небольшие 7B и 13B практичнее для автодополнения с низкой задержкой, 34B и 70B дают более качественный результат. Веса доступны для скачивания по community-лицензии Llama 2, допускающей бесплатное исследовательское и коммерческое использование. Стоит учитывать, что это поколение 2023–2024 годов, уступающее более новым моделям.