DeepSeek Coder

DeepSeek Coder — первая кодовая линейка DeepSeek: набор плотных моделей размером 1.3B, 5.7B, 6.7B и 33B, выпущенных в вариантах Base и Instruct. Каждая модель обучена с нуля на 2 триллионах токенов, из которых 87% пришлось на код и только 13% на естественный язык — английский и китайский. Благодаря открытым весам серию можно запускать локально, а компактные версии 1.3B и 6.7B помещаются на обычные потребительские GPU.

Основное назначение — генерация кода и работа с ним внутри существующего проекта. Помимо обычной генерации модель обучалась задаче fill-in-the-middle: она умеет вставлять фрагмент кода в середину файла и дополнять строки по ходу набора, что удобно для автодополнения в редакторе. Контекстное окно в 16K токенов позволяет учитывать содержимое файлов и соседних участков проекта, а не только отдельную функцию. В репозитории заявлено 86 языков программирования, при этом качество заметно выше в Python и распространённых языках, а текстовая часть обучалась только на английском и китайском.

Версия Instruct-33B получена дообучением базовой модели на 2 млрд токенов инструкций, что делает её пригодной для диалоговой работы с кодом. По данным разработчика, базовая модель на 33B опережает CodeLlama-34B на 7.9% по HumanEval Python, 9.3% по мультиязычному HumanEval, 10.8% по MBPP и 5.9% по DS-1000, а база на 6.7B сопоставима с CodeLlama-34B; Instruct-33B превосходит GPT-3.5-turbo на HumanEval и сопоставима с ней на MBPP.

Код распространяется под лицензией MIT, веса — под собственной Model License DeepSeek с разрешённым коммерческим использованием. Репозитории весов созданы на Hugging Face в конце октября — начале ноября 2023 года, техотчёт вышел в январе 2024-го. В 2024 году линейку сменила DeepSeek-Coder-V2 на архитектуре MoE с поддержкой 338 языков и контекстом 128K, поэтому DeepSeek Coder актуальна в первую очередь там, где важны открытые веса, MIT-код и локальный запуск.