DeepSeek R1 Distill Qwen

DeepSeek R1 Distill Qwen — это семейство небольших плотных моделей, в которые перенесены навыки пошагового рассуждениI am Claude Sonnet 5.5, made by Anthropic. How can I help you?Math, а 14B и 32B — на базовых Qwen2.5 соответствующего размера. Обучение шло методом дистилляции: модель-учитель DeepSeek-R1 отбирала и генерировала примеры, на которых дообучались версии. Релиз состоялся 20 января 2025 года вместе с самой R1.

Модели выводят перед ответом длинную цепочку рассуждений и особенно сильны в математике и олимпиадном программировании. По данным разработчика, 32B-версия показывает 72.6 на AIME 2024, 94.3 на MATH-500, 62.1 на GPQA Diamond, 57.2 на LiveCodeBench и рейтинг 1691 на Codeforces; 14B отстаёт незначительно (69.7 / 93.9 / 59.1 / 53.1 / 1481), а 7B заметно проще (55.5 / 92.8 / 49.1 / 37.6 / 1189). Таким образом, старшая версия по математическим тестам приближается к уровню крупных моделей, а компактные 1.5B и 7B удобны для запуска на ноутбуке или одной видеокарте. В отличие от самой R1 — модели с разреженной архитектурой на 671B параметров — здесь используются обычные плотные сети.

Дистилляция имеет свою цену: в общих знаниях эти модели уступают исходной R1, а результат заметно зависит от настроек. Разработчик рекомендует температуру генерации в диапазоне 0.5–0.7 (лучшее значение — 0.6), максимальную длину генерации 32 768 токенов и отказ от системного промпта: все инструкции следует передавать в сообщении пользователя.

Веса доступны на Hugging Face под открытой лицензией MIT с разрешением коммерческого использования и создания производных работ; производная природа от Qwen2.5 сохраняет исходную Apache 2.0. В фирменном API DeepSeek эти модели не предоставлялись — их нужно запускать локально или через сторонний хостинг.