YandexGPT 2

YandexGPT 2 — второе поколение языковой модели Яндекса, представленное 7 сентября 2023 года на конференции Practical ML Conf, всего через четыре месяца после выхода первой версии. Модель работает с текстом на русском языке и предназначена для задач генерации и пересказа текстов, ответов на вопросы, мозгового штурма и стилизации — то есть переписывания готового материала под нужный стиль или жанр, а также под определённую аудиторию.

По внутренним замерам Яндекса на 500 разных задачах новое поколение выигрывает у первой версии примерно в двух третях случаев. Разрыв наиболее заметен в генерации текста (69%), суммаризации и анализе (68%) и мозговом штурме (66%), несколько скромнее — в стилизации и ответах на вопросы (по 62%). Эти цифры отражают оценку самого разработчика, но дают понятное представление о том, в каких сценариях прирост оказался наиболее ощутимым.

Основной вклад в улучшения внесло не изменение архитектуры, а работа с обучающими данными: изменения в датасете стали проверять на небольших быстрых моделях, в пайплайн добавили классификаторы низкокачественных и полезных текстов, а долю дубликатов удалось сократить до менее чем 0,5%. Как следствие, фактологическая полнота выросла с 70% до 80%. Отдельной строкой отмечается, что обучение с подкреплением на отзывах пользователей (RLHF) на момент выхода находилось только в планах.

В продуктовых сценариях модель была задействована в навыке Алисы «Давай придумаем», а также работала в Станциях, телевизорах, приложении Яндекс, Браузере и поиске. В API Yandex Cloud к апрелю 2024 года ко второму поколению относились YandexGPT Lite (gpt://<каталог>/yandexgpt-lite/latest) и отдельная модель краткого пересказа (summarization/latest); позже эти позиции были вытеснены моделями третьего и четвёртого поколений, поэтому YandexGPT 2 и его лёгкая версия актуальны скорее как исторический этап линейки.