SONOTELLER

Sonoteller — это ИИ-движок для анализа музыки, который «слушает» трек и формирует развёрнутое текстовое описание на основе аудио и текста песни. Сервис создал Эду Дуке (Edu Duque), креативный технолог с более чем 20-летним опытом в музыкальной индустрии, рекламе и продуктовой разработке — в его послужном списке работа в Google и Utopia Music. Компания базируется в Мадриде и с мая 2024 года входит в состав Chordal — платформы для музыкального лицензирования. Sonoteller сочетает обработку аудиосигнала (спектрограммы, традиционные модели классификации) с большими языковыми моделями (LLM) для анализа текста песен. Инструмент остаётся в стадии бета-тестирования, доступен бесплатно через веб-интерфейс и на платной основе через API на RapidAPI.

Функции и возможности

Sonoteller AI обрабатывает музыкальный трек целиком — и звук, и слова — за один проход, выдавая структурированный набор метаданных:

• Определение жанров и поджанров — система классифицирует трек по музыкальным категориям. Важная деталь: Sonoteller умеет адаптировать таксономию жанров под конкретного клиента. У Spotify, Apple Music, Deezer и YouTube Music свои системы категоризации — инструмент подстраивается под каждую из них.
• Анализ настроения и эмоций — оценка эмоциональной окраски трека с учётом и музыки, и текста. По словам создателя, именно это отличает Sonoteller от конкурентов: традиционные движки анализируют только аудио и могут «промахнуться», если бодрая мелодия сопровождает грустный текст. Здесь LLM разбирает смысл слов, а аудиомодель — звучание.
• Идентификация инструментов и вокала — определение состава инструментов и типа голоса (vocal families) по аудиозаписи.
• BPM и тональность — автоматическое определение темпа в ударах в минуту и музыкальной тональности трека.
• «Золотая минута» (Golden Minute) — выявление самого выразительного фрагмента песни. Это может быть припев или кульминация — та часть, которую удобно использовать для превью, рекламных нарезок или трейлеров.
• Анализ текста песни — саммари, разбор тематических линий, определение языка, оценка пригодности для широкой аудитории (brand safety). Sonoteller извлекает текст прямо из аудио, так что доступ к оригинальным лирикам не требуется.
• Работа по ссылке на YouTube — на веб-сайте достаточно вставить ссылку на видео. Загружать аудиофайл не нужно.
• API для массовой обработки — через RapidAPI доступны эндпоинты для анализа текста (lyrics analysis) и музыкальных характеристик (music analysis). Подходит для автоматического тегирования больших каталогов.

Как пользоваться

Через веб-интерфейс процесс максимально прост:

1. Откройте сайт Sonoteller AI. Регистрация для базового использования не требуется.
2. Вставьте ссылку на YouTube-видео с нужным треком в поле ввода.
3. Дождитесь обработки. Среднее время анализа — около 1 минуты. Система обрабатывает и аудио, и текст одновременно.
4. Получите результат. На экране появится структурированный профиль трека: жанры, поджанры, настроение, инструменты, BPM, тональность, саммари текста и «золотая минута».

Для работы через API нужно зарегистрироваться на RapidAPI, выбрать тарифный план и подключить эндпоинты Sonoteller к своей системе — будь то платформа дистрибуции, внутренний каталог или поисковый движок.

Технические детали

Sonoteller совмещает два подхода к анализу. Аудиочасть опирается на обработку спектрограмм и традиционные модели классификации звука — они определяют жанр, инструменты, темп и тональность. Текстовая часть задействует большие языковые модели (LLM), которые разбирают смысл, тематику и эмоциональную окраску лирики. По словам основателя, именно гибридная архитектура — сочетание классических методов с LLM — стала главным техническим вызовом при разработке. Команда экспериментировала с различными ИИ-моделями для аудиообработки, созданием артефактов для извлечения характеристик текста и управлением GPU-инфраструктурой для масштабируемости. Конкретные названия моделей и фреймворков компания не раскрывает. Исходный код закрыт — кастомизация и доработка инструмента со стороны пользователя невозможны. После поглощения платформой Chordal технология Sonoteller интегрирована в её систему «Smart AI Search» для лицензирования музыки, где анализ аудио и текста дополняется данными о правах, культурной релевантности и целевой аудитории.

Для кого подойдёт

Sonoteller нацелен на профессионалов музыкальной индустрии. Дистрибьюторы и владельцы каталогов используют API для массового тегирования треков — вместо ручной разметки тысяч композиций система автоматически проставляет жанры, настроение, инструменты и BPM. Музыкальные супервайзеры и рекламные агентства оценят анализ текста на предмет brand safety: Sonoteller покажет, насколько лирика подходит для ассоциации с конкретным брендом. Стриминговые платформы могут подключить движок для обогащения рекомендательных алгоритмов — особенно полезна гибкость таксономий под разные DSP. Продюсеры и авторы песен найдут в «золотой минуте» готовый хук для промо-роликов. Обычные меломаны тоже могут попробовать инструмент через сайт — достаточно вставить ссылку на YouTube. Стоит учитывать, что профессиональное использование потребует связи с командой Sonoteller для индивидуального ценообразования, а бесплатный API-тариф ограничен пятью анализами в месяц.

FAQ

Сколько стоит Sonoteller AI?

Веб-интерфейс бесплатен (сервис в бета-версии). API доступен через RapidAPI с четырьмя тарифами: Basic ($0 — 5 анализов/мес), Pro ($7,95 — 50 анализов/мес), Ultra ($69,95 — 500 анализов/мес) и Mega ($599,95/мес). Для корпоративных клиентов с индивидуальными требованиями предусмотрено отдельное ценообразование по запросу.

Нужно ли загружать аудиофайл для анализа?

На сайте — нет. Достаточно вставить ссылку на YouTube-видео. API работает с собственными аудиофайлами пользователя — YouTube-ссылки на сайте используются только для демонстрации.

Что такое «золотая минута»?

Это самый выразительный фрагмент трека, который Sonoteller определяет автоматически. Обычно это припев или кульминационный момент песни. Функция полезна для создания превью, рекламных нарезок и трейлеров.

Можно ли адаптировать систему жанров под свою платформу?

Да. Sonoteller поддерживает гибкие таксономии и может классифицировать треки по схемам, принятым на разных стриминговых площадках — Spotify, Apple Music, Deezer, YouTube Music и других. Эта возможность доступна при работе через API и прямом сотрудничестве с командой Sonoteller.

Кому принадлежит Sonoteller сейчас?

С мая 2024 года Sonoteller входит в состав Chordal — платформы для управления музыкальными правами и синхронизационного лицензирования. Технология интегрирована в поисковый движок Chordal, но веб-сайт Sonoteller продолжает работать как самостоятельный инструмент.