ИИ-сервис нарезки аудио под нужную длительность
Из одного мастер-трека подготавливаются версии разной длины. Процессор учитывает ритм, вокальные фразы и переходы, затем проверяет собранный звук.
Перейти к разборуИИ-сервис нарезки аудио под нужную длительность

Содержание разбора
один мастер-трек нужен в нескольких версиях. Для короткого формата достаточно 30 секунд, для другого нужна минута, полторы, две или две с половиной
вручную каждый вариант требует нового монтажа. Нужно выбрать вход, сохранить вокальную фразу, найти переход и закончить в нужное время
я подключил к существующему веб-приложению процессор нарезки и склейки. Он разбирает исходник и подбирает варианты под целевую длительность
качество начинается с места разреза. Плавный переход не исправит обрезанное слово или неудачный скачок из припева в куплет
Пользователь задает длительность, обработка идет в фоне
пользователь загружает аудиофайл, выбирает длительность, допустимое отклонение и число вариантов. Сервер принимает задачу, приложение показывает состояние обработки и ссылки на готовые MP3 после ее завершения
целевые форматы проекта · 0:30, 1:00, 1:30, 2:00 и 2:30. Один исходник проходит общую подготовку, затем для нужной длины подбирается свой монтажный путь
Сначала карта трека, затем монтаж
процессор разбирает ритм, точки атак, энергию, похожие участки и вокальные границы. Это помогает выбирать, откуда начать фрагмент и куда можно перейти
для обработки использовал
- librosa, numpy и scipy для музыкальных признаков и сравнения участков
- Demucs и faster-whisper для локальной карты вокала и границ фраз
- pydub, soundfile и FFmpeg для сборки, экспорта и нормализации звука
- подбор маршрутов для входа, выхода, стыка и попадания в длительность
короткая версия может быть законченным фрагментом исходника. Длинной версии может потребоваться монтаж из нескольких участков. Это разные задачи для подбора границ
Почему совпадения по ритму недостаточно
два участка могут совпадать по техническим признакам, а переход между ними звучать неуместно. Например, вокальная фраза еще не закончилась или после яркого припева начинается долгий спокойный фрагмент
при разработке я добавлял учет музыкальной формы, ожидания следующего вокального события и входа в финальную часть.
машинная проверка и прослушивание решают разные задачи. Проверка помогает найти проблемный стык и соблюсти ограничения, музыкальный результат оценивается на слух
Время обработки
в примере обработки собраны пять форматов с машинной проверкой стыков. Подходящий монтаж зависит от исходника
замер 5 минут 9 секунд относится к обработке с заранее подготовленной картой трека, без разбора нового файла с нуля
Что я разработал
Путь пользователя
Веб-интерфейс загрузки, выбор длительности и вариантов, фоновая задача, состояние и готовые файлы
Разбор музыки
Ритм, энергия, похожие участки, вокальные фразы и музыкальная форма исходника
Сборка вариантов
Выбор входа и выхода, монтаж нескольких участков, переходы и подгонка под заданную длительность
Проверка результата
Проверка собранного звука и стыков до выдачи готового файла, журнал причин неудачного варианта
основная польза в том, что несколько длительностей собираются из одной подготовленной карты исходника. Человеку остается выбрать и прослушать подходящий результат
ближе всего такие задачи к автоматизации процессов и веб-приложениям
На чем собрано
Python · NestJS · Next.js · librosa · pydub · soundfile · Demucs · faster-whisper · FFmpeg