Polymath представляет собой инновационный инструмент, использующий машинное обучение для преобразования музыкальных библиотек (например, с жесткого диска или YouTube) в библиотеку сэмплов для музыкального производства. Этот инструмент автоматически разделяет песни на составляющие (биты, бас и т.д.), синхронизирует их с одним темпом и ритмом (например, 120 ударов в минуту), анализирует музыкальную структуру (например, куплет, припев и т.д.), тональность (например, C4, E3 и т.д.) и другую информацию (тембр, громкость и т.д.), а также преобразует аудио в MIDI. Результатом является поисковая библиотека сэмплов, которая упрощает рабочий процесс для музыкальных продюсеров, диджеев и разработчиков ML аудио.
Polymath делает процесс создания уникальных композиций из элементов различных песен невероятно простым: просто возьмите бит из трека Funkadelic, басовую линию из произведения Tito Puente и подходящие духовые из песни Fela Kuti, и легко интегрируйте их в вашу DAW в рекордное время. Используя поисковые возможности Polymath для обнаружения связанных треков, создание отполированного, часового DJ-сета становится легким делом. Для разработчиков ML Polymath упрощает процесс создания большого музыкального набора данных для обучения генеративных моделей и т.д.
Polymath использует несколько нейронных сетей для выполнения своих функций: Demucs для разделения музыкальных источников, sf_segmenter для сегментации и маркировки музыкальной структуры, Crepe для отслеживания высоты тона и определения тональности, Basic Pitch для транскрипции музыки в MIDI, pyrubberband для квантования и выравнивания музыки, и librosa для извлечения и обработки музыкальной информации.
Сообщество Polymath можно найти на Discord. Для использования инструмента необходимо установить программное обеспечение ffmpeg и Python версии >=3.7 и <=3.10. Установка включает клонирование репозитория с GitHub и установку необходимых зависимостей. Polymath также поддерживает GPU через CUDA для ускорения обработки. Для тех, кто предпочитает использовать Docker, предоставляется Dockerfile для быстрого создания образа Polymath.
Polymath выпущен под лицензией MIT, что делает его доступным для широкого круга пользователей и разработчиков.
