Polymath es una innovadora herramienta que utiliza aprendizaje automático para transformar cualquier colección de música, ya sea desde un disco duro o YouTube, en una extensa biblioteca de muestras para producción musical. Este proceso incluye la separación automática de las canciones en sus componentes básicos (ritmos, bajos, etc.), la cuantización de estos elementos a un tempo y cuadrícula de ritmo uniformes (por ejemplo, 120bpm), y el análisis de la estructura musical (como versos, coros, etc.), la tonalidad (por ejemplo, C4, E3, etc.) y otra información relevante (timbre, volumen, etc.), además de la conversión de audio a MIDI. El resultado es una biblioteca de muestras fácilmente navegable que optimiza el flujo de trabajo para productores musicales, DJs y desarrolladores de audio con IA.
Entre los casos de uso de Polymath se encuentra la creación de nuevas composiciones únicas al combinar elementos de diferentes canciones. Por ejemplo, puedes tomar un ritmo de una canción de Funkadelic, una línea de bajo de una pieza de Tito Puente y unos cuernos que encajen de una canción de Fela Kuti, e integrarlos sin problemas en tu DAW en un tiempo récord. Además, la capacidad de búsqueda de Polymath facilita la creación de sets de DJ mash-up pulidos y de larga duración. Para los desarrolladores de IA, Polymath simplifica el proceso de creación de grandes conjuntos de datos musicales para el entrenamiento de modelos generativos, entre otros usos.
Polymath funciona mediante una serie de redes neuronales y herramientas especializadas: la separación de fuentes musicales se realiza con la red neuronal Demucs; la segmentación y etiquetado de la estructura musical con sf_segmenter; el seguimiento de tono y detección de tonalidad con Crepe; la transcripción de música a MIDI con Basic Pitch; y la cuantización y alineación musical con pyrubberband. Además, la recuperación y procesamiento de información musical se lleva a cabo con libros.
Para comenzar a usar Polymath, es necesario tener instalado software específico como ffmpeg y seguir los pasos de instalación proporcionados en el repositorio de GitHub. Polymath también ofrece soporte para GPU, lo que acelera el procesamiento, y una configuración Docker para aquellos que prefieren trabajar en un entorno contenedorizado.
