Polymath 是一款创新的 AI 工具,它通过机器学习技术,将任何音乐库(如硬盘或 YouTube 上的音乐)转换为音乐制作的样本库。该工具能够自动将歌曲分离成各个音轨(如鼓点、贝斯等),并将它们量化到相同的节奏和节拍网格(例如 120bpm),分析音乐结构(如副歌、主歌等)、调性(如 C4、E3 等)以及其他信息(音色、响度等),并将音频转换为 MIDI。最终生成的是一个可搜索的样本库,极大地简化了音乐制作人、DJ 和 ML 音频开发者的工作流程。
Polymath 的使用场景非常广泛,它使得从不同歌曲中提取元素并创作出独特的新作品变得轻而易举。例如,你可以轻松地从 Funkadelic 的曲目中提取鼓点,从 Tito Puente 的作品中提取贝斯线,以及从 Fela Kuti 的歌曲中找到合适的号角部分,并将它们无缝集成到你的数字音频工作站(DAW)中,大大节省了时间。利用 Polymath 的搜索功能,发现相关曲目并制作出一小时长的混音 DJ 集也变得轻而易举。对于 ML 开发者来说,Polymath 简化了创建大型音乐数据集的过程,用于训练生成模型等。
Polymath 的工作原理涉及多个神经网络和工具:音乐源分离通过 Demucs 神经网络完成,音乐结构分割和标记通过 sf_segmenter 神经网络完成,音乐音高跟踪和调性检测通过 Crepe 神经网络完成,音乐到 MIDI 的转录通过 Basic Pitch 神经网络完成,音乐量化和对齐通过 pyrubberband 完成,音乐信息检索和处理通过 librosa 完成。
加入 Polymath 社区,你可以通过 Discord 与其他用户交流。使用 Polymath 需要你的系统上安装有 ffmpeg。安装过程简单,只需从终端运行几条命令即可。Polymath 还支持 GPU 加速,大多数库都通过 cuda 提供原生 GPU 支持。如果你已经安装了 Docker,你也可以使用提供的 Dockerfile 快速构建 polymath docker 镜像。
Polymath 的使用步骤包括:将歌曲添加到 Polymath 库中,量化库中的歌曲,搜索库中的相似歌曲,以及将音频转换为 MIDI。Polymath 是开源的,遵循 MIT 许可证发布。