MusicGen AI 是由 Meta 开发的一款先进的免费 AI 音乐生成工具。它利用单一的语言模型(LM),根据文本描述或旋律创作出高质量的音乐。这一技术代表了 AI 音乐生成领域的一大进步,因为它采用了单阶段变换器 LM,而不是依赖多个模型。
MusicGen 能够生成无版权的音乐,其工作原理是将音乐编码成压缩的令牌,然后用于生成音乐样本。它可以生成多种格式的音乐,包括单声道和立体声,后者涉及两组代码本,分别对应左右声道。每个声道的音频流被合并以产生最终的立体声输出。
主要特性包括:
- 旋律条件生成:允许基于其他音频轨道的旋律结构或用户创作的旋律生成音乐。
- 文本条件生成:根据指定流派、节奏等参数的文本描述生成音乐。
- 音频提示生成:使用现有的音频片段作为新音乐创作的基础。
- 高级模型架构:结合了文本编码器、基于语言模型的解码器和音频编码器/解码器,用于多功能音乐生成。
- 灵活的生成模式:提供贪婪和采样生成模式,推荐使用采样模式以获得更好的结果。
- 无条件生成:能够生成没有特定提示或输入的音乐。
- 广泛的训练数据集:在 20,000 小时的多样化授权音乐上进行训练,包括高质量曲目和器乐。
- 可定制的生成过程:允许用户修改生成参数,如指导比例和最大长度。
通过 MusicGen AI,用户可以加入音乐创作的革命,以前所未有的方式创作、实验和发现音乐。