ToonCrafter 是一款创新的 AI 动画工具,它利用预训练的图像到视频扩散先验技术,能够轻松地在两张卡通图像之间进行插值,从而生成平滑的动画。这款工具特别适用于卡通草图插值和基于参考的草图着色等应用。
ToonCrafter 的开发团队包括来自香港中文大学、香港城市大学和腾讯 AI 实验室的研究人员。他们共同开发了这款工具,旨在提高动画制作的效率。
尽管 ToonCrafter 在动画生成方面表现出色,但它也存在一些局限性。例如,它可能无法正确理解图像内容,导致在对象出现或消失时生成错误的运动。此外,作为一个开源研究工具,它可能无法满足所有用户的期望。
要设置 ToonCrafter,用户可以使用 Anaconda 创建并激活虚拟环境,然后使用提供的 requirements.txt 文件安装所需的包。详细的设置说明可以在 GitHub 仓库中找到。
更多关于 ToonCrafter 的信息,包括其项目页面和 GitHub 仓库,都可以在网上找到。ToonCrafter 是一个开源项目,遵循 Apache-2.0 许可证。
ToonCrafter 可以生成最多 16 帧、分辨率为 512x320 的视频。通过使用更少的 DDIM 步骤,可以减少推理时间。要在本地运行 ToonCrafter,用户需要下载预训练模型,将其放置在指定目录中,然后执行提供的脚本或使用 Gradio 演示应用程序。
此外,ToonCrafter 也可以在 ComfyUI 中运行,通过一个名为 ComfyUI-ToonCrafter 的仓库,用户可以在 ComfyUI 中使用 ToonCrafter 实现生成关键帧动画。