ToonCrafter:从静态图像到连贯动画的神奇工具
ToonCrafter 是一款强大的 AI 动画工具,它可以利用预训练的图像到视频扩散先验,轻松地将卡通图像进行插值,从而从两张卡通图像中创建出流畅的动画。
一、ToonCrafter 的主要特点
- 提高动画制作效率:ToonCrafter AI 为用户提供了一系列工具,有助于提升动画制作的效率。
- 多种应用场景:包括卡通草图插值、基于参考的草图着色(单图像和双图像参考)以及稀疏草图引导生成等。
二、ToonCrafter 的开发团队 ToonCrafter AI 由香港中文大学、香港城市大学和腾讯 AI 实验室的 Jinbo Xing、Hanyuan Liu、Menghan Xia、Yong Zhang、Xintao Wang、Ying Shan 和 Tien-Tsin Wong 共同开发。
三、ToonCrafter 的设置与运行
- 设置:可以使用 Anaconda 创建并激活虚拟环境,然后根据提供的 requirements.txt 文件安装所需的包。详细的设置说明可在 GitHub 仓库中找到。
- 本地运行:需要下载预训练模型并放置在指定目录,然后执行提供的脚本或使用 Gradio 演示应用程序。
四、ToonCrafter 的其他信息
- 更多信息可在项目页面( GitHub 仓库(
- ToonCrafter 是一个开源项目,遵循 Apache - 2.0 许可证。
- 它可以生成最高 16 帧、分辨率为 512x320 的视频,通过使用较少的 DDIM 步骤可以减少推理时间。
- 此外,还有一个名为 ComfyUI - ToonCrafter 的仓库( - ToonCrafter),可以使 ToonCrafter 在 ComfyUI 中使用,实现生成关键帧动画。