MagicAnimate是一个前沿的基于扩散模型的人类图像动画框架。这一创新工具在保持时间一致性、忠实保留参考图像以及显著增强动画保真度方面表现出色。MagicAnimate以其能够使用来自各种来源的运动序列动画参考图像而脱颖而出，包括跨ID动画和未见过的领域如油画和电影角色。它还能与T2I扩散模型如DALLE3无缝集成，通过动态动作将文本提示的图像赋予生命。
MagicAnimate由新加坡国立大学的Show Lab和字节跳动共同开发。目前，它在所有舞蹈视频解决方案中提供了最高的一致性。然而，它也存在一些缺点，例如面部和手部的某些失真（一个反复出现的问题）。在其默认配置中，风格从动漫转变为现实主义，特别是在视频中的面部表现上尤为明显。这可能需要修改检查点。默认的DensePose驱动视频基于真实人类，因此应用动漫风格可能会导致身体比例的变化。
由于AnimateAnyone尚未发布，我们无法尝试Animate Anyone的演示。要开始使用MagicAnimate，请下载StableDiffusion V1.5和MSE微调VAE的预训练基础模型。下载我们的MagicAnimate检查点。安装前提条件包括：python>=3.8、CUDA>=11.3和ffmpeg。使用conda安装：conda env create -f environment.yml conda activate manimate。
你可以在huggingface上尝试MagicAnimate的在线演示，或者在Replicate上尝试。你也可以在Colab上运行MagicAnimate，参考这条推文：如何在Colab上运行MagicAnimate以及Colab的URL。
你可以使用Replicate API生成动画视频。import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714", { input: { image: "", video: "输入动作视频", num_inference_steps: 25, // 去噪步骤数 guidance_scale: 7.5, // 无分类器指导的尺度 seed: 349324 // 随机种子。留空以随机化种子 } } );
如何生成动作视频或将视频转换为动作视频？OpenPose是一个实时多人关键点检测库，用于身体、面部、手部和脚部估计。你可以使用这个模型将动作视频转换为OpenPose：video to openpose。然后你可以使用这个模型：magic-animate-openpose来使用OpenPose与MagicAnimate：magic-animate-openpose。
更多关于MagicAnimate的信息，请访问官方MagicAnimate介绍、MagicAnimate论文.pdf、MagicAnimate arXiv、MagicAnimate GitHub代码和MagicAnimate演示。
