MagicAnimate es un proyecto de código abierto innovador que permite crear videos animados a partir de una sola imagen y un video de movimiento. Desarrollado por Show Lab, la Universidad Nacional de Singapur y Bytedance, este marco basado en difusión destaca por su capacidad para mantener la consistencia temporal, preservar fielmente la imagen de referencia y mejorar significativamente la fidelidad de la animación. MagicAnimate puede animar imágenes de referencia con secuencias de movimiento de varias fuentes, incluyendo animaciones cruzadas de ID y dominios no vistos como pinturas al óleo y personajes de películas. Además, se integra perfectamente con modelos de difusión T2I como DALLE3, dando vida a imágenes sugeridas por texto con acciones dinámicas.
Entre las ventajas de MagicAnimate se encuentra su alta consistencia en comparación con otras soluciones de video de baile. Sin embargo, presenta algunas desventajas, como distorsiones en la cara y las manos, y un cambio de estilo de anime a realismo en su configuración predeterminada, lo que podría requerir modificaciones en el punto de control.
Para comenzar a usar MagicAnimate, es necesario descargar los modelos base preentrenados para StableDiffusion V1.5 y MSE-finetuned VAE, así como los puntos de control de MagicAnimate. La instalación requiere Python>=3.8, CUDA>=11.3 y ffmpeg. MagicAnimate ofrece demostraciones en línea en Hugging Face y Replicate, y también está disponible en Colab. Además, se puede utilizar la API de Replicate para generar videos animados.
MagicAnimate representa un avance significativo en la animación de imágenes humanas, ofreciendo una herramienta poderosa para creadores y desarrolladores interesados en la animación de alta fidelidad.
