MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
MagicAnimate é um projeto de código aberto empolgante que permite produzir um vídeo animado a partir de uma única imagem e um vídeo de movimento. É um marco inovador no campo da animação de imagens humanas, baseado em um framework de difusão de ponta. Ele se destaca por manter a consistência temporal, preservar fielmente a imagem de referência e aprimorar significativamente a fidelidade da animação.
Foi desenvolvido pelo Show Lab, da National University of Singapore e da Bytedance. Atualmente, oferece a maior consistência entre todas as soluções de vídeo de dança. No entanto, apresenta algumas desvantagens, como certa distorção no rosto e nas mãos e mudanças de estilo da animação.
Para começar a usar o MagicAnimate, é necessário baixar os modelos base pré-treinados para StableDiffusion V1.5 e MSE-finetuned VAE, bem como os checkpoints do MagicAnimate. Os pré-requisitos de instalação incluem python>=3.8, CUDA>=11.3 e ffmpeg. A instalação pode ser feita com conda.
Além disso, é possível experimentar o MagicAnimate em demos online disponíveis em várias plataformas, como huggingface, Replicate e Colab. Também é possível usar a API do Replicate para gerar vídeos animados.
Para gerar um vídeo de movimento ou converter um vídeo em um vídeo de movimento, pode-se utilizar a biblioteca OpenPose, que é uma biblioteca de detecção de keypoints em tempo real para corpo, rosto, mãos e pés.
