MagicAnimate

MagicAnimate é um projeto inovador de código aberto que permite criar vídeos animados a partir de uma única imagem e um vídeo de movimento. Desenvolvido pelo Show Lab, Universidade Nacional de Singapura e Bytedance, esta ferramenta utiliza um modelo de difusão para animar imagens de referência com sequências de movimento de várias fontes, incluindo animações cross-ID e domínios não vistos, como pinturas a óleo e personagens de filmes. Uma das principais vantagens do MagicAnimate é a sua capacidade de manter a consistência temporal e preservar fielmente a imagem de referência, melhorando significativamente a fidelidade da animação. Além disso, integra-se perfeitamente com modelos de difusão T2I, como DALLE3, trazendo imagens sugeridas por texto à vida com ações dinâmicas. No entanto, alguns desafios incluem distorções no rosto e nas mãos, e uma mudança de estilo de anime para realismo nas configurações padrão, o que pode exigir ajustes no checkpoint. Para começar a usar o MagicAnimate, é necessário baixar os modelos pré-treinados para StableDiffusion V1.5 e MSE-finetuned VAE, além de atender aos pré-requisitos de instalação, como Python>=3.8, CUDA>=11.3 e ffmpeg. O MagicAnimate também oferece uma demonstração online no Huggingface e Replicate, e pode ser executado no Colab. Para gerar vídeos de movimento ou converter vídeos em movimento, pode-se utilizar o OpenPose, uma biblioteca de detecção de pontos-chave em tempo real para estimativa de corpo, rosto, mãos e pés. O MagicAnimate representa um avanço significativo na animação de imagens humanas, oferecendo uma solução de alta consistência para vídeos de dança e além.