MagicAnimate: Тemporally Consistent Human Image Animation с использованием Diffusion Model
MagicAnimate - это интересный новый открытый исходный проект, который позволяет создавать анимированное видео из одного изображения и видео движения. Этот инновационный инструмент выделяется своей способностью поддерживать временную согласованность, верно сохранять исходное изображение и значительно улучшать точность анимации. Он может анимировать исходные изображения с последовательностями движения из различных источников, включая кросс-ID анимации и невидимые области, такие как картины маслом и персонажи из фильмов. Также он хорошо интегрируется с T2I диффузионными моделями, как DALLE3, оживляя изображения, созданные по текстовым подсказкам с динамическими действиями.
Кто создал MagicAnimate? Magic Animate разработан Show Lab, National University of Singapore & Bytedance(字节跳动).
Преимущества MagicAnimate: В настоящее время он предлагает самую высокую согласованность среди всех решений для танцевальных видео.
Недостатки Magic Animate: Некоторые искажения в лице и руках (постоянная проблема). В стандартной конфигурации стиль меняется от аниме к реализму, особенно заметно на лицах в видео. Это может потребовать изменения контрольной точки. Стандартные видео, основанные на DensePose, основаны на реальных людях, поэтому применение стиля аниме может привести к изменениям в пропорциях тела.
AnimateAnyone VS MagicAnimate: Пока AnimateAnyone не выпущен, нет демо, которое мы могли бы попробовать для Animate Anyone.
Как начать:
Пожалуйста, скачайте предварительно обученные базовые модели для StableDiffusion V1.5 и MSE-finetuned VAE. Загрузите наши контрольные точки MagicAnimate. Требования к установке: python>=3.8, CUDA>=11.3 и ffmpeg. Установка с помощью conda: conda env create -f environment.yml, conda activate manimate.
Попробуйте онлайн-демо MagicAnimate на huggingface, Replicate и Colab. Вы можете обратиться к этому твиту: How to Run MagicAnimate on Colab и URL Colab.
API Magic Animate: Вы можете использовать Replicate API для создания анимированных видео. Например:
import Replicate from "replicate";
const replicate = new Replicate({
auth: process.env.REPLICATE_API_TOKEN,
});
const output = await replicate.run(
"lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714",
{
input: {
image: "https://example.com/image.png",
video: "Input motion video",
num_inference_steps: 25, // Количество шагов денойзинга
guidance_scale: 7.5, // Масштаб для классификаторно-безусловного руководства
seed: 349324 // Случайное зерно. Оставьте пустым, чтобы зерно было сгенерировано случайным образом
}
}
);
Как создать видео движения или преобразовать видео в видео движения? OpenPose - это библиотека для обнаружения ключевых точек тела, лица, рук и ног в реальном времени. Вы можете преобразовать видео движения в OpenPose с помощью этой модели: video to openpose. А затем вы можете использовать эту модель: magic-animate-openpose, чтобы использовать OpenPose с MagicAnimate: magic-animate-openpose.
Больше информации о Magic Animate: Официальное введение в MagicAnimate MagicAnimate Paper.pdf MagicAnimate arXiv MagicAnimate GitHub Code MagicAnimate Demo © 2023 MagicAnimate
