MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model

MagicAnimate는 흥미로운 새로운 오픈 소스 프로젝트로, 단일 이미지와 모션 비디오를 사용하여 애니메이션 비디오를 만들 수 있습니다. 이 혁신적인 도구는 시간적 일관성을 유지하고 참조 이미지를 충실하게 보존하며 애니메이션의 정확도를 크게 향상시키는 능력이 뛰어납니다.

누가 MagicAnimate를 만들었나요? Magic Animate는 Show Lab, National University of Singapore & Bytedance(字节跳动)에 의해 만들어졌습니다.

MagicAnimate의 장점 현재 모든 댄스 비디오 솔루션 중 가장 높은 일관성을 제공합니다.

MagicAnimate의 단점 얼굴과 손에 약간의 왜곡이 있습니다(반복되는 문제). 기본 구성에서 애니메이션 스타일이 리얼리즘으로 바뀌는 경우가 있으며, 특히 비디오의 얼굴 부분에서 두드러집니다. 이는 체크포인트를 수정해야 할 수도 있습니다. 기본 DensePose 기반 비디오는 실제 인간을 기반으로 하므로 애니메이션 스타일을 적용하면 신체 비율에 변화가 생길 수 있습니다.

AnimateAnyone VS MagicAnimate WIP. AnimateAnyone가 아직 출시되지 않았기 때문에 Animate Anyone에 대한 데모를 시도할 수 없습니다.

시작하기 StableDiffusion V1.5 및 MSE-finetuned VAE에 대한 사전 훈련된 기본 모델을 다운로드하세요. MagicAnimate 체크포인트도 다운로드하세요. 설치 전제 조건: python>=3.8, CUDA>=11.3, ffmpeg. conda를 사용하여 설치: conda env create -f environment.yml, conda activate manimate

온라인 데모 시도 Huggingface에서 MagicAnimate 온라인 데모를 시도하세요. Replicate에서 MagicAnimate 온라인 데모를 시도하세요. Replicate에서 Magic Animate를 방문하세요. Colab에서 MagicAnimate를 시도하세요. 이 트윗을 참조하세요: How to Run MagicAnimate on Colab 및 Colab URL

Magic Animate API Replicate API를 사용하여 애니메이션 비디오를 생성할 수 있습니다.

모션 비디오 생성 또는 비디오를 모션 비디오로 변환하는 방법 OpenPose는 신체, 얼굴, 손, 발의 추정에 대한 실시간 다중 인물 키포인트 검출 라이브러리입니다. 이 모델을 사용하여 모션 비디오를 OpenPose로 변환할 수 있습니다: video to openpose. 그리고 이 모델: magic-animate-openpose를 사용하여 MagicAnimate와 OpenPose를 함께 사용할 수 있습니다: magic-animate-openpose

Magic Animate에 대한 더 많은 정보 공식 MagicAnimate 소개 MagicAnimate Paper.pdf MagicAnimate arXiv MagicAnimate GitHub Code MagicAnimate Demo

© 2023 MagicAnimate