MagicAnimate

MagicAnimate to innowacyjny projekt open source, który pozwala stworzyć animowany film z jednego obrazu i wideo z ruchem. Jest to zaawansowana struktura oparta na modelu dyfuzji dla animacji obrazów ludzkich, która wyróżnia się utrzymywaniem spójności czasowej, wiernym zachowaniem obrazu referencyjnego oraz znaczącym zwiększeniem dokładności animacji. Może animować obrazy referencyjne z sekwencjami ruchu z różnych źródeł, włączając w to animacje między różnymi osobami oraz nieznane domeny, takie jak obrazy olejne i postaci z filmów. Łączy się również bezproblemowo z modelami dyfuzji typu T2I, takimi jak DALLE3, ożywiając obrazy wygenerowane na podstawie tekstowych podpowiedzi za pomocą dynamicznych działań. Jednakże, posiada pewne wady, takie jak pewne zniekształcenia twarzy i rąk oraz zmianę stylu z anime do realizmu, szczególnie widoczną w twarzach w filmach. Aby rozpocząć pracę z MagicAnimate, należy pobrać wstępnie wytrenowane modele bazowe dla StableDiffusion V1.5 i MSE-finetuned VAE, a także punkty kontrolne MagicAnimate. Wymagania instalacyjne obejmują python>=3.8, CUDA>=11.3 oraz ffmpeg. Można zainstalować za pomocą conda, wykonując odpowiednie polecenia. Ponadto, istnieje możliwość wypróbowania demonstracji online MagicAnimate na platformach takich jak huggingface, Replicate czy Colab. Można również wykorzystać API Replicate do generowania animowanych filmów. Istnieją również sposoby na generowanie wideo z ruchem lub konwersję wideo na wideo z ruchem, wykorzystując bibliotekę OpenPose.