MagicAnimate: Tạo Hoạt Ảnh Hình Ảnh Người Dùng Dựa Trên Mô Hình Khuếch Tán

MagicAnimate là một dự án mã nguồn mở thú vị cho phép bạn tạo ra một video hoạt ảnh từ một hình ảnh đơn và một video chuyển động. Đây là một khuôn khổ dựa trên khuếch tán tiên tiến cho hoạt ảnh hình ảnh người, nổi bật với khả năng duy trì sự nhất quán thời gian, bảo tồn trung thực hình ảnh tham chiếu và nâng cao đáng kể độ trung thực của hoạt ảnh.

Thành lập bởi: Magic Animate được xây dựng bởi Show Lab, Đại học Quốc gia Singapore & Bytedance (字节跳动).

Ưu điểm của MagicAnimate: Hiện tại, nó cung cấp sự nhất quán cao nhất trong tất cả các giải pháp video khiêu vũ.

Nhược điểm của MagicAnimate: Một số biến dạng ở mặt và tay (một vấn đề tái diễn). Trong cấu hình mặc định, phong cách thay đổi từ anime sang hiện thực, đặc biệt rõ ràng ở khuôn mặt trong các video. Điều này có thể yêu cầu thay đổi checkpoint. Các video được điều khiển bằng DensePose mặc định dựa trên người thật, do đó áp dụng phong cách anime có thể dẫn đến thay đổi tỷ lệ cơ thể.

So sánh với AnimateAnyone: Vì AnimateAnyone chưa được phát hành, nên không có demo nào chúng ta có thể thử cho Animate Anyone.

Bắt đầu sử dụng: Vui lòng tải xuống các mô hình cơ sở được đào tạo trước cho StableDiffusion V1.5 và MSE-finetuned VAE. Tải xuống các checkpoint của MagicAnimate của chúng tôi. Điều kiện cài đặt: python>=3.8, CUDA>=11.3 và ffmpeg. Cài đặt với conda: conda env create -f environment.yml conda activate manimate

Thử demo trực tuyến của MagicAnimate trên huggingface, Replicate và Colab: Bạn có thể tham khảo tweet này: How to Run MagicAnimate on Colab và url của Colab. Bạn cũng có thể thử MagicAnimate trên Replicate và xem các thông tin chi tiết hơn về MagicAnimate qua các tài liệu như Official MagicAnimate introduction, MagicAnimate Paper.pdf, MagicAnimate arXiv, MagicAnimate GitHub Code và MagicAnimate Demo.