MagicAnimate: Temporally Consistent Human Image Animation

MagicAnimate (Github) هو مشروع مفتوح المصدر جديد ومثير يتيح لك إنتاج فيديو متحرك من صورة واحدة وفيديو حركة. إنه أداة مبتكرة تعتمد على إطار الانتشار، وتتفوق في الحفاظ على الاتساق الزمني، والحفاظ على الصورة المرجعية بدقة، وتعزيز دقة الرسوم المتحركة. يمكن لـ MagicAnimate تحريك الصور المرجعية مع تسلسلات الحركة من مصادر مختلفة، بما في ذلك الرسوم المتحركة عبر الهوية والمجالات غير المرئية مثل لوحات الزيت والشخصيات السينمائية. كما يتكامل بسلاسة مع نماذج الانتشار T2I مثل DALLE3، ويجلب الصور التي يتم التلميح لها إلى الحياة مع الإجراءات الديناميكية.

من بنى MagicAnimate؟ تم بناء Magic Animate بواسطة Show Lab، جامعة الوطنية في سنغافورة و Bytedance (字节跳动).

مزايا MagicAnimate: حالياً، يقدم أعلىdegree of اتساق بين جميع حلول فيديو الرقص.

سلبيات Magic Animate: بعض التشويه في الوجه واليدين (مشكلة متكررة). في التكوين الافتراضي، يتغير الأسلوب من الرسوم المتحركة إلى الواقعية، ويكون ملحوظًا بشكل خاص في الوجوه في الفيديوهات. قد يتطلب هذا تعديل نقطة التفتيش. الفيديوهات الافتراضية التي تعتمد على DensePose مدفوعة بالبشر الحقيقيين، لذلك فإن تطبيق أسلوب الرسوم المتحركة يمكن أن يؤدي إلى تغييرات في نسب الجسم.

مقارنة بين AnimateAnyone و MagicAnimate: WIP. بما أن AnimateAnyone لم يتم إطلاقه بعد، لا يوجد ديمو يمكننا تجربته لـ Animate Anyone.

كيفية البدء: يرجى تنزيل النماذج الأساسية المسبقة التدريب لـ StableDiffusion V1.5 و MSE-finetuned VAE. قم بتنزيل نقاط التفتيش لـ MagicAnimate. متطلبات التثبيت: python >= 3.8، CUDA >= 11.3، و ffmpeg. التثبيت باستخدام conda: conda env create -f environment.yml conda activate manimate

جرب ديمو MagicAnimate عبر الإنترنت على huggingface جرب ديمو MagicAnimate عبر الإنترنت على Replicate يرجى زيارة Magic Animate على Replicate جرب MagicAnimate على Colab يمكنك الرجوع إلى هذا التغريدة: How to Run MagicAnimate on Colab and theColab url

API لـ Magic Animate: يمكنك استخدام Replicate API لإنشاء فيديو متحرك. import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714", { input: { image: "", video: "Input motion video", num_inference_steps: 25, // عدد خطوات إزالة الضوضاء guidance_scale: 7.5, // المقياس لدليل بدون تصنيف seed: 349324 // البذرة العشوائية. اتركها فارغة لاختيار البذرة عشوائيًا } } );

كيفية إنشاء فيديو حركة أو تحويل الفيديو إلى فيديو حركة؟ OpenPose هو مكتبة للكشف عن نقاط المفاتيح في الوقت الحقيقي للجسم والوجه واليدين والقدم. يمكنك تحويل فيديو حركة إلى OpenPose باستخدام هذا النموذج: video to openpose ومن ثم يمكنك استخدام هذا النموذج: magic-animate-openpose لاستخدام OpenPose مع MagicAnimate: magic-animate-openpose

المزيد من المعلومات عن Magic Animate: مقدمة رسمية لـ MagicAnimate MagicAnimate Paper.pdf MagicAnimate arXiv كود GitHub لـ MagicAnimate ديمو لـ MagicAnimate © 2023 MagicAnimate