MagicAnimate: ผู้นำด้านภาพเคลื่อนไหวของมนุษย์ด้วยโมเดล Diffusion

MagicAnimate เป็นโครงการโอเพ่นซอร์สใหม่และน่าตื่นเต้นที่ช่วยให้คุณสามารถสร้างวิดีโอเคลื่อนไหวจากภาพเดียวและวิดีโอเคลื่อนไหว บทความนี้จะนำเสนอข้อมูลเกี่ยวกับ MagicAnimate อย่างละเอียด

คุณสมบัติเด่นของ MagicAnimate:

• เป็นกรอบงานที่ล้ำสมัยด้วยเทคโนโลยี Diffusion สำหรับการสร้างภาพเคลื่อนไหวของมนุษย์
• สามารถรักษาความสอดคล้องในเวลาได้เป็นอย่างดี
• สามารถรักษาภาพอ้างอิงได้อย่างถูกต้องและเพิ่มความแม่นยำของภาพเคลื่อนไหว
• สามารถสร้างภาพเคลื่อนไหวจากภาพอ้างอิงด้วยลำดับการเคลื่อนไหวจากแหล่งต่าง ๆ ได้
• สามารถผสานกับแบบจำลอง T2I Diffusion เช่น DALLE3 ได้

ผู้พัฒนา MagicAnimate: Magic Animate ถูกสร้างโดย Show Lab, National University of Singapore & Bytedance(字节跳动)

ข้อดีของ MagicAnimate: ในปัจจุบัน มันมีความสอดคล้องสูงที่สุดในบรรดาโซลูชั่นวิดีโอเต้นรำ

ข้อเสียของ Magic Animate:

• บางครั้งอาจมีการบิดเบือนในใบหน้าและมือ
• ในการกำหนดค่าเริ่มต้น สไตล์อาจเปลี่ยนจากอนิเมะเป็นความเป็นจริง โดยเฉพาะในใบหน้าในวิดีโอ ซึ่งอาจต้องปรับแต่ง checkpoint
• วิดีโอ DensePose ที่ขับเคลื่อนด้วยค่าเริ่มต้นใช้บนมนุษย์จริง ดังนั้นการใช้สไตล์อนิเมะอาจทำให้เกิดการเปลี่ยนแปลงในสัดส่วนของร่างกาย

เปรียบเทียบกับ AnimateAnyone: เนื่องจาก AnimateAnyone ยังไม่ได้เปิดตัว ดังนั้นยังไม่มี 데โมที่เราสามารถลองได้สำหรับ Animate Anyone

วิธีการเริ่มใช้งาน MagicAnimate:

• ดาวน์โหลดโมเดลฐานสำหรับ StableDiffusion V1.5 และ MSE-finetuned VAE
• ดาวน์โหลด checkpoint ของ MagicAnimate
• เงื่อนไขการติดตั้ง ได้แก่ python>=3.8, CUDA>=11.3 และ ffmpeg
• ติดตั้งด้วย conda ผ่านคำสั่ง: conda env create -f environment.yml conda activate manimate
• ลองใช้ demo ของ MagicAnimate บน huggingface
• ลองใช้ demo ของ MagicAnimate บน Replicate
• เยี่ยมชม Magic Animate บน Replicate
• ลองใช้ MagicAnimate บน Colab คุณสามารถดู tweet: How to Run MagicAnimate on Colab และ URL ของ Colab

API ของ Magic Animate: คุณสามารถใช้ Replicate API เพื่อสร้างวิดีโอเคลื่อนไหว

วิธีการสร้างวิดีโอเคลื่อนไหวหรือแปลงวิดีโอเป็นวิดีโอเคลื่อนไหว: OpenPose เป็นไลบรารี่การตรวจจับจุดสำคัญของบุคคลหลายคนแบบเรียลไทม์สำหรับการประมาณร่างกาย ใบหน้า มือ และเท้า คุณสามารถแปลงวิดีโอเคลื่อนไหวเป็น OpenPose ด้วยแบบจำลองนี้: video to openpose และจากนั้นคุณสามารถใช้แบบจำลอง: magic-animate-openpose เพื่อใช้ OpenPose กับ MagicAnimate: magic-animate-openpose

ข้อมูลเพิ่มเติมสำหรับ Magic Animate:

• แนะนำอย่างเป็นทางการของ MagicAnimate
• MagicAnimate Paper.pdf
• MagicAnimate arXiv
• รหัส GitHub ของ MagicAnimate
• Demo ของ MagicAnimate

© 2023 MagicAnimate