ToonCrafter представляет собой инновационный инструмент, который использует искусственный интеллект для создания плавной анимации из двух статических изображений. Этот инструмент основан на предварительно обученных моделях диффузии изображений в видео, что позволяет легко интерполировать изображения мультфильмов и создавать анимацию.
Основные функции ToonCrafter включают возможность интерполяции двух изображений мультфильмов для создания плавной анимации. Это особенно полезно для таких приложений, как интерполяция эскизов мультфильмов и раскрашивание эскизов на основе референсов. ToonCrafter был разработан командой исследователей из Китайского университета Гонконга, Городского университета Гонконга и лаборатории искусственного интеллекта Tencent.
Несмотря на свои возможности, ToonCrafter имеет некоторые ограничения. Например, он может не всегда правильно понимать содержимое изображений, что может привести к некорректной генерации движения, если объекты появляются или исчезают в кадре. Кроме того, как исследовательский инструмент с открытым исходным кодом, он может не соответствовать всем ожиданиям пользователей.
Для настройки ToonCrafter можно использовать Anaconda для создания и активации виртуальной среды, а затем установить необходимые пакеты с помощью файла requirements.txt. Подробные инструкции по настройке доступны в репозитории GitHub проекта.
ToonCrafter поддерживает генерацию видео до 16 кадров с разрешением 512x320. Время вывода может быть уменьшено за счет использования меньшего количества шагов DDIM. Инструмент также может быть запущен локально, для чего необходимо загрузить предварительно обученную модель и выполнить предоставленные скрипты или использовать демо-приложение Gradio.
Для тех, кто использует ComfyUI, доступен репозиторий ComfyUI-ToonCrafter, который позволяет использовать ToonCrafter в этой среде для создания генеративной анимации по ключевым кадрам.
ToonCrafter — это мощный инструмент для тех, кто занимается созданием анимации, предлагающий уникальные возможности для улучшения процесса производства анимации с использованием искусственного интеллекта.
