ToonCrafterは、事前に訓練された画像からビデオへの拡散プライアを利用して、2つのカートゥーン画像を補間し、スムーズなアニメーションを簡単に作成することができるAIツールです。このツールは、カートゥーンスケッチの補間や参照ベースのスケッチカラー化（単一画像およびデュアル画像参照）、スパーススケッチガイド生成などの主要なアプリケーションに設計されています。
ToonCrafterは、香港中文大学、香港城市大学、およびTencent AI Labの研究者たちによって開発されました。このツールは、オープンソースの研究ツールであり、商用製品ではないため、すべてのユーザーの期待に応えるものではないかもしれません。また、画像内容を正しく意味的に理解できない場合があり、フレーム内でオブジェクトが現れたり消えたりする際に誤ったモーション生成が発生する可能性があります。
ToonCrafterのセットアップには、Anacondaを使用して仮想環境を作成し、提供されているrequirements.txtファイルを使用して必要なパッケージをインストールします。詳細なセットアップ手順は、GitHubリポジトリで入手可能です。ToonCrafterは、最大16フレームのビデオを512x320の解像度で生成することができます。DDIMステップを減らすことで、推論時間を短縮することが可能です。
さらに、ToonCrafterはComfyUIでも実行可能で、ComfyUI-ToonCrafterというリポジトリを使用して、生成キーフレームアニメーションを実現することができます。詳細は、GitHubリポジトリを参照してください。
