DreamFusion: 2D Diffusionを用いたテキストから3Dへの生成
概要
最近のテキストから画像への合成におけるブレークスルーは、数十億の画像-テキストペアで訓練された拡散モデルによって推進されています。このアプローチを3D合成に適応させるには、大規模なラベル付き3Dアセットのデータセットと3Dデータのデノイジングのための効率的なアーキテクチャが必要ですが、現時点ではどちらも存在しません。そこで本研究では、事前訓練された2Dテキストから画像への拡散モデルを使用して、テキストから3Dへの合成を行う方法を提案します。
仕組み
DreamFusionは、テキストから画像への生成モデルであるImagenを使用して3Dシーンを最適化します。私たちは、拡散モデルからサンプルを生成するためのスコア蒸留サンプリング（SDS）という方法を提案します。SDSは、損失関数を最適化することによってサンプルを生成することを可能にします。3Dシーンのパラメータ化は、Neural Radiance Fields（NeRF）に似た方法で定義されます。SDS単独でも合理的なシーンの外観を生成しますが、DreamFusionは追加の正則化や最適化戦略を加えて幾何学を改善します。
特徴
- 高忠実度の外観: DreamFusionは、与えられたテキストからリライト可能な3Dオブジェクトを生成します。
- メッシュエクスポート: 生成されたNeRFモデルは、マーチングキューブアルゴリズムを使用してメッシュにエクスポートでき、3Dレンダラーやモデリングソフトウェアへの統合が容易です。
- 多様なキャプション: DreamFusionは、さまざまなキャプションからオブジェクトやシーンを生成します。
競合との比較
DreamFusionは、従来の3D生成手法と比較して、事前訓練された画像拡散モデルを使用することで、3Dトレーニングデータを必要とせず、画像拡散モデルの修正も不要です。これにより、より効率的で柔軟な3D生成が可能になります。
まとめ
DreamFusionは、テキストから3Dへの生成において革新的なアプローチを提供します。高品質の3Dオブジェクトを生成し、さまざまな環境に統合することができます。興味がある方は、ぜひ公式サイトで詳細を確認してください！
参考文献
@article{poole2022dreamfusion, author = {Poole, Ben and Jain, Ajay and Barron, Jonathan T. and Mildenhall, Ben}, title = {DreamFusion: Text-to-3D using 2D Diffusion}, journal = {arXiv}, year = {2022}, }
