DreamFusion

DreamFusion revolutioniert die Art und Weise, wie wir Text in 3D-Modelle umwandeln, indem es die Leistungsfähigkeit von 2D-Diffusionsmodellen nutzt. Diese innovative Technologie ermöglicht es, aus einfachen Textbeschreibungen detaillierte 3D-Modelle zu erstellen, die aus jedem Blickwinkel betrachtet, mit beliebiger Beleuchtung versehen oder in jede 3D-Umgebung integriert werden können. Ohne die Notwendigkeit von umfangreichen 3D-Trainingsdaten oder Modifikationen am Bilddiffusionsmodell, demonstriert DreamFusion die Effektivität vortrainierter Bilddiffusionsmodelle als Prioritäten. Mit einer Beschriftung generiert DreamFusion beleuchtbare 3D-Objekte mit hochwertiger Erscheinung, Tiefe und Normalen. Diese Objekte werden als Neural Radiance Field (NeRF) dargestellt und nutzen ein vortrainiertes Text-zu-Bild-Diffusionsmodell wie Imagen. DreamFusion ermöglicht es, Objekte und Szenen aus einer Vielzahl von Beschreibungen zu generieren. Die generierten NeRF-Modelle können mithilfe des Marching-Cubes-Algorithmus in Meshes exportiert werden, was die Integration in 3D-Renderer oder Modellierungssoftware erleichtert. DreamFusion verwendet ein Text-zu-Bild-Generierungsmodell namens Imagen, um eine 3D-Szene zu optimieren. Durch die Einführung von Score Distillation Sampling (SDS), einer Methode zur Generierung von Proben aus einem Diffusionsmodell durch Optimierung einer Verlustfunktion, können Proben in einem beliebigen Parameterraum, wie einem 3D-Raum, optimiert werden, solange wir differenzierbar auf Bilder abbilden können. DreamFusion fügt zusätzliche Regularisatoren und Optimierungsstrategien hinzu, um die Geometrie zu verbessern, was zu kohärenten NeRFs mit hochwertigen Normalen, Oberflächengeometrie und Tiefe führt, die mit einem Lambert'schen Schattierungsmodell beleuchtet werden können.