DreamFusion

DreamFusion представляет собой инновационный подход к синтезу 3D-моделей из текстовых описаний, используя предварительно обученные 2D диффузионные модели. Этот метод позволяет обойти ограничения, связанные с отсутствием крупномасштабных наборов данных 3D-активов и эффективных архитектур для обработки 3D-данных. В основе DreamFusion лежит использование потери, основанной на дистилляции плотности вероятности, что позволяет использовать 2D диффузионную модель в качестве априорного распределения для оптимизации параметрического генератора изображений. Этот процесс оптимизации напоминает процедуру DeepDream, где случайно инициализированная 3D-модель (Neural Radiance Field, или NeRF) оптимизируется методом градиентного спуска таким образом, чтобы её 2D-рендеринг с различных углов достигал минимальной потери. В результате получается 3D-модель, которая может быть просмотрена с любого угла, освещена произвольным источником света или интегрирована в любую 3D-среду. DreamFusion не требует данных для обучения 3D-моделей и не требует модификаций модели диффузии изображений, демонстрируя эффективность предварительно обученных моделей диффузии изображений в качестве априорных распределений. С помощью DreamFusion можно создавать переосвещаемые 3D-объекты с высокой точностью отображения, глубины и нормалей. Объекты представлены в виде Neural Radiance Field и используют предварительно обученную текстово-изображенческую диффузионную модель, такую как Imagen. DreamFusion также позволяет экспортировать сгенерированные NeRF-модели в меши с использованием алгоритма marching cubes для лёгкой интеграции в 3D-рендереры или программное обеспечение для моделирования.