DreamFusion

DreamFusion to innowacyjne narzędzie, które pozwala na tworzenie trójwymiarowych obiektów na podstawie tekstu, wykorzystując 2D dyfuzję. Jego działanie opiera się na wykorzystaniu wstępnie wytrenowanego modelu 2D tekst-do-obrazu do przeprowadzenia syntezy tekst-do-3D. Wprowadzono stratę opartą na destylacji gęstości prawdopodobieństwa, która umożliwia użycie modelu 2D dyfuzji jako priora dla optymalizacji parametrycznego generatora obrazów. Dzięki tej metodzie, w procesie podobnym do DeepDream, optymalizuje się losowo zainicjowany model 3D (Neural Radiance Field lub NeRF) za pomocą spadku gradientu, tak aby jego 2D renderowania z losowych kątów osiągały niską stratę. Wynikowy model 3D dla danego tekstu można oglądać z dowolnego kąta, oświetlać dowolnym oświetleniem lub łączyć z dowolnym środowiskiem 3D. Narzędzie to nie wymaga danych treningowych 3D ani modyfikacji modelu dyfuzji obrazu, co pokazuje skuteczność wstępnie wytrenowanych modeli dyfuzji obrazu jako priorytetów. Przykładowo, DreamFusion generuje obiekty 3D o wysokiej wierności wyglądu, głębi i normalnych. Obiekty są reprezentowane jako Neural Radiance Field i wykorzystują wstępnie wytrenowany priorytet tekst-do-obrazu, taki jak Imagen. Można samemu generować 3D z tekstu! DreamFusion generuje obiekty i sceny z różnych podpisów. Można przeszukiwać setki wygenerowanych zasobów w pełnej galerii. Ponadto wygenerowane modele NeRF można eksportować do siatek za pomocą algorytmu marching cubes dla łatwej integracji z renderami 3D lub oprogramowaniem do modelowania.