DreamFusion

DreamFusion representa um avanço significativo na síntese de modelos 3D a partir de texto, utilizando modelos de difusão 2D pré-treinados. Esta abordagem inovadora permite a geração de objetos 3D que podem ser visualizados de qualquer ângulo, iluminados de maneira arbitrária e integrados em qualquer ambiente 3D, sem a necessidade de dados de treinamento 3D ou modificações no modelo de difusão de imagens. O processo envolve a otimização de um modelo 3D inicializado aleatoriamente (um Campo de Radiação Neural, ou NeRF) através de descida de gradiente, de modo que suas renderizações 2D a partir de ângulos aleatórios alcancem uma baixa perda. Isso é possível graças a uma perda baseada na destilação de densidade de probabilidade, que permite o uso de um modelo de difusão 2D como um prior para a otimização de um gerador de imagens paramétrico. O resultado são objetos 3D com aparência, profundidade e normais de alta fidelidade, representados como NeRFs e que aproveitam um prior de difusão de texto para imagem, como o Imagen. Além disso, os modelos NeRF gerados podem ser exportados para malhas usando o algoritmo de cubos marchantes, facilitando a integração em renderizadores 3D ou software de modelagem. DreamFusion abre novas possibilidades para a criação de conteúdo 3D, democratizando o acesso à geração de modelos 3D de alta qualidade a partir de simples descrições textuais.