DreamFusion

DreamFusion은 텍스트에서 3D 객체를 생성하는 혁신적인 AI 기술입니다. 이 기술은 2D 텍스트-이미지 확산 모델을 활용하여, 대규모 3D 데이터셋이나 복잡한 3D 데이터 디노이징 아키텍처 없이도 고품질의 3D 객체를 생성할 수 있습니다. DreamFusion의 핵심은 확률 밀도 증류에 기반한 손실 함수를 도입하여, 2D 확산 모델을 3D 이미지 생성기의 최적화를 위한 사전 지식으로 사용하는 것입니다. 이 방법은 DeepDream과 유사한 절차를 통해, 무작위로 초기화된 3D 모델(Neural Radiance Field 또는 NeRF)을 그래디언트 하강법으로 최적화하여, 임의의 각도에서 렌더링된 2D 이미지가 낮은 손실을 달성하도록 합니다. 결과적으로 생성된 3D 모델은 어떤 각도에서도 볼 수 있고, 임의의 조명으로 재조명하거나, 어떤 3D 환경에도 합성할 수 있습니다. DreamFusion은 3D 학습 데이터나 이미지 확산 모델의 수정 없이도 사전 학습된 이미지 확산 모델의 효과를 입증합니다. DreamFusion은 주어진 캡션에 따라 재조명 가능한 3D 객체를 고화질의 외관, 깊이, 노멀 맵과 함께 생성합니다. 이 객체들은 Neural Radiance Field로 표현되며, Imagen과 같은 사전 학습된 텍스트-이미지 확산 모델을 활용합니다. DreamFusion은 다양한 캡션에서 객체와 장면을 생성하며, 생성된 수백 개의 자산을 전체 갤러리에서 검색할 수 있습니다. 또한, 생성된 NeRF 모델은 marching cubes 알고리즘을 사용하여 메쉬로 내보내져, 3D 렌더러나 모델링 소프트웨어에 쉽게 통합될 수 있습니다. DreamFusion은 텍스트-이미지 생성 모델인 Imagen을 사용하여 3D 장면을 최적화합니다. Score Distillation Sampling(SDS)이라는 방법을 제안하여, 확산 모델에서 샘플을 생성하는 방법을 최적화합니다. SDS는 3D 공간과 같은 임의의 매개변수 공간에서 샘플을 최적화할 수 있도록 합니다. DreamFusion은 Neural Radiance Fields(NeRFs)와 유사한 3D 장면 매개변수화를 사용하여 이 미분 가능한 매핑을 정의합니다. SDS만으로도 합리적인 장면 외관을 생성할 수 있지만, DreamFusion은 추가적인 정규화 및 최적화 전략을 통해 기하학을 개선합니다. 결과적으로 훈련된 NeRFs는 고품질의 노멀, 표면 기하학 및 깊이를 가지며, Lambertian 쉐이딩 모델로 재조명할 수 있습니다.