SV3D.online 是一个革命性的生成模型,它将3D技术提升到了一个新的水平。基于稳定视频扩散技术,SV3D在从单张图片生成新颖视图和3D模型方面提供了显著改进的质量和视图一致性。
SV3D的优势包括显著提高的质量和视图一致性,超越了现有的开源替代品,在生成详细和忠实多视图方面表现出色。它提供了优越的姿态控制能力和跨多个视图的一致对象外观,直接从单张图片输入生成高质量和现实的3D网格。此外,SV3D可用于商业用途,只需拥有Stability AI会员资格即可。对于非商业用途,模型权重可在Hugging Face上获取。
SV3D的功能列表包括从单张图片生成新颖多视图,利用多视图一致性直接从新颖视图生成高质量3D网格,通过掩码分数蒸馏采样损失增强在预测视图中不可见区域的3D质量,以及通过解耦照明模型减少烘焙照明问题,从而生成更现实的3D模型。SV3D提供两种变体:SV3D_u和SV3D_p。SV3D_u基于单张图片输入生成轨道视频,无需相机条件。SV3D_p通过适应单张图片和轨道视图扩展了SV3D_u的能力。两种变体都能够生成高质量、现实的3D视频。
SV3D在新颖视图生成方面引入了显著的进步,在3D生成方面,它利用其多视图一致性优化3D神经辐射场(NeRF)和网格表示,以提高直接从新颖视图生成的3D网格的质量。