openai/point-e:用于 3D 模型合成的点云扩散
openai/point-e 是一个官方发布的代码和模型,用于从复杂提示生成 3D 点云。该系统为 3D 模型合成提供了新的可能性。
安装与使用:
通过 pip install -e.
进行安装。若要开始使用示例,可以查看以下笔记本:
image2pointcloud.ipynb
:根据一些示例合成视图图像对点云进行采样。text2pointcloud.ipynb
:使用小型、质量稍差的纯文本到 3D 模型,直接从文本描述生成 3D 点云。该模型的能力有限,但它确实理解一些简单的类别和颜色。pointcloud2mesh.ipynb
:尝试使用 SDF 回归模型从点云生成网格。
评估脚本与渲染代码:
对于 P-FID
和 P-IS
评估脚本,可查看 evaluate_pfid.py
和 evaluate_pis.py
。对于 Blender 渲染代码,可查看 blender_script.py
。
样本与资源:
您可以在此处下载与论文横幅图像相对应的种子图像和点云。还可以在此处下载用于 COCO CLIP R-Precision
评估的种子图像。
总的来说,openai/point-e 为 3D 模型合成领域带来了新的思路和方法,为相关研究和应用提供了有价值的工具。