openai/shap-e は、3D イミディアト関数を生成するための公式コードとモデルリリースです。このツールは、テキストまたは画像に条件付けられて 3D オブジェクトを作成することができます。
インストールは pip install -e. で行います。始めるには、ノートブック sample_text_to_3d.ipynb （テキストプロンプトに基づいて 3D モデルをサンプリング）と sample_image_to_3d.ipynb （合成ビュー画像に基づいて 3D モデルをサンプリング）が役立ちます。最良の結果を得るためには、入力画像の背景を削除する必要があります。また、encode_model.ipynb は 3D モデルまたはトライメッシュを読み込み、マルチビューレンダーとポイントクラウドのバッチを作成し、潜在空間にエンコードして再レンダリングします。これを動作させるには、Blender バージョン 3.3.1 以上をインストールし、環境変数 BLENDER_PATH を Blender 実行可能ファイルのパスに設定する必要があります。
サンプルとしては、「アボカドのように見える椅子」「バナナのように見える飛行機」「宇宙船」「誕生日のカップケーキ」「木のように見える椅子」「緑のブーツ」「ペンギン」「ウベアイスクリームコーン」「野菜のボウル」などがあります。
